软餐获悉,Meta 近日发布了一个名为 AudioCraft 的开源 AI 系统,它允许用户通过文本提示生成原创音乐、音效和其他音频内容。该系统由三个不同的模型组成,并经过了数千小时的音频数据训练。这些组件包括用于音乐生成的 MusicGen、用于生成音效的 AudioGen 以及帮助训练模型的 EnCodec。MusicGen 可根据描述情绪、乐器、节奏等相关的文本提示创建各种流派的器乐音乐;AudioGen 根据文本描述生成动物噪音、天气、机械声音等声音效果;EnCodec 可以学习离散音频标记来为模型创建 “固定词汇”。
这些模型可以帮助游戏开发人员创建声音效果,或帮助营销团队制作商业配乐或效果。该框架和模型可用于非商业研究和教育目的。
![Meta发布AudioCraft:根据文本创建音乐和声音](https://www.ruancan.com/wp-content/uploads/2021/03/11.gif)