腾讯发布多模态音乐生成模型M2UGen 支持图片、视频生成音乐

M2UGen是一款引领潮流的框架，融合了音乐理解和多模态音乐生成任务，旨在助力用户进行音乐艺术创作。通过其强大的功能，M2UGen提供了全方位的音乐生成和编辑体验。

体验地址:https://crypto-code.github.io/M2UGen-Demo/

除了可以从文字生成音乐外，它还支持图像、视频和音频生成音乐，并且还可以编辑已有的音乐。该项目利用了MERT等编码器进行音乐理解，ViT进行图像理解，ViViT进行视频理解，并使用MusicGen/AudioLDM2模型作为音乐生成模型(音乐解码器)。用户可以轻松移除或替换特定乐器，调整音乐的节奏和速度。这使得用户能够创造出符合其独特创意的音乐作品。

此外，M2UGen还加入了适配器和LLaMA2模型，使得该模型具备多种能力。

据悉，M2UGen采用了创新的方法，生成了大规模的多模态音乐指导数据集，用于训练模型。这包括MU-LLaMA模型生成的1.2k多小时音乐字幕数据集。模型结合了MU-LLaMA、BLIP图像字幕模型、MPT-7B-Chat模型以及VideoMAE字幕模型，以在各个领域生成对应的指导。

M2UGen展示了其出色的音乐生成、理解和编辑能力，用户可以通过交互式的演示视频和文本生成演示体验到模型的强大潜力。从生成摇滚音乐到对图像进行音乐创作，M2UGen满足了用户的多样化需求。