腾讯发布多模态音乐生成模型M2UGen 支持图片、视频生成音乐

站长之家 2024-01-03 10:52:09新闻资讯
22

M2UGen是一款引领潮流的框架,融合了音乐理解和多模态音乐生成任务,旨在助力用户进行音乐艺术创作。通过其强大的功能,M2UGen提供了全方位的音乐生成和编辑体验。

M2UGen.png

体验地址:https://crypto-code.github.io/M2UGen-Demo/

除了可以从文字生成音乐外,它还支持图像、视频和音频生成音乐,并且还可以编辑已有的音乐。该项目利用了MERT等编码器进行音乐理解,ViT进行图像理解,ViViT进行视频理解,并使用MusicGen/AudioLDM2模型作为音乐生成模型(音乐解码器)。用户可以轻松移除或替换特定乐器,调整音乐的节奏和速度。这使得用户能够创造出符合其独特创意的音乐作品。

此外,M2UGen还加入了适配器和LLaMA2模型,使得该模型具备多种能力。

据悉,M2UGen采用了创新的方法,生成了大规模的多模态音乐指导数据集,用于训练模型。这包括MU-LLaMA模型生成的1.2k多小时音乐字幕数据集。模型结合了MU-LLaMA、BLIP图像字幕模型、MPT-7B-Chat模型以及VideoMAE字幕模型,以在各个领域生成对应的指导。

M2UGen展示了其出色的音乐生成、理解和编辑能力,用户可以通过交互式的演示视频和文本生成演示体验到模型的强大潜力。从生成摇滚音乐到对图像进行音乐创作,M2UGen满足了用户的多样化需求。

ai
THE END
tom
不图事事圆满 但图事事甘心。

相关推荐

怎么把qlv格式转成mp4?几款将腾讯视频qlv文件转换为mp4格式的方法及工具推荐
在数字化媒体时代,我们经常会遇到各种不同格式的视频文件。腾讯视频的 qlv 格式是其专属的视频格式,由于版权保护等原因,这种格式的视频在其他播放器或设备上往往无法直接播...
2024-10-16 电脑知识
124

腾讯START云游戏引领《黑神话:悟空》云端新体验
腾讯START云游戏近日宣布,将支持备受期待的国产动作角色扮演游戏《黑神话:悟空》。随着游戏在8月20日全球解锁,START云游戏将立即开放云端体验入口,为玩家带来革命性的游戏...
2024-08-18 新闻资讯
128

微信文件传输助手安全争议:腾讯官方释疑并提供安全建议
近期,社交媒体上关于“文件传输助手可能存在泄密风险”的讨论引起了广泛关注,并迅速登上热搜榜。对此,用户纷纷联系腾讯客服进行询问。腾讯官方对此事进行了回应,明确表示...
2024-08-07 新闻资讯
144

腾讯QQ截图工具全新升级:智能功能提升用户体验
腾讯QQ今日宣布,其广受欢迎的QQ截图工具已完成全面升级,引入多项创新功能,致力于提升用户的截图体验和工作效率。目前,桌面端的QQ截图工具已经完成更新,并在QQ官网上线,...
2024-07-15 新闻资讯
133

腾讯课堂宣布关停:10月1日将全面停止运营
腾讯课堂,作为腾讯旗下曾经备受瞩目的在线教育平台,近日宣布了其关停的消息。根据官方公告,自2024年8月1日起,腾讯课堂将停止所有在线课程的访问服务,用户将无法访问新的...
2024-07-03 新闻资讯
104

腾讯元宝app创建自己的智能体 元宝创建智能体的方法
腾讯元宝app创建自己的智能体?腾讯元宝app是一款基于腾讯混元大模型的AI产品软件,下文中为大家带来了元宝创建智能体的方法,需要的朋友快来看看吧
2024-06-21 电脑知识
124