MIMO：阿里巴巴智能研究院开源的多功能可控视频合成模型

MIMO 是什么

MIMO 是阿里巴巴集团智能计算研究院开源的一种用于可控视频合成的通用模型，其核心思想是将2D视频编码为紧凑的空间代码，并考虑视频发生的固有3D特性。通过这种编码方式，MIMO 能够生成具有高度可控性的动画角色视频，支持多种输入方式和复杂的动作及场景交互。MIMO 的主要目标是使用户能够轻松地创建高质量的动画视频，而无需专业的动画制作技能。

功能特色

多输入支持

MIMO 支持多种用户输入方式，包括但不限于以下几种：

• 单张图像：用户可以提供一张包含角色的图像，MIMO 将基于该图像生成动画角色。

• 姿态序列：用户可以提供一系列姿态关键点，MIMO 将根据这些关键点生成相应的动作。

• 单个视频/图像：用户可以提供一个视频或图像作为参考，MIMO 将从中提取所需的属性并生成动画。

• 直接驱动视频：用户可以直接提供一个视频，MIMO 将根据视频中的动作和场景生成新的动画。

空间分解策略

MIMO 采用了一种创新的空间分解策略，将视频分解为主人、背景场景和浮动遮挡三个层次的空间组件。这种分解方式使得用户能够灵活地控制空间运动表达和场景交互，具体如下：

• 主人：指视频中的主要角色，可以是人类、卡通角色或其他拟人化对象。

• 背景场景：指视频中的静态背景部分，如室内外环境、自然景观等。

• 浮动遮挡：指视频中动态变化的部分，如人物之间的遮挡关系、物体的移动等。

3D感知合成

MIMO 通过单目深度估计器将2D帧像素提升到3D，从而实现了对复杂3D动作和场景互动的支持。这一技术使得生成的动画角色能够更加真实地表现复杂的动作和场景交互，提高了视频的真实感和沉浸感。

任意角色控制

MIMO 支持从单张图像生成各种类型的角色动画，包括人类、卡通角色和其他拟人化对象。用户只需提供一张包含角色的图像，MIMO 就能自动生成相应的动画。

新型3D动作控制

MIMO 支持从野外视频中提取复杂动作，以及从数据库中获取的空间3D动作。这种新型的3D动作控制方式使得生成的动画角色能够执行更加多样和复杂的动作，满足不同场景的需求。

交互式场景控制

MIMO 能够在复杂的现实世界场景中实现对象交互，包括遮挡情况下的互动。这种交互式场景控制使得生成的动画视频更加真实和自然，提升了用户体验。

技术细节

模型架构

MIMO 的模型架构主要包括以下几个部分：

1. 输入模块：接收用户提供的各种输入，如单张图像、姿态序列、单个视频/图像或直接驱动视频。

2. 空间分解模块：将输入视频分解为主人、背景场景和浮动遮挡三个层次的空间组件。

3. 编码模块：将分解后的空间组件编码为身份代码、结构化运动代码和完整场景代码。

4. 合成模块：根据编码后的控制信号生成最终的动画角色视频。

空间分解

MIMO 采用了一种创新的空间分解策略，将视频分解为主人、背景场景和浮动遮挡三个层次的空间组件。具体步骤如下：

1. 主人提取：通过人体检测和分割算法，从输入视频中提取出主要角色。

2. 背景场景提取：通过背景分割算法，从输入视频中提取出静态背景部分。

3. 浮动遮挡提取：通过运动分析和遮挡检测算法，从输入视频中提取出动态变化的部分。

编码与合成

MIMO 通过单目深度估计器将2D帧像素提升到3D，然后将分解后的空间组件编码为身份代码、结构化运动代码和完整场景代码。具体步骤如下：

1. 身份代码：通过特征提取网络，从主人图像中提取出身份特征。

2. 结构化运动代码：通过姿态估计网络，从主人的姿态序列中提取出结构化运动特征。

3. 完整场景代码：通过场景理解网络，从背景场景和浮动遮挡中提取出完整的场景特征。

最后，MIMO 根据编码后的控制信号，通过合成网络生成最终的动画角色视频。

实验结果

MIMO 在多个数据集上进行了广泛的实验，结果表明其在生成高质量动画角色视频方面具有显著的优势。与现有的2D和3D方法相比，MIMO 表现出更好的效果和鲁棒性。具体实验结果如下：

• 质量评估：MIMO 生成的动画角色视频在视觉质量上优于现有的2D和3D方法。

• 鲁棒性评估：MIMO 在处理复杂动作和场景交互时表现出更高的鲁棒性。

• 用户反馈：用户对MIMO 生成的动画角色视频给予了高度评价，认为其具有很高的实用价值和创意潜力。

应用场景

MIMO 的强大功能使其在多个领域具有广泛的应用前景，以下是一些典型的应用场景：

娱乐与游戏

MIMO 可以用于生成高质量的动画角色视频，为娱乐和游戏行业提供丰富的素材。例如，游戏开发者可以使用MIMO 生成游戏角色的动画，提高游戏的真实感和沉浸感。

影视制作

MIMO 可以用于影视制作中的特效合成，帮助导演和制片人快速生成高质量的动画角色视频，降低制作成本和周期。

教育与培训

MIMO 可以用于教育和培训领域的虚拟仿真，帮助学生和学员更好地理解和掌握复杂的动作和场景交互。例如，体育教练可以使用MIMO 生成运动员的动作视频，帮助学生分析和改进技术动作。

广告与营销

MIMO 可以用于广告和营销领域的创意视频制作，帮助品牌和企业快速生成高质量的动画角色视频，提升品牌形象和市场影响力。

医疗与康复

MIMO 可以用于医疗和康复领域的动作分析和训练，帮助医生和康复师更好地理解和指导患者的康复训练。例如，物理治疗师可以使用MIMO 生成患者的康复动作视频，帮助患者更好地完成康复训练。

相关官方链接

• 项目主页：MIMO 官方网站

• GitHub 仓库：MIMO GitHub

• 论文链接：MIMO 论文

总结

MIMO 是一种强大的通用视频合成模型，通过将2D视频编码为紧凑的空间代码，并考虑视频发生的固有3D特性，实现了对复杂动作和场景交互的支持。MIMO 支持多种用户输入方式，具有多输入支持、空间分解策略、3D感知合成、任意角色控制、新型3D动作控制和交互式场景控制等多重功能特色。MIMO 在多个数据集上的实验结果表明其在生成高质量动画角色视频方面具有显著的优势。未来，MIMO 有望在娱乐、游戏、影视制作、教育、广告、医疗等多个领域发挥重要作用，为用户提供更加丰富和高质量的视频内容。