该系统基于 300 小时的精选视频内容和基于文本的视频序列进行训练，以丰富其表达能力和多角色互动。MoCha 在涉及多个角色的场景中表现出色，因为它允许用户一次性定义每个角色，并重复使用标签，以便在不同场景中保持一致的记忆，而无需重复详细描述。此功能简化了复杂叙事和互动场景的动画创作流程。此外，MoCha 的设计解决了与视频压缩和音频分辨率相关的挑战，在并行视频生成过程中保持完整的音频质量，从而避免口型同步不匹配并增强视觉真实感。
MoCha 代表了 AI 驱动角色动画领域的重大飞跃，为内容创作者、游戏开发者和电影制作人提供了一个强大的工具，帮助他们高效地制作逼真的动画视频。它能够通过简单的文本输入生成同步的语音和自然的肢体动作，为虚拟助手、数字叙事和互动娱乐开辟了新的可能性。虽然该系统目前专注于上半身和面部动画，但正在进行的研究旨在进一步扩展其功能。 MoCha 将音频、文本和视觉提示整合到一个统一的注意力框架中，为逼真且富有表现力的角色动画树立了新的标准。
主要功能包括：
- 全身角色动画，语音、手势和唇部动作同步
- 视听窗口注意力机制，可实现精确的唇部同步和平滑过渡
- 在大量精选视频和基于文本的序列上进行训练，以实现丰富的表现力
- 支持多角色场景，并具有可重复使用的角色标签，以实现一致的回忆
- 在视频压缩过程中保持完整的音频分辨率，以避免唇部同步错误
- 根据文本描述生成逼真的上半身和面部动画
- 能够高效地为各种应用创建逼真的动画视频
