CoDance 中的重绑定模块提供双重指导,它利用文本提示中的语义特征和主体遮罩中的空间特征,来引导学习到的运动到目标角色。这确保了精确的控制和主体关联性,使得能够为具有多个主体和多样化角色类型的复杂场景生成动画。该模型在动画数据集和多样化的文本到视频数据集的组合上进行训练,两者交替进行以增强其语义理解能力。
CoDance 在多主体动画任务上实现了最先进的性能,在各种主体和空间布局上表现出卓越的泛化能力。该模型可以为游戏、卡通和其他领域的角色制作动画,处理单主体和多主体,以及带有音乐的长视频。CoDance 的代码和权重将开源,使其可供研究人员和开发人员用于进一步改进和应用。

