关键功能

用于灵活动画的解绑-重绑定框架
用于位置无关运动表示的姿态偏移编码器
来自文本提示和主体遮罩的双重指导
精确的控制和主体关联
对复杂多主体场景的鲁棒动画
在多主体动画任务上实现最先进的性能
在各种主体和空间布局上的泛化能力
用于进一步开发的开源代码和权重

CoDance 中的重绑定模块提供双重指导,它利用文本提示中的语义特征和主体遮罩中的空间特征,来引导学习到的运动到目标角色。这确保了精确的控制和主体关联性,使得能够为具有多个主体和多样化角色类型的复杂场景生成动画。该模型在动画数据集和多样化的文本到视频数据集的组合上进行训练,两者交替进行以增强其语义理解能力。


CoDance 在多主体动画任务上实现了最先进的性能,在各种主体和空间布局上表现出卓越的泛化能力。该模型可以为游戏、卡通和其他领域的角色制作动画,处理单主体和多主体,以及带有音乐的长视频。CoDance 的代码和权重将开源,使其可供研究人员和开发人员用于进一步改进和应用。

在您的网站添加此徽章,以获得更多点赞并登上搜索结果顶部!

嵌入按钮预览 - 浅色主题
嵌入按钮预览 - 深色主题

Subscribe to the AI Search Newsletter

Get top updates in AI to your inbox every weekend. It's free!