关键功能

在推理时将源视频的动作迁移到目标主体。
不依赖骨架模板,因此可实现跨物种和跨拓扑迁移。
使用稠密点轨迹作为与拓扑无关的运动流。
构建在冻结的 WAN 文生视频扩散 Transformer 之上。
使用 Grounded SAM-2、点跟踪和扩散特征匹配来对齐源主体与目标主体。
引入 TransPE,将位置编码迁移到去噪器的注意力路径中。
针对新目标主体无需额外训练。
在动物和人体动作迁移基准上报告了强劲结果。

该方法建立在冻结的 WAN 文生视频扩散 Transformer 之上。它使用 Grounded SAM-2 采样源锚点并跟踪其轨迹,再通过扩散特征将其与目标主体匹配,并通过 TransPE 将重定向后的运动流注入模型。TransPE 是一种位置编码迁移机制,可在不训练新权重的情况下重连注意力。


Motion4Motion 适合需要跨物种或跨形态动画的研究人员、动画师和生成视频开发者,无需手工定义绑定骨架。项目报告了在动物和人体动作迁移基准上的强劲结果,并展示了通过基于流的注意力操控将人的步态迁移到桌子等应用。

在您的网站添加此徽章,以获得更多点赞并登上搜索结果顶部!

嵌入按钮预览 - 浅色主题
嵌入按钮预览 - 深色主题

Subscribe to the AI Search Newsletter

Get top updates in AI to your inbox every weekend. It's free!