该方法建立在冻结的 WAN 文生视频扩散 Transformer 之上。它使用 Grounded SAM-2 采样源锚点并跟踪其轨迹,再通过扩散特征将其与目标主体匹配,并通过 TransPE 将重定向后的运动流注入模型。TransPE 是一种位置编码迁移机制,可在不训练新权重的情况下重连注意力。
Motion4Motion 适合需要跨物种或跨形态动画的研究人员、动画师和生成视频开发者,无需手工定义绑定骨架。项目报告了在动物和人体动作迁移基准上的强劲结果,并展示了通过基于流的注意力操控将人的步态迁移到桌子等应用。

