关键功能

使用结构化 3D 物理运动奖励评估人类视频生成。
从生成的视频中恢复 SMPL 身体网格以进行 3D 运动分析。
将恢复的运动重新定位到 MuJoCo 物理模拟器中的人形机器人上。
对运动合理性、接触和平衡以及动态可行性进行评分。
为诊断运动故障提供可解释的奖励组件。
支持基于强化学习的人类视频生成器的后期训练。
将生成的运动质量与物理可行性相关联,而不仅仅是 2D 外观。
针对生成的视频和具体模拟中真实的人体运动。

该方法从生成的视频中恢复 SMPL 身体网格,将它们重新定位到 MuJoCo 物理模拟器内的人形物体上,并沿可解释的轴对运动进行评分。这些包括运动学合理性、接触和平衡一致性以及动态可行性。由于每个组件都是连续的并且与特定的物理属性相关联,因此奖励可以诊断运动的哪一部分是错误的,而不是仅返回模糊的视觉分数。


PhyMotion 对于使用强化学习或后训练来改进人类视频模型的研究人员很有用。它可以帮助将生成的运动与人类的判断保持一致,减少物理伪影,并引导模型实现更可信的全身动作。该项目最好理解为视频生成的奖励和评估框架,而不是一般的消费者动画编辑器。

在您的网站添加此徽章,以获得更多点赞并登上搜索结果顶部!

嵌入按钮预览 - 浅色主题
嵌入按钮预览 - 深色主题

Subscribe to the AI Search Newsletter

Get top updates in AI to your inbox every weekend. It's free!