关键功能

在单目 2D 姿态监督下训练 3D 人体动作生成。
训练时使用预训练的 2D 到 3D 提升器作为带噪教师。
在 3D 空间中进行扩散去噪,同时用 2D 重投影进行监督。
使用与 3D 监督具有理论联系的深度加权重投影损失。
将速度和表示对齐正则项适配到 2D 监督训练。
在 HumanML3D、Fit3D 和 NBA 风格真实视频数据上报告了强结果。
提供论文、代码、补充材料和项目示例。
包含托管在项目页面上的主视觉演示视频。

该方法使用预训练的 2D 到 3D 提升器作为带噪教师,对提升结果进行扩散,并通过 2D 重投影损失监督去噪。页面介绍了深度加权重投影、速度一致性和表示对齐,这些都是将标准 3D 动作正则化迁移到纯 2D 设置的做法。


VideoMDM 适合动作生成研究者,因为单目视频比高质量 3D 动作捕捉更容易采集。项目公开了论文、代码仓库、补充材料和展示生成动作示例的主视频。

在您的网站添加此徽章,以获得更多点赞并登上搜索结果顶部!

嵌入按钮预览 - 浅色主题
嵌入按钮预览 - 深色主题

Subscribe to the AI Search Newsletter

Get top updates in AI to your inbox every weekend. It's free!