关键功能

部件级人体运动生成和组合
对单个身体部件的精细控制
全局语义一致性
分层弗兰肯斯坦数据集
原子化的、时间感知的部件级文本注释
基于 Transformer 的扩散模型
输入可由序列级、动作级和部件级提示进行条件化
组合训练中未见过的运动的能力

FrankenMotion 模型是一个基于 Transformer 的扩散模型,其输入可以由序列级、动作级和部件级提示进行条件化。在与运动和结构化多粒度文本注释的配对数据上进行训练后,它学习了基本的运动元素以及如何将它们组合成复杂的运动。该模型在针对相同场景调整和重新训练的先前基线模型上表现更优,并且能够组合训练中未见过的运动。


弗兰肯斯坦数据集是提供 3D 人体运动分层、时间感知注释的最大型数据集,其特点是使用 FrankenAgent 自动生成的高质量、多样化的运动注释。该数据集捕获了序列级、动作级和部件级信息,使模型能够学习和生成具有空间和时间控制的复杂运动。消融研究强调了分层条件化的重要性,表明移除条件层会导致运动质量下降。

在您的网站添加此徽章,以获得更多点赞并登上搜索结果顶部!

嵌入按钮预览 - 浅色主题
嵌入按钮预览 - 深色主题

Subscribe to the AI Search Newsletter

Get top updates in AI to your inbox every weekend. It's free!