FrankenMotion 模型是一个基于 Transformer 的扩散模型,其输入可以由序列级、动作级和部件级提示进行条件化。在与运动和结构化多粒度文本注释的配对数据上进行训练后,它学习了基本的运动元素以及如何将它们组合成复杂的运动。该模型在针对相同场景调整和重新训练的先前基线模型上表现更优,并且能够组合训练中未见过的运动。
弗兰肯斯坦数据集是提供 3D 人体运动分层、时间感知注释的最大型数据集,其特点是使用 FrankenAgent 自动生成的高质量、多样化的运动注释。该数据集捕获了序列级、动作级和部件级信息,使模型能够学习和生成具有空间和时间控制的复杂运动。消融研究强调了分层条件化的重要性,表明移除条件层会导致运动质量下降。

