Step1X-3D 方法采用混合 VAE-DiT 几何生成器和基于 SD-XL 的纹理合成模块。几何生成器生成截断有符号距离函数 (TSDF) 表示,随后通过行进立方体对其进行网格划分。纹理合成模块根据生成的几何图形和输入图像进行调整,以生成视图一致的纹理,然后将其烘焙到网格上。这种集成方法旨在通过同时解决数据质量、几何精度和纹理保真度方面的关键挑战来推动该领域的发展。
Step1X-3D 在 3D 生成方面已达到顶尖水平,超越了现有的开源方法,并凭借专有解决方案实现了具有竞争力的质量。该框架通过支持将 2D 控制技术直接迁移到 3D 合成,独特地连接了 2D 和 3D 生成范式。通过同时提高数据质量、算法保真度和可重复性,Step1X-3D 旨在为可控 3D 资产生成的开放研究树立新的标准。该框架已在各种数据集上进行了测试,并证明了其生成高质量 3D 资产的能力。