OmniPart 的第一阶段涉及一个自回归结构规划模块,该模块生成一个可控、长度可变的 3D 零件边界框序列。该模块由灵活的 2D 零件蒙版引导,这些蒙版允许直观地控制零件分解,而无需直接对应关系或语义标签。第二阶段涉及一个空间调节的整流模型,该模型可在规划的布局内同时且一致地合成所有 3D 零件。该方法支持用户自定义部件粒度、精确定位,并支持多种下游应用。
OmniPart 可直接从单张输入图像生成高质量的部件感知 3D 内容,并自然支持一系列下游应用,包括动画、蒙版控制生成、多粒度生成、材质编辑和几何处理。该框架基于 TRELLIS 构建,TRELLIS 提供空间结构化的稀疏体素潜在空间,并利用基于整体对象预训练的大规模形状模型。大量实验表明,OmniPart 实现了卓越的性能,为实现更具解释性、可编辑性和多功能性的 3D 内容奠定了基础。