HoloPart 的核心是一个基于 TripoSG 的新型扩散生成模型,该模型已在大规模 3D 数据集上进行了广泛的预训练,并针对部分-整体理解进行了微调。分割过程首先使用 SAMPart3D 等先进方法提取与不同部件对应的初始(通常不完整)表面碎片。然后,HoloPart 应用双重注意力机制:局部注意力机制捕捉每个部件的精细几何细节,而上下文感知注意力机制则确保完成的部件与整体物体结构保持一致。即使在复杂或遮挡严重的场景下,HoloPart 也能智能地重建缺失的几何形状,生成与原始模型一致的高保真完整部件。
HoloPart 的功能为 3D 内容创作者开辟了一系列强大的应用。通过生成完整的可编辑部件,用户可以直观地选择、缩放、移动或替换单个组件,精确分配材质或纹理,并为动画或绑定准备素材。该技术还支持强大的几何处理,例如重新网格划分和几何超分辨率,并为未来在部件级别运行的生成模型奠定基础。 HoloPart 已在新的基准测试中得到评估,其表现始终优于现有的形状补全方法,使其成为任何在设计、动画或虚拟制作领域使用 3D 模型的人员的重要工具。
主要功能包括:
- 执行 3D 部件非模态分割,即使对于遮挡部件也能推断出完整的几何形状
- 基于扩散的生成模型构建,并具有双重注意机制
- 支持直观的编辑和可用于动画的资源创建
- 实现精确的材质分配和强大的几何处理
- 开源,提供预训练模型和交互式演示
- 在新的 3D 部件补全基准测试中表现优于最先进的方法