该框架还包含一个复杂的 3D 数据合成流水线,可生成具有复杂几何结构和丰富表面细节的高质量合成数据集,以支持稳健的模型训练。大量实验表明,Hi3DGen 在几何保真度、表面细节丰富度以及与输入图像的一致性方面均优于最先进的图像转 3D 生成方法。针对业余用户和专业 3D 艺术家开展的用户研究证实,Hi3DGen 的输出无论是在 3D 打印等日常应用,还是在建模和设计等专业用途中都获得了高度评价。该模型在输入图像细节不足时能够生成平滑的表面,同时在更复杂的区域保持清晰度和准确性,展现了其多功能性和稳健性。
Hi3DGen 支持直接从照片快速创建高质量的 3D 资源,为游戏和电影制作、虚拟现实和增强现实、电子商务、3D 打印和文化遗产保护等各行各业开辟了新的可能性。用户可以与在线演示进行交互,上传图像、生成 3D 形状,并以不同格式导出网格以供进一步使用。尽管由于潜在扩散的生成性质而仍然存在一些限制,例如细节偶尔不一致,但正在进行的研究旨在提高重建级别的准确性。完整的代码库和训练脚本计划开源发布,以鼓励更广泛的采用和进一步创新从图像生成高保真 3D 几何体的技术。
主要功能包括:
- 两阶段法线桥接方法,用于稳定且清晰的法线贴图估计和详细的 3D 几何体生成
- 法线正则化潜在扩散学习,用于增强几何保真度
- 高质量合成 3D 数据合成管道,用于稳健的训练
- 在形状精度、细节丰富度和图像一致性方面优于最先进的方法
- 支持以多种格式导出网格以供下游应用程序使用
- 用户友好的在线演示,用于图像上传和 3D 资源生成
- 适用于游戏开发、VR/AR、电子商务、3D 打印和文化遗产