该框架包含一个变分自编码器 (VAE),可在输入、潜在和输出阶段保持一致的稀疏体积格式。这种统一的设计显著提高了训练效率和稳定性。Direct3D-S2 基于公开数据集进行训练,在生成质量和效率方面超越了最先进的方法。它仅需 8 个 GPU 即可实现 1024³ 分辨率的训练,使千兆级 3D 生成变得切实可行且易于上手。
Direct3D-S2 在计算机视觉、图形和机器人技术领域有着广泛的应用。它能够使用体积表示生成高分辨率 3D 形状,使其成为建筑、产品设计和视频制作等各行各业的宝贵工具。该模型的效率和可扩展性也使其非常适合用于实时应用,例如 3D 重建和跟踪。