Ultra3D 的核心是 Part Attention,这是一种几何感知的局部注意力机制,它将注意力计算限制在语义一致的部分区域内。这种设计在保持结构连续性的同时,避免了不必要的全局注意力,使潜在生成速度提升高达 6.7 倍。为了支持这一机制,Ultra3D 构建了一个可扩展的部件标注流水线,将原始网格转换为带部件标注的稀疏体素。
Ultra3D 是一个两阶段框架,首先通过 VecSet 生成稀疏体素布局,然后通过生成每个体素的潜在特征对其进行细化。当输入条件为图像时,每个部件组仅与其体素标记所投影到的图像标记执行交叉注意。这种方法能够生成具有精细几何细节的高质量 3D 网格,使其适用于计算机辅助设计、视频游戏和虚拟现实等各种应用。