SAM 3D Objects 代表了一种新的方法,用于处理来自单个自然图像的鲁棒、视觉基础的 3D 重建和物体姿态估计。该模型可以从日常图像中重建详细的 3D 形状、纹理和布局,使得在重建的 3D 场景中精确操作单个物体变得容易。SAM 3D Objects 的性能显著优于现有方法,在新类别的图像上具有良好的泛化能力,并支持密集场景重建。在直接的人类偏好测试中,它相对于其他领先模型的胜率至少达到 5:1。
SAM 3D Body 解决了从单张图像准确估计 3D 人体姿态和形状的需求——即使在涉及不寻常姿势、图像被遮挡部分或多人的复杂情况下也是如此。该模型通过利用大规模、高质量的数据和强大的训练策略,提供了准确且鲁棒的 3D 人体姿态和形状估计。SAM 3D Body 在准确性和鲁棒性方面实现了显著提升,在多个 3D 基准测试中优于以往的模型。随着本次发布,我们还根据宽松的商业许可共享了 MHR,即支持 Meta 的 Codec Avatars 等技术的参数化人体模型。

