寻找最新最佳的3D人工智能。浏览最全面的AI数据库,每日持续更新。
最新
Atlas 是 World Labs 的全方位世界模型,用于创建、重建和模拟空间环境。它结合了文本、图像、视频和 3D 上下文来生成视图和世界表征,支持创意场景开发以及对物理环境和体现智能的研究。
该模型是一个从头开始预训练的多模态自回归扩散 Transformer。输入被组织到一个共享的空间环境中,该环境以 3D 位置的观察为基
UniMate 从已装配的 3D 资产和跨不同骨骼结构的文本提示生成铰接运动。它的目标是使用一个模型为人类、动物和铰接式物体制作动画,从而减少对特定类别模板、参考运动或每个新骨骼重新训练的依赖。
拓扑感知扩散变压器对关节关系、图形距离、光谱位置和静止姿势骨架进行编码。训练使用 UniML3D,这是 13,006 个文本配对运动序列
稀疏 3D 运动是一种人形控制研究系统,用于穿越薄而高的结构。它演示了跳跃到猴栏上、在猴栏之间移动以及着陆,使用头戴式激光雷达来感知几何形状,这对于传统的密集地形表示来说是困难的。
基于注意力的编码器和循环记忆处理原始激光雷达返回。分阶段安排的师生管道将单独的跳跃、分叉和着陆专家结合成一个有洞察力的策略。硬件传输包括传感器噪声和执
WorldSculpt 将复杂场景重建为可以单独编辑的完整对象网格的集合。它针对包含数百个对象的密集杂乱环境,使用多个 RGB 观察以及实例蒙版和 3D 框来保留场景结构,同时完成遮挡的几何图形。
该框架采用 Pixal3D 单对象先验和基于空间的多视图调节。 DINOv3 特征被投影到每个对象规范体素网格中并跨视图融合。生成的对
WorldClaw是腾讯混元推出的一款代理3D开放世界生成项目。它探讨了 AI 代理如何在大型交互式 3D 环境中创建、编辑和操作,而不是仅生成孤立的资产。
该系统将语言驱动的规划与 3D 世界构建和交互联系起来。其研究方向结合了场景生成、资产创建、空间推理和代理控制,以便可以大规模构建世界,然后将其用作可执行环境。
GeoWeaver 是一个长序列 3D 重建框架,用于将 RGB 视频转换为全局一致的摄像机和点云。它解决了无法联合处理长序列时出现的尺度漂移、姿态错误和块未对齐问题。
几何先验模型预测块深度、置信度和相机参数,然后分层测试时间适应执行顺序初始化、全局 Sim(3) 对齐和从粗到细的细化。密集对应和强大的 CDF 式目标共同优化加
ARDY 是 NVIDIA 和 ETH Zurich 推出的交互式人体动作生成系统,可实时生成逼真的 3D 动作。该项目面向游戏动画、仿真和类人机器人等应用场景,在这些场景中,用户既需要快速响应,也需要对长动作序列进行精细控制。
该方法结合了自回归扩散模型和一种混合动作表示,将显式根部运动与紧凑的潜在身体嵌入分离。一个双阶段 Tr
GNM,即 Google 的 Generative aNthropometric Model and Ecosystem,是一个面向参数化人体模型及相关感知技术栈的开放生态。该仓库首先发布的是 GNM Head,这是一个高保真的统计 3D 人头与人脸几何模型,面向计算机视觉、图形学、生成式 AI 和数字人研究。
GNM Head
LUNA 是一种无需 LBS 的通用神经动画模型,可从少量身份图像和多样化 2D 驱动信号中创建逼真、可动画化的 3D 人体头像。它将图像、关键点、草图和未见角色输入映射为 3D 高斯表示的形变,而无需显式人体拟合。
该系统首先从四张未摆姿态的多视角身份图像中重建规范 3D 高斯。随后,基于 Transformer 的隐式神经动画
PhysiFormer 是一种用于生成物理合理 3D 物体运动的扩散 Transformer。给定每个顶点的初始位置、速度以及物体材料类型,它会在世界坐标中采样完整时域的顶点轨迹,使模型能够在不依赖视角相关像素空间的情况下推理刚体、弹性体和混合材料的交互。
该模型将轨迹预测表述为网格坐标上的去噪扩散过程。跨时间、空间和物体的因式分
Lift4D 是一种测试时优化框架,用于从单目野外视频中重建完整的动态 4D 物体。它旨在恢复几何、外观和形变,包括相机从未直接观测到的区域。
该方法会调整单视图 3D 重建模型,通过因果潜变量条件生成时间一致的逐帧 3D 预测。这些预测用于初始化可变形的 3D Gaussian Splatting 表示,随后再通过感知遮挡的外观
Arbor 3D 是一种使用显式几何条件控制的 3D 资产生成方法。它引入约束网格作为原生控制接口,用于告诉文本条件 3D 生成器几何体应出现在哪里、哪些区域应保持为空,以及应接触哪些表面。
该方法在保持文本条件生成器和几何编码器冻结的同时,训练几何投影、位置嵌入、摘要模块和 grounding 适配器。Hull、avoidanc
OmniDirector 是一个相机运动克隆系统,用于对参考视频中的源图像进行动画处理,包括多镜头相机运动,无需交叉配对训练数据。它的目标是动态摄像机运动、多镜头过渡、场景概括和特殊摄像机技术。
该方法通过根据空 3D 空间中的参考摄像机姿势渲染的摄像机网格来表示摄像机运动。在训练期间,该相机网格与其他控件一起注入到 MMDiT
LOGOS,科学生成对象语言,是一个建立在统一科学语法之上的多领域科学生成框架。它将蛋白质、抗体、小分子、反应、材料和空间相互作用编码为共享词汇中的标记序列。
与使用自然语言作为中介或需要显式 3D 几何网络的系统不同,LOGOS 在域本机表示上运行。诸如蛋白质口袋-配体接触之类的空间关系被离散化和标记化,因此一种自回归模型可以
MeshFlow 是一种高效的艺术化网格生成方法,将 MeshVAE 与基于流的扩散 Transformer 结合起来。它在连续潜空间中生成显式网格几何和连接关系,而不是通过自回归方式逐个解码离散面片 token。
该方法先将网格压缩为紧凑的连续潜变量,再通过流匹配并行生成。页面强调约一秒生成速度、相较于自回归风格网格生成约 18
MoVerse 是一种实时视频世界建模方法,可从单张窄视场图像构建可导航的 3D 世界。它将世界构建与观察渲染分离,使可复用的全景高斯骨架能够支持交互式视频漫游。
该流程先把输入图像扩展为重力对齐的 360 度全景图,再将其提升为 3D 高斯骨架,随后沿用户控制的相机轨迹渲染逼真的视频。项目页面报告在单张 RTX 4090 上可实
AnchorWorld 是一个具身第一人称世界模拟框架,支持基于视图的演化定制。它利用人体动作控制和与姿态关联的锚点视图,让智能体或玩家能够以第一人称视角探索定制化世界。
每个锚点视图都提供 RGB 图像、用于空间定位的 3D 姿态,以及说明场景应如何变化的演化提示。该方法结合了混合视角的人体动作控制、可演化的锚点视图定制和渐进式
VideoMDM 是一个基于扩散的框架,可在 2D 监督下生成 3D 人体动作。它直接从单目视频中提取的精确 2D 姿态学习 3D 人体动作先验,从而避免训练时依赖真实 3D 动作捕捉真值。
该方法使用预训练的 2D 到 3D 提升器作为带噪教师,对提升结果进行扩散,并通过 2D 重投影损失监督去噪。页面介绍了深度加权重投影、速度
Actionable World Representation 通过 WorldString 展示,是一种用于构建物理对象神经数字孪生的方法。它从关键点条件 3D 建模中学习 token 分配和误差图,使对象几何能够真正用于机器人和仿真场景中的操作。
该项目面向关节式、蒙皮式、柔性、可变形以及机器人对象,页面展示了机器人手、SMP