TaoAvatar 的核心是先进的 3D 高斯分布 (3DGS) 技术，该技术能够在保持较低计算开销的同时，创建细节丰富、动作自然的虚拟人物。该流程始于一个个性化的着装人体模板，然后使用基于 StyleUnet 的网络捕捉复杂的、与姿势相关的变形和高频外观细节。这些细节被提炼成一个基于 MLP 的轻量级模型，使虚拟人物即使在移动硬件上也能高效地以高达每秒 90 帧的速度进行实时渲染。该系统还结合了混合形状技术，以增强对表情和肢体动作的精细控制，确保虚拟人物能够自然地响应音频和视觉提示。
TaoAvatar 以其灵活性和可扩展性而著称，支持交互式演示，并与语音和手势控制流程集成。虚拟人物由同步语音、面部表情和手势的模型动态驱动，从而生成具有情感表达能力和反应能力的数字人类。该框架由 TalkBody4D 数据集支持，该数据集提供用于训练和评估的高分辨率多视图序列。 TaoAvatar 性能强劲、资源要求低，能够实时呈现逼真的虚拟形象，正在为 AR 及其他领域的数字人技术树立新的标准。
主要功能包括：
- 逼真、拓扑一致的 3D 全身虚拟形象
- 在移动设备和 AR 设备上以高达 90 FPS 的速度实时渲染
- 先进的 3D 高斯分布技术，可实现细致、高效的虚拟形象创建
- 基于 MLP 的轻量级模型，可实现移动性能
- 混合形状以增强表情和运动控制
- 具有同步语音、表情和手势的交互式演示
- 由全面的 TalkBody4D 多视图数据集提供支持
