主要技术贡献是通过将重新照明视为具有扩散渲染的图像空间后处理问题,将重新照明与头像建模分离。传统的可重新照明的化身通常依赖于显式的内在分解、分析反射模型和精确的几何配准,这使得面部表情和身体动画难以与真实的照明相结合。 D-Rex 放松了耦合如此富有表现力的化身可以在新颖的照明下渲染,而不需要在几何中明确表示每个光传输细节。
对于研究人员和制作团队来说,D-Rex 是迈向可控数字人类的下一步,可以制作动画、重新点亮并从不同角度观看。它连接了神经头像重建和基于扩散的图像合成,允许高质量的重新照明效果,同时保持强大的表达支持。该产品是一个研究框架,而不是交钥匙化身服务,但其方向与沉浸式通信、内容创建和合成人类数据集高度相关。

