UniLumos 旨在解决现有视频重光照模型的局限性,这些模型由于视觉空间中缺乏物理正确性,通常会产生不切实际的结果。通过使用从输出中提取的深度图和法线图来监督模型,UniLumos 将光照效果与场景结构明确对齐,增强了物理合理性。该框架还采用了路径一致性学习,即使在少步训练方案下也能保持有效的监督。这种方法使 UniLumos 能够在物理一致性显著提高的情况下,实现最先进的重光照质量。
Lumos-Custom 还引入了 LumosBench,这是一个针对注解放案中定义的六个核心光照属性的结构化基准测试。该基准测试从两个关键角度评估视频重光照模型的性能:与用户提示的定性对齐和物理光照属性的定量测量。该基准测试能够对各个维度的重光照精度进行自动且可解释的评估,从而全面评估该框架的性能。该项目还提供了一套工具和脚本,便于安装和使用,使其可供研究人员和开发人员使用。

