关键功能

统一的图像和视频重光照框架
用于物理上合理的光照控制的 RGB 空间几何反馈
用于有效监督的路径一致性学习
精细的重光照控制和监督
结构化的六维标注协议
用于评估重光照精度的 LumosBench 基准测试
支持定制化视频生成
具有改进物理一致性的最先进重光照质量

UniLumos 旨在解决现有视频重光照模型的局限性,这些模型由于视觉空间中缺乏物理正确性,通常会产生不切实际的结果。通过使用从输出中提取的深度图和法线图来监督模型,UniLumos 将光照效果与场景结构明确对齐,增强了物理合理性。该框架还采用了路径一致性学习,即使在少步训练方案下也能保持有效的监督。这种方法使 UniLumos 能够在物理一致性显著提高的情况下,实现最先进的重光照质量。


Lumos-Custom 还引入了 LumosBench,这是一个针对注解放案中定义的六个核心光照属性的结构化基准测试。该基准测试从两个关键角度评估视频重光照模型的性能:与用户提示的定性对齐和物理光照属性的定量测量。该基准测试能够对各个维度的重光照精度进行自动且可解释的评估,从而全面评估该框架的性能。该项目还提供了一套工具和脚本,便于安装和使用,使其可供研究人员和开发人员使用。

在您的网站添加此徽章,以获得更多点赞并登上搜索结果顶部!

嵌入按钮预览 - 浅色主题
嵌入按钮预览 - 深色主题

Subscribe to the AI Search Newsletter

Get top updates in AI to your inbox every weekend. It's free!