为了完善视频扩散模型以生成高保真全景视频,HoloTime 推出了 360World 数据集,这是首个适用于下游 4D 场景重建任务的全面全景视频集合。基于这个精选数据集,HoloTime 提出了 Panoramic Animator,这是一个两阶段的图像到视频扩散模型,可以将全景图像转换为高质量的全景视频。随后,HoloTime 提出了全景时空重建技术,利用时空深度估计方法将生成的全景视频转换为四维点云。
HoloTime 的方法已通过与现有方法的对比分析得到验证,揭示了其在全景视频生成和四维场景重建方面的优势。这表明 HoloTime 能够创建更具吸引力和真实感的沉浸式环境,从而提升 VR 和 AR 应用的用户体验。HoloTime 的框架可用于生成高质量的全景视频和四维场景,为用户带来完全沉浸式的体验。