为解决此问题，VideoFrom3D 提出了一种生成框架，它利用了图像和视频扩散模型的互补优势。具体来说，该框架由稀疏锚点视图生成 (SAG) 模块和几何引导生成插帧 (GGI) 模块组成。SAG 模块利用稀疏外观引导采样，生成高质量、跨视图一致的锚点视图。在这些锚点视图的基础上，GGI 模块通过基于光流的相机控制和结构引导增强，利用视频扩散模型忠实地插值中间帧。
合成的视频序列显示出一致的、高质量的视觉效果，反映了输入的几何体和参考风格，包括像上升的蒸汽这样的具有挑战性的视觉元素。全面的实验表明，VideoFrom3D 在各种具有挑战性的场景下都能生成高质量、风格一致的场景视频，优于简单和扩展的基线。该框架在没有 3D 场景模型和自然图像配对数据集的情况下运行，而这种数据集极难获得。
