关键功能

将不同的摄像机运动从参考视频克隆为动画源图像。
支持单次和多次相机运动传输。
使用从渲染的相机姿势派生的相机网格表示。
将相机网格与其他控制信号一起注入 MMDiT。
使用提示扩展代理来集成多模态控制信号。
处理动态运动、场景概括和特殊摄像机运动。
展示多镜头视频中的连贯过渡和镜头关系。
提供论文、公共代码链接和许多直接演示视频。

该方法通过根据空 3D 空间中的参考摄像机姿势渲染的摄像机网格来表示摄像机运动。在训练期间,该相机网格与其他控件一起注入到 MMDiT 中,而分层提示扩展代理则在推理时集成多模态信号。


OmniDirector 对于需要复制电影摄像机语言而不仅仅是对象运动的视频生成工作流程非常有用。它可以重现空中飞越、下降、移动变焦、子弹时间效果和类似镜头扭曲的相机行为,同时保留生成的内容。

在您的网站添加此徽章,以获得更多点赞并登上搜索结果顶部!

嵌入按钮预览 - 浅色主题
嵌入按钮预览 - 深色主题

Subscribe to the AI Search Newsletter

Get top updates in AI to your inbox every weekend. It's free!