训练管道使用由虚幻引擎数据、游戏片段和真实视频构建的可扩展数据引擎。相机估计、数据过滤和策划分布有助于模型学习跨多种场景类型的世界动态和可控行为。 DreamX-World 是逐步训练的:首先学习世界动态和细粒度动作控制,然后学习开放式事件响应,最后通过强化学习、强迫和蒸馏来提高动作跟随和视觉保真度。
DreamX-World 对于具体代理、类似游戏的世界模拟、自主导航研究、交互式故事讲述和合成环境生成非常有用。其关键的产品价值是可控性:用户可以在生成的环境中移动,并通过明确的操作或事件提示来改变它们。该项目链接到代码,因此此列表将其视为免费的开源世界模型版本。

