关键功能

生成可以探索和控制的交互式世界。
支持在生成的环境中导航的操作输入。
响应改变世界状态的事件提示。
使用虚幻引擎数据、游戏片段和真实视频进行训练。
使用相机估计和数据过滤来实现高质量的世界动态学习。
应用强化学习来提高行动跟踪和交互一致性。
使用强制和蒸馏来实现更有效的推理。
目标包括人工智能、模拟、游戏和交互式生成视频。

训练管道使用由虚幻引擎数据、游戏片段和真实视频构建的可扩展数据引擎。相机估计、数据过滤和策划分布有助于模型学习跨多种场景类型的世界动态和可控行为。 DreamX-World 是逐步训练的:首先学习世界动态和细粒度动作控制,然后学习开放式事件响应,最后通过强化学习、强迫和蒸馏来提高动作跟随和视觉保真度。


DreamX-World 对于具体代理、类似游戏的世界模拟、自主导航研究、交互式故事讲述和合成环境生成非常有用。其关键的产品价值是可控性:用户可以在生成的环境中移动,并通过明确的操作或事件提示来改变它们。该项目链接到代码,因此此列表将其视为免费的开源世界模型版本。

在您的网站添加此徽章,以获得更多点赞并登上搜索结果顶部!

嵌入按钮预览 - 浅色主题
嵌入按钮预览 - 深色主题

Subscribe to the AI Search Newsletter

Get top updates in AI to your inbox every weekend. It's free!