关键功能

它选择被解释为局部机器人运动的离散语义动作单元。
动作符号无参数;实施例解释器提供度量幅度。
动作词汇在真实机器人实施例和模拟之间共享。
该项目展示了闭源前沿VLM的直接机器人控制。
开放式VLM可以通过相同的语义界面进行微调。
GUMI是一个用于收集机器人演示的图形操作界面。
演示的集合工作流程通过GUI使用键盘操作。
该项目链接公共代码、训练模型和演示数据。

VLM选择移动、旋转、抓握、释放或完成等动作。特定于实施例的解释器确定性地将每个符号转换为局部运动。相同的界面支持前沿VLM的零拍摄使用和较小的开放模型的轻量级适应,以实现更快的部署。


该项目可用于机器人控制研究和演示收集,而无需专门的远程操作硬件。其GUMI界面允许人类或GUI代理在录制训练对时通过键盘驱动机器人。发布链接代码、模型和数据集以重现该方法。

在您的网站添加此徽章,以获得更多点赞并登上搜索结果顶部!

嵌入按钮预览 - 浅色主题
嵌入按钮预览 - 深色主题

Subscribe to the AI Search Newsletter

Get top updates in AI to your inbox every weekend. It's free!