Dobb-E 框架由几个关键组件组成，它们共同促进这一学习过程。该系统的核心是一种称为“The Stick”的硬件工具，它是一种简单且符合人体工程学的设备，用于收集用户的演示。该工具使用价格实惠的材料构建，包括伸手抓取棒、3D 打印部件和 iPhone。 Stick 可让用户自然地执行任务，同时录制机器人随后可以分析的视频数据。
为了支持学习过程，Dobb-E 使用了一个名为“纽约之家”（HoNY）的数据集，其中包括从纽约市各个家庭收集的超过 150 万个 RGB-D 帧。这个庞大的数据集捕捉了现实世界的互动，并为训练机器人提供了必要的数据。该数据集不仅包含视觉信息，还包括动作注释，可帮助机器人了解如何复制特定任务。
Dobb-E 功能的核心是一个预训练的基础视觉模型，称为家庭预训练表示（HPR）。该模型基于自监督学习技术，使机器人能够在不同环境中推广其知识。仅需五分钟的演示数据和额外 15 分钟的微调，Dobb-E 便可以在陌生环境中完成新任务，平均成功率高达 81%。
Dobb-E 已在真实家庭环境中进行了广泛测试，证明了其学习和适应各种家务的能力，例如开门、开灯和整理物品。该系统的成功凸显了其在家庭环境中实际应用的潜力，机器人可以协助用户完成日常家务，提高用户的整体便利性。
Dobb-E 的用户界面设计简单明了，用户可以轻松完成设置和培训过程。此外，Dobb-E 的所有组件（包括软件堆栈、模型和硬件设计）都是开源的，这鼓励了机器人研究社区内的协作和进一步开发。
主要特点：
- 快速学习能力：机器人可以在大约五分钟的演示和十五分钟的微调中学习新任务。
- 符合人体工程学的数据收集工具：The Stick 允许用户在记录必要数据的同时舒适地演示任务。
- 广泛的数据集：纽约之家 (HoNY) 为训练提供了丰富的现实世界交互数据来源。
- 预训练视觉模型：家庭预训练表示 (HPR) 能够在不同环境中实现有效的泛化。
- 开源框架：所有组件均可供公众使用，促进协作和家用机器人的进一步发展。
总体而言， Dobb-E 是一款多功能解决方案，可用于开发能够高效执行各种任务的家用机器人。通过将用户友好的设计与先进的机器学习技术相结合，它为日常生活中更智能、适应性更强的机器人助手铺平了道路。