收集机器人训练数据是一项肮脏、乏味的工作。一些人工智能实验室已经支付XDOF来做这件事。

两周前，OpenAI表示将重新初创公司其于2021年关闭的机器人项目——这是最大的人工智能实验室正在竞相教授机器在现实世界中操作的最新信号。但构建有能力的机器人需要人工智能行业尚不具备的东西，即与语言模型所用数据相匹配的训练数据。

这种差距正在创造一种新型的基础设施业务。与接受海量公开文本训练的法学硕士不同，机器人需要捕捉物理交互的数据，而这种数据几乎不存在。 YouTube视频和零工工人拍摄的镜头保真度低，很难与现实世界相协调。

如今，XDOF（发音为“ecks-doff”）从隐秘中崛起，它押注人工智能的下一个重大瓶颈不是模型或芯片，而是教机器人如何与物理世界交互所需的数据反馈循环。

该初创公司旨在构建前沿实验室和机器人公司无法轻松自行构建的数据管道、收集工具和注释系统，并已从Thrive Capital、Spark Capital、a16z、Lux和WndrCo筹集了7000万美元来实现这一目标。联合创始人兼CEOPhilipp Wu表示，XDOF拥有约60名员工，已经与20个客户合作，其中包括几个前沿人工智能实验室，但无法透露具体名称。

“所有顶级实验室都在努力研究机器人技术，”吴说。 “我们已经看到了在语言模型竞赛中落后一点的一些缺点……你不希望陷入这种太晚追求这项技术的情况，而每个人都在这艘船上，物理人工智能是下一个前沿。”

吴本人在加州大学伯克利分校攻读博士学位时就遇到了这个问题。他的重点是使机器人能够从大规模数据集中学习技能。只有一个问题。

“我们没有大规模数据可供使用，”他告诉TechCrunch。 “这是先有鸡还是先有蛋的问题——我们首先需要实际收集数据，然后才能询问如何训练机器人基础模型。”

Wu和他未来的XDOF联合创始人兼CTOFred Shentu参与了一个名为GELLO的项目，这是一个低成本的远程操作系统，可以让人类操作员控制机械臂来生成训练数据。 “它最终成为机器人领域非常有影响力的论文，因为很多人都有类似的需求和瓶颈，许多人开始利用这种类型的设备进行数据收集，”吴说。

看到这个机会，吴、申屠和第三位联合创始人兼COONemo Jin于2024年10月推出了XDOF，为追求机器人模型的公司提供数据生态系统。考虑到仅提供数据可能是一个死胡同，该公司还专注于数据清理、工具和注释——为机器人训练员创建一个自我强化的反馈循环。

作为起点，该公司正在与加州大学伯克利分校的人工智能研究实验室合作，发布其认为是有史以来最大的高质量机器人训练数据集，称为ABC。它包括130,000条机器人操作轨迹数据、300小时的模拟和100小时的评估。学术界以前从未获得过这种规模化的预训练数据。

“我们在语言、图像生成和其他领域看到，当模型和数据发布时，社区会实现你不一定预期的事情，”帮助组织发布的伯克利博士生David McAllister告诉TechCrunch。

该团队已经使用这些数据来训练机器人执行基准任务，例如折叠T恤和压平盒子，或者将AirPods装入箱子中。

无限自由度

该公司计划跨数据金字塔的三层开展工作。最有价值的一层是在实际部署的机器人上收集的远程操作数据；接下来是收集更一般数据的遥控机器人，就像GELLO一样；最后是人类执行日常任务收集的“以自我为中心”的数据，XDOF计划为此构建自己的可穿戴传感器。

“你的相机选择将影响你的数据质量——这将影响你的手部追踪算法的执行方式，”吴说。 “如果你从一开始就没有很好地设计硬件，你收集的数据可能会出现你没有预料到的非常具体的问题。”

该公司计划在世界各地雇佣和培训远程操作员和以自我为中心的数据操作员大军——这种劳动密集型模式提出了一个明显的问题：为什么主要实验室不自己做这些数据生产工作？

“你需要一个数十万平方英尺的仓库和数百个机器人，”吴说。 “你需要维护这些机器人，校准它们的物理参数，并正确培训操作员。”

这是一个需要专注、资本和运营规模的扩建项目，大多数人工智能实验室宁愿外包——这正是XDOF所押注的市场。

XDOF这个名称源自机器人术语“自由度”，它描述了机器人可以执行的独立运动的数量。你的手臂，从肩膀到手腕，有七个自由度。人形机器人公司Figure AI的最新机器人有30个。该公司名称中的X体现了其雄心：“任意自由度，无限自由度，”吴说。