脑电波是物理人工智能的下一个解锁点吗？

物理人工智能的前沿是加利福尼亚州圣莱安德罗仓库中的叠叠乐游戏。

该仓库由Encord占用，这是一家构建用于训练人工智能模型的数据工具的公司。安德鲁·塞贾 (Andrew Ceja) 是一名飞行员（该公司对其机器人训练员的称呼），他正小心翼翼地从摇摇欲坠的塔上拉出木块，同时戴着带有摄像头的耳机，可以跟踪他所看到的情况。仅此一点对于收集机器人训练数据来说就相当常见，但这款耳机包含传感器，可以在他小心地拆卸积木塔时测量他的脑电波。

Encord是少数但不断增长的初创公司之一，它们押注人形机器人和仓库机器人的下一个真正限制将不是模型架构，而是现实世界物理训练数据的严重缺乏。 Encord不仅帮助机器人公司管理他们拥有的数据，还围绕制造他们没有的数据建立业务。

Ceja佩戴的脑电波耳机是由Zander Labs制造的，Zander Labs是一家德国神经科学初创公司，该公司致力于通过测量大脑活动来推断错误、意图和惊讶等心理状态，从而创建更有用的数据集来训练模型。 Encord与Zander的合作目前正在进行试运行； Encord表示，目标是构建一个初始脑电波标记数据集，通过客户机器人模型运行它，并在决定是否扩大规模之前评估它是否确实提高了性能。

监督这项工作的Zander神经科学家卢卡斯·格尔克 (Lukas Gehrke) 表示，在给定任务期间任何时刻使用的大脑活动量为模型构建者提供了线索，帮助他们确定何时需要部署最努力的模型。

Encord机器人学习主管Vineeth Velmurugan表示，这是解决机器人数据瓶颈的“前沿”技术。 Velmurugan是OpenAI机器人实验室和仓库自动化公司Berkshire Grey的资深人士，他加入Encord建立了公司的内部数据创建团队。

Encord的成立是为了帮助构建机器视觉应用程序的公司注释数据和评估模型。 Velmurugan表示，他们的客户与许多领先的机器人公司合作，但他无权透露这些公司的名称。随着他们的客户开始将端到端学习应用于机器人操作任务，高管们意识到他们必须自己生成训练数据，而不是简单地管理数据。 “这些数据根本不存在，”维尔穆鲁甘说。

押注生成式人工智能可以为机器人做的事情就像为聊天机器人做的事情一样，但仍然遇到了同样的困难。自动驾驶汽车公司自己收集物理世界的数据，但这很难扩展。通过视频进行训练是可行的，但它缺乏真实世界数据的保真度。 Velmurugan表示，需要大约是YouTube视频语料库大小五倍的数据集才能取得突破——这一规模有助于解释为什么数据生成本身已成为一项业务，而不仅仅是一个研究问题。

满足您以自我为中心的数据需求

制造机器人大脑的公司现在转向两个主要来源：由戴着摄像头的工人收集的“以自我为中心”的视频，通常会通过额外的摄像角度和其他指标进行增强，以及来自远程操作的机器人的数据。 Encord做到了这两点，从全球多家工厂提取以自我为中心的数据，并利用其圣莱安德罗设施来试验新模式，例如脑电波，或收集围绕特定技能的数据集以进行微调。

当TechCrunch访问时，飞行员正在使用领导者-跟随者装备——成对的机械臂，其中一个由人类操作员直接控制，另一个模仿其动作——来创建有关任务的数据，例如将咖啡从壶中倒入杯子（非常粘稠）和堆叠扑克筹码等任务。 “每个人形公司都向我们索要这些部件，”维尔穆鲁甘说。

储物架上放着一箱盒装在花瓶里的假花、书籍、塑料蔬菜、猫砂托盘、勺子、袋子和成捆的电线——这些都是训练机械手做家务的库存。

在其中一个站点，另一名飞行员索菲亚·因凡特 (Sofia Infante) 操纵机械臂从服务器后部插拔以太网电缆——数据中心操作员希望这种工作能够实现自动化，只要机器人能够以所需的精度操作它们即可。在控制器后面旋转一下，我就能明白为什么这仍然遥不可及：钳子远不如人类的手指灵巧，而且缺乏我们认为手臂理所当然的自由度。

Encord正在开发的另一种新数据模式使用一组绑在前臂上的传感器来检测肌肉中的电信号。人手操作物体的视频通常不会捕捉到整只手，但Velmurugan希望据手臂传感器随时构建手部位置的3D描述，从而为模型提供更可靠的理解。

Encord的数据集标注了每个视频所包含内容的物理描述（“右手拧紧螺栓”），以帮助基于LLM的模型理解正在发生的情况。 Velmurugan估计，这种密集注释的价值是用于训练特定任务的“垃圾自我数据”的100倍，而且其生产成本仅为20倍，从纸面上看，这是一笔不错的交易。

但“20倍以上”仍然是真钱，这就是问题所在：从互联网上抓取文本，LLM制作者通过从Stack Overflow和网络的其他部分提取文本来构建模型，这对前沿实验室几乎没有任何成本。生成体能训练数据则不然，这就是体能与人工智能法学硕士比较的局限性。此类数据必须被制造出来，而不仅仅是收集，这改变了构建这些模型的经济性。

Velmurugan表示，进展正在取得——凭借Encord对整个行业项目的可视性，他能够看到初创公司和前沿实验室等找出哪些有效、哪些无效，可以改进物理人工智能模型。这个有利位置——同时位于许多机器人公司之间——也是Encord宣传的一部分。它可以在任何单个客户之前发现哪些数据技术在整个行业中受到关注。

这将使Encord工厂的十几名飞行员忙碌起来。 Infante和Ceja都是开发神经网络构建模块的新兴劳动力的一部分。在加入Encord之前，他们曾在另一家人工智能数据注释公司Scale工作。

塞贾曾在一家废物管理公司工作，他对技术的兴趣使他负责保持机器人垃圾分类器处于良好的工作状态。现在，随着叠叠乐塔倒塌，他说他很享受解决机器人训练任务的挑战——“每天都有新东西！”