当人工智能开始自我构建时会发生什么？

Richard Socher长期以来一直是人工智能领域的重要人物，最出名的是创立了早期的聊天机器人初创公司You.com，以及在此之前他在ImageNet上的工作。现在，他加入了Recursive Superintelligence等新一代以研究为重点的人工智能初创公司，这家总部位于旧金山的初创公司于周三脱颖而出，获得了6.5亿美元的融资。

Socher与一批杰出的人工智能研究人员一起加入了这家新企业，其中包括Peter Norvig和Cresta联合创始人Tim Shi。他们正在共同努力创建一种递归自我改进的人工智能模型，该模型可以自主识别自身的弱点并重新设计自己来修复这些弱点，而无需人类参与——这是当代人工智能研究长期以来的圣杯。

发布后，我在Zoom上与他进行了交谈，深入探讨了Recursive独特的技术方法，以及为什么他不认为这个新项目是Neolab，这是新一代人工智能初创公司的非正式术语，它们优先考虑研究而不是构建产品。

为了篇幅和清晰度，本次采访经过编辑。

这些天我们听到了很多关于递归的内容！这感觉像是不同实验室的一个非常共同的目标。您认为您独特的方法是什么？

我们独特的方法是利用开放性来实现递归的自我完善，而这一点目前还没有人实现。对于很多人来说这是一个难以实现的目标。很多人已经认为当你进行自动研究时就会发生这种情况。你知道，你可以利用人工智能并要求它让其他事情变得更好，这可能是一个机器学习系统，或者只是你写的一封信，或者，你知道，无论它是什么，对吧？但这并不是递归的自我完善。这只是改进。

我们的主要重点是大规模构建真正递归的、自我改进的超级智能，这意味着研究想法的构思、实施和验证的整个过程将是自动的。

首先[它将自动化]人工智能研究想法，最终是任何类型的研究想法，甚至最终在物理领域。但当人工智能在自身上发挥作用时，它的力量就特别强大，并且它正在发展一种新的自我意识，认识到自己的缺点。

您使用了“开放式”一词——这有特定的技术含义吗？

确实如此。事实上，我们的联合创始人之一Tim Rocktäschel领导了Google DeepMind的开放性和自我完善团队，特别致力于世界模型Genie 3，这是开放性的一个很好的例子。你可以告诉它任何概念、任何世界、任何代理，它就会创造它，并且它是交互式的。

在生物进化中，动物适应环境，然后其他动物反适应这些适应。这只是一个可以进化数十亿年的过程，有趣的事情不断发生，对吗？这就是我们在[头脑]中发育出眼睛的方式。

另一个例子是彩虹团队，来自蒂姆的另一篇论文。你听说过红队吗？

在网络安全中，这意味着——

因此，红队也必须在法学硕士背景下完成。基本上，你试图让法学硕士告诉你如何制造炸弹，并且你想确保它不会这样做。

现在，人类可以长时间坐在那里，想出人工智能不应该说的话的有趣例子。但是，如果你用第二个人工智能测试第一个人工智能，而第二个人工智能现在的任务是让第一个人工智能[尝试]说出所有可能的坏话，结果会怎样。然后他们可以来回进行数百万次迭代。

你实际上可以让两个人工智能共同进化。一个人不断地攻击另一个人，然后提出的不仅仅是一个角度，而是许多不同的角度，因此就有了彩虹的比喻。然后你就可以接种第一个人工智能，你就会变得越来越安全。这是Tim Rocktaeschel的想法，现在已在所有主要实验室中使用。

你怎么知道什么时候完成？我想这件事从来没有完成过。

其中一些事情永远不会完成。你总是可以变得更聪明。你总是可以在编程和数学等方面做得更好。智力是有一定限度的；我现在实际上正在尝试将这些正式化，但它们是天文数字。我们距离这些限制还很远。

作为一个新实验室，感觉你应该做一些主要实验室没有做的事情。因此，这里的部分含义是，你认为主要实验室不会通过他们正在做的事情来达到RSI（递归自我改进）。这么说股权吗？

我无法真正评论他们正在做的事情，但我确实认为我们正在以不同的方式处理它。我们真正拥抱开放性的概念，我们的团队完全专注于这一愿景。过去十年来，该团队一直在研究这一领域并发表论文。该团队拥有真正推动该领域向前发展并交付实际产品的记录。要知道，Tim Shi将Cresta打造成了独角兽。 Josh Tobin是OpenAI的第一批人员之一，并最终领导了他们的Codex团队和深入研究团队。

实际上，有时我对这个neolab类别有点挣扎。我觉得我们不仅仅是一个实验室。我希望我们成为一家真正有活力的公司，真正拥有人们喜欢使用的令人惊叹的产品，对人类产生积极影响。

那么您计划何时发货您的第一个产品？

我想了很多。团队已经取得了如此大的进展，我们实际上可能会比最初假设的时间线拉长。但是，是的，会有产品出现，你将不得不等待几个季度，而不是几年。

围绕递归自我改进的想法之一是，一旦我们拥有这种系统，计算就成为唯一重要的资源。系统运行得越快，它改进的速度就越快，并且没有任何外部人类活动能够真正产生影响。因此，竞争就变成了，我们可以为此投入多少处理能力？你认为这就是我们正在走向的世界吗？

计算能力不容小觑。我认为未来一个真正重要的问题将是：人类想要花费多少计算来解决哪些问题？这是癌症，这是病毒——你想先解决哪一个？您想为其提供多少计算量？最终变成资源分配的问题。这将是世界上最大的问题之一。