RSI是新的AGI——而且同样难以确定
“递归”一词是人工智能界的最新主流词。两家独立的初创公司已经采用了这个名字，还有更多的初创公司已经开始在他们的路线图中引用递归自我改进（RSI）。就像之前的AGI一样，RSI已经成为灾难性人工智能腾飞的三个字母的代名词——尽管对于它的确切含义仍然存在一些分歧。
从根本上来说，RSI是指能够不断自我升级的人工智能系统。一旦人工智能系统能够比人类更好地管理升级周期，这个过程就可以成为一个闭环，仅受它们可以访问的计算能力的限制，人类不再是必要的，甚至不再有帮助。
不管可怕与否，这都是许多人工智能实验室渴望追逐的愿景。
本月早些时候，著名人工智能研究员Richard Socher推出了“递归超级智能”（Recursive Superintelligence），并以RSI作为明确目标。 “我们的主要重点是大规模构建真正递归、自我改进的超级智能，”Sochertold TechCrunch在发布时说道，“这意味着研究想法的构思、实施和验证的整个过程将是自动的。”
许多其他杰出的研究人员已经在追求同样的目标，希望能够取得突破，使递归自我改进成为可能。
其中最著名的是Andrej Karpathy，他是来自Tesla和OpenAI的传奇人物，他正在使用代理群来训练法学硕士执行简单的任务，以完成一个他称为“自动研究”的项目。 Karpathy对该项目的态度异常开放，定期发布有关里程碑的推文，并通过公共GitHub存储库提供构建块。到目前为止，这项工作主要局限于对GPT-2比例模型进行微小改进——正如Karpathy在3月份指出的那样，“这还不是新颖的、突破性的‘研究’”——但这足以说服许多其他研究人员追随RSI梦想。由于Karpathy现在正在Anthropic进行预培训，他将有很多机会更大规模地应用这个想法。
Adaption由Cohere和Google校友Sara Hooker创立，最近推出了一款名为AutoScientistin的类似工具，旨在实现前沿培训的自动化。与Karpathy的自动研究人员一样，该系统训练智能体进行渐进式改进，但对于Adaption来说，目标是让训练全面的前沿模型变得更容易。如果这些研究人员开始推动前沿技术的发展，系统可能会迅速陷入类似于RSI的状态。
Disarray创始人Doris Xin的自学机器学习智能体在最近的Kaggle竞赛中击败了许多人类训练的智能体，夺得28枚奖牌，引起了RSI更具体的兴趣。在她看来，主要的挑战是可靠性。
“我认为，考虑到无限的计算和无限的时间范围，我们已经做到了，”辛告诉我。 “我想说的是，这实际上并不是一项创造性的努力。这只是大量的基本工程。”
还有大量证据表明，人工智能行业在任何有意义的方面都与递归系统不太接近，并且仍在努力与谨慎的公众谈论其进展。因此，GoogleCEOSundar Pichai在最近的一次播客采访中基本上承认了这一点。
“这是一个连续体，我们肯定都在取得进步，”皮查伊说。 “但按照人们描述RSI的方式，这将代表下一个加速水平，并将产生很多影响，但我们还没有完全实现这一目标。”
但这个连续体包括大量自我改进的人工智能系统。一月份，Claude Code的Anthropic的一位首席程序员估计，他的团队“接近100%”的代码是由该工具编写的——坦率地承认，Claude Code实际上是在编写自己。
仅仅因为工程师正在使用人工智能工具并不意味着该工具可以取代他们 - 但Anthropic似乎也接近取代工程师。在最近针对Mythos预览版的一项调查中，18位Anthropic工程师中的5位认为，通过改进工具，此版本的Mythos很快就会取代L4工程师 — 一种可以在没有监督的情况下承担相关项目的中级程序员。
尽管如此，仍然存在一些与您可能预料到的相同的弱点。
报告中写道：“与L4相比，Claude报告的一些主要弱点包括：自我管理为期一周的模糊任务、理解组织优先事项、品味、验证、遵循指令和认知。”
换句话说，它的弱点在于一切与自我导向有关的事情，而自我导向是RSI的基石。但可以肯定的是，对于其他一切，Claude已准备好介入。
就像之前的AGI术语一样，人工智能行业也无法告诉我们距离展示有意义的递归系统还有多远。去年，当乔治城的安全和新兴技术中心召集了一组专家来研究RSI时，该小组发现评估存在重大分歧——一些人预计即将出现“超级智能”式的爆炸，而另一些人则预计进展会放缓并最终陷入停滞状态。但所有人都同意，递归使得未来变得特别难以预测。
CSET总监、OpenAI前董事会成员Helen Toner告诉TechCrunch，仅仅使用AI工具进行AI研究并不足以获得RSI资格。 “他们只是尽可能多地使用人工智能，”托纳告诉TechCrunch。 “我认为这与RSI的经典定义不同，RSI的定义实际上是不需要人类。”
Toner提到了METR的Ajeya Cotra最近发表的一篇文章，该文章区分了人工智能研究接管道路上的不同里程碑。科特拉称之为“充分性”的一步是，在所有人类被移除后，系统仍然可以进行研究——即使最终的研究不那么有价值或有效。当纯人工智能系统与纯人类系统一样擅长研究时，“平等”就出现了。当纯人工智能系统胜过人类与人工智能之间的协作系统时，“霸权”即最后阶段就会到来。
最终，Cotra得出的结论是，人工智能已经非常接近能够自行完成一些工作的充分门槛——类似于Karpathy的自动研究系统所做的增量变化。 “如果你告诉我这个里程碑已经过去，我不会感到完全震惊，我预计它会在未来几年内发生，”科特拉写道。
她不太清楚何时会实现平等，但她认为一旦实现，这将“大大加快人工智能进步的步伐，在一年内实现人工智能研究的霸主地位”。
路上的颠簸
由于人工智能的大部分都建立在缩放定律的基础上，因此人们很容易认为RSI会遵循相同的曲线。 Toner认为，许多通过RSI追求人工智能研究和开发的人“认为这是一个非常平滑的阶梯，你可以在其中不断扩大规模。”
但即使人工智能研究人员能够像卡帕蒂的自动研究人员那样进行渐进式改进，在交接整个研究过程时也会面临更大的挑战。托纳用计算的历史来形容，人类在移交越来越多的过程的同时仍然从高层指挥事情。
“我们从机器语言转向汇编语言和编译语言；你离计算机的内部越来越远，”托纳说。 “但从某种直觉上来说，人类仍然在掌控一切。”
超越这种范式将在工程和协调方面面临重大挑战。但即使进行了大量投资，也不存在无限的计算能力——而且人类劳动力和机器智能之间的基本权衡将很难克服。
至于世界末日愿景的完全递归人工智能系统？研究人员唯一一致认为，就像通用人工智能一样，它还没有出现。