Sam Altman和AI的减速争论

OpenAICEOSam Altman最近表示,也许是时候“加快人工智能的发展速度”,以便社会能够“围绕其中一些新的能力水平进行强化”。
在最新一期的TechCrunch股票播客中,Kirsten Korosec、Sean O’Kane和我讨论了Altman的评论可能是由最近的一次黑客攻击引起的,其中一名OpenAI特工入侵了Hugging Face的系统。肖恩指出,虽然人工智能代理执行的黑客攻击很新颖,但黑客攻击本身并不是“某种新的先进事物”。
“这更像是尼克松的人闯入水门事件,而不是真正的秘密网络行动,因为它不需要这样做,也没有被指示这样做,”肖恩说。 “希望这是一个迹象,表明这些公司将继续推进这项工作,并对这些事情更加小心。”
奥特曼的评论也让我有机会思考整个加速论与减速论的辩论是否有用,因为(是的,我要引用我自己的话)这个框架“有点表明只有一条路”和“我们所能决定的——就我们所能决定的而言——是,我们是加速还是减速?”
继续阅读我们的对话预览,我们的对话经过了长度和清晰度的编辑。
肖恩·奥凯恩:也许我们终于到达了一个拐点。我认为造成这种情况的一个重要推动因素就是我们上周讨论的,OpenAI的一个模型侵入了Hugging Face的数据,并且显然还破坏了互联网上的其他一些东西。
[奥特曼]并没有呼吁暂停,就像我们过去看到科技行业的一些人试图做的那样。他说话非常小心,说道:“慢慢来。”我们将看看这是如何成立的。当激励措施推动这些实验室全速恢复时,我们所看到的任何警告往往都会被逆转。所以我仍然持怀疑态度,这真是令人惊讶。
克尔斯滕·科罗塞克:现在我要说的是——[奥特曼]可能对他的言论很谨慎,但是OpenAI和Anthropic确实[支持]了一份请愿书,该请愿书确实反映了他所说的内容。
我确实同意你的观点,我认为这很大程度上是由拥抱脸引发的。这可能吓到了他,当然也吓到了业内的很多人。这里的困难是:你如何穿针引线,或者如何OpenAI穿针引线,继续产生收入、筹集资金或成功首次公开募股,并引用不带引号的“步伐发展”。
我不知道他们是否能做到这一点。我很好奇他们是否能同时做到这两点。
安东尼·哈:我一直在努力解决的问题之一也是这个问题:加速[与]减速是思考这个问题的正确框架吗?因为这有点表明只有一条路,而我们都被困在这条路上。我们所要做的决定——就我们所要做的决定而言——就是,我们是加速还是减速?与此相反的是——我会再次认真地折磨这个比喻——但我们会建造不同的护栏吗?我们会选择不同的道路吗?
我只是非常抵制这个框架。而不是说,“好吧,如果我们对模型现在所做的事情不满意,我们还能做什么?放慢速度、暂停、停止是唯一的选择吗?”我不这么认为。
我确实想再次强调的一件事,因为看到围绕这一点的警报程度真的很有趣——这种感觉,“如果我们让这些自主代理和模型只是互相攻击,试图防止黑客攻击,那会怎么样,这一切都超出了我们的控制,”导致了所有这些关于对齐的更广泛的辩论,丽贝卡·贝兰(Rebecca Bellan)做了一篇很棒的文章。
但值得回到我们在TechCrunch上写过的一点,即这次特定的黑客攻击 - 是的,它是由OpenAI模型引起的,但听起来他们只是没有正确保护测试站点。理论上来说,这个模型应该是无法上网的。当然,现在如果你有一个强大的错位人工智能,那么人为错误的风险就会急剧上升。但这确实是因为他们没有以应有的方式保护事物。
肖恩:我认为是的。我认为你的观点得到了很好的理解,我们不应该只以某种线性方式来思考这个问题以及事情是加速还是减速。关于这些公司的责任程度,可以而且应该说很多话。我们的一位同事洛伦佐(Lorenzo)也写了一篇非常好的文章,阐述了关注这些东西的严肃安全研究人员如何认为这次黑客攻击到底是什么。看来,这次黑客攻击的双方都应该采取一些措施来阻止它。
我在这个故事中发现最有趣的事情之一是,一些研究人员指出这个模型所做的并不是一些新的先进的东西。它确实非常人性化,因为它考虑尝试闯入尝试的方式 - 不是拟人化,而是它考虑闯入拥抱脸的方式,而且它也非常吵闹和混乱,并不是真的试图隐藏它的踪迹。这更像是尼克松的人闯入水门事件,而不是真正的秘密网络行动,因为它不需要这样做,也没有被指示这样做。
这本来应该更容易预防。希望这是一个迹象,表明这些公司将继续推进这一工作,并对这些事情更加小心。
我会就加速与减速[辩论]说另一件事。我不知道这是否是动机,但你提到了首次公开募股,克尔斯滕。我认为奥特曼能够推动他们现在拥有的这一优势是明智的,即OpenAI下个月或两个月后不会进入市场。他甚至提出了2027年去的想法,他们只提交机密文件,以便在准备好时可以选择。
因此,如果你相信所有这些,他有能力以Anthropic无法做到的方式谈论这次谈话,因为Anthropic已经与许多银行家进行了对话,并且即将进行更近期的IPO,因此在它可以说什么、应该如何说以及市场将如何反应方面受到更多限制。