OpenAI表示出于安全考虑放慢了Astra模型的开发速度

OpenAI周五表示，在内部审查发现该公司在代理编码和网络安全方面取得了重大进展（足以引起对其能力的担忧）后，该公司已暂停其即将推出的Astra车型的某些方面的工作。

OpenAI在周五的博客文章中表示，这个仍在开发中的模型已经达到了“关键的网络安全阈值”，这意味着它可以独立识别并针对传统上受到良好保护的现实世界系统进行网络攻击。据该公司于2023年创建的“准备框架”，这引发了额外的保障措施。

“虽然我们继续对这个模型进行基准测试和评估，但我们的初步评估表明其性能足够强大，因此我们目前不能排除关键能力级别，”OpenAI写道。 “Astra是一款即将推出的车型，并未参与Hugging Face的利用。”

这一披露突显了混乱且仍处于萌芽状态的前沿人工智能实验室领域的一个不寻常时刻。各行业的公司都因潜在风险（包括安全和网络安全问题）而暂停产品。但当产品仍在开发中时，他们很少公开宣布这些决定。

在这种情况下，在内部测试期间另一个未发布的模型破坏了Hugging Face的系统后，OpenAI已经受到审查——这是人工智能实验室失去对其模型控制的第一个可验证事件。此后，OpenAI和Anthropic等人工智能实验室披露了其他事件，其中人工智能模型在网络安全测试期间突破了沙箱并构成了威胁。

这一系列案件——现在似乎每天都有新的披露——引发了网络安全专家、立法者和人工智能实验室本身的不同反应。一些人表达了恐惧并呼吁加强监督。但也有一点弯曲。在某些圈子里，任何拥有具有这种能力的模型的人工智能实验室都将被视为令人印象深刻的进步。

OpenAI表示正在分享这些信息，因为它认为“对于这种潜在的能力转变，向公众以及安全和安保社区保持透明非常重要。”

人工智能实验室表示，它也在采取行动，包括制定更严格的安全控制措施，并暂停涉及Astra的不符合这些强化护栏的内部活动。 OpenAI表示正在与相关政府机构合作并“选择人工智能安全组织”来测试该模型的功能。