每个人都在实时应对人工智能安全问题——甚至Google

最近，我有机会在洛杉矶aneventin的后台与Google Cloud的COOFrancis de Souza坐在一起。在我们周围的喧嚣声中，德苏扎以大学教授的冷静、谨慎的态度发表讲话，为企业应对我们共同经历的人工智能安全时刻提供了有用的建议，并指出“将会有一个过渡期，然后我认为我们会到达这个更好的地方。”

他当时并不是在谈论Google，但很明显，即使是Google仍在弄清楚事情。

De Souza的核心信息是，安全专业人士多年来一直试图让高管们内化这一点，而现在人工智能使这一点变得紧迫：安全不能是事后才想到的。 “当公司踏上人工智能之旅时，他们需要采取平台方法，”他说。 “安全不是你可以稍后再补的东西，也不是你可以让员工自己做的事情。”他特别警告了“影子人工智能”——员工在没有组织监督的情况下使用消费者工具——并认为公司需要从一开始就要求其平台具有安全性、治理和可审计性。 “如果没有数据策略和安全策略，就不会有人工智能策略。它们需要齐头并进。”

值得注意的是：他并不是单独推销Google Cloud。当我发现他的建议听起来像Google广告时，他反驳了。他说，Google致力于采用多云方法，他认为那些认为自己在单一云上运营的公司几乎肯定不是这样。 “即使他们选择单一云，他们也依赖SaaS应用程序，有些业务合作伙伴可能会使用不同的云，”他说。 “对于公司来说，跨云、跨模型保持一致的安全态势非常重要。”

他还指出，威胁形势已经发生了根本性的变化，旧的防御模式速度太慢。他指出，从最初的违规行为到转移到下一阶段的攻击之间的平均时间已从8小时缩短到22秒，并且攻击面已远远超出了传统网络范围。 “除了你通常的财产之外，你现在还有模型。你有用于训练模型的数据管道。你有代理，你有提示。所有这些都需要受到保护。”

德苏扎指出的一个威胁没有得到足够的重视：在公司内部系统中移动的代理可能会暴露多年来没有人考虑过的被遗忘的数据存储库。 “许多组织都有旧的SharePoint服务器 [和访问控制]，他们尚未真正更新，但这并不重要，因为没有人真正知道它们在哪里。但是在您的企业中漫游的代理会找到这些数据资产并公开其中的数据。”

在他看来，答案是用机器速度来满足机器速度。他说：“我们现在看到一种人工智能原生的、完全代理的防御的出现，组织可以运行代理来驱动他们的防御。” “现在你可以让人类监督完全代理的防御，而不是由人类主导的防御，甚至不需要人类参与循环。”他补充说，这已成为一个领导力问题，而不仅仅是一个技术问题。 “这是董事会层面的问题，也是执行团队的问题。这不仅仅是安全团队的问题。”

但即使人工智能承担了更多的防御工作量，有资格监督它的人员仍然短缺——而且人工智能本身引入的漏洞的倍增速度快于安全团队能够解决的速度。 LinkedIn首席信息安全官Lea Kissner本周对《纽约时报》表示：“我们将需要人们来应对bug灾难。”她补充说，她预计该行业至少在几年内不会以任何可持续的长期方式理解人工智能安全。

这让我们回到平台提供商本身。 The Register在过去几周发布了一系列报告，记录了一波Google云开发人员因对Gemini模型进行未经授权的API调用而遭受了五位数的账单——他们中的许多人从未使用过或有意启用过这些服务。这些案例遵循一个熟悉的模式：最初为Google地图部署、按照Google自己的指示公开放置的API密钥，在Google扩大范围后悄悄地变得能够访问Gemini，但没有明确披露变化。

面试准备平台Prentus的CEORod Danan表示，在攻击者利用他受损的API密钥后，他的账单在大约30分钟内就达到了10,138美元。悉尼开发商Isuru Fonseka的账户也同样遭到了入侵，他醒来后发现自己被收取了大约17,000澳元的费用，尽管他相信自己设定了250澳元的支出上限。两人都不知道的是，Google的自动化系统已据账户历史记录升级了其计费等级，在未经明确同意的情况下将其有效上限提高至100,000美元。

Google在The Register发布其初步报告后退还了这两项费用。尽管如此，Google告诉The Register，它没有计划改变其自动等级升级政策，并表示其优先考虑的是防止服务中断，而不是执行用户声明的预算偏好。

与此同时，还有一个单独的问题：当开发人员试图关闭某些东西时会发生什么。 《Register》本周报道了安全公司Aikido的研究发现，即使是开发人员捕获了泄露的密钥并立即将其删除，也可能并不安全。据Aikido的调查结果，攻击者显然可以继续使用该密钥长达23分钟，因为Google的撤销会逐渐在其基础设施中传播。合气道研究员Joseph Leon告诉The Register，在这个窗口期间，成功率是不可预测的——在几分钟内，超过90% 的请求仍然经过身份验证——攻击者可以利用这段时间从Gemini中窃取文件和缓存的对话数据。

Leon还指出，Google自己的较新凭证格式似乎没有同样的问题：服务帐户API凭证在大约五秒内撤销，而Gemini较新的AQ前缀密钥格式大约需要一分钟。 “两者都以Google规模运行，”他在合气道的相关论文中写道。 “两者都表明这在技术上也可以通过Google API密钥解决。”简而言之，Leon表示，23分钟的窗口并不是工程限制，而是公司的优先事项。

在阅读德苏萨的建议时，这一点值得考虑，这是合理的，应该非常认真地对待。他没有说错，但目前平台的处方和它们本身的适应速度之间存在差距，意识到这一点也很好。