人类为自己建造的陷阱

周五下午，就在采访开始时，我的电脑屏幕上闪过了一条新闻提醒。特朗普总统在 Truth Social 上发帖，指示所有联邦机构“立即停止使用 Anthropic 技术”，这家位于旧金山的人工智能公司由CEO达里奥·阿莫迪 (Dario Amodei) 于 2021 年联合创立。国防部长皮特·赫格斯不久后援引国家安全法将该公司及其合作伙伴、承包商和供应商列入黑名单，禁止与五角大楼开展业务。原因是什么？阿莫代拒绝允许 Anthropic 的技术用于对美国公民的大规模监视或用于无需人工输入即可选择和杀死目标的自主武装无人机。

这是一系列令人瞠目结舌的事件。 Anthropic 可能会失去一份价值高达 2 亿美元的合同，并可能被禁止与其其他客户合作。 （Anthropic 此后表示将在法庭上挑战五角大楼。）

马克斯·泰格马克（Max Tegmark）在过去十年的大部分时间里一直警告说，构建更强大的人工智能系统的竞赛正在超出世界治理它们的能力。这位麻省理工学院的物理学家于 2014 年创立了生命未来研究所，并于 2023 年帮助组织了一封公开信——最终由包括埃隆·马斯克在内的 33,000 多人签署——呼吁暂停高级人工智能开发。

他对人类危机的看法是毫不留情的：该公司和它的竞争对手一样，已经为自己的困境埋下了种子。泰格马克的论点并不是从五角大楼开始的，而是从多年前做出的决定开始的——这是整个行业共同的选择，抵制监管。 Anthropic、OpenAI、Google DeepMind 等公司长期以来一直承诺以负责任的方式进行自我管理。 Anthropic 本周甚至放弃了自己安全承诺的核心原则——承诺在公司确信它们不会造成伤害之前不会发布日益强大的人工智能系统。

泰格马克说，现在，在缺乏规则的情况下，没有太多东西可以保护这些玩家。以下是该采访的更多内容，为了篇幅和清晰度进行了编辑。您可以在下周的 TechCrunch 的 StrictlyVC Downloadpodcast 上听到完整的对话。

刚才你看到这个关于Anthropic的新闻时，你的第一反应是什么？

通往地狱的道路是由善意铺成的。回想十年前真是太有趣了，当时人们对我们将如何利用人工智能来治愈癌症、促进美国繁荣并使美国强大感到非常兴奋。现在，美国政府对这家公司感到愤怒，因为它不希望人工智能用于对美国人进行国内大规模监视，也不希望拥有能够在没有任何人类输入的情况下自主决定谁被杀的杀手机器人。