谁决定人工智能告诉你什么？坎贝尔·布朗，曾经的Meta新闻主管，有想法

坎贝尔·布朗 (Campbell Brown) 的职业生涯一直在追求准确的信息，首先是作为一名著名的电视记者，然后是Facebook第一位也是唯一一位敬业的新闻负责人。现在，看着人工智能重塑人们消费信息的方式，她看到历史有可能重演。这一次，她不再等待别人来解决它。

她的公司Forum AI（她最近在旧金山的StrictlyVC晚会上与TechCrunch的Tim Fernholz讨论了该公司）评估基础模型在她所谓的“高风险主题”（地缘政治、心理健康、金融、招聘）上的表现，这些主题“没有明确的是或否的答案，是模糊、微妙和复杂的”。

这个想法是找到世界上最重要的专家，让他们设计基准，然后培训人工智能法官大规模评估模型。对于人工智能论坛的地缘政治工作，布朗聘请了尼尔·弗格森、法里德·扎卡里亚、前国务卿托尼·布林肯、前众议院议长凯文·麦卡锡和奥巴马政府网络安全负责人安妮·纽伯格。目标是让人工智能评委与人类专家达成大约90% 的共识，她说Forum AI已经达到了这个门槛。

Brown追溯了17个月前在纽约成立的Forum AI的起源。 “当ChatGPT首次公开发布时，我正在Meta，”她回忆道，“我记得在意识到这将成为所有信息流动的漏斗之后不久。这不是很好。”这对她自己的孩子的影响让她感觉这一刻几乎是存在的。 “如果我们不知道如何解决这个问题，我的孩子们就会变得非常愚蠢，”她回忆道。

最让她沮丧的是，准确性似乎并不是任何人的首要任务。她说，基础模型公司“极其专注于编码和数学”，而新闻和信息则更难。但她认为，更难并不意味着可以选择。

事实上，当Forum AI开始评估领先模型时，结果并不令人鼓舞。她引用了Gemini从中国共产党网站上撤下的“与中国无关的故事”，并指出几乎所有模型都存在左倾政治偏见。她说，更微妙的失败也比比皆是，包括缺乏背景、缺乏观点、在没有得到承认的情况下进行论点。 “还有很长的路要走，”她说。 “但我也认为有一些非常简单的解决办法可以极大地改善结果。”

Brown花了数年时间在Facebook观察当平台优化错误时会发生什么。 “我们尝试过的很多事情都失败了，”她告诉费恩霍尔茨。她建立的事实核查程序已不复存在。尽管社交媒体对此视而不见，但我们的教训是，优化参与度对社会来说是很糟糕的，并且让许多人缺乏了解。

她希望人工智能能够打破这个循环。 “现在，两种情况都可能发生，”她说。公司可以给用户他们想要的东西，或者他们可以“给人们真实的、诚实的和真实的东西”。她承认，理想主义的版本——人工智能针对真理进行优化——可能听起来很天真。但她认为企业可能是不太可能的盟友。使用人工智能进行信贷决策、贷款、保险和招聘的企业关心责任，并且“他们会希望你进行优化以使其正确。”

企业的需求也是Forum AI所押注的业务，尽管将合规利益转化为持续的收入仍然是一个挑战，特别是考虑到当前市场的大部分仍然对布朗认为不够的复选框审计和标准化基准感到满意。

她说，合规情况是“一个笑话”。当纽约市通过第一部要求人工智能审计的招聘偏见法时，州审计长发现一半以上的违规行为未被发现。她说，真正的评估不仅需要领域专业知识来解决已知场景，还需要解决“可能让你陷入人们没有想到的麻烦”的边缘情况。这项工作需要时间。 “聪明的多面手不会削减它。”

Brown的公司去年秋天在Lerer Hippeau的带领下筹集了300万美元，他在描述人工智能行业的自我形象与大多数用户的现实之间的脱节方面具有独特的优势。 “你会听到大型科技公司的领导者说，‘这项技术将改变世界’，‘它会让你失业，’‘它会治愈癌症，’”她说。 “但对于一个只是使用聊天机器人提出基本问题的普通人来说，他们仍然会得到很多草率和错误的答案。”

人们对人工智能的信任度极低，她认为，在很多情况下，怀疑是有道理的。 “在硅谷，这种对话是围绕一件事进行的，而消费者之间正在发生一种完全不同的对话。”