Facebook内部人士为人工智能时代构建内容审核

当布雷特·利文森 (Brett Levenson) 于2019年离开Apple前往Facebook领导商业诚信时，这家社交媒体巨头正处于剑桥分析的严重影响之中。当时，他认为他可以通过更好的技术简单地解决Facebook的内容审核问题。

他很快意识到，这个问题比技术更严重。他说，人类审查员需要记住一份40页的政策文件，该文件已被机器翻译成他们的语言。然后，他们对每条被标记的内容有大约30秒的时间来决定，不仅要决定该内容是否违反规则，还要决定如何处理：阻止它、禁止用户、限制传播。利文森表示，这些快速呼叫的“准确率仅略高于50%”。

莱文森告诉TechCrunch：“这有点像掷硬币，判断人类审查员是否真的能够正确地处理政策，而且这已经是伤害已经发生很多天之后的事情了。”

在一次充满灵活且资金充足的对手的世界中，这种延迟的、反应性的做法是不可持续的。人工智能聊天机器人的兴起只会加剧问题，因为内容审核失败导致了一系列引人注目的事件，例如聊天机器人为青少年提供自残指导或人工智能生成的图像逃避安全过滤器。

利文森的挫败感催生了“政策即代码”的想法——一种将静态政策文档转变为与执行紧密耦合的可执行、可更新逻辑的方法。据TechCrunch独家获悉，正是这种洞察力促成了Moonbounce的成立，该公司周五宣布已筹集1200万美元资金。此轮融资由Amplify Partners和StepStone Group共同领投。

Moonbounce与公司合作，在内容生成的任何地方（无论是由用户还是由人工智能生成）提供额外的安全层。该公司已经训练了自己的大型语言模型来查看客户的保单文档，在运行时评估内容，在300毫秒或更短的时间内提供响应，并采取行动。据客户偏好，该操作可能看起来像是Moonbounce的系统在内容等待人工审核时减慢分发速度，或者可能会立即阻止高风险内容。

如今，Moonbounce服务于三个主要垂直领域：处理用户生成内容（例如约会应用程序）的平台；人工智能公司打造角色或同伴；和人工智能图像生成器。