Meta现在如果孩子使用AI聊天机器人讨论自杀或自残，则会向家长发出警报

Meta周四宣布，如果孩子的孩子与该公司的Meta AI聊天机器人讨论自杀或自残，它将通知家长。 Meta表示，如果有人的谈话表明他们可能有自残的风险，他们还在研究联系紧急服务的能力。

这些变化发生之际，Meta和其他科技公司正面临监管机构和家长对人工智能聊天机器人如何应对危机中的用户（尤其是青少年）的审查——这个责任问题日益影响着人工智能公司设计和营销其产品的方式。

Meta表示，它已经建立了一个专门的人工智能系统来识别青少年明确提到伤害自己的对话。

“我们理解收到这些警报可能会让家长感到多么痛苦，”Meta在博客文章中写道。 “这就是为什么，随着我们不断改进我们的检测，我们的人工智能标记的所有聊天都将在发送警报之前进行手动审核。如果青少年的意图不明确，我们会谨慎行事并提醒家长。虽然这意味着我们有时可能会在没有真正担心的情况下通知家长，但我们认为这是正确的起点，我们将继续监控以帮助确保我们处于正确的位置。”

Meta表示，这些警报现已针对美国、英国、澳大利亚和加拿大使用InstagramParental Supervision的家长生效，并将于今年年底在全球推出。

此更新基于当青少年在Instagram上反复搜索自杀或自残术语时Meta已向父母发送的警报。它还建立在一次功能的基础上，允许父母查看他们的孩子在过去一周与Meta AI讨论的主题。

Meta还宣布其“有限内容”设置——让父母让他们的青少年在Instagram上体验更严格的体验——现在也适用于Meta AI。 Meta人工智能已经接受过训练，可以避免与青少年进行性或浪漫的对话或与酒精相关的讨论，而“有限内容”设置通过使聊天机器人拒绝更广泛的提示来扩大这些保护措施。 Meta没有具体说明这些附加提示包括哪些内容，但TechCrunch已要求公司提供更多信息。

此外，Meta表示，如果有人与Meta AI对话，无论用户是成年人还是青少年，表明某人有自杀风险，它将联系紧急服务部门。值得注意的是，当有人在Facebook或Instagram上发布表明他们面临风险的内容时，Meta已经采取了这一步骤，因此这将相同的做法扩展到与其聊天机器人的对话中。