OpenAI针对可能的自残案件引入了新的“可信联系人”保护措施

周四,OpenAI宣布推出名为“可信联系人”的新功能,旨在在对话中提及自残时向可信第三方发出警报。该功能允许成年ChatGPT用户指定另一个人作为其帐户中的可信联系人,例如朋友或家人。如果对话可能演变为自残,OpenAI现在将鼓励用户联系该联系人。它还会向联系人发送自动警报,鼓励他们与用户联系。
OpenAI面临着与聊天机器人交谈后自杀者家属的一波诉讼。在许多情况下,家属表示ChatGPT鼓励他们所爱的人自杀,甚至帮助他们计划自杀。
OpenAI目前使用自动化和人工审核相结合的方式来处理潜在的有害事件。某些对话触发器会向公司系统发出自杀意念的警报,然后系统将信息转发给人类安全团队。该公司声称,每次收到此类通知时,都会由专人审查该事件。该公司表示:“我们努力在一小时内审查这些安全通知。”
如果OpenAI的内部团队认为该情况存在严重的安全风险,ChatGPT就会通过电子邮件、短信或应用内通知向可信联系人发送警报。该警报旨在简短并鼓励联系人与相关人员联系。该公司表示,它不包含有关正在讨论的内容的详细信息,作为保护用户隐私的一种手段。

可信联系人功能沿袭了该公司去年9月推出的保障措施,该保障措施赋予家长对青少年账户进行一定监督的权力,包括接收安全通知,旨在在OpenAI的系统认为他们的孩子面临“严重安全风险”时提醒家长。一段时间以来,ChatGPT还包括自动警报,以便在对话趋势转向自残主题时寻求专业健康服务。
至关重要的是,信任联系人是可选的,即使在特定帐户上激活保护,任何用户都可以拥有多个ChatGPT帐户。 OpenAI的家长控制也是可选的,也存在类似的限制。
该公司在公告中写道:“Trusted Contact是OpenAI更广泛努力的一部分,旨在构建在困难时刻为人们提供帮助的人工智能系统。” “我们将继续与临床医生、研究人员和政策制定者合作,改善人工智能系统在人们可能遇到痛苦时的反应方式。”