Discord承认人工智能审核错误错误地禁止用户查看无害图像

Discord承认,其人工智能审核系统中的一个错误在过去两个月中错误地禁止了8,000多名用户,此前无害的图像(包括电子表格、棋盘、游戏纹理以及白色和灰色透明背景)被错误地标记为有害内容。
该公司证实,该问题自5月份以来一直影响着账户,在其团队发现并解决该问题之前,周末又禁止了200名用户。目前正在恢复所有受影响的帐户。
这一事件突显了人工智能辅助审核面临的日益严峻的挑战之一,因为许多平台越来越依赖自动化系统来大规模识别非法或滥用材料。
在X的详细帖子中,Discord解释说,其自动化安全系统的工作原理是将上传的内容与已知有害材料的数据库进行匹配。虽然该技术旨在捕获非法内容,但该公司承认它有时会产生误报。人工审核员审查了内容,但一个错误导致系统立即禁止受影响的帐户。
该公司写道:“我们正在努力采取更好的保障措施,以免这种情况再次发生。”
我们的系统通过将内容与已知的有害材料进行匹配来标记内容。这种相似性匹配可能会产生误报,这就是为什么我们的信任与安全团队的成员总是在采取任何行动之前审查标记的内容。预期的行为是……——Discord支持 (@discord_support)2026年7月7日
在X和Reddit上,用户声称他们仅仅因为上传包含方形网格图案的图像而被永久暂停。一些用户推测,Discord的人工智能审核工具对网格状模式变得越来越敏感,因为它们之前曾被用来试图掩盖或掩饰自动检测系统中的NSFW和儿童剥削内容。
受影响的用户一直在社交媒体上表达了不满,一些人认为,仅基于自动检测的永久帐户禁令可能会产生严重后果,特别是对于依赖Discord工作、游戏社区或远距离社交联系的用户而言。
“因为这样不股权的事情而失去Discord帐户可能会造成极大的破坏,并严重影响用户,每天都有数百万用户受到虚假AI禁令的影响。这种情况需要停止,”一位X用户写道。
由于您的AI自动模组中的错误将我的游戏纹理检测为CSAM,我的帐户被错误地禁止在您的平台上。我需要找回我的帐户,因为我是一名游戏总监,并且使用Discord进行所有交流。我已请求对我的停职进行审核。@discord@discord_supportpic.twitter.com/QfAkCIJo6S — JDBRYANT 🎂 今天 (@jdbryantdev)2026年7月4日
Discord并不是唯一一个因自动化系统而面临审核问题的公司。去年,Instagram和Facebook群组的用户报告了广泛的不明原因帐户被暂停的情况,许多人认为这是由人工智能审核系统造成的。尽管用户指出自动化可能是罪魁祸首,但Meta从未公开证实人工智能错误是否是罪魁祸首。现在Meta的监督委员会正在推动提高透明度。
去年,Tumblr还面临用户的投诉,他们称自己的账户在没有明确解释的情况下被大规模暂停。