OpenAI 推出免费分类器,用于检测儿童性虐待内容,包括 AI 生成图像

OpenAI 推出了一款免费图像分类器,帮助经过审核的组织检测儿童性虐待内容,包括由人工智能生成的图像。该消息于 11 月 16 日在华盛顿的新闻发布会上公布,分类器已可通过公司 API 使用。

该系统会分析图像中的虐待视觉信号,并为每张图像评分,帮助人工审核员优先处理最可能存在问题的案例。据 OpenAI 介绍,这是首款广泛提供的、带有专门信号用于判断内容是否可能由 AI 生成的分类器,从而可以识别未见于任何已知数据库的新图像。

与 NCMEC 合作开发,提供给经审核的组织

该分类器在美国国家失踪与受虐儿童中心(NCMEC)的协助下进行训练、评估和开发。NCMEC 运营着 CyberTipline,这是美国网络儿童剥削举报的集中渠道。该工具免费提供,通过 Tech Coalition 和 ROOST 进行分发,同时也支持 Thorn 的 Safer 系统。

在内部评估和早期合作伙伴测试中,OpenAI 报告称,需要人工审核的图像减少了 48%,同时识别出的虐待图像数量大致相同,且新分类器标记的图像含有虐待内容的可能性约为原来的两倍。fal、invideo AI 和 SafetyKit 等合作伙伴也报告了各自的结果,其中 fal 确认 72% 的高置信度标记为此前未见的内容。

ChatGPT 警告与开发者指南

在 ChatGPT 中,尝试查找虐待内容的用户现在会看到警告,说明此类行为造成的伤害,并引导其寻求专业帮助。被标记的对话将被删除,账号访问将被暂停 24 小时;屡次违规可能导致更长时间的限制、账号关闭或向有关部门举报。

OpenAI 还于 11 月 15 日发布了面向开发者的指南,内容涉及预防、检测和应对可疑案例,以及为儿童安全执法部门提供的 AI 工具和培训。

这一发布正值相关举报持续攀升之际:据 NCMEC 称,CyberTipline 收到的 AI 生成内容举报在 2025 年达到 40 万起,高于前一年的 6.7 万起。

来源

头图:OpenAI 标志,来源:Wikimedia Commons。

本文在人工智能的协助下完成,并对照了 X 上的公开帖文和网络来源。请查阅原始来源以确认相关信息。

作者:Muse