首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
汽车 morning

OpenAI 希望阻止深度造假充斥儿童虐待举报

摘要

OpenAI is announcing a tool that it says will help child sexual abuse investigators cut through the noise to find harmful material they can act on quickly. At a Monday press briefing in Washington, DC...

and that the generated The CSAM OpenAI can NCMEC reports
2026-11-17 1 阅读 约6分钟阅读 Lauren Feiner
分享:
字号:
OpenAI 宣布推出一款工具,据称该工具将帮助儿童性虐待调查人员消除噪音,找到可以快速采取行动的有害材料。在周一于华盛顿特区举行的新闻发布会上,OpenAI 宣布了一款分类器,据称可以更好地检测儿童的虐待图像,包括它是否是人工智能生成的。它还提供对经过审查的组织的免费访问,为开发人员提供有关如何检测此类内容的更多指导,并帮助培训执法人员了解人工智能如何协助他们的调查。这一消息发布之际,政策制定者和其他人士正在推动对人工智能工具实施更多安全限制,指责 OpenAI 和其他公司助长了对儿童的伤害。近年来,人工智能生成的儿童性图像已经威胁到国家失踪和受虐儿童中心 (NCMEC) Cyber​​Tipline 等系统,该中心负责收集和分类儿童性虐待材料 (CSAM) 的报告。 Cyber​​Tipline 在 2025 年收到了 400,000 份与生成人工智能相关的报告,比 2024 年收到的 67,000 份呈指数增长,研究人员警告说,这些报告的涌入可能会使 NCMEC 的工作量“难以管理”。美国政府表示,人工智能生成和非人工智能生成的 CSAM 都是非法的,并且 48 个州制定了法律来解决露骨的人工智能深度伪造问题。但制作它们的工具很广泛,研究人员表示,大量的虚假图像会让我们更难判断孩子何时正在遭受伤害。人工智能生成的 CSAM 报告向 NCMEC 的涌入是“爆炸性”的北卡罗来纳州总检察长杰夫·杰克逊(Jeff Jackson)是 AG 联盟人工智能工作组的联合主席,他在 OpenAI 的活动上表示,人工智能生成的 CSAM 报告向 NCMEC 的涌入是“爆炸性的”——如果他们继续这样下去,“将意味着我们的使命失败。”科技公司正面临一系列政策建议,这些建议可能要求他们对 CSAM 和其他对儿童可能有害的内容采取更多行动。 《Take It Down Act》现在要求社交媒体平台在 48 小时内删除真实的或人工智能生成的非自愿亲密图像,新当选的国会可能会寻求对 SpaceXSI 等人工智能公司采取更强硬的行动,该公司的 Grok 聊天机器人在今年早些时候进行了脱衣狂欢。上个月,八个州起诉 OpenAI,指控其对儿童造成一系列伤害,并援引指控 ChatGPT 鼓励非法药物使用和自杀的诉讼。 OpenAI 表示,它的分类器大大减少了误报,标记的图像减少了 48%,而它识别出的图像包含滥用内容的可能性是原来的两倍。它旨在捕获由各种工具(包括开源模型和裸体应用程序)生成的滥用人工智能生成的图像。 OpenAI 儿童安全公共政策负责人 John Buckley 在简报会上表示,这也是第一个广泛使用的 CSAM 分类器,带有针对 AI 生成材料的特定标志。巴克利补充说:“对于行业来说,能够了解哪些图像可能包含虚构的孩子和真实的孩子非常重要。” “这种分类对于执法报告流程至关重要。”不过,他也强调,法律应该认识到人工智能生成的 CSAM 的危害:“它可能会侵蚀犯罪儿童的社会规范,而且它经常与真实儿童的儿童性虐待图像同时出现,”巴克利说。 OpenAI 表示,其分类器大大减少了误报,标记的图像减少了 48% OpenAI 自己的 ChatGPT 图像生成器旨在拒绝用户对 CSAM 的请求。现在,尝试生成它的用户将看到在专家指导下开发的新警告,以鼓励他们寻求帮助。首次违规将触发 ChatGPT 访问 24 小时暂停,并警告用户其帐户可能会被永久关闭,同时提供支持资源来打击该行为。 OpenAI 表示,它向 NCMEC 报告“所有 CSAM 实例”。巴克利在一份声明中解释说,24 小时的暂停是基于专家对最佳实践的建议,“以及关于如何有效预防和应对 CSAM 寻求与 CSAM 生成的国际证据”。重点是“阻止有害行为并引导人们寻求专家帮助来制止这种行为。” Jackson 表示,北卡罗来纳州和许多其他州现在都制定了涵盖合成 CSAM 的法律,但与 OpenAI 这样的科技公司合作来帮助阻止其创建,是解决新兴问题的一种相当新颖的方法。 “总检察长所做的大部分工作是问责工作,”他在新闻发布会上告诉记者。 “我们的大部分司法管辖权都是在事后开始追究人们对伤害的责任。但通过这一点,我们想看看是否有可能开发出一种共同合作的模式来防止这种伤害。我想说,这基本上仍然是一个实验。”
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱