智能AI
morning
OpenAI 发布新图像分类器和 ChatGPT 警告以对抗 CSAM
2026-11-17
1 阅读
约3分钟阅读
Ivan Mehta
字号:
由于人工智能工具的使用安全问题日益严重,OpenAI 今天宣布推出新工具来打击儿童性虐待材料 (CSAM)。这些功能包括用于检测 CSAM 的新图像分类器、用于防止用户创建或访问儿童色情内容的警告和临时阻止、针对开发人员的新指南以及一套执法工具。该公司推出了一种新的图像分类器,可以检测 CSAM 图像,包括人工智能生成的图像。 OpenAI 允许特定公司通过其 API 免费访问其分类器。该工具会在图像中查找以前未见过的滥用行为的视觉迹象,并给出一个分数,为审稿人处理 CSAM 提供指示性指导。 OpenAI 表示,该分类器是与国家失踪和受虐儿童中心 (NCMEC) 合作开发的,并且正在与 Tech Coalition 和 ROOST 合作,共享该工具的访问权限。在与合作伙伴的早期测试中,这家人工智能公司发现,分类器在发现相同数量的滥用图像的同时,标记的图像减少了 48%,从而减少了审核人员的工作。另外,被分类器标记的图像是滥用图像的可能性是其两倍。更重要的是,该公司正在 ChatGPT 中添加新的警告屏幕,以防止用户访问使儿童色情的材料。 ChatGPT 将向尝试此类提示的用户显示警报,引导用户寻求专门支持以阻止有害行为,并暂停帐户 24 小时作为警告。该应用程序已阻止 CSAM 内容和与其相关的请求。它表示,屡次违规可能会导致该帐户被永久删除。 OpenAI 指出,它与保护儿童组织、Lucy Faithfull 基金会和塔斯马尼亚大学的 Joel Scanlan 等组织和研究人员一起制定了围绕这种行为的信息和指南,他们独立评估了一项威慑信息的试验。该公司还为使用 OpenAI 工具的开发人员发布了指南,以防止、检测和帮助用户报告 CSAM 内容。它表示,在早期测试中,该指南已帮助许多开发者采用儿童安全工具,并注册向 NCMEC 报告 CSAM。 OpenAI 还为处理儿童安全问题的执法部门配备了人工智能驱动的功能,如专用插件、调查工具和复杂的数据分析,并由程序管理员管理访问权限。它还为调查人员提供培训以及如何使用人工智能的现场指南。 OpenAI 已对该公司提起多起诉讼,指责其技术伤害用户,尤其是儿童。专注于安全的非营利组织 Common Sense Media 将 OpenAI 的技术标记为青少年“不可接受的风险”。其他人工智能聊天机器人——特别是 Grok——已被用来创建未经同意的性图像,包括儿童图像。这家人工智能初创公司在过去 12 个月中对其技术进行了一些改变,包括发布安全蓝图、更新内容指南以禁止不当内容、重新调整其模型以防止生成有害内容,以及为青少年发布特殊版本的 ChatGPT。
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱