OpenAI推出CSAM检测工具,经审核机构可通过API免费调用

该工具相比现有保护措施,可减少48%误标记图像数量,在标记的图像中,实际包含性虐待内容的可能性约为原来的两倍。

OpenAI于11月17日宣布推出儿童性虐待内容(CSAM)检测工具,该工具将通过OpenAI API向经过审核的机构免费开放,用于中断有害行为、提供干预措施,并为负责儿童安全案件的执法调查人员提供支持。

技术层面,OpenAI同步上线了一款全新的图像分类器,用于识别潜在的儿童性虐待内容。该分类器通过分析虐待行为的视觉特征,帮助审核团队发现此前未曾见过的新图像,并提供评分功能,辅助审核人员判断图像处理的优先级。据OpenAI披露,与美国国家失踪与受剥削儿童中心(NCMEC)合作完成训练、评估与部署后,该工具相比现有保护措施可减少48%的误标记图像数量,被标记图像中实际包含性虐待内容的可能性约为原来的两倍。invideo AI的测试数据显示,每四个被标记案例中有一个最终被封禁。

在ChatGPT产品侧,OpenAI新增了针对此类内容的警告机制。当用户试图寻找性虐待素材时,系统会中断相关操作、说明后果并引导用户寻求帮助。用户发出相关请求后,其ChatGPT账号将被暂时停用24小时,反复违规将导致更长时间的封号,最终可能被永久封禁或举报至有关部门。

在行业协作方面,OpenAI已与Anthropic和谷歌共同委托制定关于应对AI系统中儿童性剥削与性侵害披露的新指南,该指南近期由Tech Coalition发布,为开发者处理此类敏感情况提供操作建议。随着生成式AI能力向图像、视频等多模态扩展,内容安全审核的准确率与误判成本正成为平台合规的关键指标,OpenAI此次将检测工具以API形式对外开放,也为第三方审核机构提供了可复用的基础设施。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
GAMDIAS 推出 ATLAS P7 机箱:四面环绕式玻璃 + 悬浮上下分舱
上一篇 54分钟前
黄仁勋辞任英伟达CEO,CFO科莱特·克雷斯出任临时掌门
下一篇 25分钟前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部