OpenAI宣布推出新的图像分类器,并在ChatGPT中引入警告机制,以加强对儿童性虐待材料(CSAM)的检测与拦截。该公司表示,当系统检测到用户试图访问或生成此类内容时,ChatGPT将对相关账户实施24小时封禁,作为警告措施。
此次发布的图像分类器旨在提升对CSAM内容的识别能力。OpenAI未披露该分类器的具体技术细节,但表示其将用于强化平台内容审核流程,减少有害材料的传播与生成。此前,生成式AI平台因可能被滥用于制作非法内容而面临监管机构和儿童保护组织的持续关注。
在ChatGPT中引入的警告机制是此次举措的另一重点。根据OpenAI的说明,系统一旦判定用户存在访问或生成CSAM的意图,将直接封禁账户24小时,而非仅作提示。这一处理方式较以往的被动拦截更为严格,显示出平台在账户层面加大违规成本的思路。
儿童性虐待材料的检测与治理长期是内容平台面临的难题。随着大模型和图像生成能力的普及,相关风险从传统的内容分发环节延伸至内容生成环节,平台需要在模型输出前建立更有效的识别与阻断能力。OpenAI此次将图像分类器与账户处罚机制结合,属于在生成侧和访问侧同时加码的尝试。
从行业角度看,主要AI平台正逐步收紧对非法及有害内容的管控。监管压力与公众监督推动下,模型提供商需要在产品能力开放与内容安全之间建立更明确的边界。OpenAI此次公布的机制能否有效降低CSAM相关滥用,仍有待实际运行数据检验,但其将分类器检测与账户封禁联动的做法,为行业提供了可参考的治理路径。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。