OpenAI于当地时间10月30日发布博文，系统披露了ChatGPT在暴力内容管控方面的最新策略，并承诺定期发布《社区安全报告》（Community Safety Report），公开其在暴力预防、社区安全议题及防护机制实际成效方面的进展。这是OpenAI首次以半年度报告的固定形式对外披露安全治理数据，首期报告计划于2027年初发布，覆盖2026年下半年的安全数据，此后每半年更新一次。
据披露，仅在2026年第三季度，OpenAI就向执法部门移交了200余起案件线索。公司表示，主动向执法机关通报迫在眉睫的暴力威胁是其日常安全工作的组成部分。这一数据也首次将AI平台与执法体系之间的协作规模量化呈现。
在产品层面，OpenAI针对ChatGPT回答既往大规模恶性袭击事件及凶手相关问题增设了额外限制。即便相关信息已在网络公开，系统也会严格受控，仅提供极度精简的信息。公众仍可通过ChatGPT了解此类事件的全貌、受害者与社区受到的影响，并学习如何识别危险预警信号以防范未来暴力。但OpenAI收紧了细节层面的策略，坚决限制对既往大规模袭击事件的复盘，包括所涉武器装备的参数、获取途径，以及可能助长凶手恶名的伤害规模对比。上述限制不区分用户年龄或提问动机，无差别适用。
更值得关注的是对话级的干预机制。当对话显示用户开始执念于暴力、或萌生严重伤害他人的念头时，ChatGPT可自动终止当前对话，从而即时阻断这种心理与行为倾向。若同一账户因该原因导致对话被多次强制中断，OpenAI可能会临时冻结该账户。这意味着安全策略从内容过滤延伸至行为模式识别，模型需要在多轮对话中判断用户意图的累积走向，而非仅对单条消息作出响应。
针对青少年群体，OpenAI对涉枪涉武器信息增设了更严格的门槛，即便相关提问表面看似无害也会受到限制。即便用户未显露任何暴力意图，系统也将全面限制提供可能被滥用以滋生暴力的武器实用知识以及安防系统绕过信息。OpenAI同时表示，正加紧开发新功能，以便在青少年账户因反复讨论暴力内容被临时冻结时，第一时间向家长推送通知。
从行业视角看，大模型厂商的安全治理正从单一的输出内容审核，转向覆盖威胁识别、执法协同、账户处置与家长知情权的多层体系。自动终止对话与账户临时冻结的组合，实质上赋予了模型在会话层面对用户行为的处置权，这在消费级AI产品中尚属少见。而定期发布安全报告的做法，也与近年来监管机构对AI平台透明度和可问责性的要求方向一致。
随着生成式AI进入大规模应用阶段，平台如何在隐私保护、用户体验与公共安全之间划定边界，将成为持续存在的治理难题。OpenAI此次披露的机制细节与数据，为外界观察这一平衡的实际运作提供了参照，其首期社区安全报告的落地效果也有待后续验证。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
