OpenAI近日向执法部门举报了一名佛罗里达州男子，该男子在与ChatGPT的对话中透露了奸杀前女友的计划。涉案男子Darren Zhou是一名被高盛解雇的分析师，他于今年3月开始与ChatGPT谈论分手女友的相关话题，包括女友的爱好、常去地点、对其身边其他男性的嫉妒情绪以及复合意愿。
据公开的法庭记录显示，Zhou在聊天中向AI机器人表示“我打算在这个月底之前杀了她，如果我得不到她，谁也别想得到她”。聊天内容涉及强奸、谋杀及谋杀后自杀等极端暴力计划。OpenAI的政策规定，当系统检测到用户计划伤害他人时，一个小型审查团队会对互动记录进行评估，在严重情况下可将相关信息提交给执法部门。
联邦探员于今年5月将Zhou两个月的聊天记录转交给当地警方。警方随即对Zhou前女友的安全状况进行了检查。据警方透露，受害者为21岁女性，因Zhou“反复无常、嫉妒心强且控制欲强”而选择分手，并因担心人身安全而通过电话方式结束关系。警方于5月将Zhou逮捕，他在县监狱关押两天后以10万美元保释金获释。
此后，Zhou与检方达成认罪协议，于8月13日对三项指控认罪，被判处8年缓刑，缓刑期间须遵守一系列限制条件。这起事件引发了关于AI平台在内容安全审查和公共安全协作方面角色的讨论。随着大语言模型在日常生活和工作中渗透率提升，AI服务商在用户内容监控、风险预警及与执法部门协作等环节的机制建设，正成为行业关注的焦点之一。
此次事件也反映出AI对话工具在提供信息交互服务的同时，其内容安全防线正在经历实际案例的检验。OpenAI等头部AI企业已建立专门的用户安全审查流程，但如何在保护用户隐私与履行社会责任之间取得平衡，仍是行业持续探索的方向。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
