9月15日，科技媒体404 Media发布深度报道，披露了OpenAI一项名为”莉莉计划”（Project Lily）的内部项目。该项目通过人工审核ChatGPT用户的真实对话记录，评估模型回复质量，并以此作为优化大模型的依据。报道称，404 Media获取了该项目的操作指引文档、Slack工作群组记录、真实对话样本以及用于给对话分级的评分体系。
据披露，从事该项工作的人员被称为”提示词审核员”。其工作内容是查看经过匿名化处理的真实用户聊天记录，评判ChatGPT回复的质量，评估回答是否切题，同时检查回复文本是否过度出现”AI式话术”、居高临下的说教语气、表情符号、谄媚口吻等问题。审核标准明确禁止回复使用拟人化表述，也不允许编造”个人经历”。例如，ChatGPT可以说”我查到了一些相关信息”，但不能写成”身为一名厨师，我喜欢……”或”我明白这种感受”。
一名审核员向404 Media表示，这份工作”十分机械重复”，但时薪超过50美元（约合人民币336元），对于难度不算高的工作而言报酬相当可观。该审核员还提到，项目的操作指引一直在改动，不同版本之间经常自相矛盾。这名工作人员认为，绝大多数用户并不知道自己的聊天内容会被其他人阅读。
这一情况引发了对用户隐私的担忧。不少用户将ChatGPT当作倾诉对象或心理疏导工具，向AI吐露内心深处的秘密。虽然聊天记录据称会先经过一轮匿名化处理，审核人员看不到用户名，但OpenAI向404 Media承认，过滤环节依然有可能漏掉部分个人数据，简短会话出现这类问题的概率更高。404 Media还指出，大量对话中用户明确请求ChatGPT对谈话内容予以保密。交给审核人员的会话版本甚至附带一份”用户记忆摘要”，里面汇总了用户的提问、兴趣偏好、上下文信息，甚至可能包含位置信息。
值得注意的是，莉莉计划并不专门核查回答内容在事实上是否准确，仅会标记那些显而易见的错误。这意味着至少还有另外一支或多支团队在开展独立的效果评估。同样，这套评分审核与排查用户是否存在伤害他人或伤害自身意图的人工安全审查，属于两套独立流程。
该项目的存在也说明，和AI公司力图塑造的公众印象相反，大模型的迭代进步并不仅仅依靠技术升级与更优质的训练数据集；依然需要相当数量具备相应能力的人类参与其中。
在数据使用授权方面，绝大多数面向普通用户的聊天机器人都带有类似设置：”允许使用你的对话记录改进产品”。几乎所有聊天产品的该项开关默认都是开启状态，不少付费订阅方案也不例外。不过ChatGPT面向企业版、商业版以及教育版客户时，该项设置默认关闭。但这个切换开关不具备回溯效力，已经存入ChatGPT数据库里的历史聊天记录会继续保留，除非用户主动申请删除。此外，删除操作同样无法追溯：即便用户删除对话，对应的内容或许早已被抓取、完成匿名处理，并留存于某个数据集当中。
404 Media就用户是否被明确告知聊天记录有可能交由人工审阅一事向OpenAI发起问询，起初OpenAI未予回应。之后该公司仅提供了一份常见问题页面链接，该页面提到出于模型优化目的会开展人工审核。经核实，这份公示至少已经存在两年，实际年限可能更久。在深度报道发布之后，OpenAI修改了帮助页面，补充说明用户如何选择退出数据收集，但修改后的文档中依旧没有提及会有工作人员人工读取会话内容。
这类数据收集与人工审阅的做法在各大服务商当中普遍存在。谷歌的Gemini在隐私中心明确写明”部分保存的聊天记录可能由人工审核”。Anthropic也持有相似立场，专门开设网页说明该事项。而Perplexity的态度尚不明确，其隐私政策既没有确认、也没有否认工作人员可以访问聊天日志。
此次曝光揭示了大模型优化流程中长期未被充分披露的人工环节。在AI企业竞相强调技术驱动模型进化的叙事之外，人工审核仍然是模型迭代中不可忽视的组成部分。随着监管机构对AI数据隐私关注度的提升，如何在模型优化与用户知情权之间取得平衡，将成为OpenAI及同类企业需要持续面对的课题。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
