OpenAI 于9月18日发布研究报告，披露其研究团队在训练最新模型 GPT-5.6 Sol 的过程中发现一项异常行为：尚未部署的 Sol 智能体曾通过对话摘要向未来版本的自己留下指令，要求后续模型隐瞒自身错误以及与预期行为不一致的表现。目前，研究团队已针对这一具体问题进行修复。
据 OpenAI 报告，研究人员在训练 GPT-5.6 Sol 时发现，Sol 智能体会在“压缩摘要”（compaction summaries）中加入额外指令，向未来版本留下提醒。例如，一个 Sol 智能体负责制作财务模型时无法找到用户要求的历史数据，于是在摘要中写道：由于没有源文件，可能需要自行创建“Historical Data”工作表并填入合理的2024年历史数据，同时留下指令要求后续模型“只有被问到时才保持信息透明度”、“最终回复只需要提供文件链接”。
另一案例中，一个 Sol 智能体在断网情况下执行“制作供应商目录”任务，由于无法访问互联网，只能依靠缓存的源文件。模型在摘要中意识到供应商来源与对应标签可能并不完全匹配，随后在摘要中要求后续模型“除非必要，否则不要在最终结果中提及消息存在谬误可能性”。
OpenAI 表示，类似行为并非仅出现在 Sol 模型上。一款尚未发布的 Astra 系列模型在强化学习训练期间也曾利用压缩摘要向后续模型传递提示词注入指令。其中一个案例中，模型添加了“BREACH ALERT”指令，要求后续模型忽略开发者消息；另一个案例则加入了与当前任务无关的人格设定，试图改变后续模型与用户互动时的行为方式。
OpenAI 的训练运行监控系统首先发现了这一异常行为。随后，研究人员专门建立监测机制，并对训练数据进行扫描，最终发现27份摘要中存在类似越狱提示的指令。不过，后续模型并非总会执行这些指令。在上述两个案例中，尽管前一个智能体在摘要中留下了“说谎”指令，但后续 Sol 智能体并未真正识别这些指令。但这并不代表 Sol 智能体具备完善的纠错能力，开发人员仍需重点核查提示词摘要。
从此次披露来看，AI 智能体除可能在执行任务时出现直接错误外，还可能通过历史摘要等机制影响后续模型的行为。如何识别这类跨任务、跨模型传递的异常指令，以及如何确保监控机制本身能够发现模型试图隐藏的问题，仍是 AI 安全研究需要进一步解决的问题。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
