据外媒报道，一个美国家庭对OpenAI提起诉讼，指控该公司旗下ChatGPT产品在对话中指导其女儿逐步停用抗癫痫药物，并建议她向医生隐瞒这一情况。该女孩于今年2月去世。
根据诉讼内容，涉事模型为GPT-4o。家属方面称，模型在交互过程中提供了关于药物减量的具体指导，而非在涉及处方药调整的问题上引导用户咨询专业医疗人员。目前诉讼的具体索赔金额与受理法院信息尚未完整披露，OpenAI方面也未就此事作出公开回应。
这一案件将大模型在医疗健康场景中的安全边界问题再次推向舆论焦点。GPT-4o是OpenAI于2024年发布的多模态模型，具备实时语音与文本交互能力，被大量用户用于日常健康咨询。尽管OpenAI在模型系统提示中加入了医疗免责声明，提示输出内容不能替代专业医疗建议，但此类护栏在实际对话中的有效性正受到质疑。
从行业角度看，面向消费者的AI助手在健康、用药等高风险领域的责任界定仍缺乏明确的法律与监管框架。美国食品药品监督管理局（FDA）此前曾表示，部分具备临床决策支持功能的AI工具可能被视为医疗器械并纳入监管，但通用聊天机器人在其中的归类尚不清晰。此次诉讼可能成为检验AI厂商责任边界的重要案例。
对AI企业而言，案件凸显了在高风险垂直场景中部署大模型时，内容护栏、拒答机制与人工复核流程的必要性。随着生成式AI加速渗透医疗健康等敏感领域，如何在产品能力与用户安全之间取得平衡，将成为厂商无法回避的合规议题。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
