美国加州圣贝纳迪诺县警方近日通报了一起因依赖人工智能规划导致的户外安全事故。一支徒步队伍在采纳了谷歌Gemini提供的装备建议后，因携带食物和饮水严重不足被困山区，最终由当地治安官办公室出动救援才得以脱险。
据该县治安官办公室介绍，徒步者在出发前使用Gemini规划行程补给，但模型给出的建议明显低于该路线所需的实际物资量。警方在通报中表示，徒步者“被Gemini建议携带远少于团队所需的食物和水”。救援人员抵达现场时，队伍已出现脱水和体力透支迹象。目前所有被困者均已安全返回，未报告重伤情况。
这起事件发生在生成式AI加速嵌入日常决策的背景下。随着Gemini、ChatGPT等对话式助手被广泛用于路线规划、健康建议和法律咨询等非典型AI任务，其输出结果缺乏对具体环境变量（如地形难度、天气变化、团队体能差异）的实时感知能力，容易产生看似合理实则危险的建议。此前已有研究指出，大语言模型在涉及安全关键领域的推理中，倾向于生成流畅但未经验证的内容。
圣贝纳迪诺县治安官办公室在事件说明中提醒公众，人工智能生成的内容不应替代专业户外生存知识和经验，尤其是在偏远地区活动时，应参照官方指南或咨询有资质的人员。该事件也再次引发关于AI工具责任边界的讨论：当模型建议被用户采纳并导致实际损害时，服务提供方是否应承担相应义务。目前谷歌尚未就此事公开回应。
对于企业服务领域而言，这一案例同样具有参考价值。随着AI助手从文本生成走向行动建议，SaaS和PaaS平台在接入大模型能力时，需在输出环节增加针对高风险场景的免责声明和人工复核机制，以降低因模型幻觉引发的法律与运营风险。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
