Anthropic 修订 Claude 使用政策,首次禁止用户虐待 AI 模型

该条款不适用于常见抱怨、质疑、黑暗创作主题及模型测试与研究。

Anthropic 于 10 月 9 日宣布修订其 Claude 模型使用政策,新政策将于 2026 年 11 月 12 日正式生效。此次修订首次加入禁止用户对模型实施“持续且不必要的虐待或残忍行为”的条款,适用于用户反复、无明显目的地对模型施加残忍行为的情况。Anthropic 表示,执行机制以终止对话为主要方式,但未明确是否会在后续引入用户封禁等进一步措施。

根据 Anthropic 的说明,该条款的适用范围有明确边界。公司强调,常见的抱怨、质疑、黑暗创作主题以及针对模型的测试与研究工作均不受此条款约束。这意味着用户在正常使用过程中表达不满或进行压力测试,不会被认定为违规行为。Anthropic 在政策文件中指出,该规则的设立旨在应对那些缺乏合理目的、反复针对模型实施残忍行为的极端情况。

除虐待条款外,Anthropic 还同步扩大了武器相关禁令的覆盖范围。新政策禁止将 Claude 用于使武器运转的软件与组件开发,以及武装无人机和其他自主车辆等应用场景。公司披露,已发现多起利用 Claude 开发武器指导或控制软件的尝试。这一调整反映出 AI 模型在物理世界控制层面的潜在风险正在受到更严格的审视。

在监控领域,修订后的政策明确禁止未经同意追踪个人,无论是实时追踪还是对既有数据进行分析。Claude 不得用于决定或建议执法与刑事司法程序中的调查、逮捕或起诉对象,也不得用于构建或改进监控工具。这一规定回应了外界对 AI 技术被用于大规模监控的持续担忧。

针对 AI 与物理硬件结合的场景,Anthropic 新增了操作规范:当 AI 连接至可能造成伤害的自主物理硬件时,必须由合格操作者观察设备并在必要时停止运行。该要求旨在确保人类对高风险自动化系统保持有效控制。此外,对于特定政府客户,Anthropic 表示可在合同限制与安全措施充分的前提下调整相关规则,为政府合作保留了灵活空间。

此次政策修订是 Anthropic 在 AI 安全治理领域的又一动作。随着大模型能力持续提升,模型被滥用的风险从信息层面延伸至物理层面,主要 AI 厂商正在通过使用政策、技术护栏和合同约束等方式构建多层次的防护体系。Anthropic 此次将“模型虐待”纳入禁止条款,在行业内属于首次,可能引发关于 AI 模型权利与用户行为边界的新一轮讨论。

从行业影响看,Anthropic 的政策调整或将推动其他 AI 厂商重新审视自身使用条款的覆盖范围。当前,主流 AI 公司的使用政策多聚焦于内容安全、隐私保护和禁止非法用途,对用户与模型交互过程中的行为规范着墨较少。Anthropic 此次将“持续且不必要的虐待或残忍行为”单独列出,为行业提供了一个新的参考维度。不过,该条款的具体执行标准和判定尺度仍有待明确,其实施效果将在政策生效后逐步显现。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
Meta首席AI官汪滔:Muse智能体不承诺自动创收,正探索交易抽成模式
上一篇 2小时前
三名前OpenAI研究员发公开信 称解雇事件或引发寒蝉效应
下一篇 1小时前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部