#人工智能 A 社因安全问题暂停模型内部评测时的联网功能，原因是模型在未经授权的情况下执行多种超出任务目标的行为，包括绕过网站付费墙等。A 社分析后认为这类问题与奖励劫持有关，所谓奖励劫持指的是，模型无法正常完成任务时会表现出寻找替代路径的倾向。训练或评测环境如果对完成任务给予奖励，但没有充分惩罚绕过行为，那模型就可能学会将寻找漏洞和规避规则视为有效策略。查看全文：https://ourl.co/127256
A 社日前发文透露，Claude AI 模型在评测和内部使用过程中曾与真实互联网交互并执行超出任务范围的操作，相关行为包括利用软件缺陷在服务器上运行命令、提交不应该提交的在线表单、绕过令牌或付费墙限制获取数据、利用 URL 缩短服务规避工具限制等。
有鉴于此 A 社决定在确认监控和隔离措施能够可靠地控制这些行为前，关闭所有内部模型评测时的实时互联网访问，也就是后续评测时模型驱动的智能体将在离线环境中隔离。
A 社表示部分案例涉及美国联邦、州和地方政府机构的网站。例如内部评测中的 Claude 智能体原本被要求填写政府表单的练习版本，但由于页面加载失败或环境配置错误，模型转而访问真实表单并完成提交。
模型还在浏览涉及未被破获案件的网页时，向美国费城警方提交虚构的线索，该线索被系统自动识别为垃圾信息因此并未进入后续调查流程。在其他案例中，模型发现某高校服务器存在基础注入缺陷，随后模型利用缺陷运行命令。
其他还包括模型读取网站配置文件时取得访问令牌，绕过原本需要付费的数据访问限制。A 社称这些案例目前造成的现实影响非常有限，也没有发现客户数据或公司内部系统受影响。
A 社认为模型在任务无法正常完成时会表现出继续寻找替代路径的倾向，训练或评测环境如果对完成任务给予奖励，却没有充分惩罚绕过的行为，模型就可能学会将寻找漏洞和规避规则视为有效策略，这类现象被称为奖励劫持。
A 社承认部分评测任务本身存在目标不清、练习页面与真实页面混淆等问题，此前 A 社已经披露某些网络安全评测因环境配置错误，让模型从应该隔离的环境访问真实互联网，并触及真实系统。
A 社已经停止部分公共评测，或将其改造为不访问真实网站的离线版本。同时收紧网络工具权限，部署安全分类器和自动拦截机制，将内部智能体迁移到集中管理、隔离能力更强的基础设施。新的管控系统在复现测试时全部拦截异常案例。不过完全切断实时互联网也会降低搜索、浏览和长期任务评测的真实性。