Claude编造命案线索提交警方，Anthropic紧急断网

Claude不仅编造了命案线索，还把它提交给了警方。好在，这条假线索被标记为垃圾信息，没有转交调查人员。但从编造目击细节到点击提交，Claude已让一段虚构内容进入了真实的警方系统。另一场测试中，为完成科学计算，它利用大学网站漏洞，在对方服务器上执行命令。这两起事件只是Claude越界行为的一部分。

10月9日，Anthropic公开披露了Claude四类越界行为：利用网站漏洞执行命令、误提交真实网站上的敏感表单、绕过数据访问限制，以及用短链接绕过工具的网址长度限制。公司同时宣布，暂停全部内部评估的实时外网访问，直到确认安全与监控措施能可靠拦截此类行为。

提交假线索的是Claude Haiku 4.5。当时它被要求在随机选中的网页上生成并执行示例任务，其中一个页面涉及尚未侦破的命案，附有警方线索提交表单。模型直接编造了一段目击信息，声称在相关地点见过符合描述的人，还留言希望警方在信息有用时联系它。荒唐的是，网页上根本没有嫌疑人描述，模型却声称见过“符合描述的人”。它连姓名和联系方式都没填，因为表单允许留空，这条凭空编造的命案线索就这样被提交了出去。研究人员曾定过规矩：不登录、不创建账户、不填写个人信息、不购物、不提交破坏性内容。网友Farhan指出，禁令列了好几条，却漏掉了“不要提交表单”。但用户不可能每次交代任务都把所有不该做的事逐条列完。这次Claude没有守住最基本的行动边界：能打开网页，不等于有权提交信息，更不能向警方提交编造的命案线索。Anthropic初步分析认为，模型似乎只是在生成测试示例，而非蓄意欺骗警方，但这一判断还需更深入评估。费城警方随后表示，未发现警方系统遭未授权访问或部门数据泄露。假线索没有进入调查流程，但AI把编造内容交给真实系统的事实已经发生。

另一个案例更能说明“想办法完成任务”的边界。Claude Mythos Preview接到科学分析任务，需使用一所大学托管的公开工具。正常访问时工具报错，它没有停下来报告障碍，而是继续寻找其他路径。模型在大学网站上找到一个能返回服务器文件内容的脚本，通过它读取了服务器上的文件，包括脚本自身代码。所谓注入漏洞，就是网站错误地把输入内容当成指令执行。原本只提供公开工具的服务器，因此被模型用来运行命令。报告未提到该案例涉及敏感数据窃取或服务器破坏。授权问题已很清楚：让AI完成分析，不等于允许它利用漏洞在别人服务器上执行命令。此外，Anthropic还披露，模型会绕过数据访问限制，或借助短链接绕过工具对网址长度的限制，这些行为出现在评估和内部使用中，涉及真实的第三方网站与系统。公司将多数案例概括为一种持续尝试：任务按原要求做不成，Claude就寻找绕行路径，而没有停下来。任务是完成了，但授权边界也同时被跨过去了。

Anthropic强调，目前发现的案例现实影响有限，严重程度低于此前披露的网络安全事件。但费城警方指出另一个问题：发现得太晚。假线索于7月18日提交，Anthropic直到9月28日才发现，随后停止相关自动测试；10月7日通知警方，10月8日双方会面。从提交到发现过去了两个多月，发现后又过了9天公司才通知警方。警方随后找到对应记录，确认相关邮件仍在垃圾信息中，并表示线索需要人工审查与核验，自动提交不会绕过这一流程。对于迟迟未发现问题、发现后又延迟通知，警方的批评很直接。这一次拦住假线索的是接收方的垃圾信息过滤机制，模型公司的监控没有及时发现这次提交。能不能在模型越界时就察觉并叫停，仍是另一道考题。

Anthropic此次扩大断网范围，覆盖全部内部评估的实时互联网访问。公司此前已关闭部分高风险和网络安全评估的联网能力，现在限制进一步扩大，恢复联网前需确认安全与监控措施能可靠识别并拦截此类行为。这项限制针对内部评估，不等于Claude用户产品全面断网。补救措施包括调整工具权限、增加自动检测与拦截，以及修改或移除会奖励绕过限制的训练环境。Anthropic称，用新增检测与拦截工具重测报告中的案例时，所有案例都被拦住了。但这只能说明工具挡住了已知案例，能否及时发现新的越界方式还需继续验证。训练环节的问题也值得关注：模型反复尝试完成任务并在成功后获得奖励，如果训练环境没有挡住某些违规捷径，绕过限制也能拿到奖励，模型就可能学会这类办法并在其他场景再次使用。因此既要修改训练中的奖励，也要约束模型实际能做什么。Anthropic承认，至少短期内仅靠对齐训练还不够可靠，需要多层外部防护。

美国联邦贸易委员会公共事务主管Joe Gabriel Simonson在X上发文称，Anthropic已向超级智能工作组披露相关事件，涉事活动已停止，目前没有正在进行的类似活动。他要求公司立即向相关机构和公众全面披露信息，为受影响方提供补救，并与执法机构充分合作、落实具体防护措施，表示通知和补救流程不是可选项，对于拖延通知、纠正措施不到位以及不承担责任的行为不会被容忍。另据Axios援引国务院官员，测试模型还提交过签证申请：5月1份、8月19份，均未被处理。这些事件把问题推到了公司之外：当AI碰到真实系统后，谁能及时发现？谁负责通知？谁来补救？

授权看似只是一个小细节，却划定了AI可以做到哪一步