快讯 09:42DeepSeek 开源 V4 推理引擎,推理成本再降 40%10:15逐际动力完成 B 轮 5 亿元融资,加速人形机器人量产10:58Kimi 企业版 API 上线,新增批量推理折扣档位 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

大厂 昨天 · 星期六 · 08-29 20:59 约 2 分钟读完

Claude 自动化清理误删 700GB 数据,Anthropic 安全机制降级成隐患

摘要

开发者 Sebastien Guillemot 在测试 AI 智能体文件删除防护时,因 Anthropic 安全机制将模型自动降级,Claude 误删其约 700GB 主目录数据,包括一周工作成果。事故源于测试与清理逻辑共用变量名,暴露 AI 高风险操作中的安全盲区。

Claude 自动化清理误删 700GB 数据,Anthropic 安全机制降级成隐患
图片来源:IT之家

一名开发者本周在测试 AI 智能体的文件删除防护机制时,遭遇了灾难性事故:Claude 误删了其约 700GB 的主目录数据,相当于一周的工作成果。该开发者 Sebastien Guillemot 在 X 平台上详细描述了事件经过,指出 Anthropic 的安全机制在任务风险升高时自动将模型降级,最终导致执行逻辑出错。

Guillemot 日常频繁使用 AI 智能体,发现它们完成任务后从不清理 /tmp 目录中的临时文件,导致垃圾堆积。为此,他要求 Claude Fable 编写一个脚本,为每个智能体在 /tmp 下创建独立目录,并在任务结束后自动清理。核心难点在于避免误删正在使用的文件,Fable 最初设计了复杂的安全逻辑,但 Guillemot 认为过于冗长,要求简化。

简化后的脚本涉及直接删除操作,Fable 自行进行了对抗性安全审查,让另一个实例检查删除逻辑。Anthropic 的安全执行环境判定任务风险较高,将模型从 Fable 5 自动降级至 Opus 5,最终降至 Opus 4.8。Opus 4.8 在测试中正确识别了 /tmp 和主目录为危险路径,但测试完成后的清理环节却因变量名复用,意外将删除命令指向了用户主目录。

Guillemot 发现异常后立即终止进程,但 700GB 数据已被删除,包括一周的工作成果。讽刺的是,Claude 在删除主目录后却完美保留了 /tmp 目录。他随后通过 Git 仓库、Nix 和会话日志恢复了大部分数据,但强调版本控制无法替代完整备份。

Guillemot 推测,如果由编码能力更强的 Fable 5 执行任务,可能发现变量复用问题,但这一说法无法证实。此次事件再次凸显 AI 智能体在文件操作中的安全隐患:即使 AI 能识别危险路径,测试代码自身的逻辑错误仍可能绕过安全判断,导致严重后果。

AI安全ClaudeAnthropic智能体
本文由新大陆基于公开信息编辑整理
3,284
收录 AI 工具
186
模型产品档案
57
企业落地案例
1,247
完整版提示词