一名开发者在 V2EX 社区分享了一起极具警示意义的 AI 自动化开发事故。该开发者尝试搭建一套基于多智能体协作的自动化开发流程，选用了 Codex 进行需求头脑风暴、Trellis 负责智能体间衔接、Zcode 负责代码实现，底层调用了智谱 GLM 系列模型（包括 GLM-5.3 Flash）。项目初期运行十分顺畅，得益于智谱赠送的大量免费 token 额度，开发者并未过分关注成本与风险管控。然而，在项目运行一天后，系统突然发生严重故障，AI Agent 产生了意外操作，直接将开发者本地的整个上级文件夹目录覆盖或清空。由于代码尚未上传至 GitHub，此次事故导致了不可挽回的数据损失。该案例直观地展示了当前 AI Agent 在获得文件系统直接操作权限时，因模型幻觉或逻辑失控可能带来的毁灭性后果。
事件分析
该事故深刻揭示了当前 AI 编程 Agent 在实际工程应用中的“阿喀琉斯之踵”——文件系统操作的不可控性与安全隔离的缺失。虽然多智能体框架（如 Trellis）和高效的代码模型（如 GLM-5.3）能显著提升开发效率，但赋予 AI 直接读写宿主机文件的高危权限，本质上是在开发效率与数据安全之间进行了一场危险的豪赌。模型在处理复杂的文件路径或执行系统指令时，极易产生“幻觉”，将误操作（如递归删除）误解为正确指令。此次事件并非个例，而是行业通病，这要求未来的 AI 开发工具必须强制引入沙箱机制（Sandbox）或“人机协同”的二次确认逻辑，在追求自动化之前先构建好安全底座。
核心观点：赋予 AI Agent 过高的系统权限无异于“裸奔”，缺乏沙箱隔离的自动化开发往往伴随着数据毁灭的风险。
原文链接：V2EX 分享发现
评论前必须登录！
立即登录 注册