苏黎世理工最新研究:给AI编程助手加“说明书”反而降低成功率,且推高20%成本

尽管AI编码工具厂商普遍推崇使用AGENTS.md等上下文文件来辅助理解代码库,但苏黎世联邦理工学院的最新研究对这一行业惯例提出了有力质疑。研究团队构建了AGENTbench数据集,针对Claude 3.5、GPT-5等主流模型进行了严格测试。结果显示,LLM自动生成的上下文文件不仅未能提升效能,反而通过诱导模型执行不必要的测试和检索,导致任务成功率下降3%,推理成本激增超20%;即使是人工编写的文档,其带来的微弱性能提升(4%)也被高昂的额外步骤成本所抵消。该研究结论挑战了当前“上下文越多越好”的默认假设,建议开发者省略自动生成的冗余文档,仅保留人工特有的关键指令。

原文链接:Hacker News

C code80.ai · AI 编码 API 聚合 Claude / GPT 多模型统一接入,稳定不限速,按量计费,几行配置接入 Claude Code。 了解一下 ›

抢沙发

评论前必须登录!

立即登录   注册