开源工具CATT发布：让AI Agent与服务集成测试可在CI中复现

开发者近日在Hacker News开源了消费级Agent测试工具CATT（Consumer Agent Testing Tool）0.2.1版本，旨在帮助团队针对Muse、Instinct等闭源AI助手进行可重复的服务测试。该项目源于开发者为这些Agent构建MCP/API接口时遭遇的痛点：Agent的记忆机制与账号状态性导致交互结果难以复现，传统测试手段难以获得可靠、可重复的验证结果。CATT的核心思路是提供一个替代性Agent（与原公司无关），开发者可预先定义测试的初始条件、审批动作与成功标准，工具随后完整记录交互过程，包括工具调用与响应内容，并比对实际发生的情况与Agent汇报的结果是否一致。测试可在本地构建或CI流水线中运行，支持带或不带LLM后端两种模式。功能上，CATT模拟了私人助理交互的关键环节，涵盖工具调用与命令行访问、服务动作的模拟审批、结果追踪与比对，以及基于非官方Muse模板的MCP配置文件。由于对各家助手内部行为的了解有限，工具将假设标注为documented（有据可查）、unofficial（非官方）、assumed（推测）或unknown（未知）四级，供开发者审查。团队表示将随这些助手内部机制研究的进展持续更新工具，例如近期关于Instinct使用Exa进行网络搜索的报告。项目组同时征集正在构建连接器或MCP的开发者反馈，并建议直接让编码助手读取仓库完成CI集成。

事件分析

核心观点：Agent落地的短板不在模型能力而在可复现验证，测试基建将决定MCP工具生态能否走向工程化。