当行业热捧大模型路由时，为何我们选择废弃它？

在当前的人工智能开发领域，构建“大模型路由”已成为一种流行趋势。开发者通常利用路由机制，根据任务复杂度将查询自动分发至不同规模的模型（如简单的查询由轻量级模型处理，复杂的逻辑则由GPT-4级别的大模型处理），旨在优化成本与响应速度。然而，来源文章《Everyone is building LLM routers, we deprecated ours》提出了一个反直觉的观点：作者决定废弃公司内部开发的LLM路由系统。文章探讨了路由器引入的复杂性，包括缓存管理、粘性会话维护以及由此引发的技术债务。虽然路由器初衷是为了省钱，但在实际应用中，判断逻辑的复杂性可能超过了其带来的收益。特别是在大模型快速迭代、价格持续下降的背景下，维护一个复杂的中间层可能并非最优解。文中提到的“具有缓存感知能力的模型路由器通过增加粘性来维持查询”等细节，也引发了社区对技术实现与过度工程化的讨论。

事件分析

💡 核心观点：随着模型成本下降和能力泛化，复杂的中间路由层可能成为技术累赘，直接调用高能力模型正成为新架构的常态。