LLM调用成本优化难题:AnyRouter接入Anthropic Opus后缓存命中率为何极低?

一位开发者在社区反馈,在使用 AnyRouter 对接 Anthropic 的 Claude Opus 模型时,遭遇了严重的缓存命中率问题。数据显示约 70% 的请求被计为“缓存写入”,导致 API 费用飙升,且此前基于 OpenClaw 的优化方案并未奏效。此外,该用户还提到 AnyRouter 对 Sonnet 模型的支持也不稳定,频繁报错负载过高。这一案例揭示了在 AI 中转代理服务中,完美适配上游厂商(如 Anthropic)复杂的 Prompt Caching 协议仍存在技术挑战,直接影响了开发者的推理成本控制。

原文链接:Linux.do

抢沙发

评论前必须登录!

立即登录   注册