Token消耗异常:NewAPI透传开关为何让输入量激增30倍?

一位开发者在技术社区反馈,在使用 NewAPI 接入 OpenRouter 渠道并调用 Claude Sonnet 模型时,开启与关闭“透传请求体”功能导致输入 Token 数量呈现巨大差异。在简单的“hi”指令测试中,开启透传仅消耗 758 个 Tokens,而关闭后消耗量飙升至 25452 个,相差近 33 倍。这一现象表明,在非透传模式下,中间件可能向上下文中注入了大量的系统提示词或文件数据。这对于依赖 API 中转服务的开发者是一个重要警示:在追求功能封装的同时,必须警惕请求链路中隐形的上下文膨胀,以免造成不必要的成本浪费。

原文链接:Linux.do

抢沙发

评论前必须登录!

立即登录   注册