谷歌Gemma优化版发布:思考token最多省69%,精度几乎无损

Bottlecap AI发布ThinkingCap系列第五款模型,首次将token效率优化应用于谷歌Gemma-4-26B-A4B-it。Gemma-4-26B-A4B是谷歌的稀疏混合专家模型,总参数26B,每token仅激活约4B。优化后的模型在十二项基准测试中平均减少38.9%的思考token,最高降幅达69.1%,精度仅下降0.15个百分点,小于多数基准的运行间波动范围。推理设置完全不变(思考模式开启、温度1.0、top_p 0.95),基于vLLM可直接替换原模型。评测采用多种子测试并以95%置信区间报告精度:十二项基准中八项差异小于噪声范围,五项反而优于原模型;指令遵循任务提升1.83个百分点,唯一明显损失来自AA-LCR长文本基准(下降4.00个百分点)。此外,原模型3.64%的回复出现循环输出,优化后降至0.76%,在AIME、HMMT等数学基准上改善尤为显著。模型已在Hugging Face以bottlecapai/ThinkingCap-gemma-4-26B-A4B-it名称发布,附带GGUF版本供本地部署。公司另提供效率更高的PRO版本,思考token平均减少62%、最高减少87.6%。

事件分析

推理模型思考冗长推高部署成本,是当前推理侧优化的核心痛点。此次工作的技术看点在于:不改解码参数、通过训练目标约束实现等精度降思考,并公开带置信区间的多种子评测,透明度高于常见的单次跑分。循环输出率从3.6%降至0.8%,说明部分思考token本质是无效生成而非有效推理,压缩空间真实存在。产业层面,token效率直接转化为推理成本下降与响应提速,对自托管、边缘设备和消费级硬件场景价值更大,GGUF同步发布也印证其瞄准本地部署用户。后续看,此类思维链瘦身有望成为开源模型后训练的标配方向,但AA-LCR上的精度损失提示,长上下文深度推理任务对过度压缩仍然敏感,压缩与泛化的边界仍需更多模型验证。

核心观点:推理模型竞争正从拼规模转向拼思维链效率,谁能无损压缩思考过程,谁就掌握推理降本的主动权。

原文链接:Hacker News

C code80.ai · AI 编码 API 聚合 Claude / GPT 多模型统一接入,稳定不限速,按量计费,几行配置接入 Claude Code。 了解一下 ›

抢沙发

评论前必须登录!

立即登录   注册