Bottlecap AI发布ThinkingCap系列第五款模型,首次将token效率优化应用于谷歌Gemma-4-26B-A4B-it。Gemma-4-26B-A4B是谷歌的稀疏混合专家模型,总参数26B,每token仅激活约4B。优化后的模型在十二项基准测试中平均减少38.9%的思考token,最高降幅达69.1%,精度仅下降0.15个百分点,小于多数基准的运行间波动范围。推理设置完全不变(思考模式开启、温度1.0、top_p 0.95),基于vLLM可直接替换原模型。评测采用多种子测试并以95%置信区间报告精度:十二项基准中八项差异小于噪声范围,五项反而优于原模型;指令遵循任务提升1.83个百分点,唯一明显损失来自AA-LCR长文本基准(下降4.00个百分点)。此外,原模型3.64%的回复出现循环输出,优化后降至0.76%,在AIME、HMMT等数学基准上改善尤为显著。模型已在Hugging Face以bottlecapai/ThinkingCap-gemma-4-26B-A4B-it名称发布,附带GGUF版本供本地部署。公司另提供效率更高的PRO版本,思考token平均减少62%、最高减少87.6%。
事件分析
核心观点:推理模型竞争正从拼规模转向拼思维链效率,谁能无损压缩思考过程,谁就掌握推理降本的主动权。
原文链接:Hacker News

评论前必须登录!
立即登录 注册