推理模型的账单有一大块花在思考 token 上:模型开口前先写一长串推理,这些 token 按输出计价,也决定用户等多久。

推理模型的账单有一大块花在思考 token 上:模型开口前先写一长串推理,这些 token 按输出计价,也决定用户等多久。BottleCap AI 把 Gemma-4-26B-A4B 的这段思考平均砍掉 38.9%,十二项基准的准确率平均只降 0.15pp。

本次所使用改动,基于 gemma-4-26B-A4B。这是

目标是只让它用更少的 token 就能输出答案。至于其它,包括知识、推理、指令跟随、安全行为都不会改变。

结果喜人,每题平均思考 token 从 8773 降到 5398。降幅最大的是 LongBench v2 的 69.1% 和 AA-LCR 的 59.3%,最小的是 IFBench 的 13.7% 和 τ²-bench 的 20.8%。

作者的解释是后两项本来就不靠长思考:一项照着格式清单输出,一项按固定的客服策略选对工具调用。

准确率上八个测试项落在噪声范围内,五项还比原版高。

而且重复循环的概率变低,原版 3.64% 的回答陷进重复循环,新版 0.76%;思考没写完就被截断、直接记零分的比例从 4.35% 降到 0.72%。循环最严重的三个数学基准上,循环率最高从 17.0% 降到 4.5%。

我的判断:这份替换值得做,省下来的是原模型想多了的那部分。思考降四成,对按输出计费的 API 和本地推理的电费、延迟都是直接收益;准确率平均掉 0.15pp,说明多数任务上多出来的推理没换来答案。代价压在长文档聚合上,AA-LCR 那 4pp 超出置信区间。负载以读长材料、跨文档对照为主的话,先用自己的一百道题复测再换;以指令跟随、工具调用、数学题为主的话,可以直接替。

原文链接在评论区



分类