推理模型的账单有一大块花在思考 token 上：模型开口前先写一长串推理，这些 token 按输出计价，也决定用户等多久。

林振祥

推理模型的账单有一大块花在思考 token 上：模型开口前先写一长串推理，这些 token 按输出计价，也决定用户等多久。BottleCap AI 把 Gemma-4-26B-A4B 的这段思考平均砍掉 38.9%，十二项基准的准确率平均只降 0.15pp。

本次所使用改动，基于 gemma-4-26B-A4B。这是

目标是只让它用更少的 token 就能输出答案。至于其它，包括知识、推理、指令跟随、安全行为都不会改变。

结果喜人，每题平均思考 token 从 8773 降到 5398。降幅最大的是 LongBench v2 的 69.1% 和 AA-LCR 的 59.3%，最小的是 IFBench 的 13.7% 和 τ²-bench 的 20.8%。

作者的解释是后两项本来就不靠长思考：一项照着格式清单输出，一项按固定的客服策略选对工具调用。

准确率上八个测试项落在噪声范围内，五项还比原版高。

而且重复循环的概率变低，原版 3.64% 的回答陷进重复循环，新版 0.76%；思考没写完就被截断、直接记零分的比例从 4.35% 降到 0.72%。循环最严重的三个数学基准上，循环率最高从 17.0% 降到 4.5%。

我的判断：这份替换值得做，省下来的是原模型想多了的那部分。思考降四成，对按输出计费的 API 和本地推理的电费、延迟都是直接收益；准确率平均掉 0.15pp，说明多数任务上多出来的推理没换来答案。代价压在长文档聚合上，AA-LCR 那 4pp 超出置信区间。负载以读长材料、跨文档对照为主的话，先用自己的一百道题复测再换；以指令跟随、工具调用、数学题为主的话，可以直接替。

原文链接在评论区