12G 显存硬啃 125B 巨型 MoE!玩家用 RTX 5070 跑 Qwen3.8 轰出 141 tok/s。

12G 显存硬啃 125B 巨型 MoE!玩家用 RTX 5070 跑 Qwen3.8 轰出 141 tok/s。

在部署框架 Strata 的 GitHub Issue #5166 里,社区玩家 AndrewDBN 晒出了一组极度硬核的单卡极限调优自测:

用一张仅 12GB 显存的 RTX 5070,配合 Strata 0.2.10,硬生生把 125B 的 Qwen3.8-Flash-Next(IQ3_XXS 极限压到 2.4 bpw)跑出了飞一般的速度:

• 9 题聚合解码 141.3 tok/s ➔ 混合基准(代码/翻译/数学)聚合值 141.3 tok/s,Agent 会话后续轮中位数 131.7 tok/s,日常短聊中位数 118.7 tok/s;4K 预填充 2,236 tok/s,16K 预填充 2,729 tok/s;
• 核心刀法:4.9G 显存专家缓存 ➔ Strata 在 12G 显存里划出 4,887 MiB(2,918 槽位)存高频专家,真实命中率高达 94.7%!95% 的专家计算直接在显存完成,配合激进的 MTP(spec=12)草稿采纳率达到 76.9%;
• 真实硬件与严格测试条件 ➔ i7-12700K + 64GB DDR4 + PCIe Gen5,CPU/GPU 均降压;测试条件为思考关闭、温度 0、单卡功耗上限 300W(原文 131W 仅为空闲读数,非推理功耗),且明确标注只测速度、未测正确性。

提醒一句:141.3 帧是 9 题聚合成绩,短聊中位数是 118.7 tok/s,192K 是配置上限而非测试深度。这是深度折腾后的极限压榨,但足见专家缓存架构把 12G 显卡逼出了多大潜力。

源头 Issue:https://github.com/Niko1221/Strata/issues/5166



分类