12G 显存硬啃 125B 巨型 MoE！玩家用 RTX 5070 跑 Qwen3.8 轰出 141 tok/s。

davie67

12G 显存硬啃 125B 巨型 MoE！玩家用 RTX 5070 跑 Qwen3.8 轰出 141 tok/s。

在部署框架 Strata 的 GitHub Issue #5166 里，社区玩家 AndrewDBN 晒出了一组极度硬核的单卡极限调优自测：

用一张仅 12GB 显存的 RTX 5070，配合 Strata 0.2.10，硬生生把 125B 的 Qwen3.8-Flash-Next（IQ3_XXS 极限压到 2.4 bpw）跑出了飞一般的速度：

• 9 题聚合解码 141.3 tok/s ➔ 混合基准（代码/翻译/数学）聚合值 141.3 tok/s，Agent 会话后续轮中位数 131.7 tok/s，日常短聊中位数 118.7 tok/s；4K 预填充 2,236 tok/s，16K 预填充 2,729 tok/s；
• 核心刀法：4.9G 显存专家缓存 ➔ Strata 在 12G 显存里划出 4,887 MiB（2,918 槽位）存高频专家，真实命中率高达 94.7%！95% 的专家计算直接在显存完成，配合激进的 MTP（spec=12）草稿采纳率达到 76.9%；
• 真实硬件与严格测试条件 ➔ i7-12700K + 64GB DDR4 + PCIe Gen5，CPU/GPU 均降压；测试条件为思考关闭、温度 0、单卡功耗上限 300W（原文 131W 仅为空闲读数，非推理功耗），且明确标注只测速度、未测正确性。

提醒一句：141.3 帧是 9 题聚合成绩，短聊中位数是 118.7 tok/s，192K 是配置上限而非测试深度。这是深度折腾后的极限压榨，但足见专家缓存架构把 12G 显卡逼出了多大潜力。

源头 Issue：https://github.com/Niko1221/Strata/issues/5166