👀同样叫 NVFP4,双卡 5090 上两个千问差出一倍 KV 池

👀同样叫 NVFP4,双卡 5090 上两个千问差出一倍 KV 池

vLLM 菜谱实测,上下文开到 262K:
Inferact:约 44.6 万 token,权重约 12.0 GiB/卡
unsloth:约 92.1 万 token,权重约 10.6 GiB/卡

原因是 unsloth 混了 FP8,Inferact 是纯 W4A4。纯的草稿接受率更高,混的 KV 更大。

温馨提示:别按名字随便换,先想清楚你要更大池子还是更高接受率。你本地用的哪一版?

来源:vLLM Recipes👇
https://recipes.vllm.ai/Qwen/Qwen3.8-27B



分类