👀同样叫 NVFP4，双卡 5090 上两个千问差出一倍 KV 池

奇世天下

👀同样叫 NVFP4，双卡 5090 上两个千问差出一倍 KV 池

vLLM 菜谱实测，上下文开到 262K：
Inferact：约 44.6 万 token，权重约 12.0 GiB/卡
unsloth：约 92.1 万 token，权重约 10.6 GiB/卡

原因是 unsloth 混了 FP8，Inferact 是纯 W4A4。纯的草稿接受率更高，混的 KV 更大。

温馨提示：别按名字随便换，先想清楚你要更大池子还是更高接受率。你本地用的哪一版？

来源：vLLM Recipes👇
https://recipes.vllm.ai/Qwen/Qwen3.8-27B