vLLM 菜谱实测,上下文开到 262K:
Inferact:约 44.6 万 token,权重约 12.0 GiB/卡
unsloth:约 92.1 万 token,权重约 10.6 GiB/卡
原因是 unsloth 混了 FP8,Inferact 是纯 W4A4。纯的草稿接受率更高,混的 KV 更大。
温馨提示:别按名字随便换,先想清楚你要更大池子还是更高接受率。你本地用的哪一版?
来源:vLLM Recipes👇
https://recipes.vllm.ai/Qwen/Qwen3.8-27B