测试配置为:RTX 5070 12GB + RTX 5060 Ti 16GB(共 2 块显卡),内存 64GB;模型采用 Qwen3.8-Flash-Next IQ3_S,上下文上限设为 128K。模型层被分配到两块显卡上运行。
预填充(Prefill)速度(v0.2.12 → v0.2.15)
・约 1.4 万 token:358 → 556 tok/s
・约 3.2 万 token:449 → 560 tok/s
・约 12 万 token:437 → 549 tok/s
在约 1.4 万 token 的情况下,速度提升至约 1.6 倍;其他情况下则提升至约 1.25 倍。测试是在同一天使用相同的输入内容进行的。
另一方面,在文本生成阶段,大多数情况下并未观察到明显差异。
其中,约 1.4 万和 3.2 万 token 的数据取自 3 次测试的中位数,而约 12 万 token 的数据仅为单次测试结果。
目前尚未分析出导致速度提升的具体原因。至于是否将日常使用切换至 v0.2.15 版本,我还没决定好。