测试配置为:RTX 5070 12GB × 1 + RTX 5060 Ti 16GB × 1(共 2 块显卡),内存 64GB;模型采用 Qwen3.8-Flash-Next IQ3_S。
针对约 1.4 万 token 的预填充测试(取 3 次运行的中位数):
・v0.2.12:128K 上限时为 358 tok/s,256K 上限时为 185 tok/s
・v0.2.15:128K 上限时为 556 tok/s,256K 上限时为 545 tok/s
在 v0.2.12 版本中,若将上限设为 256K,即使输入内容相同,速度也会降至原来的一半左右;而在 v0.2.15 中,速度则基本保持一致。若对比两者在 256K 上限下的表现,v0.2.15 的速度约为 v0.2.12 的 2.9 倍。
此前,扩大上下文上限往往会导致处理短输入时速度也变慢,这曾是个令人困扰的问题。
不过,v0.2.15 在 256K 上限下的实测结果(545 tok/s)比我之前测得的数据(约 283 tok/s)还要慢,具体原因尚不明确。因此,在参考这一倍数差异时,建议适当打些折扣。