使用 Strata v0.2.17 推理引擎,读取输入(预填充)的速度比之前的 v0.2.16 版本提升了约 2.3 到 2.6 倍。

使用 Strata v0.2.17 推理引擎,读取输入(预填充)的速度比之前的 v0.2.16 版本提升了约 2.3 到 2.6 倍。

测试配置为:1 张 RTX 5070 12GB 显卡 + 1 张 RTX 5060 Ti 16GB 显卡(共 2 张显卡),Ryzen 5 7600 处理器,64GB 内存,以及 Qwen3.8-Flash-Next IQ3_S 型号的计算单元。我使用相同的输入数据(中位数,tok/s)在同一天对每种配置进行了三次测试。

・128K,约 14,000 个 token:557.6→1264.1

・128K,约 33,000 个 token:599.7→1383.7

・256K,约 14,000 个 token:535.9→1403.9

・256K,约 33,000 个 token:536.9→1417.8

根据上游的解释,从 v0.2.17 版本开始,在双 GPU 配置下,允许 CPU 处理部分提示符的功能已默认启用。

然而,我尚未通过分别测试每种配置来确定此功能是否是速度提升的原因。

对于约 33,000 个 token 的输入,读取输入的等待时间缩短了一半以上。


分类