[硬件评测] 使用 Strata v0.2.17 推理引擎,读取输入(预填充)的速度比之前的 v0.2.16 版本提升了约 2.3 到 2.6 倍。

[复制链接]
发表于 3 小时前 | 显示全部楼层 |阅读模式
使用 Strata v0.2.17 推理引擎,读取输入(预填充)的速度比之前的 v0.2.16 版本提升了约 2.3 到 2.6 倍。

测试配置为:1 张 RTX 5070 12GB 显卡 + 1 张 RTX 5060 Ti 16GB 显卡(共 2 张显卡),Ryzen 5 7600 处理器,64GB 内存,以及 Qwen3.8-Flash-Next IQ3_S 型号的计算单元。我使用相同的输入数据(中位数,tok/s)在同一天对每种配置进行了三次测试。

・128K,约 14,000 个 token:557.6→1264.1

・128K,约 33,000 个 token:599.7→1383.7

・256K,约 14,000 个 token:535.9→1403.9

・256K,约 33,000 个 token:536.9→1417.8

根据上游的解释,从 v0.2.17 版本开始,在双 GPU 配置下,允许 CPU 处理部分提示符的功能已默认启用。

然而,我尚未通过分别测试每种配置来确定此功能是否是速度提升的原因。

对于约 33,000 个 token 的输入,读取输入的等待时间缩短了一半以上。


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部