升级 Strata 0.2.17(引擎 0.1.63)完成 ✅非常满意的一次升级

[复制链接]
发表于 1 小时前 | 显示全部楼层 |阅读模式
升级 Strata 0.2.17(引擎 0.1.63)完成 ✅非常满意的一次升级

3× Tesla V100 32GB 全驻留实测(Windows + DDR3L): • 96.8K 深预填 2506 → 3471 tok/s(+38%) • 12K 预填 2100 → 2350(+12%) • 短答解码 113.5 → 118.3(+4%)

并且Strata 面板合并了我提交的动态运行时卡片信息,可以直观的看到:

1、运行时的模型和 Strata 引擎
2、运行的上下文大小
3、平均 decode 速度—自服务器启动以来的平均解码速度
4、平均 prefill 速度—按未缓存 prompt token 计算的平均预填速度
5、平均请求规模—平均每个请求的输入/输出 token 数
6、缓存命中率—每个 prompt 有多少比例的 token 来自缓存复用
7、统计起点—服务器从什么时间开始计数、覆盖多少请求
8、decode 最快/最慢最近 500 个请求(SPEED_KEPT,服务器保留的窗口)里的最快与最慢解码速度
9、prefill 最快/最慢同窗口内的最快与最慢预填速度
10、平均功率GPU 功率的平均值,按时间加权:每次采样按“距上次采样隔了几秒”加权(单次间隔上限 2 秒),空闲时段不计入,某个传感器缺席时不拖累自己的平均值
11、平均温度GPU 温度平均值,加权规则与功率相同


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部