3× Tesla V100 32GB 全驻留实测(Windows + DDR3L): • 96.8K 深预填 2506 → 3471 tok/s(+38%) • 12K 预填 2100 → 2350(+12%) • 短答解码 113.5 → 118.3(+4%)
并且Strata 面板合并了我提交的动态运行时卡片信息,可以直观的看到:
1、运行时的模型和 Strata 引擎
2、运行的上下文大小
3、平均 decode 速度—自服务器启动以来的平均解码速度
4、平均 prefill 速度—按未缓存 prompt token 计算的平均预填速度
5、平均请求规模—平均每个请求的输入/输出 token 数
6、缓存命中率—每个 prompt 有多少比例的 token 来自缓存复用
7、统计起点—服务器从什么时间开始计数、覆盖多少请求
8、decode 最快/最慢最近 500 个请求(SPEED_KEPT,服务器保留的窗口)里的最快与最慢解码速度
9、prefill 最快/最慢同窗口内的最快与最慢预填速度
10、平均功率GPU 功率的平均值,按时间加权:每次采样按“距上次采样隔了几秒”加权(单次间隔上限 2 秒),空闲时段不计入,某个传感器缺席时不拖累自己的平均值
11、平均温度GPU 温度平均值,加权规则与功率相同