(解码,而非编码……)
机箱还没到(决定试试 Inter-Tech 4W2),所以我利用这段时间,致力于挖掘该系统的最佳性能。目前的重点是 EXL3 以及 DS 4.1 Flash 和 Qwen Flash Next。当前测试数据如下:
MeasureDeepSeek, stock 300 WDeepSeek, 210 WQwen, stock 300 WQwen, 210 W
1 request107 prose / 187 code103 prose / 177 code269265
4 requests247227635607
8 requests305282849810
16 requests3463191,1231,075
24 requests3753421,2491,183
32 requests4153781,3451,284
Prefill 16k4,4804,2909,4209,090
Prefill 64k5,9805,4809,5409,220
Prefill 128k6,3305,6409,4009,090
我之前曾在这里发帖介绍过这套系统:https://www.reddit.com/r/LocalLLaMA/comments/1xv2jst/4xr9700_exl3_hwsw_tips_ds41f_225bpw_pp_61k_c1/
你可以在此代码仓库中获取相关代码、硬件优化方案等内容:https://github.com/mikoskinen/r9700-exact-serving