我两台 Spark 上用 TensorFold 加 MTP,单路测出来是 62.2 tok/s,4 路合计 104.6。这是单独测 decode 的数字,放进 agent 会话里只能算上限。
另一组刚搭好的两台 Spark,用 Hermes 开 Max effort 写代码,GLM 5.3 大约 50 tok/s,DS V4.1 还要再慢一点。机主的感觉是只有云端的三分之一到四分之一。
会话里比单测慢,主要是这几处:
1. 每轮工具调用都会带回新的上下文,prefill 的等待算在里面
2. effort 开得越高,想得越久
3. 改文件、重读文件中间的停顿,单测里没有
楼里对两个模型的看法挺一致。GLM 出活快。DS V4.1 想得更久、话更多,但轮数少,整件活的端到端时间差不多,而且要交代的东西更少。