一台 Mac Studio 加一张 RTX 5090,用雷电扩展坞连起来当一个推理引擎,跑 Qwen3.8 Flash-Next 单路约 210 tok/s。

[复制链接]
发表于 昨天 22:29 | 显示全部楼层 |阅读模式
一台 Mac Studio 加一张 RTX 5090,用雷电扩展坞连起来当一个推理引擎,跑 Qwen3.8 Flash-Next 单路约 210 tok/s。

项目叫 Apple NVIDIA Sidecar,11/8 刚开源。机器是 M5 Max 64GB,5090 装在扩展坞里,权重用的是 NVIDIA 官方的 FP4 版本。

同一个模型,别人公开过的数字大概是这样,测法各不相同,只能看个量级。

1. 一台 DGX Spark 约 43
2. Jetson AGX Thor 约 47
3. M4 Max 峰值约 83
4. 5090 加 128GB 内存的 PC 跑 NVFP4,114 到 116
5. 72GB 的 RTX PRO 5000,中位 159

短板作者自己列得很清楚。

1. 8K 提示的 prefill 约 1,900 tok/s,好一点的 PC 能到 3,900 以上
2. 一次只服务一个会话,1 到 16 路冷启动,总输出一直在 61 tok/s 左右
3. 雷电链路实测单向 6.79 GB/s,反向 5.53,标称 7.88
4. 驱动是作者本地改过的,没放进仓库

想复现,得先自己把驱动搞定。Mac 和 N 卡拼起来跑同一个模型,这条路算是有人走通了。


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部