项目叫 Apple NVIDIA Sidecar,11/8 刚开源。机器是 M5 Max 64GB,5090 装在扩展坞里,权重用的是 NVIDIA 官方的 FP4 版本。
同一个模型,别人公开过的数字大概是这样,测法各不相同,只能看个量级。
1. 一台 DGX Spark 约 43
2. Jetson AGX Thor 约 47
3. M4 Max 峰值约 83
4. 5090 加 128GB 内存的 PC 跑 NVFP4,114 到 116
5. 72GB 的 RTX PRO 5000,中位 159
短板作者自己列得很清楚。
1. 8K 提示的 prefill 约 1,900 tok/s,好一点的 PC 能到 3,900 以上
2. 一次只服务一个会话,1 到 16 路冷启动,总输出一直在 61 tok/s 左右
3. 雷电链路实测单向 6.79 GB/s,反向 5.53,标称 7.88
4. 驱动是作者本地改过的,没放进仓库
想复现,得先自己把驱动搞定。Mac 和 N 卡拼起来跑同一个模型,这条路算是有人走通了。