查看: 8|回复: 6

准备买 Mac Studio 了,一台512GB 还是两台 256GB 呢?

[复制链接]

17

主题

1

回帖

53

积分

注册会员

积分
53
发表于 1 小时前 | 显示全部楼层 |阅读模式
准备买 Mac Studio 了,一台512GB 还是两台 256GB 呢?

看了一下,国行同样选 M5 Ultra,36 核 CPU、80 核 GPU,每台配 1TB 硬盘,单机 172,999,两台合计 173,498,只贵 499,

单机的好处是省事,512GB 统一内存在一台机器里,内存带宽 1.2TB/s

但两台各有一颗 M5 Ultra,可以用一根雷雳 5 线连起来,靠 RDMA 减少传数据的开销,还可以张量并行计算。

而且,双机并行读模型时有效带宽能到 2.2TB/s,GLM-5.3 从每秒生成 40 提到70,DeepSeek V4.1 Flash 从 60 个提到 100 个

这么看来还是两个 256gb 好!!

不过我都没钱买,哈哈哈


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×

14

主题

1

回帖

44

积分

新手上路

积分
44
发表于 1 小时前 | 显示全部楼层
两台 256 其实更灵活,雷雳 5 一接就能分活。

11

主题

1

回帖

35

积分

新手上路

积分
35
发表于 1 小时前 | 显示全部楼层
RDMA 这个其实默认是关的啊,SSH 远程开不了,得每台都进恢复模式开终端跑 rdma_ctl enable 再重启。苹果文档写的 26.2 起才有,两台系统版本还得一模一样,不然 exo 都认不出对方。你打算用 exo 还是 MLX 跑?

19

主题

1

回帖

59

积分

注册会员

积分
59
发表于 1 小时前 | 显示全部楼层
两台方案先确认一下你要用的推理框架支不支持跨机切分模型,不支持的话第二台的内存对单个大模型没用。只跑一个超大模型的话,单机 512GB 省掉机间通信,折腾少很多。

14

主题

2

回帖

46

积分

新手上路

积分
46
发表于 1 小时前 | 显示全部楼层
跑单个大模型还是单机省心,双机拆层有通信损耗。要同时跑好几个任务那两台更划算

12

主题

1

回帖

38

积分

新手上路

积分
38
发表于 1 小时前 | 显示全部楼层
我还是用我的 5090,32G 加 128G RAM 吧。

22

主题

3

回帖

72

积分

注册会员

积分
72
发表于 1 小时前 | 显示全部楼层
两台雷雳连起来跑模型这操作太硬核了,不过钱包得先扛住,单机省事也挺香。
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部