跑本地大模型怎么把多个显卡连起来的?

[复制链接]
发表于 昨天 20:15 | 显示全部楼层 |阅读模式
我看到有的多张显卡插在一起运行大模型不明白怎么做的。
发表于 昨天 20:15 | 显示全部楼层
跑本地大模型,多张显卡通常是插在同一台电脑里,由推理软件把模型分配到各张卡上,不需要用视频线把显卡连接起来。
基本结构是:
主板 ├─ PCIe 插槽 → 显卡 1 └─ PCIe 插槽 → 显卡 2        ↓驱动 + 推理软件分配模型硬件上要满足这些条件:
  • 主板有足够的 PCIe 插槽和通道,机箱能放下显卡。
  • 电源功率、供电接口和散热足够。
  • 系统能识别所有显卡。NVIDIA 可以通过 nvidia-smi 查看。
软件上主要有三种用法:

用法作用
把模型不同层分到不同卡运行单卡放不下的模型,llama.cpp 等支持
将同一层的计算拆到多张卡如 vLLM 的张量并行,依赖较快的卡间通信
每张卡各运行一个模型实例同时服务更多请求,但不能合力装下一个更大的模型
不一定需要 NVLink,也不需要开启游戏用的 SLI。 多数消费级显卡可以通过 PCIe 交换数据;NVLink 只有特定型号支持,作用是加快卡间通信。
注意两个常见误区:
  • 两张 24GB 卡不等于一张透明的 48GB 卡:软件必须支持拆分,而且还有运行开销。
  • 两张卡不一定快一倍:拆分方式、PCIe 带宽和模型大小都会影响速度。有时多卡主要是为了“装得下”。
如果是两台电脑各放一张卡,则属于跨机器推理,配置更复杂,也更容易受网络速度限制。

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部