我为我的 DGX Station GB300 外接了一块 RTX PRO 6000 显卡。在 DeepSeek 和 GLM 的基准测试中,推理速度提升了约 3–4 倍。
大谢小贺 2026-11-09 00:37:50
我曾考虑再增加一块 RTX 5060 Ti 16GB,组建一套 3 GPU 系统,以用于运行本地大语言模型(LLM)。
爱馨 2026-11-09 00:26:11
区区 4GB 显存,竟要硬跑 70B 的大模型,这还真叫 AirLLM 给办妥了。
第十一人 2026-11-09 00:07:47
有些眼馋
basd 2026-11-08 00:00:40
一张 12GB 的 RTX 3060 居然能把 125B 大模型跑到 36 tok/s,这个只有 94 星的冷门项目有点东西。
萱萱玥玥 2026-11-07 23:33:34