我的 Mac 只有16G, 能跑 8B 大模型吗? 唐雍山泉 2026-03-02 15:52:04 我的 Mac 只有16G, 能跑 8B 大模型吗? 分享个小技巧, 如何确定自己的电脑能不能运行xxx大模型? 再也不用手动计算量化尺寸了. 不过需要注意的是, 虽然程序提供了运行性能参考(token/s), 但无疑是不准的, 理论运行速度应该用内存带宽/模型大小(GB), 基本就是单用户的理论性能上限了. batch_size 高一些的话多用户效果会更好一些. #HOW I AI# http://t.cn/AXcEekX4