艺洋的蜜蜂 发表于 5 天前

125B 大模型塞进 24GB（甚至 12gb） 显存？现在的本地 AI 已经开始不讲武德了。

125B 大模型塞进 24GB（甚至 12gb） 显存？现在的本地 AI 已经开始不讲武德了。
Strata + Qwen 3.8 Flash Next，居然让我这张老 4090 跑出了 140 Token/s，还能开 256K 上下文。
我才刚把 27B 折腾明白，开源社区能不能稍微等我一下啊！😂

东方看客 发表于 5 天前

照这速度，ollama如果不升级引擎，越来越没用了

寒江钓雪十三郎 发表于 5 天前

我的电脑配置和博主几乎一样，只是CPU为7900X，我试着跑了UD-Q4_K_XL（就是一部分expert在SSD上），结果chat decode 18t/s, agent decode 25t/s, prefill 16k下只有700t/s，所以博主的参数选择是这个配置下的非常实用的了，点个赞！

娜姐说说 发表于 5 天前

我也有跑125b,我的配置是amd3950+64G,但我顯存真的很糟，是5060只有8g,但真的能跑，實測看起來有38t/s,還算堪用
页: [1]
查看完整版本: 125B 大模型塞进 24GB（甚至 12gb） 显存？现在的本地 AI 已经开始不讲武德了。