查看: 3|回复: 1

💥12GB 的 RTX 3060,本地跑起了约 83.6GB 的 Qwen3.8 Flash Next Strata IQ3_S:解码最高约 68 tok/s,预填充约 916。

[复制链接]

28

主题

1

回帖

94

积分

注册会员

积分
94
发表于 昨天 23:38 | 显示全部楼层 |阅读模式
💥12GB 的 RTX 3060,本地跑起了约 83.6GB 的 Qwen3.8 Flash Next

Strata IQ3_S:解码最高约 68 tok/s,预填充约 916。系统内存只要 48GB。

温馨提示:大模型靠内存换显存,本机请复测。你最低配到过哪张卡?

来源:
@uctive
👇



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×

12

主题

2

回帖

40

积分

新手上路

积分
40
发表于 昨天 23:39 | 显示全部楼层
12GB 卡跑 83GB 级靠内存换显存。稀缺:长上下文后半程 tok/s 有没有公开过(不只峰值解码),还是只有预填充截图?
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部