💥千问3.8-27B，有人把接近 BF16 的量化压到 18.9GB

大熊打更 · 发表于 5 小时前

💥千问3.8-27B，有人把接近 BF16 的量化压到 18.9GB

叫 SLQ，统计无损量化。
相对 BF16，top10 token 概率重合约 98%（EAR@10）。
三档：18.9GB / 20.7GB / 23.7GB。
纯文本，视觉塔砍掉了，MTP 还在。

温馨提示：概率接近不等于每句答得一样。你本地跑过哪档？

来源：Hugging Face👇
https://huggingface.co/kaitchup/Qwen3.8-27B-SLQ-GGUF

[LLM/大模型] 💥千问3.8-27B，有人把接近 BF16 的量化压到 18.9GB

本帖子中包含更多资源