查看: 2|回复: 0

🎉牛逼!Qwen-3.8 27B 开源社区新奇迹!

[复制链接]

17

主题

0

回帖

51

积分

注册会员

积分
51
发表于 1 小时前 | 显示全部楼层 |阅读模式
🎉牛逼!Qwen-3.8 27B 开源社区新奇迹!

24G 显存(3090/4090)单卡即可流畅体验

有人直接把 Qwen3.8-27B 稠密模型分成了 64 个专家的 MoE 架构(活跃参数降至 17.8B)

最绝的是,作者只训练了微小的路由器(Router Healing),在全冻结专家权重的情况下成功复活了模型的知识

不仅能正常聊天、写代码,还通过定向蒸馏,把 MoE 压缩模型常见的 话痨/复读机死循环率从 69% 暴跌到 8%!

目前 llama.cpp 已经完美兼容,强烈推荐下载 Q4_K_M 格式本地尝鲜!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注公众号

相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com

Powered by Discuz! X5.0 © 2001-2026 Discuz! Team.|青ICP备2025004122号-1

在本版发帖
关注公众号
返回顶部