从LLaMA到DeepSeek|MLA 手算 03:注意力分数上一篇说到:同一份 c,每个头用自己的矩阵,算出各不相同的 K这有什么用呢?这一篇用分数来看Q 照常计算,不进缓存,也不压缩每个头取出自己的两列,和自己的 K ...
关注公众号相关侵权、举报、投诉及建议等,请发 E-mail:2776601884@qq.com
Powered by Discuz! X5.0 Licensed © 2001-2026 Discuz! Team.|青ICP备2025004122号-1