🤯逆天了！Qwen 3.8 27B注意力层被彻底击穿了！10M超长上下文下，Prefill注意力快72.4倍、Decode快42.5倍！端到端首token延迟砍到约1/9！

风轻尘

🤯逆天了！Qwen 3.8 27B注意力层被彻底击穿了！10M超长上下文下，Prefill注意力快72.4倍、Decode快42.5倍！端到端首token延迟砍到约1/9！

闲置GPU的朋友注意了：把这个新方法丢给Claude/Codex，让它直接移植到Qwen 27B上！注意力算法“移植”已经被验证可行。

惊人之处：
🔹10M token（约1000万）超长上下文下，传统稀疏注意力有98%时间都在“找该看哪些token”，真正算注意力反而没那么贵

🔹新方法Latent Sparse Attention (LSA)：先把Key按“意思相近”聚类成层级结构，Query只看聚类中心，再挑最相关的几个桶去算。从“全扫”变成“树搜索”

🔹实测（Qwen-3.8-27B）：单层注意力Prefill快72.4倍，Decode快42.5倍！端到端首token延迟也能降到约1/9

🔹精度几乎不掉，甚至在RULER等长上下文任务上还略好一点

🔹只需要短蒸馏训练Indexer（基座模型冻结），就能套到现成模型上。Native训练版本也能跟上全注意力精度，还更快

🔹对GPU紧缺党意义巨大：超长上下文（百万级）不再需要堆满H100/H200才能跑，单卡/少量卡也能玩得起真正长上下文Agent

适配步骤：
1️⃣git clone 仓库后用 uv sync 安装（Python 3.12）

2️⃣官方已放出Qwen3.8-27B的蒸馏权重（d-lsa-weights-v1 release），直接下载即可

3️⃣用他们的SGLang fork镜像启动服务，挂载仓库+权重

4️⃣启动时加 --json-model-override-args '{"lsa": {"projections": "/maps/qwen38_27b.pt", "query_heads": "all"}}'（记得加 --disable-prefill-cuda-graph）

5️⃣想自己训练的话，跑 lsa distill targets → lsa distill train → export 即可（基座冻结，只训Indexer）

代码已开源，论文也在，谁有空闲卡先冲一波？

论文：https://arxiv.org/abs/2610.42147

GitHub：https://github.com/Prefrontal-AI/latent-sparse-attention