有人用 Rust 从零重写了本地推理引擎 RustingStrata，彻底抛弃 ggml，CUDA 内核全靠运行时现编译，顺带还支持 Vulkan。
在 Ryzen 7600X + 32GB 内存 + RTX 3060 12GB 这套平民配置下，作者实测数据相当猛：
Qwen3.8-Flash-Next (125B)：64GB 的模型文件，显存只能塞下 18% 的专家。解码照样跑到约 36 tok/s（原版 Strata 只有 19–22），读提示词约 370 tok/s（原版 140–146），直接翻倍。
Qwen3.6-35B-A3B：解码飙到 118.2 tok/s，而调优过的 llama.cpp 只有 68.4；如果开启 MTP 草稿，最高能冲到 160 tok/s。
Qwen3-Next-80B：同样配置下稳跑 92 tok/s。
核心榨干性能的机制很直接：塞不进显存的专家丢给 CPU 并行算，同时把高频调用的热门专家动态搬进显存，把混合推理的带宽瓶颈压到了极致。手里只有甜品卡又想本地跑巨型 MoE 的可以去试试。
指路：http://github.com/RustingStudio/RustingStrata
📎 新闻来源：https://x.com/mapte_fireball/status/2118313862625894585
#