伯克利、MIT等搞了一个开源推理引擎:FreeToken,让个人电脑也能运行数千亿参数的MoE,RTX 5090实测DeepSeek 284B达到22–25tok/s

伯克利、MIT等搞了一个开源推理引擎:FreeToken,让个人电脑也能运行数千亿参数的MoE,RTX 5090实测DeepSeek 284B达到22–25tok/s


在消费级硬件测试中,解码吞吐量比现有本地推理引擎快约1.3-2.1倍

能接入Claude Code等Coding Agent,让本地开源模型做它们的推理后端

过去想在本地跑几千亿参数的MoE大模型,不仅显存装不下,即使把权重放到系统内存,也容易受到内存带宽和 PCIe传输速度的限制

比如一个290B模型,即使采用4-bit量化,光权重理论上就需要约145GB存储空间,普通RTX 4060、5090的显存根本装不下

FreeToken的核心思路是把GPU、CPU、系统内存和PCIe带宽作为一个整体,针对MoE专家的稀疏激活特性,优化计算分配、数据传输和缓存管理

结果:
RTX 4060 Laptop 8GB+32GB内存:Qwen3.6 35B,39.3 tok/s
RTX 5090 32GB+192GB内存:DeepSeek 284B,22–25 tok/s
RTX PRO 6000 96GB+512GB内存:GLM 753B,14.9 tok/s

它主要从这四个方面提升本地推理效率:
1、带宽自适应CPU-GPU协同推理
根据CPU内存带宽和PCIe传输带宽,动态决定未命中GPU 缓存的MoE专家中,哪些由CPU直接计算,哪些传输到GPU执行

在Prefill阶段,还通过全层双缓冲预取,让下一层专家权重的传输与当前层GPU计算尽可能重叠,减少等待时间

2、面向Agent的语义感知缓存+全局专家缓存
针对Coding Agent频繁调用工具、修改上下文、删除旧Thinking Block等情况,在语义边界保存可复用的计算状态

当上下文发生局部变化时,尽可能只重新计算受影响的后续内容,减少长上下文重复计算的成本

解码阶段还通过全局LRU专家缓存,把频繁访问的专家尽可能保留在GPU中,减少反复加载权重的开销

3、弹性显存管理
推理过程中,可以动态调整显存在专家缓存和KV Cache之间的分配,不需要重启引擎重新加载模型

4、兼容现有Coding Agent
提供OpenAI、Anthropic兼容API,可接入Claude Code、Codex、OpenCode、OpenClaw等

在RTX 5090的相关Agent工作负载测试中,FreeToken各工作负载的最差首Token延迟均低于44秒,对照引擎在部分场景超过150秒

虽然44秒不算快,但对于需要频繁调用工具、修改上下文的Coding Agent来说,这种延迟改善有实际价值

以前本地部署超大模型,主要关注量化、权重卸载,但模型能装下,不代表推理速度能用,FreeToken给展示了另一条路线,让CPU、GPU、内存和 PCIe协同工作,把有限的硬件资源利用得更充分

这或可是本地AI Agent基础设施值得关注的一条技术路线

github:http://t.cn/AXpfeCv7

#

分类