💥炸了！Agent推理速度直接飙升14倍！英伟达技术大佬韩松联手 MIT、伯克利、OpenAI 放出大招 Evolving Infra，专治Agent推理浪费问题！

💥炸了！Agent推理速度直接飙升14倍！英伟达技术大佬韩松联手 MIT、伯克利、OpenAI 放出大招 Evolving Infra，专治Agent推理浪费问题！

以往你开90个Claude智能体一起干活，

它们全在等工具、等子任务、等你回复……

背后的GPU却在空转：该忙的闲着，该留的缓存被清掉。

以前有多惨？
🔹换一次工作模式要重启机器，平均等681秒
🔹缓存随便清，智能体回来还得重算

现在怎么变强了？
1️⃣换班超快：机器角色切换只要0.7秒，缓存几乎不丢（只丢0.3%）

2️⃣缓存更聪明：不再看“最近用没用过”，而是看“还有没有智能体还在用”，等再久也能复用

3️⃣自动调节算力：实时根据Agent在干什么，自动分配计算资源

4️⃣专为Agent设计：真正看懂智能体在等什么、在做什么

实测结果（36张顶级GPU）
🔹整体延迟降到原来的1/4

🔹首个字出来的速度提升14倍

🔹吞吐提升到原来的2.7倍

以前系统只会“接请求”，现在终于看懂智能体在干嘛了！

论文链接：https://arxiv.org/abs/2611.12304