[CL]《Learning to Draft: Adaptive Speculative Decoding with Reinforcement Learning》J Zhang, Z Yu, L Wang, N Yang… [Mic

张春涛

[CL]《Learning to Draft: Adaptive Speculative Decoding with Reinforcement Learning》J Zhang, Z Yu, L Wang, N Yang… [Microsoft Research Asia & Peking University] (2026)


在推测解码领域，如何在"多猜"与"快验"之间找到实时最优平衡，始终是一个悬而未决的难题。过去的方法要么固守静态配置，要么只优化"猜对多少个"这一代理指标，本质原因是将起草阶段与验证阶段割裂处理，忽视了两者的时间成本与相互依赖。

本文的核心洞见是：把"猜多少"与"验多少"重新看作一个需要协同决策的整体而非两个独立问题。由此，用强化学习训练两个轻量策略网络——一个动态决定起草深度，一个动态决定验证规模——并以每轮的实际吞吐量（接受词元数除以总耗时）作为奖励信号，让两个策略在迭代中相互适应，这一关键设计使问题得以解开。

这项工作真正留下的遗产是：证明了以吞吐量为直接优化目标、并通过强化学习协同调度两阶段资源，比任何单独优化单一指标的方法都更有效。它为后来者打开的新门是：将在线RL引入推测解码的动态控制，为更复杂的多策略协同加速提供了可复用的范式；但尚未跨过的门槛是：当前策略仍依赖特定草稿模型架构（Eagle3），对通用性的验证尚不充分，且在极高采样温度下提升幅度依然有限。

arxiv.org/abs/2603.01639
























##