停止每次提示都重新处理 24k 个令牌。

小武子灬

停止每次提示都重新处理 24k 个令牌。


如果你有系统 RAM 或 NVMe，你可以用 LMCache 大幅加速本地推理。

如果你将分页注意力缓存卸载到系统内存或 NVMe。
它将分页 KV 缓存存储在 GPU 外部，以便快速检索，不再需要等待整整一分钟只是为了再次预填充相同的上下文。

并且你每次都跳过昂贵的预填充。
对于长上下文本地设置特别有用。

卸载你的 KV 缓存。保持速度。

-

http://t.cn/AXpRL13B