KV-Cache Offload to NVMe vs Recompute: The TTFT Bill Comes D

在生产环境中运行长上下文模型时，都会遇到同样的问题。GPU有足够的计算能力快速生成标记，但内存不足以保存使这些标记连贯的对话状态。对话状态就是KV缓存，在长上下文中它增长速度超过模型权重。两种解决方法是：将缓存移到廉价内存中读取，或丢弃缓存重新计算。两者都在生产中使用，都为其支持者辩护，但在真实流量下都会出现故障模式。