清华发布 AKV 缓存服务器优化 LLM 代理

清华大学研究人员发布AKV，一种基于SGLang的缓存工程服务器。LLM代理在SGLang上重新定位KV缓存，而不是总结历史，将平均成本降低27.7%。