Google Cloud 发布 llm-d 1.0，支持 TPU 和 GPU 车队缓存感知识别路由

Google Cloud、Red Hat 和 IBM 联合推出 llm-d 1.0，一个开源的 Kubernetes 原生分布式大模型推理堆栈，支持多租户流控制、零停机升级和大模型车队感知识别路由。