卡加了，吞吐为何没跟上？大模型推理中的等待，有了新解法

大模型观点deepseek人工智能信号强度 0.51 条来源

来源

1 条

大模型走向大规模在线服务时，出现卡加多但吞吐增长慢的现象。在 DeepSeek 的 MoE 模型部署中，解码齐步走，每组计算卡既要处理自身请求又要通过跨组通信完成每一步解码。

2026-10-16

机器之心jiqizhixin.com媒体