阿里千问推出 TRACE 加速 FP4 强化学习
← 返回今日版面来源
2 条阿里千问联合团队提出 TRACE 方法，通过 FP4 量化结果指导训练侧舍入方向，降低信息传输存储开销。在多个 MoE 模型上实验显示，TRACE 能在联合 FP4 W/A 与 FP4 KV Cache Rollout 的设置下，性能回归 BF16 Rollout 水平，128K 输出长度下 Rollout 解码吞吐最
大模型强化学习越来越「吃算力」，最昂贵的环节之一正是 Rollout。把 Rollout 从 BF16 压到 FP4，理论上可以显著降低计算和显存开销，但问题也随之而来 —— 训练端与 Rollout 端即使面对非常接近的数值，也可能因为 FP4 的离散量化边界而落到不同码点，最终把微小的数值...