Warmup Did Nothing for My Learning Rate — Then It Fully Resc

学习率预热在训练方案片段中具有最奇怪的地位：普遍采用，很少有理由。在变压器训练中，跳过预热会导致运行爆炸，从那里扩散到互联网上每一个配置文件中，包括小规模的CNN配方，似乎没有人问过它是否有效。我的调度对抗从未测试过它；剂量响应系列表明，正确的问题不是'预热是否好？'，而是'在什么条件下旋钮起作用？'。例如，Adam在