Weight Decay 0.05: Catastrophe in Adam, Optimum in AdamW

本文对比分析了Adam和AdamW优化器在权重衰减（weight decay）上的不同表现，揭示了Adam中隐含的权重衰减机制可能导致灾难性结果，而AdamW通过解耦衰减机制实现了更优的效果。