优化器

深度网络：梯度下降与优化器

从一次参数更新出发，解释随机梯度下降、动量、自适应学习率、Adam 的偏差修正与 AdamW 的解耦权重衰减。