01 深度网络：卷积神经网络
从互相关、卷积核、步幅、填充、通道与感受野出发，逐层推导卷积神经网络，并用 PyTorch 完整实现和训练 LeNet-5。
02 深度网络：多层感知机与混合密度网络
从固定基函数的表达限制出发，解释非线性激活与万能近似定理，搭建多层感知机，并由回归、多分类损失延伸到迁移学习和混合密度网络。
03 深度网络：残差连接与 ResNet
从深层网络的退化问题出发，推导残差学习与恒等捷径，解释 BasicBlock、Bottleneck 和 ResNet 的分层结构，并给出 PyTorch 教学实现。
04 深度网络：反向传播与自动微分
从链式法则出发推导反向传播，手写一个标量自动微分引擎并在双月牙数据上训练，再对照 PyTorch autograd 说明梯度是怎么被自动算出来的。
05 深度网络：梯度下降与优化器
从一次参数更新出发，解释随机梯度下降、动量、自适应学习率、Adam 的偏差修正与 AdamW 的解耦权重衰减。
06 线性网络：分类网络与判别函数
从仿射判别函数和贝叶斯风险出发，推导高斯生成式分类器、逻辑回归与 Softmax 分类器，说明两类学习方法为何都能得到线性决策边界。
Topic / 06
PyTorch
该主题下共 6 篇札记。