1. 02

    深度网络:卷积神经网络

    从互相关、卷积核、步幅、填充、通道与感受野出发,逐层推导卷积神经网络,并用 PyTorch 完整实现和训练 LeNet-5。

  2. 03

    深度网络:多层感知机与混合密度网络

    从固定基函数的表达限制出发,解释非线性激活与万能近似定理,搭建多层感知机,并由回归、多分类损失延伸到迁移学习和混合密度网络。

  3. 04

    深度网络:残差连接与 ResNet

    从深层网络的退化问题出发,推导残差学习与恒等捷径,解释 BasicBlock、Bottleneck 和 ResNet 的分层结构,并给出 PyTorch 教学实现。

  4. 05

    泛化理论:归纳偏置与正则化机制

    从有限样本对应的逆问题出发,解释归纳偏置、等变性与无免费午餐定理,并用权重衰减、早停、参数共享、残差连接、Dropout 和双重下降说明模型如何选择训练集之外的解。

  5. 06

    深度网络:反向传播与自动微分

    从链式法则出发推导反向传播,手写一个标量自动微分引擎并在双月牙数据上训练,再对照 PyTorch autograd 说明梯度是怎么被自动算出来的。

  6. 07

    深度网络:梯度下降与优化器

    从一次参数更新出发,解释随机梯度下降、动量、自适应学习率、Adam 的偏差修正与 AdamW 的解耦权重衰减。