泛化理论：归纳偏置与正则化机制

线性回归把预测误差拆成了偏差、方差与不可约噪声，线性分类则说明同一条边界可以来自不同的概率假设和训练目标。两类问题都留下了同一个缺口：训练数据只告诉模型有限个位置上的答案，模型为什么能处理没有见过的输入？

一个容量足够大的模型可以把训练样本逐个记住。此时训练损失接近零，训练集之外仍有许多彼此冲突的预测规则。泛化依赖模型、目标函数和训练算法共同作出的选择。平移等变性偏好能随位置复用的特征，权重衰减偏好特定参数化下较小的权重，早停偏好优化过程较早到达的解，Dropout 要求表示经受随机缺失，残差连接则让恒等映射附近的更新更容易学习。

本文从有限样本对应的逆问题开始，把这些机制放进同一条逻辑链：数据无法唯一确定预测函数，归纳偏置补上缺失的信息，正则化再控制解对噪声和采样波动的敏感程度。双重下降说明“容量越大越容易过拟合”只覆盖了部分区域，但它没有取消这条逻辑链。

经验风险与总体风险#

设训练集为

$$S=\{(x_i,y_i)\}_{i=1}^{n}, \qquad (x_i,y_i)\overset{\mathrm{i.i.d.}}{\sim}\mathcal{D},$$

损失函数为 $\ell$。模型 $f$ 的总体风险与经验风险分别是

$$R(f) = \mathbb{E}_{(x,y)\sim\mathcal{D}} \left[\ell(f(x),y)\right],$$ $$\widehat R_S(f) = \frac{1}{n}\sum_{i=1}^{n}\ell(f(x_i),y_i).$$

训练过程直接优化的是 $\widehat R_S$，真正关心的是 $R$。$R(f)-\widehat R_S(f)$ 称为泛化间隙。真实分布 $\mathcal{D}$ 未知，所以总体风险只能借助独立验证集或测试集估计；这还要求评估数据与部署数据来自相同或足够接近的分布。分布已经变化时，再小的同分布测试误差也不能提供原有保证。

把监督学习写成一个逆问题，会更清楚地看到困难所在。设观测由 $y_i=f_*(x_i)+\epsilon_i$ 产生，并定义采样算子

$$\mathcal{A}_S f = \bigl(f(x_1),f(x_2),\ldots,f(x_n)\bigr).$$

训练数据给出 $\mathcal{A}_S f_*$ 的带噪观测，学习算法要由此估计整个函数。若存在一个非零函数 $h$，满足所有训练点上都有 $h(x_i)=0$，那么 $f$ 与 $f+h$ 在训练集上的预测完全相同，在其他位置却可以任意分开。有限样本通常无法保证解的唯一性；标签噪声和输入扰动还会带来稳定性问题。按照 Hadamard 对适定问题的要求，解应当存在、唯一，并连续依赖观测。学习问题往往至少缺少后两项。

逆问题中的正则化用于构造稳定的近似解。机器学习中的作用可以用同一形式表示：

$$\widehat f_{\lambda} = \arg\min_{f\in\mathcal{F}} \left[ \widehat R_S(f)+\lambda\,\Omega(f) \right].$$

$\mathcal{F}$ 限制允许考虑哪些函数，$\Omega(f)$ 在可行解之间表达偏好，$\lambda$ 控制拟合数据与遵守偏好的权衡。限制模型族属于硬约束，加入惩罚项属于软约束。初始化、优化器和停止时刻即使没有出现在目标函数里，也可能稳定地偏向某类解，这通常称为隐式正则化或算法偏置。

归纳偏置#

归纳偏置（inductive bias）是学习算法从已见样本推广到未见输入时采用的假设。它不只来自正则项。特征表示、模型结构、参数共享、损失函数、初始化和优化路径都可能改变最终选择的函数。

平滑核方法假设邻近输入应有相近输出；决策树偏好能由少量轴对齐切分表示的规则；卷积网络假设局部模式可以跨位置复用；语言模型中的因果掩码假设当前位置只能依赖此前的 token。这些假设都可能与数据相符，也可能造成系统性错误。归纳偏置减少了需要从样本中辨认的可能性，代价是模型无法平等对待所有目标函数。

无免费午餐（No Free Lunch）结果给出了这一代价的极端形式。Wolpert 对训练集外误差的分析表明，在零一损失等条件下，若对所有可能的目标或目标先验作对称平均，任意两个学习算法各自占优的目标一样多。一个偏好平滑边界的算法会在平滑目标上获益，也会在专门反转其预测的目标上吃亏。

这个结论不表示现实任务中的算法表现相同。图像、语音和自然语言只占所有数学上可能映射的一小部分，并且带有局部性、对称性、组合结构等规律。算法在这些任务上的优势恰好说明它利用了某些先验。无免费午餐定理要求我们说清楚优势依赖什么分布与结构，不能用来否定模型选择或经验比较。

等变性与不变性#

很多任务允许提前知道输入变换与输出变化之间的关系。设 $g$ 是某个变换，$T_g$ 作用于输入，$S_g$ 作用于表示。映射 $\Phi$ 对该变换等变（equivariant），是指

$$\Phi(T_gx)=S_g\Phi(x).$$

先变换输入再计算表示，与先计算表示再按对应方式变换，得到相同结果。不变性（invariance）是特殊情况，此时 $S_g$ 为恒等变换，输入变化后输出不变。

两者适合的对象不同。图像分类通常希望物体小幅平移后类别不变；语义分割需要输出掩码跟着物体一起平移，因此中间特征保持平移等变更有用。过早丢弃位置信息，会让需要空间关系的任务无法判断部件怎样排列。

在无限离散网格或与平移相容的边界处理中，步幅为 1 的卷积对整数平移具有等变性。若 $T_{\tau}$ 表示平移 $\tau$，卷积核为 $K$，关系可以写成

$$K*(T_{\tau}x)=T_{\tau}(K*x).$$

这项性质来自同一个卷积核在所有位置共享：输入中的模式移动后，匹配它的响应也随之移动。零填充会在边缘引入不同环境，步幅大于 1 的下采样只保留部分采样相位，池化和后续分类头也会改变严格关系，所以常见 CNN 只在具体边界与采样条件下满足精确等变。数据增强得到的位移鲁棒性同样不等于数学上的严格不变性。

更一般的群等变网络可以把共享规则扩展到旋转、反射或其他群作用。前提是这些变换确实保持任务语义。若数字 6 旋转后会成为 9，强制旋转不变就会合并本应区分的类别。结构先验越强，样本效率可能越高，先验设错后的偏差也越难由数据纠正。

显式正则化#

线性最小二乘展示了正则化如何稳定逆问题。令设计矩阵为 $X$、目标向量为 $y$，岭回归求解

$$\widehat w_{\lambda} = \arg\min_w \left( \lVert Xw-y\rVert_2^2 + \lambda\lVert w\rVert_2^2 \right).$$

对 $X$ 作奇异值分解 $X=U\Sigma V^{\mathsf T}$，可得

$$\widehat w_{\lambda} = \sum_j \frac{\sigma_j}{\sigma_j^2+\lambda} (u_j^{\mathsf T}y)v_j.$$

没有正则化的伪逆在第 $j$ 个方向上使用 $1/\sigma_j$。$\sigma_j$ 很小时，观测中的微小噪声会被大幅放大。岭回归把该系数改成 $\sigma_j/(\sigma_j^2+\lambda)$，优先压低数据约束较弱的方向。估计因此引入偏差，却可能显著降低方差和对噪声的敏感度。

权重衰减与 L2 正则化#

神经网络常用权重衰减限制参数规模。给损失加入 $\lambda\lVert\theta\rVert_2^2/2$ 后，普通梯度下降的一步更新为

$$\theta_{t+1} = (1-\eta\lambda)\theta_t - \eta\nabla_{\theta}\widehat R_S(\theta_t).$$

每一步都把参数乘以 $1-\eta\lambda$，这与乘法形式的权重衰减等价。等价关系依赖最基本梯度下降的统一坐标尺度。Adam 会根据历史二阶矩分别缩放各坐标；若把 L2 梯度直接加入数据梯度，正则项也会进入自适应状态。AdamW 将参数收缩从自适应梯度更新中分离，具体推导见梯度下降与优化器。

较小参数范数并不在所有参数化下等于较简单函数。ReLU 网络相邻两层可以分别乘以 $c$ 与 $1/c$ 而保持函数不变，特征尺度也会改变同一个 $\lambda$ 的实际含义。许多训练配方还会对偏置和归一化层参数关闭衰减。权重衰减表达的是特定参数化中的偏好，强度与参数分组都应在验证集上确定。

早停#

早停没有改变目标函数，它通过限制迭代次数选择解。仍看线性最小二乘，令损失为 $\lVert Xw-y\rVert_2^2/2$，从 $w_0=0$ 开始做梯度下降：

$$w_{t+1} = w_t-\eta X^{\mathsf T}(Xw_t-y).$$

当 $0<\eta<2/\sigma_{\max}^2$ 时，第 $j$ 个奇异方向在第 $t$ 步的系数为

$$\frac{1-(1-\eta\sigma_j^2)^t}{\sigma_j} (u_j^{\mathsf T}y).$$

较大的 $\sigma_j$ 方向收敛得快，较小的 $\sigma_j$ 方向需要更多迭代。有限时刻停止，相当于暂时不让模型充分拟合那些容易放大噪声的弱方向；当 $t\to\infty$ 时，这种过滤逐渐消失并趋近伪逆解。早停因此可以被理解为一种依赖优化动态的谱正则化。

深度网络没有这样完整的线性分解，但训练损失继续下降而验证损失回升时，停止并恢复最佳验证检查点仍是有效的模型选择方法。停止指标、评估间隔和容忍轮数都属于超参数。测试集若参与这些选择，就已经变成验证数据，最终测试误差会带有选择偏差。

双重下降#

经典偏差—方差图景常把测试误差画成 U 形：容量太小时欠拟合，容量增加后偏差下降，继续增加则方差上升。这个图景主要描述模型还不能插值训练集的区域。现代模型经常拥有远多于样本数的参数，并能达到接近零的训练误差，容量轴由此跨过插值阈值。

Belkin 等人在线性模型、随机特征、树和神经网络中总结了模型尺度上的双重下降（double descent）：测试误差先下降、在插值阈值附近上升，进入过参数化区域后又可能再次下降。Nakkiran 等人随后用有效模型复杂度描述训练流程能拟合多少样本，并在特定实验中观察到随模型规模、训练轮数和样本数变化的对应现象。

峰值附近的问题来自解刚好能够插值时的脆弱性。在最小二乘中，这可能对应接近奇异的设计矩阵，微小标签噪声足以大幅改变解。进入过参数化区域后，插值解不再唯一；梯度方法、初始化和显式正则化可以在大量零训练误差解中选择某一个。某些问题里的最小范数插值解会随着冗余参数增加而变得更稳定，于是测试误差再次下降。

这不能推出“参数越多越能泛化”。双重下降并非每条实验曲线都会出现，原始数据维度、标签噪声、正则化强度、训练时长和优化器都会移动或抹平峰值。参数数量也只是容量的粗略代理；共享参数、卷积结构和训练流程会改变有效复杂度。可靠的结论仍要来自固定数据划分、可比训练预算和独立验证。

双重下降也没有否定早停。随训练轮数出现的 epoch-wise double descent 表明，某些设置中验证误差在较晚阶段还会再次改善；另一些设置则在拟合噪声后持续恶化。早停应依据目标任务的验证轨迹选择，不能把第一次回升或“训练到零误差”当成跨任务规则。

参数共享与残差连接#

显式惩罚只覆盖正则化的一部分。模型结构会在训练开始前删去大量候选函数，并改变优化器容易到达哪些解。

参数共享#

卷积层在每个空间位置使用同一个核。不计偏置时，一个 $k_h\times k_w$ 卷积从 $C_{\mathrm{in}}$ 个输入通道映射到 $C_{\mathrm{out}}$ 个输出通道，权重数量为

$$k_hk_wC_{\mathrm{in}}C_{\mathrm{out}},$$

不随输入图像的高和宽增长。若每个位置都学习一套独立核，参数量会再乘上输出位置数，模型还需要分别从数据中学会“左上角边缘”和“右下角边缘”可以使用同一检测器。共享权重既减少自由度，也直接产生前述平移等变结构。

同一机制还出现在序列模型中。循环网络在各时间步复用状态转移参数；不带位置编码的自注意力在 token 位置间共享投影，并对置换保持等变。位置编码随后加入顺序信息，主动改变这种对称性。参数共享假设相同局部规律能跨位置或时间复用，空间非平稳、传感器位置含义固定等任务可能需要位置特征、边界处理或局部解共享。卷积的完整计算与形状推导见卷积神经网络。

残差连接#

残差块把目标映射写成

$$y=x+F(x;\theta).$$

当新增层暂时没有学到有用变化时，只需令 $F$ 接近零，整个块就接近恒等映射。普通堆叠层也可能表示恒等函数，却要让多层参数共同配合。残差形式把这个参考点直接放进架构，更容易保留已有表示并逐步添加修正。

忽略相加后的激活，反向梯度满足

$$\frac{\partial L}{\partial x} = \frac{\partial L}{\partial y} \left(I+\frac{\partial F}{\partial x}\right).$$

恒等项给前向信号和反向梯度提供了较短路径。它改变的是函数的参数化和优化几何，没有在目标函数中加入复杂度惩罚。残差连接常让深层模型取得更低的训练误差，却不保证验证误差同步下降。更深的 ResNet 仍会过拟合，也需要合适的数据、归一化、优化器和评估流程。残差块的形状对齐、BasicBlock 与 Bottleneck 结构见下一篇残差连接与 ResNet。

把残差连接称为一般意义上的正则项并不准确。它更接近架构归纳偏置：假设许多有用变换可以表示为已有表示上的增量，同时让优化器更容易利用深度。这个区分很重要，因为改善可优化性可能降低训练误差，却未必缩小泛化间隙。

Dropout#

Dropout 在训练时随机屏蔽一部分激活。设丢弃概率为 $p$，保留概率为 $q=1-p$，对激活向量 $h$ 采样独立掩码

$$m_i\sim\operatorname{Bernoulli}(q),$$

采用现代框架常见的 inverted dropout 时，送往下一层的是

$$\widetilde h = \frac{m\odot h}{q}.$$

因此 $\mathbb{E}[\widetilde h]=h$。每个小批量看到的子网络略有不同，参数必须在其他单元缺失时仍然产生可用表示。随机掩码向梯度加入结构化噪声，也限制了单元之间只能在固定组合下工作的共同适应。

推理时应关闭掩码并使用完整网络。inverted dropout 已在训练阶段除以 $q$，推理阶段无需再次缩放。PyTorch 的 model.eval() 会关闭 Dropout，同时改变 BatchNorm 的行为；torch.no_grad() 只关闭梯度记录，不能替代评估模式。

原始 Dropout 论文把这种训练解释为大量共享参数子网络的近似模型平均。对含非线性的深层网络，完整网络的输出通常不等于逐一运行所有子网络再汇总预测，因此“训练了一个指数规模的独立集成”会夸大这一解释。所有子网络共享参数，推理时也没有减少参数量或计算量。

$p$ 越大，扰动越强，也越容易造成欠拟合。卷积特征、残差分支、注意力权重和分类头对掩码的敏感度不同，BatchNorm 的批统计还可能与随机激活分布相互影响。是否使用 Dropout、放在哪里以及取多大概率，需要与模型已有的归一化、数据增强和权重衰减一起验证。

正则化机制#

这些方法都在回答“训练集允许多个解时选择哪一个”，作用位置却不同。

实际实验应先固定训练、验证和测试的职责。训练集拟合参数，验证集选择 $\lambda$、停止时刻、Dropout 概率和模型规模，测试集只用于最终评估。比较正则化策略时，还要同时报告训练误差；若验证结果改善只是因为某个配置没有充分优化，便不能判断收益来自稳定化还是欠拟合。

还应把架构假设与部署条件对应起来。平移等变性不能处理任意视角变化，权重衰减不能修复标签错误，Dropout 不能消除分布漂移，残差连接也不能替代独立评估。正则化控制的是给定数据与假设下的解选择，数据收集过程和目标分布仍然决定结论能否迁移。

有限样本无法独自规定训练集外的预测。无免费午餐结果说明任何普遍优势都要依赖任务假设；等变性和参数共享把已知结构写进模型；权重衰减、早停与 Dropout 分别从目标、轨迹和随机扰动中稳定解；残差连接改变深层网络容易到达的函数。双重下降补充了插值之后的容量图景，但泛化的核心问题没有变化：模型采用了什么偏置，这些偏置是否符合数据，以及独立验证能否支持这项选择。

参考文献

1. H. W. Engl, M. Hanke, and A. Neubauer. Regularization of Inverse Problems. Springer, 1996. DOI: 10.1007/978-94-009-1740-8
2. D. H. Wolpert. The Lack of A Priori Distinctions Between Learning Algorithms. Neural Computation, 1996. DOI: 10.1162/neco.1996.8.7.1341
3. T. S. Cohen and M. Welling. Group Equivariant Convolutional Networks. ICML, 2016
4. I. Loshchilov and F. Hutter. Decoupled Weight Decay Regularization. ICLR, 2019
5. Y. Yao, L. Rosasco, and A. Caponnetto. On Early Stopping in Gradient Descent Learning. Constructive Approximation, 2007. DOI: 10.1007/s00365-006-0663-2
6. M. Belkin, D. Hsu, S. Ma, and S. Mandal. Reconciling modern machine-learning practice and the classical bias-variance trade-off. Proceedings of the National Academy of Sciences, 2019. DOI: 10.1073/pnas.1903070116
7. P. Nakkiran, G. Kaplun, Y. Bansal, T. Yang, B. Barak, and I. Sutskever. Deep Double Descent: Where Bigger Models and More Data Hurt. ICLR, 2020
8. Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 1998. DOI: 10.1109/5.726791
9. K. He, X. Zhang, S. Ren, and J. Sun. Deep Residual Learning for Image Recognition. CVPR, 2016. DOI: 10.1109/CVPR.2016.90
10. N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever, and R. Salakhutdinov. Dropout: A Simple Way to Prevent Neural Networks from Overfitting. Journal of Machine Learning Research, 2014