统计学习：模型、概率与贝叶斯推断

给定一批房屋的面积、房龄和成交价，我们希望从中找出规律，预测下一套房屋的价格。写一条直线、计算均方误差、调用梯度下降，都可以出现在这项工作里，但它们解决的不是同一个问题。直线规定了可以表达哪些关系，均方误差规定了怎样评价预测，梯度下降负责寻找一组参数。数据本身还带有无法消除的波动：即使两套房屋的已知条件相同，成交价也可能不同。

统计学习为这些环节提供了一套共同语言。它把数据看作随机变量的观测，把学习写成在候选模型中选择函数或概率分布，并用概率描述观测噪声、样本差异与参数不确定性。本文讨论有限样本下的学习问题，说明期望、方差和协方差分别提供哪些信息，并用贝叶斯公式解释数据怎样改变我们对未知参数的认识。

统计学习#

设输入为随机向量 $X$，目标为随机变量 $Y$。在房价例子中，$X$ 可以包含面积、房龄和位置编码，$Y$ 是成交价。训练集是 $n$ 次观测得到的具体数值：

$$\mathcal{D}=\{(x_1,y_1),(x_2,y_2),\ldots,(x_n,y_n)\}.$$

大写的 $X,Y$ 表示观测前的随机变量，小写的 $x_i,y_i$ 表示已经观测到的取值。这个区分很重要：训练代码处理的是固定数组，统计分析讨论的却是这些数组可能由什么分布产生，以及换一批样本后结论会怎样变化。

监督学习通常假设训练样本独立同分布（independent and identically distributed，i.i.d.）地来自某个未知的联合分布 $P(X,Y)$。独立表示，知道一条样本的取值不会改变另一条样本的分布；同分布表示它们遵循相同的数据生成机制。时间序列、同一患者的重复测量和社交网络节点往往不满足独立假设；市场变化、传感器更换或用户群体变化也会破坏同分布假设。i.i.d. 是许多推导的起点，不是数据天然具备的性质。

学习的目标是在没有见过、但仍来自目标分布的数据上做出合适预测。训练误差只说明模型如何解释手头的样本；泛化关心的是它面对新样本时的平均表现。由于真实分布未知，我们只能借助有限训练集估计这种表现，这正是统计学习中的主要困难。

模型、策略和算法#

一个完整的统计学习方法包含模型、策略和算法。三者经常共同出现在几行训练代码里，但各自回答的问题不同。

模型#

模型是允许选择的函数或概率分布集合，也称假设空间。线性回归把预测函数限制为

$$f_\theta(x)=w^\mathsf{T}x+b, \qquad \theta=(w,b).$$

参数 $w$ 决定各特征的斜率，$b$ 是截距。所有可能的 $(w,b)$ 共同组成线性模型族。神经网络同样是模型族，只是参数更多，函数形式由层、激活函数和连接方式共同规定。

这种直接从输入得到预测的形式属于决策函数。模型也可以直接描述条件分布 $p_\theta(y\mid x)$。例如在线性回归外加高斯噪声假设：

$$Y=w^\mathsf{T}X+b+\varepsilon, \qquad \varepsilon\sim\mathcal{N}(0,\sigma^2).$$

此时模型不只给出价格预测，还说明真实成交价会怎样围绕预测值波动。函数形式与概率假设都属于模型的一部分。若房价关系明显非线性，或者误差具有厚尾、异方差等结构，这个模型就可能与数据生成过程不符。

策略#

有了候选模型，还要定义选择标准。损失函数 $L(y,f_\theta(x))$ 衡量单次预测的代价。回归常用平方损失，分类可以使用交叉熵；同一任务采用不同损失，关注的错误也会不同。

若联合分布 $P(X,Y)$ 已知，可以计算期望风险：

$$R(\theta) = \mathbb{E}_{(X,Y)\sim P} \left[L\bigl(Y,f_\theta(X)\bigr)\right].$$

期望风险描述模型在目标分布上的平均损失，但 $P$ 恰好是未知的。训练时通常用样本平均代替它，得到经验风险：

$$\widehat{R}_n(\theta) = \frac{1}{n}\sum_{i=1}^{n} L\bigl(y_i,f_\theta(x_i)\bigr).$$

直接最小化经验风险称为经验风险最小化。模型过于灵活时，它可能把训练样本中的偶然波动也拟合进去。常见做法是在目标中加入复杂度惩罚：

$$J(\theta) = \widehat{R}_n(\theta)+\lambda\,\Omega(\theta).$$

$\Omega(\theta)$ 衡量某种复杂度，$\lambda$ 控制拟合训练数据与限制模型之间的权衡。这是正则化的经验风险；在一些统计学习教材中，经验风险与复杂度惩罚之和也称为结构风险。正则项体现的是具体偏好，例如 $L_2$ 惩罚偏好较小的权重；它并不自动保证模型简单、可解释或能够泛化。最终效果还取决于数据、模型族、超参数选择和训练分布与使用环境是否一致。

算法#

算法是在给定模型和策略后求解目标的方法。线性最小二乘在条件合适时可以通过正规方程求闭式解，也可以用梯度下降逐步逼近。两种算法面对同一个模型和目标，却有不同的计算量、数值稳定性与收敛条件。

反过来，梯度下降也不只服务于线性回归。只要目标函数可以求梯度，它就能用于逻辑回归、矩阵分解和神经网络。模型决定可以表示什么，策略决定用什么标准选择，算法决定怎样完成这个选择。把三者分开后，许多调参问题会更清楚：换网络结构是在改模型，换损失或正则项是在改策略，换优化器或学习率是在改算法。

算法找到的只是它在有限计算预算下能够到达的解。对于凸目标，可以在一定条件下讨论全局最优；神经网络的目标通常非凸，训练结果还受到初始化、批量采样和数值误差影响。因此，“目标函数的最优解具有什么性质”和“当前算法实际找到了什么”是两个问题。

随机变量与概率分布#

随机变量不是一个不断随机变化的未知数。严格地说，它是从样本空间到数值空间的函数。掷一次骰子的样本结果可以是某个物理状态，随机变量 $X$ 把每种结果映射到 $1$ 至 $6$；在房价问题中，$Y$ 把“随机抽取一笔交易”映射到它的成交价。随机性来自抽样或我们掌握的信息不足，观测之后得到的数值本身不再随机。

分布说明随机变量取不同值的可能性。离散变量用概率质量函数 $p(x)=P(X=x)$；连续变量用概率密度函数 $p(x)$，区间概率由密度积分得到：

$$P(a\le X\le b)=\int_a^b p(x)\,\mathrm{d}x.$$

具有概率密度的连续变量在任一单点上的概率为零，密度值却可能大于 $1$；只要整个定义域上的积分等于 $1$，它就是合法密度。机器学习中的输入通常是随机向量，其各分量共同服从联合分布 $p(x_1,\ldots,x_d)$。对其他变量求和或积分可以得到边缘分布，固定已知条件则得到条件分布 $p(y\mid x)$。

期望#

离散随机变量的期望为

$$\mathbb{E}[X]=\sum_x x\,p(x),$$

连续情形则为

$$\mathbb{E}[X]=\int_{-\infty}^{\infty}x\,p(x)\,\mathrm{d}x.$$

期望是对分布的加权平均，不一定是随机变量能够实际取得的值。公平六面骰子的期望是 $3.5$，但一次投掷不可能得到 $3.5$。更一般地，对函数 $g$ 有

$$\mathbb{E}[g(X)] = \sum_x g(x)p(x) \quad\text{或}\quad \int g(x)p(x)\,\mathrm{d}x.$$

这正是期望风险的形式：先对随机样本计算损失，再按样本出现的概率取平均。

期望具有线性性。只要相关期望存在，就有

$$\mathbb{E}[aX+bY+c] = a\mathbb{E}[X]+b\mathbb{E}[Y]+c,$$

而且不要求 $X$ 与 $Y$ 独立。这个性质让样本损失之和的期望可以拆成各项期望，也是分析经验风险的常用工具。

总体期望 $\mathbb{E}[X]$ 由未知分布决定，样本均值

$$\bar{x}=\frac{1}{n}\sum_{i=1}^{n}x_i$$

由已经观测到的数据计算。两者不能混用。在独立同分布且期望存在等条件下，大数定律说明样本均值会随样本增加而趋近期望；有限样本中，$\bar{x}$ 仍会因抽样不同而变化。

条件期望 $\mathbb{E}[Y\mid X=x]$ 则表示已知输入为 $x$ 时，目标分布的平均值。它与回归中的平方损失有直接联系。对固定的 $x$，若用常数 $a$ 预测 $Y$，可以把条件均方误差分解为

$$\mathbb{E}\left[(Y-a)^2\mid X=x\right] = \operatorname{Var}(Y\mid X=x) + \left(\mathbb{E}[Y\mid X=x]-a\right)^2.$$

第一项不随 $a$ 改变，第二项在 $a=\mathbb{E}[Y\mid X=x]$ 时最小。因此，在函数不受限制且相关期望存在时，平方损失对应的最优预测是条件均值。换成绝对损失，最优预测是条件中位数；分类中的 $0$-$1$ 损失则选择条件概率最大的类别。损失函数会改变模型试图逼近的统计量。

方差#

只知道均值无法判断观测有多稳定。方差定义为随机变量偏离期望的平方的期望：

$$\operatorname{Var}(X) = \mathbb{E}\left[(X-\mathbb{E}[X])^2\right] = \mathbb{E}[X^2]-\mathbb{E}[X]^2.$$

平方让正负偏差不会抵消，也会让较大的偏离受到更多权重。方差的单位是原单位的平方，标准差 $\sqrt{\operatorname{Var}(X)}$ 与原变量同单位，因而更容易解释。平移不改变方差，缩放则满足 $\operatorname{Var}(aX+b)=a^2\operatorname{Var}(X)$。若价格预测误差的均值接近零但方差很大，模型整体上可能没有系统性高估或低估，却仍会产生不稳定的单次预测。

样本方差也只是总体方差的估计。对具有有限方差的 i.i.d. 样本，若样本均值由同一批数据估计，经典的无偏样本方差使用分母 $n-1$：

$$s^2=\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})^2.$$

机器学习库有时使用分母 $n$，因为它对应高斯模型方差的最大似然估计，或者只是为了计算批次中的二阶矩。看到两个实现结果略有差异时，应先检查它们估计的对象和默认参数，不能只凭分母判断对错。

协方差#

两个随机变量的协方差为

$$\operatorname{Cov}(X,Y) = \mathbb{E}\left[(X-\mathbb{E}[X])(Y-\mathbb{E}[Y])\right] = \mathbb{E}[XY]-\mathbb{E}[X]\mathbb{E}[Y].$$

对于具有有限二阶矩的 i.i.d. 成对观测 $(x_i,y_i)$，相应的无偏样本协方差为

$$s_{xy} = \frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y}).$$

协方差为正，表示 $X$ 高于自身均值时，$Y$ 也倾向于高于自身均值；为负则表示二者倾向于反向变化。它的数值受量纲影响，把房屋面积从平方米改成平方厘米会大幅改变协方差。相关系数用两个标准差进行归一化：

$$\rho_{X,Y} = \frac{\operatorname{Cov}(X,Y)} {\sqrt{\operatorname{Var}(X)}\sqrt{\operatorname{Var}(Y)}},$$

在方差非零时取值位于 $[-1,1]$，更适合比较不同变量对之间的线性关联强度。

协方差和相关系数只概括线性共同变化。令 $X$ 以相同概率取 $-1,0,1$，并令 $Y=X^2$。此时 $Y$ 完全由 $X$ 决定，但由于分布关于零对称，$\operatorname{Cov}(X,Y)=\mathbb{E}[X^3]=0$。只要二阶矩存在，独立便能推出协方差为零，协方差为零却不能推出独立。相关性也不说明因果方向；房屋面积和价格的正相关可能同时受到地段、用途和样本选择影响。

对随机向量 $X=(X_1,\ldots,X_d)^\mathsf{T}$，把所有两两协方差排成矩阵便得到协方差矩阵：

$$\Sigma_{ij}=\operatorname{Cov}(X_i,X_j).$$

对角线是各特征的方差，非对角线记录线性共同变化。特征标准化、主成分分析和多元高斯模型都会使用这个矩阵。不过，协方差矩阵只保留一阶与二阶信息；除高斯分布等特殊情形外，它不能唯一确定完整分布。

条件概率与贝叶斯公式#

条件概率回答“已经知道 $B$ 发生后，$A$ 发生的概率是多少”。当 $P(B)>0$ 时，定义为

$$P(A\mid B)=\frac{P(A\cap B)}{P(B)}.$$

同一个联合事件可以按两个方向拆开：

$$P(A\cap B)=P(A\mid B)P(B)=P(B\mid A)P(A).$$

整理后得到贝叶斯公式：

$$P(A\mid B) = \frac{P(B\mid A)P(A)}{P(B)}.$$

它没有创造新的概率规则，只是利用联合概率交换了条件的方向。在统计推断中，未知参数记作 $\theta$，观测数据记作 $\mathcal{D}$，相同关系写成

$$p(\theta\mid\mathcal{D}) = \frac{p(\mathcal{D}\mid\theta)p(\theta)} {p(\mathcal{D})}.$$

$p(\theta)$ 是观测数据前对参数的先验分布，$p(\mathcal{D}\mid\theta)$ 是似然，$p(\theta\mid\mathcal{D})$ 是后验分布。对连续参数，分母为

$$p(\mathcal{D}) = \int p(\mathcal{D}\mid\theta)p(\theta)\,\mathrm{d}\theta$$

称为证据或边缘似然；参数离散时把积分换成求和。它保证后验对 $\theta$ 的积分或求和为 $1$，也会在贝叶斯模型比较中发挥作用。

似然与概率密度使用同一个表达式，但看待变量的方式不同。$p(\mathcal{D}\mid\theta)$ 作为数据的函数时，是给定参数后的概率模型；观测到 $\mathcal{D}$ 后把它看作 $\theta$ 的函数，才称为似然。似然本身通常不是关于 $\theta$ 的归一化概率分布，也不能写成 $p(\theta\mid\mathcal{D})$。

Beta–二项共轭#

设一枚硬币正面朝上的概率为 $\theta$。独立抛掷 $n$ 次，其中 $k$ 次为正面，数据的似然与下式成比例：

$$p(\mathcal{D}\mid\theta) \propto \theta^k(1-\theta)^{n-k}.$$

若先验选为 $\operatorname{Beta}(\alpha,\beta)$：

$$p(\theta) \propto \theta^{\alpha-1}(1-\theta)^{\beta-1},$$

先验与似然相乘后，后验仍是 Beta 分布：

$$\theta\mid\mathcal{D} \sim \operatorname{Beta}(\alpha+k,\beta+n-k).$$

例如先验为 $\operatorname{Beta}(2,2)$，它关于 $0.5$ 对称；随后观察 10 次抛掷，其中 8 次为正面。后验是 $\operatorname{Beta}(10,4)$，后验均值为

$$\mathbb{E}[\theta\mid\mathcal{D}] = \frac{10}{10+4} \approx 0.714.$$

样本中的正面比例是 $0.8$，后验均值更靠近先验中心。在模型可辨识、数据持续来自同一机制等条件下，样本继续增加后，似然通常会逐渐占据更大影响；数据很少时，先验选择则更重要。先验应当说明依据并接受敏感性检查。将先验称为“完全客观”或“可以随意主观指定”都忽略了实际建模中的约束。

在频率学派的表述中，$\theta$ 是固定但未知的参数，概率描述重复抽样时数据和估计量的变化；贝叶斯表述把对 $\theta$ 的不确定性写成条件于当前信息的分布。二者遵守相同的概率公理，但对未知参数、区间和推断结果的解释不同。

最大似然、MAP 与正则化#

贝叶斯公式也能把常见训练目标放到同一张图里。最大似然估计选择最能解释观测数据的参数：

$$\hat{\theta}_{\mathrm{MLE}} = \underset{\theta}{\arg\max}\ p(\mathcal{D}\mid\theta) = \underset{\theta}{\arg\min}\ \bigl[-\log p(\mathcal{D}\mid\theta)\bigr].$$

在样本条件独立时，联合似然是各样本似然的乘积，取对数后变为求和，更便于计算。若回归模型假设误差独立且服从方差固定的高斯分布，负对数似然中与参数有关的部分正比于残差平方和。因此，均方误差可以由一个明确的概率模型推导出来；高斯、独立和同方差都是这项推导的条件。

最大后验估计（maximum a posteriori，MAP）还考虑先验：

$$\hat{\theta}_{\mathrm{MAP}} = \underset{\theta}{\arg\max}\ p(\theta\mid\mathcal{D}) = \underset{\theta}{\arg\min} \left[-\log p(\mathcal{D}\mid\theta)-\log p(\theta)\right].$$

对参数采用零均值各向同性高斯先验时，$-\log p(\theta)$ 中与参数有关的部分正比于 $\lVert\theta\rVert_2^2$，于是 MAP 目标对应 $L_2$ 正则化。若各参数分量采用独立同尺度的零均值拉普拉斯先验，则会得到 $L_1$ 形式。这为正则化提供了一种概率解释，但不是它唯一的理论依据。MAP 也只是后验分布的一个点，不能代表完整的贝叶斯推断。

贝叶斯方法在预测新样本时，通常会对参数后验求平均：

$$p(y_*\mid x_*,\mathcal{D}) = \int p(y_*\mid x_*,\theta) p(\theta\mid\mathcal{D}) \,\mathrm{d}\theta.$$

在给定模型下，这个后验预测分布同时反映观测噪声和当前数据下的参数不确定性。积分在复杂模型中往往没有闭式解，需要变分推断、马尔可夫链蒙特卡洛或其他近似方法。具体算法会影响计算结果，但要计算的目标仍由模型与推断策略决定。

统计学习框架#

现在可以完整描述开头的房价预测。房屋属性和成交价是联合分布中的随机变量，训练集是它们的有限观测。线性函数与高斯噪声组成模型；负对数似然、均方误差或带先验的后验目标组成策略；正规方程、梯度下降等方法负责求解。期望说明我们希望控制的是新样本上的平均损失，方差刻画价格或估计结果的波动，协方差提供特征与目标之间的线性关联线索，贝叶斯公式则把既有信息与新数据合成后验。

这套框架不能替代对数据来源的检查。若训练数据存在选择偏差，部署环境已经改变，或者模型遗漏了关键变量，即使优化器把目标降到很低，统计结论仍可能失效。后续遇到新的网络、损失和优化器时，先分别辨认模型、策略与算法，再追问概率假设和数据条件，通常比从训练代码的 API 名称出发更容易看清问题。

参考文献

1. 李航. 统计学习方法（第2版）. 清华大学出版社, 2019
2. T. Hastie, R. Tibshirani, and J. Friedman. The Elements of Statistical Learning, Second Edition. Springer, 2009
3. K. P. Murphy. Probabilistic Machine Learning: An Introduction. MIT Press, 2022
4. C. M. Bishop. Pattern Recognition and Machine Learning. Springer, 2006
5. L. Wasserman. All of Statistics: A Concise Course in Statistical Inference. Springer, 2004. DOI: 10.1007/978-0-387-21736-9
6. I. Goodfellow, Y. Bengio, and A. Courville. Deep Learning, Chapter 5: Machine Learning Basics. MIT Press, 2016