统计学习：标准分布与信息论

统计学习的基础框架区分模型、策略和算法，期望、方差、协方差与贝叶斯更新则提供了描述不确定性的工具。本讲沿用这些概念，进一步讨论具体分布怎样适配数据：样本可能是一次点击、若干次试验的成功数、一组多维测量，也可能是风向这样的角度。它们的取值空间不同，适用的概率模型也不同。选错模型时，后续的参数估计和决策规则即使计算无误，也可能回答了错误的问题。

正文讨论三个连续的问题：怎样描述数据，怎样从样本估计分布中的未知量，以及怎样把估计结果变成分类决策。阅读正文需要了解求和、积分、向量和矩阵乘法；涉及优化的地方只使用一元求导和二次型。

概率分布#

设观测为 $x$，模型参数为 $\theta$。概率质量函数或概率密度常写成 $p(x\mid\theta)$。离散变量的 $p(x\mid\theta)$ 可以直接表示事件 $X=x$ 的概率；连续变量在单点上的概率通常为零，密度需要在区间或区域上积分后才得到概率。

在频率学派的参数估计中，$\theta$ 是固定但未知的量，样本具有随机性。贝叶斯方法还会用分布描述参数的不确定性。两种表述都以合适的样本空间和似然模型为起点。

离散概率分布#

伯努利分布#

一次结果只有 0 和 1 的试验可用伯努利分布（Bernoulli distribution）描述。令 $P(X=1)=p$，则

$$P(X=x\mid p)=p^x(1-p)^{1-x},\qquad x\in\{0,1\}.$$

它的期望和方差分别为

$$\mathbb{E}[X]=p,\qquad \operatorname{Var}(X)=p(1-p).$$

$p$ 接近 0 或 1 时，结果大多固定在同一侧，方差较小；$p=1/2$ 时不确定性最大，方差达到 $1/4$。二分类标签可以编码为伯努利变量，但这里的 $p$ 只描述某一给定条件下的类别概率。若特征 $x$ 发生变化，分类模型通常要学习的是 $p(y=1\mid x)$，而非常数 $p$。

二项分布#

若 $X_1,\ldots,X_n$ 相互独立且都服从参数为 $p$ 的伯努利分布，成功次数

$$S=\sum_{i=1}^{n}X_i$$

服从二项分布（binomial distribution）：

$$P(S=s\mid n,p)=\binom{n}{s}p^s(1-p)^{n-s}, \qquad s=0,1,\ldots,n.$$

组合数 $\binom{n}{s}$ 计算的是 $s$ 次成功在 $n$ 个位置上的排列数。由期望和方差的可加性可得

$$\mathbb{E}[S]=np,\qquad \operatorname{Var}(S)=np(1-p).$$

二项分布依赖“试验独立且成功概率相同”这两个条件。抽样过程存在相关性，或每次试验的成功概率不同，成功总数通常就不再服从同一个二项分布。伯努利分布描述一次试验，二项分布描述固定次数试验中的成功总数，两者不能按变量取值是否为整数来区分。

类别分布与多项分布#

当一次试验有 $K$ 种互斥结果时，可用类别分布（categorical distribution）描述单次结果。令第 $k$ 类的概率为 $p_k$，其中 $p_k\geq 0$ 且 $\sum_{k=1}^{K}p_k=1$。重复进行 $N$ 次独立同分布试验，并只保留各类出现次数 $\boldsymbol{n}=(n_1,\ldots,n_K)$，便得到多项分布（multinomial distribution）：

$$P(\boldsymbol{n}\mid N,\boldsymbol{p}) =\frac{N!}{\prod_{k=1}^{K}n_k!} \prod_{k=1}^{K}p_k^{n_k}, \qquad \sum_{k=1}^{K}n_k=N.$$

各类计数的期望、方差和协方差为

$$\mathbb{E}[n_k]=Np_k, \qquad \operatorname{Var}(n_k)=Np_k(1-p_k),$$ $$\operatorname{Cov}(n_j,n_k)=-Np_jp_k,\qquad j\ne k.$$

不同类别的计数呈负相关，因为总次数 $N$ 已经固定，一类多出现一次会挤占其他类别的计数。由此得到的计数协方差矩阵是奇异的，这正对应约束 $\sum_k n_k=N$。给定观测计数后，各类概率的极大似然估计为 $\hat p_k=n_k/N$。样本中没有出现的类别会得到零概率；若零概率会影响后续预测，需要引入先验或平滑，而不能把平滑后的结果仍称为未经修正的极大似然估计。

矩与多元高斯分布#

分布包含关于随机变量的完整概率描述，矩（moment）则用若干期望概括其中一部分形状。一维随机变量的 $r$ 阶原点矩和中心矩分别为

$$m_r'=\mathbb{E}[X^r], \qquad m_r=\mathbb{E}\big[(X-\mathbb{E}[X])^r\big].$$

一阶原点矩是均值，二阶中心矩是方差。三阶、四阶中心矩经过尺度归一化后可用于描述偏度和尾部厚度。矩未必存在，也未必能唯一确定一个分布，因此它们是摘要，不是任意情况下都充分的完整表示。

对 $d$ 维随机向量 $\boldsymbol{X}$，最常用的两项矩是均值向量与协方差矩阵：

$$\boldsymbol{\mu}=\mathbb{E}[\boldsymbol{X}], \qquad \boldsymbol{\Sigma} =\mathbb{E}\left[(\boldsymbol{X}-\boldsymbol{\mu}) (\boldsymbol{X}-\boldsymbol{\mu})^\mathsf{T}\right].$$

$\Sigma_{jj}$ 是第 $j$ 个分量的方差，$\Sigma_{jk}$ 是两个分量的协方差。协方差矩阵总是半正定的。若它正定，多元高斯分布（multivariate Gaussian distribution）的密度为

$$p(\boldsymbol{x}\mid\boldsymbol{\mu},\boldsymbol{\Sigma}) =\frac{1}{(2\pi)^{d/2}|\boldsymbol{\Sigma}|^{1/2}} \exp\left[-\frac{1}{2} (\boldsymbol{x}-\boldsymbol{\mu})^\mathsf{T} \boldsymbol{\Sigma}^{-1} (\boldsymbol{x}-\boldsymbol{\mu})\right].$$

指数中的二次型是平方 Mahalanobis 距离。等密度面是以 $\boldsymbol{\mu}$ 为中心的椭球，主轴方向由协方差矩阵的特征向量决定，轴长与对应特征值的平方根成正比。任意线性投影 $\boldsymbol{a}^\mathsf{T}\boldsymbol{X}+b$ 仍服从一维高斯分布，其方差为 $\boldsymbol{a}^\mathsf{T}\boldsymbol{\Sigma}\boldsymbol{a}$。

给定 $N$ 个独立同分布样本，多元高斯均值和协方差的极大似然估计是

$$\hat{\boldsymbol{\mu}}=\frac{1}{N}\sum_{i=1}^{N}\boldsymbol{x}_i,$$ $$\hat{\boldsymbol{\Sigma}}_{\mathrm{ML}} =\frac{1}{N}\sum_{i=1}^{N} (\boldsymbol{x}_i-\hat{\boldsymbol{\mu}}) (\boldsymbol{x}_i-\hat{\boldsymbol{\mu}})^\mathsf{T}.$$

统计教材中常见的 $1/(N-1)$ 给出无偏样本协方差，分母为 $N$ 的式子才是高斯似然下的极大似然估计。两者的目标不同。高斯模型只用均值和协方差便能确定分布，这一点很方便，但也构成了它的限制：多峰、重尾或含有强离群点的数据可能具有相似的前两阶矩，却呈现完全不同的形状。

当 $\boldsymbol{\Sigma}$ 只有半正定而不正定时，数据被限制在更低维的仿射子空间上，$|\boldsymbol{\Sigma}|=0$，上面的全维密度公式不再成立。实践中直接求逆也会失败，需要降维、使用伪逆，或通过 $\boldsymbol{\Sigma}+\lambda\boldsymbol{I}$ 做正则化。选择哪种处理方式取决于奇异性来自真实的低维结构，还是样本数不足和特征共线。

周期变量与冯·米塞斯分布#

角度的 $-\pi$ 与 $\pi$ 表示同一个方向。若两次观测分别为 $179^\circ$ 和 $-179^\circ$，普通算术平均会得到 $0^\circ$，但两次观测实际都靠近 $180^\circ$。把角度直接放进实数轴上的高斯分布，会在选定的切口处制造不连续。

周期为 $2\pi$ 的角度 $\theta$ 常用冯·米塞斯分布（von Mises distribution）建模：

$$p(\theta\mid\mu,\kappa) =\frac{\exp\!\left[\kappa\cos(\theta-\mu)\right]} {2\pi I_0(\kappa)}, \qquad -\pi\leq\theta<\pi.$$

$I_0$ 是第一类零阶修正贝塞尔函数，负责归一化密度。位置参数 $\mu$ 给出主方向，集中参数 $\kappa\geq0$ 控制观测在主方向附近聚集的程度。$\kappa=0$ 时密度退化为圆周上的均匀分布；$\kappa$ 较大时，主方向附近的局部形状接近方差为 $1/\kappa$ 的高斯分布，但这种近似不应跨过角度边界使用。

角度样本的平均方向通过单位向量求得。令

$$C=\frac{1}{N}\sum_{i=1}^{N}\cos\theta_i, \qquad S=\frac{1}{N}\sum_{i=1}^{N}\sin\theta_i,$$

则 $\hat\mu=\operatorname{atan2}(S,C)$，平均合向量长度为 $\bar R=\sqrt{C^2+S^2}$。冯·米塞斯模型中，$\kappa$ 的极大似然估计满足

$$\frac{I_1(\hat\kappa)}{I_0(\hat\kappa)}=\bar R,$$

通常需要数值求解。$\bar R$ 接近 0 时，样本在各方向上大致抵消，平均方向会很不稳定。若数据表示的是没有朝向的轴，例如一条直线的方向，此时 $\theta$ 与 $\theta+\pi$ 等价，还需要使用倍角变换或适合轴向数据的模型，不能直接套用方向数据的结论。

似然与贝叶斯后验#

观测数据记为 $D$。贝叶斯定理把先验分布和样本提供的证据结合起来：

$$p(\theta\mid D) =\frac{p(D\mid\theta)p(\theta)}{p(D)}, \qquad p(D)=\int p(D\mid\theta)p(\theta)\,d\theta.$$

$p(\theta)$ 是看到数据前对参数的描述，$p(D\mid\theta)$ 是似然，$p(\theta\mid D)$ 是后验。分母 $p(D)$ 称为证据或边际似然，它保证后验对 $\theta$ 的积分为 1。在先验和模型假设都已明确时，边际似然还可用于模型比较。

似然 $L(\theta;D)=p(D\mid\theta)$ 在计算时固定已经观察到的数据，把它看作参数 $\theta$ 的函数。它一般不是 $\theta$ 上的概率密度，也不要求对 $\theta$ 积分为 1。极大似然估计（maximum likelihood estimation, MLE）选择使观测数据最可能出现的参数：

$$\hat\theta_{\mathrm{ML}}=\arg\max_\theta p(D\mid\theta) =\arg\max_\theta \log p(D\mid\theta).$$

对 $n$ 次独立伯努利试验，若观测到 $s$ 次成功，对数似然中与 $p$ 有关的部分为

$$\ell(p)=s\log p+(n-s)\log(1-p).$$

当 $0<s<n$ 时，令导数为零便得到 $\hat p_{\mathrm{ML}}=s/n$；$s=0$ 或 $s=n$ 时最大值位于参数区间的边界。这个结果只使用成功次数 $s$，试验出现的先后顺序没有进入估计。

贝叶斯定理也可以直接用于分类。对类别 $y\in\{1,\ldots,K\}$，

$$p(y=k\mid\boldsymbol{x}) =\frac{p(\boldsymbol{x}\mid y=k)p(y=k)} {\sum_{j=1}^{K}p(\boldsymbol{x}\mid y=j)p(y=j)}.$$

这里的 $p(y=k)$ 是类别先验，$p(\boldsymbol{x}\mid y=k)$ 描述该类产生特征的方式。只比较类别时，所有类别共享的分母可以省去，但类别先验不能无故删除。罕见事件的判定尤其容易受到基准概率影响。

充分统计量与指数族#

统计量是样本的函数。若给定统计量 $T(D)$ 后，完整样本 $D$ 的条件分布不再依赖参数 $\theta$，则称 $T$ 是关于 $\theta$ 的充分统计量。Fisher–Neyman 因子分解定理给出一个常用判据：如果似然可以写成

$$p(D\mid\theta)=g(T(D),\theta)h(D),$$

其中 $h(D)$ 与 $\theta$ 无关，那么 $T(D)$ 对 $\theta$ 充分。

伯努利样本的似然可以写成

$$p(D\mid p)=p^{\sum_i x_i}(1-p)^{n-\sum_i x_i}.$$

因此 $T(D)=\sum_i x_i$ 是 $p$ 的充分统计量。在独立同分布的伯努利模型内，知道成功总数后，样本顺序不再提供关于 $p$ 的额外信息。若模型还关心时间依赖或成功概率随试验变化，这个结论便不成立。充分性总是相对于参数和模型而言，它不保证压缩后的数据仍能回答模型之外的所有问题。

许多常用分布可以统一写成指数族（exponential family）的形式：

$$p(x\mid\boldsymbol{\eta}) =h(x)\exp\left[ \boldsymbol{\eta}^\mathsf{T}\boldsymbol{T}(x) -A(\boldsymbol{\eta}) \right].$$

$\boldsymbol{\eta}$ 是自然参数，$\boldsymbol{T}(x)$ 是充分统计量，$A(\boldsymbol{\eta})$ 是对数配分函数。对独立同分布样本，联合似然只通过 $\sum_i\boldsymbol{T}(x_i)$ 依赖数据，所以这个和是自然参数的充分统计量。在正则条件下，

$$\nabla A(\boldsymbol{\eta}) =\mathbb{E}_{\boldsymbol{\eta}}[\boldsymbol{T}(X)], \qquad \nabla^2 A(\boldsymbol{\eta}) =\operatorname{Cov}_{\boldsymbol{\eta}}[\boldsymbol{T}(X)].$$

对数配分函数因而把自然参数、矩和似然的曲率联系起来。前面的分布都能在指数族中找到对应位置：

类别分布的 $K$ 个概率存在和为 1 的约束，实际构造最小自然参数时通常选一个类别作基准，只保留 $K-1$ 个对数概率比。高斯分布中的样本均值和样本协方差，冯·米塞斯分布中的平均方向和合向量长度，都可以从表中的充分统计量恢复出来。

熵与 Kullback–Leibler 散度#

对离散分布 $P$，Shannon 熵定义为

$$H(P)=-\sum_x p(x)\log p(x),$$

并约定 $0\log0=0$。对数以 2 为底时单位是 bit，以自然常数 $e$ 为底时单位是 nat。熵取决于概率分布，不取决于类别使用了什么名字。

伯努利变量的熵为

$$H_{\mathrm{B}}(p) =-p\log_2p-(1-p)\log_2(1-p).$$

$p=1/2$ 时两个结果同样可能，熵达到 1 bit；$p=0$ 或 $p=1$ 时结果确定，熵为 0。这里的熵衡量在知道结果前的不确定性，它不表示某个具体样本“含有多少语义”。

连续变量对应的微分熵为

$$h(P)=-\int p(x)\log p(x)\,dx.$$

微分熵可能为负，并且会随坐标尺度改变，不能直接照搬离散熵的全部直觉。$d$ 维高斯分布的微分熵为

$$h\!\left(\mathcal{N}(\boldsymbol{\mu},\boldsymbol{\Sigma})\right) =\frac{1}{2}\log\left[(2\pi e)^d|\boldsymbol{\Sigma}|\right].$$

在协方差固定的连续分布中，高斯分布具有最大的微分熵。若只掌握均值和协方差，最大熵原则会给出高斯模型，因为它没有额外指定更细的形状。这一原则本身不保证真实数据接近高斯。

Kullback–Leibler 散度衡量用分布 $Q$ 代替分布 $P$ 时的对数概率差：

$$D_{\mathrm{KL}}(P\|Q) =\mathbb{E}_{X\sim P}\left[ \log\frac{p(X)}{q(X)} \right].$$

离散情况下把期望写成求和，连续情况下写成积分。KL 散度非负，并且在两个分布几乎处处相同时为零。它通常不对称，也不满足三角不等式，因此不是距离。若某个事件在 $P$ 下有正概率、在 $Q$ 下却为零，则 $D_{\mathrm{KL}}(P\|Q)=+\infty$。这也是概率模型过早给未见事件分配零概率会带来风险的一个原因。

交叉熵与 KL 散度满足

$$H(P,Q)=-\mathbb{E}_{P}[\log q(X)] =H(P)+D_{\mathrm{KL}}(P\|Q).$$

真实数据分布 $P_*$ 固定时，最大化模型 $q_\theta$ 的期望对数似然，等价于最小化 $D_{\mathrm{KL}}(P_*\|Q_\theta)$。训练中的平均负对数似然用有限样本近似这个期望。这个关系解释了分类模型为什么常用交叉熵，也说明极大似然会在给定模型族中寻找前向 KL 意义下最接近数据分布的成员。

决策树与信息增益#

分类决策树在每个节点选择一个特征和切分条件，把当前样本分到子节点。设节点 $m$ 中共有 $N_m$ 个样本，第 $k$ 类所占比例为 $\hat p_{mk}$。使用熵作为不纯度时，节点不纯度为

$$H_m=-\sum_{k=1}^{K}\hat p_{mk}\log_2\hat p_{mk}.$$

候选切分产生左右子节点 $L$ 和 $R$ 后，信息增益为

$$\operatorname{IG} =H_m-\frac{N_L}{N_m}H_L-\frac{N_R}{N_m}H_R.$$

例如，一个节点有 6 个正类和 4 个负类，切分前的熵约为 $0.971$ bit。某个阈值把 4 个正类单独分到左侧，右侧留下 2 个正类和 4 个负类。切分后的加权熵为

$$\frac{4}{10}\times0 +\frac{6}{10}H_{\mathrm{B}}\!\left(\frac{2}{6}\right) \approx0.551\ \text{bit},$$

所以信息增益约为 $0.420$ bit。左侧已经纯净，右侧仍有不确定性。算法比较当前节点的候选特征和阈值，选择信息增益最大的切分，再对子节点重复这一过程。

这里计算的是节点内经验类别分布的熵。特征本身可以是连续值，算法也不需要假设它服从伯努利或高斯分布。不同树算法使用的细节并不相同：ID3 以信息增益处理类别特征，C4.5 使用增益率修正偏好多取值特征的问题，经典 CART 构造二叉树并在分类时使用 Gini 不纯度。一些沿用 CART 式二叉切分的现代实现也提供熵准则。

逐节点选择当前最优切分是一种贪心策略，不能保证得到全局最优的树。若一直切到叶节点纯净，树很容易记住训练样本。限制最大深度、叶节点最少样本数、最小不纯度下降或进行代价复杂度剪枝，可以控制模型复杂度。普通决策树的连续特征切分通常与坐标轴平行，因此它能组合出非线性边界，但边界可能呈阶梯状且对样本扰动较敏感。

Fisher 线性判别#

Fisher 线性判别从另一条路线构造分类所需的一维投影。对两个类别，记样本均值为 $\boldsymbol{\mu}_0$ 和 $\boldsymbol{\mu}_1$，类内散度矩阵为

$$\boldsymbol{S}_W =\sum_{i:y_i=0}(\boldsymbol{x}_i-\boldsymbol{\mu}_0) (\boldsymbol{x}_i-\boldsymbol{\mu}_0)^\mathsf{T} +\sum_{i:y_i=1}(\boldsymbol{x}_i-\boldsymbol{\mu}_1) (\boldsymbol{x}_i-\boldsymbol{\mu}_1)^\mathsf{T}.$$

选择投影方向 $\boldsymbol{w}$ 后，两类投影均值之差为 $\boldsymbol{w}^\mathsf{T}(\boldsymbol{\mu}_1-\boldsymbol{\mu}_0)$，投影后的类内散度为 $\boldsymbol{w}^\mathsf{T}\boldsymbol{S}_W\boldsymbol{w}$。Fisher 准则最大化二者之比：

$$J(\boldsymbol{w}) =\frac{\left[\boldsymbol{w}^\mathsf{T} (\boldsymbol{\mu}_1-\boldsymbol{\mu}_0)\right]^2} {\boldsymbol{w}^\mathsf{T}\boldsymbol{S}_W\boldsymbol{w}}.$$

当 $\boldsymbol{S}_W$ 可逆时，最优方向在忽略任意非零缩放后为

$$\boldsymbol{w}\propto \boldsymbol{S}_W^{-1}(\boldsymbol{\mu}_1-\boldsymbol{\mu}_0).$$

均值差给出分离两类的方向，类内散度的逆矩阵会压低噪声大、相关性强的方向。Fisher 准则只确定投影方向，不会单独给出唯一分类阈值。实际分类还要根据投影后的样本、类别先验和误分类代价确定阈值。

Fisher 判别常与基于高斯生成模型的线性判别分析（linear discriminant analysis, LDA）放在一起讨论。若假设

$$p(\boldsymbol{x}\mid y=k) =\mathcal{N}(\boldsymbol{x}\mid\boldsymbol{\mu}_k,\boldsymbol{\Sigma})$$

且各类共享协方差矩阵，贝叶斯公式给出的二分类对数后验比为

$$\log\frac{p(y=1\mid\boldsymbol{x})}{p(y=0\mid\boldsymbol{x})} =\boldsymbol{x}^\mathsf{T}\boldsymbol{\Sigma}^{-1} (\boldsymbol{\mu}_1-\boldsymbol{\mu}_0) -\frac{1}{2}\left( \boldsymbol{\mu}_1^\mathsf{T}\boldsymbol{\Sigma}^{-1}\boldsymbol{\mu}_1 -\boldsymbol{\mu}_0^\mathsf{T}\boldsymbol{\Sigma}^{-1}\boldsymbol{\mu}_0 \right) +\log\frac{p(y=1)}{p(y=0)}.$$

它关于 $\boldsymbol{x}$ 是线性的，方向与使用合并类内协方差得到的 Fisher 方向一致。两条推导的出发点仍有区别：Fisher 准则直接优化投影后的类间分离度，高斯 LDA 则先拟合类条件密度，再按贝叶斯规则分类。各类协方差不同时，高斯模型产生二次判别边界；Fisher 投影不会因此自动变成二次模型。

高维小样本场景中，$\boldsymbol{S}_W$ 往往奇异，直接求逆不可行。常见处理是降维或使用 $\boldsymbol{S}_W+\lambda\boldsymbol{I}$ 的正则化估计。多分类 Fisher 判别通过类间散度与类内散度的广义特征值问题求解，最多得到 $K-1$ 个有效判别方向。

决策树和 Fisher 判别由此体现了两种不同的信息压缩方式：

概率建模与统计决策#

这一组概念可以沿着一条计算路径理解。样本空间决定可选的分布：二元结果对应伯努利，固定试验次数的计数对应二项或多项，实向量常从多元高斯开始，角度则需要尊重周期结构。选定分布后，似然说明样本怎样约束参数；充分统计量指出在该模型内应保留哪些数据摘要；指数族把这些摘要与矩、对数配分函数联系起来。

参数估计仍不是终点。熵可以衡量经验类别分布的不确定性，决策树据此选择局部切分；均值与协方差概括类内几何结构，Fisher 判别据此寻找全局线性投影。贝叶斯公式再把类条件分布、类别先验和决策联系起来。每一步都依赖前一步的建模条件，独立同分布、高斯形状、共享协方差或稳定的周期结构若不成立，相应结论就需要重新检查。

参考文献

1. C. M. Bishop. Pattern Recognition and Machine Learning. Springer, 2006. DOI: 10.1007/978-0-387-45528-0
2. K. V. Mardia and P. E. Jupp. Directional Statistics. Wiley Series in Probability and Statistics, 1999. DOI: 10.1002/9780470316979
3. M. J. Wainwright and M. I. Jordan. Graphical Models, Exponential Families, and Variational Inference. Foundations and Trends in Machine Learning, 2008. DOI: 10.1561/2200000001
4. C. E. Shannon. A Mathematical Theory of Communication. Bell System Technical Journal, 1948. DOI: 10.1002/j.1538-7305.1948.tb01338.x
5. S. Kullback and R. A. Leibler. On Information and Sufficiency. The Annals of Mathematical Statistics, 1951. DOI: 10.1214/aoms/1177729694
6. J. R. Quinlan. Induction of Decision Trees. Machine Learning, 1986. DOI: 10.1007/BF00116251
7. R. A. Fisher. The Use of Multiple Measurements in Taxonomic Problems. Annals of Eugenics, 1936. DOI: 10.1111/j.1469-1809.1936.tb02137.x