系列开篇 用房价预测区分了模型、策略和算法，也提到独立同方差的高斯误差会让负对数似然化为残差平方和。这个结论还留下几个问题：模型怎样从一条直线扩展到曲线，平方损失为何选择条件均值，以及训练误差降低后，新样本上的误差为什么可能上升。
这里把固定基函数接上线性输出层的模型称为“线性回归网络”。统计学习中更常见的名称是基函数线性回归。网络视角便于看清每个节点怎样参与计算，但“线性”仍然是一个严格的数学限定：输出必须对待估参数保持线性，基函数本身可以是输入的非线性函数。
接下来的推导从这层限定出发，先看基函数如何决定模型能表示的曲线，再由高斯似然推到最小二乘及其投影几何。得到条件分布后，决策损失会确定应该用哪个数作为预测。把训练集的随机性纳入分析，还能进一步分辨预期测试误差中的偏差、方差和观测噪声。
线性基函数模型#
设训练集为 D = { ( x n , t n ) } n = 1 N \mathcal{D}=\{(\mathbf{x}_n,t_n)\}_{n=1}^N D = {( x n , t n ) } n = 1 N M M M ϕ 0 ( x ) = 1 \phi_0(\mathbf{x})=1 ϕ 0 ( x ) = 1
y ( x , w ) = ∑ j = 0 M − 1 w j ϕ j ( x ) = w T ϕ ( x ) . y(\mathbf{x},\mathbf{w})
=
\sum_{j=0}^{M-1}w_j\phi_j(\mathbf{x})
=
\mathbf{w}^{\mathsf T}\boldsymbol{\phi}(\mathbf{x}). y ( x , w ) = j = 0 ∑ M − 1 w j ϕ j ( x ) = w T ϕ ( x ) . 若 ϕ 1 ( x ) = x \phi_1(x)=x ϕ 1 ( x ) = x x 2 , x 3 x^2,x^3 x 2 , x 3 μ j \boldsymbol{\mu}_j μ j s j s_j s j
ϕ j ( x ) = exp ( − ∥ x − μ j ∥ 2 2 2 s j 2 ) , \phi_j(\mathbf{x})
=
\exp\left(
-\frac{\lVert\mathbf{x}-\boldsymbol{\mu}_j\rVert_2^2}{2s_j^2}
\right), ϕ j ( x ) = exp ( − 2 s j 2 ∥ x − μ j ∥ 2 2 ) , 模型又能组合出局部起伏。无论 ϕ j ( x ) \phi_j(\mathbf{x}) ϕ j ( x ) w j w_j w j y y y w \mathbf{w} w
固定基函数先把输入映射为特征向量，线性输出层再做加权求和。曲线可以对输入呈非线性，但待估权重只以一次幂出现。 作者绘制 把所有样本的基函数值按行排列，可得设计矩阵
Φ = [ ϕ ( x 1 ) T ϕ ( x 2 ) T ⋮ ϕ ( x N ) T ] ∈ R N × M . \boldsymbol{\Phi}
=
\begin{bmatrix}
\boldsymbol{\phi}(\mathbf{x}_1)^{\mathsf T}\\
\boldsymbol{\phi}(\mathbf{x}_2)^{\mathsf T}\\
\vdots\\
\boldsymbol{\phi}(\mathbf{x}_N)^{\mathsf T}
\end{bmatrix}
\in\mathbb{R}^{N\times M}. Φ = ϕ ( x 1 ) T ϕ ( x 2 ) T ⋮ ϕ ( x N ) T ∈ R N × M . 于是，训练集上的全部预测可以写成 t ^ = Φ w \widehat{\mathbf{t}}=\boldsymbol{\Phi}\mathbf{w} t = Φ w
高斯似然与最小二乘#
线性回归还需要说明观测值为何偏离模型输出。一项常见假设是
t n = w T ϕ ( x n ) + ε n , ε n ∼ i i d N ( 0 , β − 1 ) . t_n
=
\mathbf{w}^{\mathsf T}\boldsymbol{\phi}(\mathbf{x}_n)+\varepsilon_n,
\qquad
\varepsilon_n\overset{\mathrm{iid}}{\sim}\mathcal{N}(0,\beta^{-1}). t n = w T ϕ ( x n ) + ε n , ε n ∼ iid N ( 0 , β − 1 ) . β \beta β β − 1 \beta^{-1} β − 1
p ( t ∣ X , w , β ) = ∏ n = 1 N N ( t n ∣ w T ϕ ( x n ) , β − 1 ) . p(\mathbf{t}\mid\mathbf{X},\mathbf{w},\beta)
=
\prod_{n=1}^N
\mathcal{N}\!\left(
t_n\mid
\mathbf{w}^{\mathsf T}\boldsymbol{\phi}(\mathbf{x}_n),
\beta^{-1}
\right). p ( t ∣ X , w , β ) = n = 1 ∏ N N ( t n ∣ w T ϕ ( x n ) , β − 1 ) . 取负对数，可得
− log p ( t ∣ X , w , β ) = β 2 ∥ t − Φ w ∥ 2 2 − N 2 log β + N 2 log ( 2 π ) . -\log p(\mathbf{t}\mid\mathbf{X},\mathbf{w},\beta)
=
\frac{\beta}{2}
\lVert\mathbf{t}-\boldsymbol{\Phi}\mathbf{w}\rVert_2^2
-\frac{N}{2}\log\beta
+\frac{N}{2}\log(2\pi). − log p ( t ∣ X , w , β ) = 2 β ∥ t − Φ w ∥ 2 2 − 2 N log β + 2 N log ( 2 π ) . 固定 β \beta β β \beta β w \mathbf{w} w
对残差平方和求梯度，
∇ w ∥ t − Φ w ∥ 2 2 = − 2 Φ T ( t − Φ w ) , \nabla_{\mathbf{w}}
\lVert\mathbf{t}-\boldsymbol{\Phi}\mathbf{w}\rVert_2^2
=
-2\boldsymbol{\Phi}^{\mathsf T}
(\mathbf{t}-\boldsymbol{\Phi}\mathbf{w}), ∇ w ∥ t − Φ w ∥ 2 2 = − 2 Φ T ( t − Φ w ) , 令梯度为零，得到正规方程
Φ T Φ w = Φ T t . \boldsymbol{\Phi}^{\mathsf T}\boldsymbol{\Phi}\,\mathbf{w}
=
\boldsymbol{\Phi}^{\mathsf T}\mathbf{t}. Φ T Φ w = Φ T t . 当 Φ \boldsymbol{\Phi} Φ Φ T Φ \boldsymbol{\Phi}^{\mathsf T}\boldsymbol{\Phi} Φ T Φ
w M L = ( Φ T Φ ) − 1 Φ T t . \mathbf{w}_{\mathrm{ML}}
=
(\boldsymbol{\Phi}^{\mathsf T}\boldsymbol{\Phi})^{-1}
\boldsymbol{\Phi}^{\mathsf T}\mathbf{t}. w ML = ( Φ T Φ ) − 1 Φ T t . 这条公式适合推导，不适合照着实现。显式形成 Φ T Φ \boldsymbol{\Phi}^{\mathsf T}\boldsymbol{\Phi} Φ T Φ
import numpy as np def polynomial_features (x, degree): """返回 [1, x, x², ..., x^degree] 组成的设计矩阵。""" x = np.asarray(x, dtype = float ) return np.vander(x, N = degree + 1 , increasing = True ) phi = polynomial_features(x_train, degree = 3 ) w, * _ = np.linalg.lstsq(phi, t_train, rcond = None ) phi_test = polynomial_features(x_test, degree = 3 ) t_pred = phi_test @ w 若设计矩阵秩亏，满足正规方程的权重可能不唯一。lstsq 会借助奇异值分解返回一个最小范数解；更重要的是，所有最小二乘解在训练样本上的投影 Φ w \boldsymbol{\Phi}\mathbf{w} Φ w
若残差平方和大于零，将 w M L \mathbf{w}_{\mathrm{ML}} w ML
σ ^ M L 2 = β ^ M L − 1 = 1 N ∥ t − Φ w M L ∥ 2 2 . \widehat{\sigma}_{\mathrm{ML}}^2
=
\widehat{\beta}_{\mathrm{ML}}^{-1}
=
\frac{1}{N}
\lVert\mathbf{t}-\boldsymbol{\Phi}\mathbf{w}_{\mathrm{ML}}\rVert_2^2. σ ML 2 = β ML − 1 = N 1 ∥ t − Φ w ML ∥ 2 2 . 由于同一批数据还用于估计权重，这个估计会系统性偏小。在固定设计、模型设定正确且噪声同方差时，若 r = rank ( Φ ) r=\operatorname{rank}(\boldsymbol{\Phi}) r = rank ( Φ ) N > r N>r N > r S S E / ( N − r ) \mathrm{SSE}/(N-r) SSE / ( N − r )
高斯性并不是求解最小二乘的代数条件。给定满列秩设计矩阵，只要 E [ ε ∣ Φ ] = 0 \mathbb{E}[\boldsymbol{\varepsilon}\mid\boldsymbol{\Phi}]=\mathbf{0} E [ ε ∣ Φ ] = 0 Cov ( ε ∣ Φ ) = σ 2 I \operatorname{Cov}(\boldsymbol{\varepsilon}\mid\boldsymbol{\Phi})=\sigma^2\mathbf{I} Cov ( ε ∣ Φ ) = σ 2 I
最小二乘与正交投影#
正规方程还能从几何上直接得到。设计矩阵的第 j j j
ϕ j = [ ϕ j ( x 1 ) ⋯ ϕ j ( x N ) ] T \boldsymbol{\phi}_j
=
\begin{bmatrix}
\phi_j(\mathbf{x}_1)&\cdots&\phi_j(\mathbf{x}_N)
\end{bmatrix}^{\mathsf T} ϕ j = [ ϕ j ( x 1 ) ⋯ ϕ j ( x N ) ] T 是一个位于 R N \mathbb{R}^N R N Φ w \boldsymbol{\Phi}\mathbf{w} Φ w C ( Φ ) \mathcal{C}(\boldsymbol{\Phi}) C ( Φ ) t \mathbf{t} t t ^ \widehat{\mathbf{t}} t
最小二乘把目标向量投影到设计矩阵的列空间。拟合向量属于列空间，残差垂直于列空间中的每个方向。 作者绘制 记残差为 r = t − t ^ \mathbf{r}=\mathbf{t}-\widehat{\mathbf{t}} r = t − t r \mathbf{r} r ϕ j \boldsymbol{\phi}_j ϕ j
Φ T r = Φ T ( t − Φ w ) = 0 , \boldsymbol{\Phi}^{\mathsf T}\mathbf{r}
=
\boldsymbol{\Phi}^{\mathsf T}
(\mathbf{t}-\boldsymbol{\Phi}\mathbf{w})
=
\mathbf{0}, Φ T r = Φ T ( t − Φ w ) = 0 , 这正是正规方程。若基函数中包含常数列 1 \mathbf{1} 1 1 T r = 0 \mathbf{1}^{\mathsf T}\mathbf{r}=0 1 T r = 0
用 Moore–Penrose 伪逆 Φ + \boldsymbol{\Phi}^{+} Φ +
t ^ = Φ Φ + t . \widehat{\mathbf{t}}
=
\boldsymbol{\Phi}\boldsymbol{\Phi}^{+}\mathbf{t}. t = Φ Φ + t . 即使 Φ \boldsymbol{\Phi} Φ Φ Φ + \boldsymbol{\Phi}\boldsymbol{\Phi}^{+} Φ Φ + t ^ \widehat{\mathbf{t}} t
回归决策理论#
概率模型学到的是条件分布 p ( t ∣ x , D ) p(t\mid\mathbf{x},\mathcal{D}) p ( t ∣ x , D ) a a a L ( t , a ) L(t,a) L ( t , a ) t t t a a a
R ( a ∣ x ) = ∫ L ( t , a ) p ( t ∣ x , D ) d t . R(a\mid\mathbf{x})
=
\int L(t,a)
p(t\mid\mathbf{x},\mathcal{D})\,dt. R ( a ∣ x ) = ∫ L ( t , a ) p ( t ∣ x , D ) d t . 使条件风险最小的动作才是最优预测，“回归”这个任务名称本身无法确定它。对平方损失 L ( t , a ) = ( t − a ) 2 L(t,a)=(t-a)^2 L ( t , a ) = ( t − a ) 2 μ ( x ) = E [ t ∣ x , D ] \mu(\mathbf{x})=\mathbb{E}[t\mid\mathbf{x},\mathcal{D}] μ ( x ) = E [ t ∣ x , D ]
E [ ( t − a ) 2 ∣ x , D ] = Var ( t ∣ x , D ) + ( a − μ ( x ) ) 2 . \mathbb{E}[(t-a)^2\mid\mathbf{x},\mathcal{D}]
=
\operatorname{Var}(t\mid\mathbf{x},\mathcal{D})
+(a-\mu(\mathbf{x}))^2. E [( t − a ) 2 ∣ x , D ] = Var ( t ∣ x , D ) + ( a − μ ( x ) ) 2 . 第一项不随 a a a a = μ ( x ) a=\mu(\mathbf{x}) a = μ ( x ) w T ϕ ( x ) \mathbf{w}^{\mathsf T}\boldsymbol{\phi}(\mathbf{x}) w T ϕ ( x )
换一种损失，最优动作也会改变。绝对损失 ∣ t − a ∣ |t-a| ∣ t − a ∣
高斯分布的均值、中位数和众数重合，因此几种常见点预测在理想线性高斯模型下看起来没有区别。一旦噪声偏斜、重尾或含有多个峰，似然模型和决策损失就必须分开选择：前者描述目标怎样分布，后者描述预测错误怎样计价。
偏差、方差与不可约噪声#
一次训练只能得到一个模型，偏差—方差分析考察的却是重复抽取训练集并重新训练时，预测会怎样变化。设真实数据过程为
t = f ( x ) + ε , E [ ε ∣ x ] = 0 , Var ( ε ∣ x ) = σ 2 ( x ) . t=f(\mathbf{x})+\varepsilon,
\qquad
\mathbb{E}[\varepsilon\mid\mathbf{x}]=0,
\qquad
\operatorname{Var}(\varepsilon\mid\mathbf{x})=\sigma^2(\mathbf{x}). t = f ( x ) + ε , E [ ε ∣ x ] = 0 , Var ( ε ∣ x ) = σ 2 ( x ) . 零条件均值意味着 f ( x ) = E [ t ∣ x ] f(\mathbf{x})=\mathbb{E}[t\mid\mathbf{x}] f ( x ) = E [ t ∣ x ] f f f
从同一总体抽取不同训练集 D \mathcal{D} D y D ( x ) y_{\mathcal{D}}(\mathbf{x}) y D ( x ) x \mathbf{x} x
y ‾ ( x ) = E D [ y D ( x ) ] . \overline{y}(\mathbf{x})
=
\mathbb{E}_{\mathcal{D}}[y_{\mathcal{D}}(\mathbf{x})]. y ( x ) = E D [ y D ( x )] . 若测试噪声与训练集独立，平方损失的期望可以分解为
E D , ε [ ( t − y D ( x ) ) 2 ∣ x ] = ( y ‾ ( x ) − f ( x ) ) 2 ⏟ 偏差平方 + E D [ ( y D ( x ) − y ‾ ( x ) ) 2 ] ⏟ 方差 + σ 2 ( x ) ⏟ 不可约噪声 . \begin{aligned}
&\mathbb{E}_{\mathcal{D},\varepsilon}
\left[(t-y_{\mathcal{D}}(\mathbf{x}))^2\mid\mathbf{x}\right]\\
&=
\underbrace{\left(
\overline{y}(\mathbf{x})-f(\mathbf{x})
\right)^2}_{\text{偏差平方}}
+
\underbrace{\mathbb{E}_{\mathcal{D}}
\left[
(y_{\mathcal{D}}(\mathbf{x})-\overline{y}(\mathbf{x}))^2
\right]}_{\text{方差}}
+
\underbrace{\sigma^2(\mathbf{x})}_{\text{不可约噪声}}.
\end{aligned} E D , ε [ ( t − y D ( x ) ) 2 ∣ x ] = 偏差平方 ( y ( x ) − f ( x ) ) 2 + 方差 E D [ ( y D ( x ) − y ( x ) ) 2 ] + 不可约噪声 σ 2 ( x ) . 偏差衡量平均模型与真实回归函数的距离。基函数太少或形状不合适时，函数空间无法表示 f f f f ( x ) f(\mathbf{x}) f ( x )
这个分解是对训练集和新噪声取期望后的性质，不能从某一次训练误差和验证误差中逐项读出。增加基函数通常会扩大列空间并降低近似偏差，同时可能提高估计方差，但这只是常见趋势，不是任意数据、任意学习算法下都单调成立的定律。
在线性模型设定正确、设计矩阵固定且噪声方差为 σ 2 \sigma^2 σ 2
Cov ( w ^ ∣ Φ ) = σ 2 ( Φ T Φ ) − 1 . \operatorname{Cov}(\widehat{\mathbf{w}}\mid\boldsymbol{\Phi})
=
\sigma^2
(\boldsymbol{\Phi}^{\mathsf T}\boldsymbol{\Phi})^{-1}. Cov ( w ∣ Φ ) = σ 2 ( Φ T Φ ) − 1 . 因此，新输入 x \mathbf{x} x
Var [ y ( x , w ^ ) ∣ Φ ] = σ 2 ϕ ( x ) T ( Φ T Φ ) − 1 ϕ ( x ) . \operatorname{Var}
\left[y(\mathbf{x},\widehat{\mathbf{w}})\mid\boldsymbol{\Phi}\right]
=
\sigma^2
\boldsymbol{\phi}(\mathbf{x})^{\mathsf T}
(\boldsymbol{\Phi}^{\mathsf T}\boldsymbol{\Phi})^{-1}
\boldsymbol{\phi}(\mathbf{x}). Var [ y ( x , w ) ∣ Φ ] = σ 2 ϕ ( x ) T ( Φ T Φ ) − 1 ϕ ( x ) . 这个表达式把“方差大”落到了具体结构上：当设计矩阵存在很小的奇异值，逆矩阵会放大相应方向；当新输入的基函数向量落在训练数据约束较弱的方向，外推的不确定性也会增大。
岭回归用一个可控偏差换取更小的方差。对已经中心化的数据，若所有权重都参与惩罚且 λ > 0 \lambda>0 λ > 0
\mathbf{w}_{\lambda}
=
\arg\min_{\mathbf{w}}
\left{
\lVert\mathbf{t}-\boldsymbol{\Phi}\mathbf{w}\rVert_2^2
+\lambda\lVert\mathbf{w}\rVert_2^2
\right},
并得到
w λ = ( Φ T Φ + λ I ) − 1 Φ T t . \mathbf{w}_{\lambda}
=
(\boldsymbol{\Phi}^{\mathsf T}\boldsymbol{\Phi}+\lambda\mathbf{I})^{-1}
\boldsymbol{\Phi}^{\mathsf T}\mathbf{t}. w λ = ( Φ T Φ + λ I ) − 1 Φ T t . 若 Φ = U S V T \boldsymbol{\Phi}=\mathbf{U}\mathbf{S}\mathbf{V}^{\mathsf T} Φ = US V T i i i 1 / s i 1/s_i 1/ s i s i / ( s i 2 + λ ) s_i/(s_i^2+\lambda) s i / ( s i 2 + λ )
基函数种类、数量、RBF 宽度、多项式次数和 λ \lambda λ
线性回归框架#
线性回归网络先用固定基函数定义可表示的函数空间，再在线性输出层中估计权重。独立同方差的高斯噪声把最大似然变成残差平方和最小化；设计矩阵的列空间又把这个代数问题变成目标向量的正交投影。得到条件分布以后，平方损失选择条件均值作为点预测，其他损失则可能选择中位数或分位数。
训练误差只说明目标向量离当前列空间有多远。模型面对新数据时，还要承受函数空间造成的偏差、训练样本造成的方差和数据过程本身的噪声。基函数与正则化的作用也可以据此区分：前者改变可表示的子空间，后者改变模型在不稳定方向上使用这个空间的程度。
参考文献 C. M. Bishop. Pattern Recognition and Machine Learning, Chapters 1.5 and 3 . Springer , 2006 T. Hastie, R. Tibshirani, and J. Friedman. The Elements of Statistical Learning, 2nd edition . Springer Series in Statistics , 2009 . DOI: 10.1007/978-0-387-84858-7 A. E. Hoerl and R. W. Kennard. Ridge Regression: Biased Estimation for Nonorthogonal Problems . Technometrics , 1970 . DOI: 10.1080/00401706.1970.10488634 S. Geman, E. Bienenstock, and R. Doursat. Neural Networks and the Bias/Variance Dilemma . Neural Computation , 1992 . DOI: 10.1162/neco.1992.4.1.1 NumPy Developers. numpy.linalg.lstsq . NumPy Reference 
