解释不应离开数据分布：可解释 AI 与流形学习的交汇

想象一组经典的“双月牙”数据：两条弯曲的月牙分别代表两个类别。现在从一条月牙上的某个点出发，寻找能够改变分类结果的最近位置。如果只计算欧氏距离，最短路线往往是一条直线，直接穿过两条月牙之间的空白区域。

这条路线在几何上最短，却未必有实际意义。空白区域里几乎没有真实样本，路径上的中间状态可能从未出现，甚至无法对应任何合理输入。

许多可解释 AI 方法都会遇到同样的问题。LIME 在样本附近制造扰动，SHAP 组合“存在”和“缺失”的特征，Integrated Gradients 在基线与输入之间连接直线，反事实解释则寻找最近的决策翻转点。它们的计算方式不同，却常常共享一个隐含假设：输入空间中的每个方向都同样合理。

真实数据并非如此。自然图像、语音、医疗记录和人的属性组合，通常只占据高维空间中很小的一部分。流形学习进入可解释 AI，正是为了描述这部分结构，并进一步追问：解释经过了哪些中间状态？这些状态是否得到真实数据的支持？

INTERACTIVE FIGURE

路径解释

同一个 Two Moons 示例中的解释路径与梯度分解。

ON DEMAND

解释路径梯度分解有效性门槛

流形约束

74%

当前路径欧氏直线类别 A类别 B

阅读下面的交互图时，可以先把流形约束调到最低。青色路径会逐渐靠近表示欧氏最短距离的珊瑚色虚线：路程虽然变短，却有更多部分进入样本稀少的区域。随后切换到梯度分解，比较沿流形移动的切向变化与偏离流形的法向变化。最后一个视图则会进一步区分三件经常被混为一谈的事：预测能否翻转、结果是否符合数据分布，以及改变是否真的可行动。

解释器也在定义一个“可能世界”#

一张 $224\times224$ 的 RGB 图像位于一个超过十五万维的空间中。理论上，每个像素都能独立变化；实际上，绝大多数像素组合只会形成噪声。自然图像只集中在其中一小部分结构上：物体姿态可以连续改变，光线可以逐渐变亮，人的表情也能平滑变化，但像素不能毫无约束地任意重排。

流形假设用一个简化模型描述这种现象：高维数据集中在一个内在维度较低的流形 $\mathcal M$ 附近。这里的“流形”不必是一张完美光滑的曲面，更重要的是，它表达了数据只允许少数有结构的变化方向。

在流形上的点 $x$ 附近，模型梯度可以分成两个方向：

$$\nabla f(x) = P_{T_x\mathcal M}\nabla f(x) + P_{N_x\mathcal M}\nabla f(x).$$

$T_x\mathcal M$ 是流形在 $x$ 附近的切空间。沿切空间移动，样本仍可能保持语义有效，例如改变照片中的光照或视角。$N_x\mathcal M$ 是法空间，指向数据支持之外。法向变化可能表现为明显噪声，也可能是肉眼几乎无法察觉、却足以改变模型输出的对抗扰动。

这个分解给可解释 AI 一个直接的提醒：一张归因图可能混合了两类完全不同的信息。一类是模型对自然变化的敏感性，另一类是模型在数据分布之外的脆弱性。如果不区分二者，我们很容易把对抗方向误认为有意义的语义方向，也可能反过来把真实的模型漏洞平滑掉。

更进一步说，解释器不只是在读取模型，它还在定义用于比较的“可能世界”。当解释器判断特征 $i$ 是否重要时，必须构造一组替代输入。替代输入如何生成、变量能否独立变化、计算路径经过哪些区域，都会改变最后的归因。模型负责回答“在这个输入上会输出什么”，解释器则决定“应该拿哪些输入来问模型”。SHAP、IG 和反事实方法之间的不少差异，都来自这种反事实设定。

表格数据最容易暴露这个问题。年龄、学历、工龄和收入通常彼此相关。如果解释器把它们独立修改，就可能构造出“18 岁、20 年工龄”的虚拟申请人。模型仍然能给出分数，但这个分数描述的是模型面对不可能输入时的行为。

LIME 的局部随机采样、干预式 SHAP 的独立特征填充、Integrated Gradients 的直线路径和普通反事实优化，都会以不同方式进入低密度区域。有的方法破坏了特征之间的相关结构，有的方法经过训练数据从未覆盖的中间状态，还有的方法最终找到一个距离很近、语义上却毫无意义的对抗样本。

Slack 等人的 Fooling LIME and SHAP 说明，这一缺陷甚至可以被主动利用。他们构造了一个“脚手架”分类器：模型在真实数据上保留带有偏见的行为，一旦发现输入像是解释器生成的异常扰动，就切换到一个看似无害的模型。结果是，LIME 和 SHAP 给出正常解释，偏见却继续作用于真实样本。

这种攻击之所以成立，正是因为分类器能够区分真实输入与 off-manifold 扰动。流形约束可以让解释回到真实数据附近，但这不等于分布外行为没有审计价值。攻击、传感器故障和分布漂移都可能把输入推离数据支持。完整的评估应当同时回答两个问题：模型面对自然变化时如何响应？它进入分布外区域后又会暴露哪些异常行为？

SHAP：缺失的特征要从哪里补回来#

Shapley 值来自合作博弈论。它把一次预测看成所有特征共同完成的结果，再计算每个特征加入不同“联盟”时带来的平均边际贡献。

真正困难的地方在于：某个特征“缺席”时，应该用什么来填补？如果直接从各特征的边缘分布独立采样，就可能得到不符合联合分布的组合。Frye 等人在 Shapley Explainability on the Data Manifold 中使用生成模型和学习到的 value function，让填补后的样本尽量留在数据流形附近。实验表明，off-manifold Shapley 可能产生错误归因、掩盖模型对敏感属性的间接依赖，并在高维数据中给出难以理解的结果。

不过，“留在分布内”并不是唯一正确的解释目标。条件 SHAP 与干预式 SHAP 回答的是两个不同问题：

• 干预式解释问的是：如果强行改变一个变量，模型会怎样响应？
• 条件式或流形内解释问的是：在其他变量仍与它保持现实关联时，这个变量贡献了什么？

前者更接近敏感性分析，后者更接近观察分布内的贡献分配。假如邮政编码是种族的代理变量，条件分布可能把一部分贡献从种族属性转移到邮政编码。这样的结果更符合观察数据，却未必更适合公平审计，因为敏感属性的影响可能被相关代理变量吸收。

这引出一条更重要的边界：描述性流形不等于规范性可行域。描述性流形回答“数据过去如何分布”，可以从观测样本中估计；规范性可行域回答“哪些变化应当被允许或鼓励”，还需要领域规则、政策目标和因果知识。

如果某个群体在历史上很少获得高收入，观测数据学到的流形也可能把“该群体与高收入”的组合视为异常。模型对历史分布拟合得越好，这种结构反而越可能被准确复现。因此，流形约束改变的不只是估计方法，也改变了解释愿意承认哪些可能世界。

2024 年发表于 Neural Networks 的 Manifold-based Shapley explanations for high dimensional correlated features 继续研究高维强相关特征下的估计问题。此时关注点已经从“是否尊重联合分布”，推进到“如何在高维环境中稳定、高效地完成估计”。

IG：直线并不是中立的选择#

SHAP 必须选择如何填补特征，Integrated Gradients（IG）则必须选择一条积分路径。标准 IG 从基线 $x'$ 出发，沿直线走到输入 $x$，并把沿途的梯度累积为各特征的贡献：

$$\operatorname{IG}_i(x) = (x_i-x'_i) \int_0^1 \frac{\partial f(x'+\alpha(x-x'))}{\partial x_i} \,d\alpha.$$

这个定义满足多项公理性质，但其中的直线并不是无代价的默认选择。对图像来说，纯黑基线与自然图像之间的线性混合，会产生一系列训练时从未出现的中间图像。对表格数据来说，中间点还可能违反离散变量约束和特征依赖关系。IG 累积的是整条路径上的梯度，因此路径经过哪里，必然会影响最终归因。

The Manifold Hypothesis for Gradient-Based Explanations 把这个问题转化为“梯度是否与切空间对齐”。作者用 VAE 估计图像流形，并在手写字符、自然图像、肺炎 X 光和糖尿病视网膜病变等任务上比较不同方法。他们观察到，Integrated Gradients 和 SmoothGrad 通常比原始梯度更接近切空间，对抗训练也会改善这种对齐。

切空间对齐并不等同于解释忠实性，但它提供了一个可测量的几何指标，让我们不必只凭热力图是否平滑来判断解释质量。

这里还需要区分两种几何：数据几何描述哪些变化符合数据分布，模型几何描述哪些变化最容易改变预测。对抗样本就是二者错位的典型例子：输入在数据或感知空间中几乎没有移动，却足以跨越模型的决策边界。如果梯度长期指向法空间，问题未必出在归因算法，也可能说明模型依赖了缺乏数据支持的非稳健特征。

如果数据流形是弯曲的，更自然的做法是让积分路径沿流形表面延伸，而不是穿过缺乏数据支持的区域。Manifold Integrated Gradients 在 ICML 2024 系统化了这一思路。它先用深度生成模型近似数据流形，再根据生成器诱导的黎曼几何计算测地线，最后沿测地线累积梯度。

相比简单的潜空间插值，MIG 的关键在于把生成器对空间的局部拉伸和压缩计入路径长度。作者报告，MIG 的归因更符合感知判断，也更能抵抗定向归因攻击。

仅在潜空间采用直线插值仍不足以刻画这种几何。设生成器为 $g(z)$，其 Jacobian 会在潜空间诱导度量：

$$G(z)=J_g(z)^\top J_g(z).$$

一小段潜变量变化经过生成器后，可能在输入空间中被放大，也可能被压缩。因此，路径 $\gamma$ 的实际长度写成：

$$L(\gamma) = \int_0^1 \sqrt{\dot\gamma(t)^\top G(\gamma(t))\dot\gamma(t)} \,dt.$$

潜空间中的直线未必是语义上的近路。生成器会在不同区域以不同程度拉伸空间，测地线要做的正是把这种局部形变计算在内。换句话说，潜空间维度更低，并不自动意味着其中的距离更有意义。

后续工作从不同方向扩展了这套几何框架：发表于 CVPR 2025 的 Derivative-Free Diffusion Manifold-Constrained Gradient 结合扩散模型与 Ensemble Kalman Filter，仅访问模型输出即可近似估计流形投影梯度；Riemannian Integrated Gradients 将 IG 推广到一般黎曼流形；ICML 2026 的 Manifold-Aligned Guided Integrated Gradients 在 VAE 潜空间中构造 Guided IG 路径，再把中间状态解码回输入空间。

2026 年的预印本 From Baselines to Transport Geodesics 更进一步，将“固定路径上的贡献分配”与“路径本身如何选择”拆成两个问题，并尝试用最优生成传输过程确定后者。整体来看，归因路径已经从输入空间中的直线，发展到潜空间插值、黎曼测地线和生成式传输流。

因此，特征归因不仅是“如何分配贡献”的问题，也是“沿哪条路径分配”的问题。即使起点、终点和模型完全相同，分别沿年龄增长、收入增长或学历变化的路径积分，也可能得到不同归因。这种差异反映了解释对变化过程的依赖，并不一定意味着算法实现有误。

实际系统可以给出多条满足约束的候选路径，并标明哪些结论在不同路径下仍然稳定。这样一来，解释的不确定性就不只来自采样方差，还包括路径不确定性。

反事实：终点真实还不够#

反事实解释试图回答：“最少改变什么，模型才会改变决定？”常见的优化形式是：

$$\min_{x_{\mathrm{cf}}} d(x,x_{\mathrm{cf}}) + \lambda\mathcal L(f(x_{\mathrm{cf}}),y_{\mathrm{target}}).$$

这个目标函数看起来简洁，却把最大的争议藏在距离函数 $d$ 里。像素距离、潜空间距离、感知距离和现实行动成本，对“最小改变”有完全不同的定义。

FACE 在 AIES 2020 中把数据点构造成图，根据数据密度为边赋权，再寻找通向目标类别的最短路径。它不只输出一个目标点，还给出一条受到数据分布支持的变化路线。

FACE 指出，“最近的可能世界”仍可能给出不可行，甚至不恰当的建议。例如，系统可能建议一位重度残障的保险申请者通过增加运动改变结果，或要求一位低技能贷款申请者直接把收入提高一倍。即使目标状态在数据中真实存在，只要缺少可行的到达路径，这条建议就没有实际意义。

生成模型随后成为反事实解释中常用的流形代理。Towards Realistic Individual Recourse 在生成模型近似的数据流形中搜索最小改变；C-CHVAE 面向异构表格数据，用条件 VAE 在高密度区域寻找更易达到的反事实；Diffeomorphic Counterfactuals with Generative Models 通过生成模型构造便于优化的坐标系，再用黎曼几何分析变化过程；Latent Diffusion Counterfactual Explanations 则借助潜扩散模型完成语义级修改，同时过滤与扩散先验不一致的对抗梯度。

这些方法有一个共同目标：让搜索尽量发生在生成模型认为合理的区域内。区别在于，它们对“合理区域”采用了不同表示。

到了 ICLR 2026 的 Counterfactual Explanations on Robust Perceptual Geodesics，距离本身也成为学习对象。该方法用鲁棒视觉特征诱导感知黎曼度量，再沿测地线生成反事实。作者报告，这种做法能够减少 off-manifold 伪影、语义漂移和对抗性坍缩。

为什么一定要检查路径？因为两个状态即使都出现在数据中，也不代表它们之间存在连续、低成本的转换。自由职业者和医生都是真实职业，但从前者转变为后者需要时间、资格和一系列中间步骤。只验证反事实终点的密度，会遗漏路径上的障碍、方向性和不可逆变化。

FACE 的图路径、黎曼测地线和顺序化 recourse 都在尝试补上这一层。不过，真实行动空间往往不是一张光滑曲面，而是一个包含离散跳转、单向边和多个不连通分支的混合空间。在这类任务中，图结构或因果状态机可能比单一的连续流形更合适。

归因与反事实开始汇合#

特征归因与反事实解释过去常被视为两类工具：前者给出特征重要性，后者生成条件改变后的样本。从流形角度看，它们其实共享一个问题：在真实数据允许的方向中，模型输出会怎样变化？

FreeMCG 是这种统一趋势的代表。它用扩散模型提供数据流形先验，再用 Ensemble Kalman Filter 在黑盒条件下估计流形约束的方向，并把同一套基础同时用于归因和反事实生成。

二者可以理解为不同尺度的分析。特征归因关注输入附近的局部切向变化；反事实解释则沿相关方向继续移动，直到穿过决策边界。热力图描述路径起点附近的局部性质，反事实对应某条路径的终点，二者可以由同一套流形约束连接起来。

基于这一视角，解释系统可以同时报告：当前点附近最影响预测的切向方向、沿不同方向移动时的置信度变化、最先到达决策边界的路径，以及路径从哪里开始离开高密度区域。对于只有统计合理性、尚未获得因果支持的变化，界面还应明确标注证据边界。这样的输出比单独一张热力图或一个反事实样本更完整。

降维图不等于流形解释#

t-SNE 和 UMAP 可以把隐藏层表示投影到二维，帮助我们观察类别、聚类结构和异常点。但二维散点图本身不能充分解释模型行为。

降维投影必然丢失信息，结果也可能随超参数和随机初始化变化。局部邻域与全局距离通常难以同时保留，因此图上两个簇相隔多远，未必具有直接的模型语义。

因此，UMAP 图更适合用于表示空间的探索性分析，不能单独充当模型解释。流形约束 XAI 真正关心的是：如何近似数据支持集，如何估计切空间，如何定义流形上的距离，以及解释路径是否得到了真实数据的支持。

这也解释了 VAE、正规化流和扩散模型为何频繁出现在相关研究中：它们能够提供可计算的流形近似，也能让反事实样本在视觉上更自然。但视觉自然并不能证明流形可靠。现代生成模型完全可能把错误的中间状态渲染得十分逼真，从而增加错误路径的表面可信度。

因此，评估这类解释时，应分别检查预测模型、定义流形的生成模型，以及衡量感知相似度的编码器。如果三者共享相同的训练数据或架构偏差，评估过程就可能形成相互强化的偏差闭环。

流形约束解决不了什么#

流形约束主要处理数据支持与路径几何，无法覆盖解释有效性的全部条件。至少有三条边界需要始终保留。

分布合理不等于因果可行#

生成模型学到的是由训练数据和模型结构共同塑造的近似分布。它可能抹平少数群体的分布特征、复制历史偏差，也可能在低密度区域生成外观自然、现实中却不存在的对象。因此，“位于流形上”通常只表示样本符合某个生成模型的先验。

即使这个统计先验足够准确，也不能直接推出因果上的可行性。高学历和高收入经常同时出现，并不意味着提高学历后，收入一定会按同样关系增长。Algorithmic Recourse: from Counterfactual Explanations to Interventions 对此给出了明确提醒：反事实通常告诉用户“需要到哪里”，因果干预才试图回答“怎样才能到达”。要把合理的反事实变成可执行建议，还必须考虑因果结构、不可变特征、时间顺序和现实行动成本。

更自然的解释可能掩盖模型缺陷#

如果模型依赖某种 off-manifold 的脆弱特征，流形投影会把相关行为过滤掉。结果可能更符合人类感知，却无法完整说明模型实际使用了哪些信号。

这里其实有三个不同的问题：

1. 模型实际上使用了什么？
2. 模型在自然数据变化下使用了什么？
3. 人们希望模型使用什么？

流形解释主要回答第二个问题。如果用它替代对第一个问题的审计，就会形成新的安全盲区。

度量的选择同样会改变结论。像素距离、编码器距离、鲁棒视觉特征和人类感知可能彼此冲突。因此，当论文声称某条测地线“更短”时，仍需说明它使用了什么表示、什么生成模型，以及什么感知标准。

真实数据未必是一张光滑曲面#

真实数据可能由多个子流形组成，并包含分叉、孔洞、离散变量和奇点。语言中的 token 替换不是连续移动，职业资格也不能通过无限小的变化获得。如果生成模型用连续潜空间强行连接这些区域，就可能制造现实中不存在的转换路径。

几何研究的是如何在同一连通区域内移动，拓扑则要判断不同区域是否应该连接。真实任务可能需要同时使用图结构、因果状态机和多个局部流形。把所有数据统一压入一个全局光滑的潜空间，反而可能掩盖原本重要的不连通结构。

怎样评估一个流形解释#

平滑、自然、看起来符合直觉，都只能覆盖解释质量的一部分。更完整的评估至少要考察四个相对独立的方面：

这四个方面很难压缩成一个总分。提高分布支持，可能减少对模型法向脆弱性的披露；追求更稀疏的解释，可能省略必要的中间步骤；视觉结果更自然，也可能只是因为生成模型变强了。与其声称某种方法全面占优，不如明确报告这些指标之间的取舍。

对于高风险系统，可以采用双轨审计：一份解释限制在数据流形附近，另一份不施加流形约束。两者差异越大，就越需要分析模型在自然输入与分布外输入上的行为为何分化。

解释，本质上是在选择一条变化路径#

可解释 AI 通常把结果呈现为热力图、特征权重或条件式建议。流形视角则迫使我们退后一步，检查这些结果背后的默认设定。

任何解释都隐含了一个允许变化的世界：哪些输入组合是可能的？哪些方向具有语义？怎样的变化算“小”？从当前状态到目标状态，是否真的存在一条可以到达的路径？

传统方法往往用欧氏距离和特征独立性回答这些问题，近期研究则把隐含设定逐一显式化：条件分布约束 Shapley 中的特征组合，切空间投影过滤偏离数据分布的梯度方向，黎曼测地线取代输入空间中的直线，数据图、VAE 和扩散模型用于寻找更合理的反事实路径，生成式传输过程则进一步参与归因路径的选择。

综合来看，一条解释路径至少包含四项建模选择：

1. 支持集（support）：哪些状态被视为可能？
2. 度量（metric）：不同变化的代价如何计算？
3. 动力学或转移规则（dynamics）：状态之间能否到达，又该如何到达？
4. 目标（target）：解释要翻转预测、降低不确定性，还是寻找模型最敏感的方向？

流形学习主要处理前两项，顺序化行动建议和因果模型处理第三项，用户的解释目标决定第四项。如果把这些选择全部压缩成“寻找距离最近的反事实”，解释就很容易产生误导。

沿流形生成解释仍会受到估计误差、生成模型偏差，以及感知距离与现实行动成本不一致的影响。过度平滑的结果也可能掩盖模型的真实脆弱性。

这条研究路线最重要的价值，不是保证解释天然可信，而是把过去隐藏在算法默认值里的选择暴露出来：解释从来不只由模型决定，它同时受到数据分布和人类语义的约束。阅读一张归因图或一个反事实样本时，我们不仅要问“结论是什么”，还要问“它允许输入以什么方式发生变化”。

---

参考文献

1. Frye, C. et al. Shapley Explainability on the Data Manifold. ICLR, 2021
2. Bordt, S. et al. The Manifold Hypothesis for Gradient-Based Explanations. CVPR XAI4CV, 2023
3. Zaher, E. et al. Manifold Integrated Gradients. ICML, 2024
4. Poyiadzi, R. et al. FACE. AIES, 2020
5. Pawelczyk, M. et al. Learning Model-Agnostic Counterfactual Explanations for Tabular Data. WWW, 2020
6. Kim, W. J. et al. Derivative-Free Diffusion Manifold-Constrained Gradient for Unified XAI. CVPR, 2025
7. Zaher, E. et al. Counterfactual Explanations on Robust Perceptual Geodesics. ICLR, 2026
8. Hu, X. et al. Manifold-based Shapley explanations for high dimensional correlated features. Neural Networks, 2024. DOI: 10.1016/j.neunet.2024.106634
9. Dombrowski, A.-K. et al. Diffeomorphic Counterfactuals with Generative Models. TPAMI, 2023
10. Farid, K. et al. Latent Diffusion Counterfactual Explanations, 2023
11. Kim, S. et al. Manifold-Aligned Guided Integrated Gradients. ICML, 2026
12. Zhang, C. et al. From Baselines to Transport Geodesics, 2026. Preprint
13. Karimi, A.-H. et al. Algorithmic Recourse: from Counterfactual Explanations to Interventions. FAccT, 2021
14. Slack, D. et al. Fooling LIME and SHAP. AIES, 2020