假设有人说:小林正在造一座木屋,但工程最后没有完成。 我们不会觉得这句话自相矛盾。正在造只说明建造过程已经开始,并不保证木屋最终落成。但如果换成小林当时正在跑步,我们通常会认为跑步这件事确实发生了。也就是说,进行体是否蕴含事件已经发生,取决于动词描述的是哪一类事件,不能只看句子里有没有正在

大型语言模型往往能复述这条规则,也能举出几个看似正确的例子。可一旦面对经过严格控制的最小对照句,它仍可能断言木屋已经建成。即使上下文明确说工程最终失败,模型也容易被“造木屋”这个动作自带的目标牵着走,下意识补出一个完整结局。它似乎知道不同语言形式之间的区别,却不能稳定地依据这种区别作出判断。

这正是 ACL 2026 最佳论文之一 The Imperfective Paradox in Large Language Models 所研究的问题。论文把这种系统性错误称为目的论偏差(Teleological Bias):只要一个事件带有明确目标,模型就容易把“正在朝目标推进”误判成“目标已经实现”。表征分析发现,模型内部编码了进行体与一般过去时的区别,但作出最终判断时,关于故事应当如何收尾的先验印象往往占了上风。模型倾向于努力把故事讲圆,未能严格结合语言形式与事件语义作出推断。

左图比较四类动词在进行体与完成体下的内部表征相似度,右图显示表征相似度与目的论偏差率呈负相关
内部表征与最终判断出现分离:模型能够区分过程与结果,目标导向事件却仍更容易触发完成性误判。右图中表征越相似的动词类别,目的论偏差反而越低。Ma & Miyao, The Imperfective Paradox in Large Language Models, Figure 4,ACL 2026

刚刚结束的 ACL 2026 收录了两千多篇主会长论文和短论文。智能体、推理时扩展、多模态与强化学习仍是热门方向,但三篇最佳论文关注的却是事件语义、认知记忆,以及局部注意力在形式上的表达能力。其他获奖论文还涉及构式语法、语言记录和社会方言。比起任务分数,这些工作更关心模型究竟学会了什么规则。当输入形式、语言或交互方式发生变化时,这些规则还能否稳定地支配模型的行为?

当叙事直觉超过语言逻辑

传统 NLP 评测倾向于把语言能力拆成分类、翻译、问答和摘要等任务,再用准确率或与参考答案的相似度衡量结果。大型语言模型让这些任务的边界逐渐模糊,同一个模型可以接受自然语言指令完成所有任务。评测于是转向覆盖范围更广、上下文更长的综合考试,模型得分也不断提高。

然而,综合分数很难告诉我们错误究竟出在哪里。模型答错一道阅读理解题,可能是没读懂句法,也可能是缺少背景知识,甚至可能只是没有遵守输出格式。即便答对了,原因也未必清楚:它可能真的掌握了题目考查的抽象规则,也可能只是抓住了数据中的词汇线索。语言学中的最小对照之所以重新受到重视,正是因为它每次尽量只改变一个因素,从而更清楚地暴露模型实际采用的判断规则。

未完成体悖论考察的是事件结构。CxMP 则从构式语法出发,测试模型能否理解语法形式本身携带的意义。构式是一种相对稳定的形式—意义配对,其含义无法由句中各个单词简单相加得到。例如,同一组词放进不同句法框架后,句子可能暗示给予、导致、移动或状态变化。模型通常很早就能判断一个句子在形式上是否合乎语法,对构式意义的掌握却出现得更慢;部分现象即使在大模型中仍不稳定。

因此,形式可接受性意义理解必须分开考察。判断一句话是否自然,可以依靠词序、搭配频率和局部句法线索;理解一句话,则要求模型把语法形式对应到事件中的参与者、因果关系和语用含义。模型会改语病,并不代表它知道修改前后表达的意义发生了什么变化。当一些常规基准逐渐接近饱和时,这类受控实验能够进一步指出:模型在哪些语言现象上真正学到了规则,又在哪些地方只是走了统计捷径。

最小对照同样有局限。它通常刻意压缩上下文,可能低估真实交流中世界知识与语境的作用;由研究者构造的句子也未必覆盖语言使用的全部变体。它的价值在于提供一把较窄但刻度清楚的尺子。综合基准描述模型大致能完成什么,语言学诊断则定位能力由哪些规则和偏差组成,两类证据需要共同使用。

ACL 2026 的另一篇最佳论文 Characterizing the Expressivity of Local Attention in Transformers 把问题进一步推进到模型结构。局部注意力通常被当作降低计算量的工程折中:每个 token 只查看附近的有限窗口,将全局注意力的二次复杂度降为线性。论文从时序逻辑与形式语言出发,证明限制注意窗口不是对全局注意力做简单删减,它还引入了另一类时间算子。局部与全局注意力在表达能力上互不包含,组合两者能够识别更丰富的形式语言类别。

这意味着,效率约束除了影响速度与性能,也会改变模型偏好的计算方式。模型更大、连接更充分,未必就更适合处理语言;即使能够看见全部上下文,模型也可能无法按照恰当的结构组织这些信息。

从一次回答到持续行动

语言模型作为聊天接口时,一次错误通常表现为一段不准确的文字。语言模型成为智能体后,输出会进入下一轮环境:模型调用工具、读取结果、更新记忆,再根据先前行动继续决策。错误不再停留在答案中,而会改变模型随后能够观察到的世界。

现有智能体基准常在工具齐全、目标明确的环境里计算任务成功率。真实用户却经常省略必要信息。例如,用户让车载助手找一个附近可以充电的地方,可能没有说明接口类型、剩余电量和是否愿意绕路;用户要求执行某项车辆操作时,系统也可能根本没有相应工具。可靠的智能体不应把每项请求都转化成立即执行的动作,它需要知道何时询问、何时检索内部信息,以及何时承认能力边界。

CAR-bench 因此把一致性、歧义处理和能力自知加入评测。它构造了一个包含 58 种工具的车载助手环境,并设置两类常被忽略的任务:一类故意缺少完成请求所需的信息或工具,检查模型是否编造结果;另一类保留多个可能解释,要求模型先消除歧义。实验中,即使较强的推理模型在消歧任务上的通过率也不到一半。很多失败都源于模型行动得太早,并非规划能力不足。

CAR-bench 中用户指令、受领域规则约束的语言模型智能体、工具以及环境状态和数据库之间的交互结构
CAR-bench 把可靠性放进完整的交互闭环中评测。智能体需要根据用户指令和领域规则选择工具,读取环境,再修改状态;缺少工具或信息时,正确行为可能是澄清或拒绝执行。Kirmayr et al., CAR-bench, Figure 1,ACL 2026

任务成功率还会掩盖偶然性。一个智能体在十次相似请求中成功六次,可能在平均分上超过另一个模型,但用户无法预知它何时会失败。对于发送邮件、控制车辆和处理医疗信息等任务,偶尔正确与稳定正确具有不同含义。CAR-bench 将偶然成功与稳定成功分开,反映出智能体评价正在从结果能力转向行为可靠性。

显式回忆不足以涵盖记忆对行为的影响。多数记忆测试会先告诉模型一项事实,经过若干轮对话后再询问同一事实。人类经验还会转化成操作习惯,使人避开失败过的选择,或者在先前刺激的影响下改变判断,而不需要主动回忆一段文字。

ImplicitMemBench 将程序记忆、启动效应和经典条件作用引入语言模型评价,同时检查显式记忆之外的自动行为。在 17 个被测模型中,没有模型的总体成绩超过 66%;模型较容易形成选择偏好,却很难学会抑制已经失败的行为。参数规模增加没有消除这种不对称,因为上下文中保存了一段经验,不等于经验已经转化成稳定策略。

语音交互进一步暴露了静态文本评测遗漏的部分。Audio MultiChallenge 使用自然多轮语音,保留停顿、自我修正、说到一半改变主意以及环境声音等现象。用户可能先说帮我订周五的——不,还是周六,模型必须识别修正后的意图;有些线索则来自环境声或副语言信息,并不直接出现在转写文本中。表现最好的受测系统通过率也只有 54.65%。端到端语音系统能够进行流畅对话,并不意味着它能可靠处理自然说话方式。

这些结果说明,评价智能体需要考察完整的交互轨迹,单次输出不足以反映其可靠性。轨迹包含语言、工具调用、经验保存、假设修正、澄清请求和环境反馈。任何一步出错,都可能改变模型接下来看到的信息,并让错误在后续行动中不断放大。

解释开始进入模型内部

当模型在语言测试中失败,一种常见补救是修改提示词,让它列出规则、逐步思考或自我检查。这些方法能够改善部分结果,却很难判断模型是否形成了更稳定的内部计算。未完成体悖论的实验就发现,提示可以减少模型把目标事件误判为已经完成的倾向,同时也会让它拒绝一些原本成立的蕴含关系。错误从一个方向移动到另一个方向,模型并没有真正获得一致的事件语义。

ACL 2026 将 Explainability of NLP Models 设为主题轨道,其中一些工作开始用因果干预补充相关性分析。线性探针可以发现某层表征是否包含时态、情感或社会关系信息,注意力图可以显示 token 之间的连接,但信息能够被读取不等于模型实际使用了这项信息。如果删除、增强或重定向相关表征后,模型行为发生可预测变化,机制解释才获得更强证据。

CoSToM 以心智理论为例。心智理论要求模型区分自己知道的事实、他人能够观察到的事实,以及他人据此形成的信念。模型在标准题目中可能表现不错,进入更复杂的对话后却依赖提示脚手架,无法稳定运用内部知识。CoSToM 先通过因果追踪定位与心智状态有关的层,再在这些层中进行激活引导(activation steering),使内部表征更稳定地影响外部行为,并继续追踪这些概念未能控制行为的原因。

CoSToM 的三阶段流程,包括定位心智理论相关层、用目标方向对齐内部激活,以及生成符合他人信念和意图的对话
CoSToM 不止读取模型是否保存了心智状态,还沿着“因果定位—激活引导—对话生成”检验这些表征能否真正控制行为。Li et al., CoSToM, Figure 2,ACL 2026

不过,因果干预也有自己的边界。神经网络中的概念通常分布在多个层和方向中,对某组激活进行控制可能同时改变语言流畅度、回答风格和其他相关能力。干预后基准分数上升,不能自动证明研究者找到了唯一机制。较完整的证据还需要检查干预的特异性、跨任务稳定性,以及是否存在产生相同结果的替代路径。

推理时扩展使这个问题更复杂。CURE 让同一个模型学习解题、批判已有答案和根据批评重新探索,使模型在测试阶段通过多轮尝试提高数学与代码任务的正确率。它的训练目标同时覆盖答案生成、推理时计算分配、自生成反馈和路线修正。

自我改进并不天然可靠。模型生成的批评可能延续初始答案中的误解,多轮搜索也可能让错误获得更完整的论证。Lying with Truths 展示了另一种风险:多个智能体不需要伪造证据或使用隐蔽信道,只需选择性地排列真实信息片段,就能诱导目标模型形成错误信念。实验中,经过专门推理训练的模型比相应的基础模型更容易受到这类攻击。更长的思考过程增加了模型整合证据的能力,也为带有方向性的叙事提供了更多作用空间。

延长推理过程,首先只是扩大了搜索空间。模型能否正确连接证据与结论,能否在证据不足时承认不确定,仍然需要单独评测。如果这两种能力没有同步提高,更长的推理链只是在为一个缺乏依据的结论补写更多中间步骤。

多语言评测不能照搬英文题目

多语言 NLP 过去常以语言覆盖数量衡量进展:将英文数据翻译成更多语言,比较模型在不同语言版本上的准确率,再通过跨语言迁移缩小差距。这种方法适合测量一部分语言能力,却默认不同语言表达的是同一批任务、知识和社会情境。模型即使能把问题翻译正确,也未必理解问题在当地文化中的含义。

Afri-MCQA 收集了来自 12 个非洲国家、覆盖 15 种语言的 7500 组多模态文化问答,由母语使用者直接创建,并同时提供文本与语音形式。实验发现,模型在当地语言和语音条件下回答开放式视觉问题时接近零准确率。控制实验进一步显示,即使剥离文化知识因素,本地语言与英语之间在文本和语音条件下仍有明显差距。

七个多模态模型在 Afri-MCQA 文本选择题和开放式视觉问答上的英语与非洲本地语言成绩对比
把同一批视觉问题从英语换成本地语言后,多数模型的成绩明显下降;开放式问答的差距尤其大,说明语言映射本身仍是独立瓶颈。Tonja et al., Afri-MCQA, Figure 3,ACL 2026

多语言模型的表现混合了三个层次。第一层是把一种语言的形式映射到内部表征,第二层是掌握该语言承载的地方知识,第三层是理解文化情境中的默认前提与交互规范。英文中心的数据可以通过翻译改善第一层,却很难自动补充后两层。覆盖这些差异的评价任务需要由语言共同体参与定义,直接翻译现有题目并不充分。

方言问题表明,即使在通常被视为高资源语言的英语内部,数据支持也并不均匀。DIA-HARM 检查虚假信息检测器在 50 种英语方言上的表现。部分模型面对方言输入时出现显著性能下降,最严重的混合内容设置中降幅超过 33%。系统表面上支持英语,实际学习到的可能只是标准美式英语附近的一小块分布。

平均准确率还会掩盖误差分布。内容审核、欺诈检测和公共信息系统中的方言误差会集中落在特定地域与社会群体上。一个模型对标准语言表现稳定,对其他变体却更容易误判,整体测试集仍可能给出很高分数。语言覆盖因此还要比较不同使用者面对的错误率、拒绝率和服务质量。

低资源语言研究还关系到语言保存。Massively Multilingual Joint Segmentation and Glossing 面向语际标注,将词素切分与释义联合建模。过去的模型可以为整个词生成词素级标签,却不标明标签与具体词素边界怎样对应,语言学家很难验证和修改结果。新方法同时考察自动指标、输出的可检查性,以及模型能否进入真实的语言记录流程。

计算语言学资源的价值不能只用规模衡量。数据由谁采集、标签是否符合语言共同体的分析方式、模型输出能否被实际使用,都会改变资源的研究价值。对濒危语言而言,一个可由语言学家快速修订的小模型,可能比能够生成流畅文本却无法追溯分析过程的大模型更有用。

重新定义语言模型的能力边界

ACL 2026 并没有给出一个统一的新范式。事件语义、局部注意力、心智理论、智能体记忆、语音交互和非洲语言中的文化问答使用了完全不同的方法,也面对不同的应用环境。它们都把模型能力放回具体条件中考察。

模型是否理解语言,取决于测试要求它保持什么。若只要求在熟悉分布中生成合理句子,语言模型已经表现出很强的能力;若要求它在最小形式变化下维持一致语义,在多轮行动中记住失败经验,在信息不足时主动澄清,或者在非标准方言与当地文化中保持相同可靠性,能力边界会迅速显现。

可以从四个方面理解这些研究。第一,语言结构决定形式如何组合成意义;第二,认知约束决定模型能够保存和调用多少上下文;第三,交互环境决定一次输出如何通过工具或其他智能体改变后续状态;第四,社会分布决定哪些语言、方言和文化经验能够进入训练与评测。扩大模型规模或许会改善每个方面的表现,却不能替代对这些条件本身的研究。

语言学与认知研究由此获得了新的作用。过去,语言理论常被用于给模型提供结构;今天,它更多被用来设计能够区分真实规则与统计捷径的诊断实验。工作记忆模型不一定要成为 Transformer 的直接替代品,却可以揭示无限上下文与人类语言处理之间的差异。构式语法不必完整写进模型架构,也可以用于判断模型是否掌握了形式所携带的意义。

Memory Efficiency and Resource-Rational Encoding in Sentence Processing 展示了这种交汇。论文向 Transformer 隐藏表示中注入可控噪声,并要求模型在下一词预测性能与有限编码精度之间进行权衡。实验中的显式工作记忆约束让模型更符合人类阅读时间,也使上下文表征变得更压缩、更类别化。限制在这里成为一种塑造表示的计算原则。

局部注意力的理论结果也指向这一点:更多记忆、更广连接和更多推理步骤并不总是等于更合适的语言模型。约束会决定模型怎样编码历史、组合结构和分配计算。研究重点随之落到约束设计上:哪些限制能让能力以更稳定、更可解释的方式形成。

大型语言模型为计算语言学提供了通用实验对象,也容易让研究集中在同一批模型的分数竞争上。ACL 2026 的上述论文借助语言学、认知科学、形式理论和社会语言学,具体考察内部表征如何影响输出、行为怎样随交互历史变化,以及评价数据覆盖了哪些语言群体。

回到开头的木屋,模型把正在建造理解成最终建成,并不是因为它完全不懂进行体。它可能同时编码了语法形式、事件目标和常见故事结局,只是在冲突发生时,让最符合叙事预期的部分控制了答案。解释这种错误,需要知道训练分布中的故事怎样结束,需要分析模型内部怎样表示事件,也需要用语言理论指出哪条蕴含本来不应成立。

因此,计算语言学的研究范围已经超出系统能够生成哪些句子。它还需要解释:模型如何形成意义和信念,会在什么条件下采取行动,以及离开熟悉的数据和语言后,这些能力还能保留多少。评价则要继续追踪答案的产生过程,并说明模型在什么条件下才值得信赖。


参考资料

  1. Ma, B. & Miyao, Y. The Imperfective Paradox in Large Language Models. ACL 2026.
  2. Xu, W., Dillon, B. & Futrell, R. Memory Efficiency and Resource-Rational Encoding in Sentence Processing. ACL 2026.
  3. Li, J. & Cotterell, R. Characterizing the Expressivity of Local Attention in Transformers. ACL 2026.
  4. Oba, M. & Sugawara, S. CxMP: A Linguistic Minimal-Pair Benchmark for Evaluating Constructional Understanding in Language Models. ACL 2026.
  5. Li, M., Shi, X. & Deng, Y. CoSToM: Causal-oriented Steering for Intrinsic Theory-of-Mind Alignment in Large Language Models. ACL 2026.
  6. Kirmayr, J., Stappen, L. & André, E. CAR-bench: Evaluating the Consistency and Limit-Awareness of LLM Agents under Real-World Uncertainty. ACL 2026.
  7. Qin, C. et al. ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models. ACL 2026.
  8. Gosai, A. et al. Audio MultiChallenge: A Multi-Turn Evaluation of Spoken Dialogue Systems on Natural Human Interaction. ACL 2026.
  9. Chen, G. et al. CURE: Critique-Driven Unified Reinforcement Learning for Test-Time Self-Improvement. ACL 2026.
  10. Hu, J. et al. Lying with Truths: Open-Channel Multi-Agent Collusion for Belief Manipulation via Generative Montage. ACL 2026.
  11. Tonja, A. L. et al. Afri-MCQA: Multimodal Cultural Question Answering for African Languages. ACL 2026.
  12. Lucas, J. S. et al. DIA-HARM: Dialectal Disparities in Harmful Content Detection Across 50 English Dialects. ACL 2026.
  13. Ginn, M. et al. Massively Multilingual Joint Segmentation and Glossing. ACL 2026.
  14. Association for Computational Linguistics. ACL 2026 Best Paper Awards.