“认知科学必然以这样一个信念为基础：那就是划分一个单独的称之为‘表征层’的分析层是合理的。”[69]在人工智能早期阶段，表征（representation）融于计算之中，这对于编程人员和专家系统的领域专家来说都是一件烦琐的工作。系统程序一旦编好，要想修改就非常困难。并且，不能重复利用已有系统，这在很大程度上浪费了人力和资源，不利于人工智能理论与工程的发展。到了专家系统阶段，知识库和推理机的分离机制，使人工智能表征和计算以相对独立的姿态在各自领域展开研究。这是人工智能发展史上的一次巨大进步。然而，基于形式系统的人工智能在模拟人类智能过程中，在表征问题上发展非常缓慢，遇到了难以逾越的鸿沟，所有的瓶颈问题最后都落在了理解自然语言的语义问题上。我们认为，基于分解（analysis）的方法是造成人工智能表征瓶颈的关键所在。因此，有必要从处理人工智能表征的思想方法入手，探索解决这一难题的可能途径。

1.分解方法已经成为人工智能表征发展中的瓶颈

自1956年达特茅斯（Dartmouth）会议提出“人工智能”以来，作为人工智能核心技术之一的表征，其发展速度相当缓慢，至今尚未取得重大突破。这是一个值得深刻反思的问题。建立在形式系统之上的人工智能，在处理表征的方法问题上，通常认为“句子的意义由其语法（grammar）以及单词的意义决定”[70]，而语法“用于制定如何由词造句的原则”[71]。并且，受乔姆斯基的有限状态语法（finite-state grammar）、“短语结构语法”（phrase structure grammar）以及“转换生成语法”（transformational grammar）三个语法模式理论的深刻影响，将句子分解为层次结构的思想成为人工智能表征的主要方法之一。以上述思想为预设，人工智能在处理表征问题时主要采用句法分析（Syntax analysis）、语义分析（Semantic analysis）以及词汇分析（Lexical analysis）等基于分解的方法。而这些分解方法实现的基础是首先将句子分解为单词，计算机才可以采取进一步的智能处理。可见，无论是哪个角度、哪个层面的处理，人工智能表征所采取的方法都是基于分解思想的。从人工智能理论发展的历程来看，分解是建立在形式系统之上的人工智能表征的必然选择。然而，在发展到一定程度之后，分解方法的弊端逐步凸现。因此，思想方法的转变成为下一步人工智能能否取得突破的关键所在。不过，新的方法必然要以分解方法为基础，我们很难在形式系统上构建完全脱离分解思想的新的表征方法。由此，正确认识分解方法的思想本质成为新方法建立的前提。

第一，分解思想是造成人工智能表征各种瓶颈问题的理论根源

人工智能表征在发展到专家系统阶段之后，就逐步从自然语言处理的语形阶段向语义阶段迈进。而在自然语言处理的思想方法问题上，对语言意义的处理深受相关哲学思想的影响。其思想方法的哲学根源在于：为了获得关于语言本性的认识，首要的就是把意义概念置于首位。因此，“从一开始，包括弗雷格、罗素、卡尔纳普以及语言学家乔姆斯基等，在探讨意义理论时就未加分析地预设了许多前提”。对于自然语言处理影响最深的思想就是，“意义本质上在于把词和事物联系起来，句子的意义由它各组成部分的意义构成，或是它各部分的意义的函数，句子的本质作用是描述事态。这些理论或者采取的是意义规则的一种运算的和语形的形式，或者是一种自然语言的语义学形式”[72]。这种以分解为基础的指导思想映射到自然语言中就表现为，一个句子可以看作由词素、词、短语、从句等不同层次的成分构成，其中每个层次都受到相应语法规则的约束，层次之间互相影响和互相制约，而层次关系的实现则直接体现在自然语言句子的构成上。各个层次分解的意义最终组合成人们对整个自然语言句子的理解。

受这一思想的深刻影响，大多数自然语言处理都遵循以下方法：计算机对自然语言的处理是一个层次化过程，计算机用分解方法对输入的自然语言进行理解，并以构造方法生成所要输出的自然语言。并且，在这个过程中，语言的词汇可以被分离出来加以专门研究。这是一种建立在分解基础上的指导思想。根据语言的构成规则，在实现人与计算机之间的自然语言通信过程中，计算机除了需要理解给定的自然语言文本，还必须能以自然语言文本的方式来表达处理结果。因此，自然语言处理的核心技术主要包括：针对输入的自然语言理解（Natural Language Understanding）和针对输出的自然语言生成（Natural Language Generation）两个过程。在输入过程中，系统以分解的方式，把自然语言逐层转化为计算机程序可以处理的表征形式，并利用各种层次的相关知识，进而实现对自然语言的语义理解；在输出过程中，系统又通过构造的方式生成完整句子，从而将所要表达的处理结果转换为人类可以读懂的自然语言。这样，智能系统不仅可以“听懂”人的语言，而且可以“说出”它想要表达的意思。这种基于分解的指导思想从一开始就决定了自然语言处理必须先从分词、句法分析、文本分割等语形处理方法入手，而后再通过语义及语用分析来完成对文本意义的理解。

然而，语境论指出，语词的意义由其所在的句子决定，而句子的意义由其所在的上下文（context）即“语境”决定。计算机在基于分解的语形处理基础上，必须借助于知识库中的常识知识才能进一步实现语义及语用处理。而常识知识工程的失败表明，用于语义理解的知识“是语境相关的。也就是说，关于知识的主张的正确与否，会随着会话和交流的目的而变化，因而，知识主张的适当性也是随着语境的特征变化着的”[73]。基于静态知识描写的常识知识工程不可能将语词在所有可能语境中的意义都预先表征出来。并且，语境在本质上是动态的和整体论的。在缺乏整体性知识的前提下，这种以静态知识表征为主要特征的分解方法在文本语义理解方面一直无法突破单句的限制，从而实现对句群甚至语篇的理解。即使在单句范围内，对句子语义理解的正确率也很低。这也是我们在使用一些搜索引擎或翻译软件时，处理结果一直不能如人所愿的根本原因。

第二，句法、语义以及语用平面的划界问题是分解方法难以突破的一大难题

根据现代符号学和语言学理论的观点，一般认为，语言可以分为句法、语义和语用三个平面。莫里斯指出，“句法学是对符号间的形式关系的研究”，“语义学是对符号和它所标示的对象间关系的研究”，而“语用学是对符号和解释者间关系的研究”[74]。后来，他依照行为理论进一步扩张了语用学的研究范围，认为“语用学研究符号之来源、使用和效果”，“语义学研究符号在全部表述方式中的意义”[75]。莫里斯给出的这种纲领式划界观，对后来的语言学、语言哲学等领域产生了深刻影响。

对基于形式系统的自然语言处理来说，句法、语义、语用平面之间的划界问题并不像语言学或哲学中那么容易。虽然在某种程度上我们可以分别从句法、语义和语用的平面来对自然语言进行语义分析，然而，语义理解在本质上是三个平面共同作用的结果。可以说，三个平面理论本身就是用一种分解的思想来审视自然语言。在以形式系统为基础的自然语言处理中，分解方法无法突破三个平面之间的划界问题，实现对语言意义的整体性理解。

无论是层次性的处理方法，还是三个平面的划界问题，都以基于分解的思想方法为指导。这成为自然语言处理在语义问题上难以逾越的方法性障碍。只有厘清造成分解方法瓶颈的原因所在，才有可能找到解决瓶颈问题的新方法。

2.造成分解方法瓶颈的原因

客观地说，在自然语言处理的各个层次中，每个层次语义的确定无不由语境所决定。然而，在整体性语义理解问题上，“语境”可以起到什么样的作用以及如何起作用，是一个尚待解决的问题。我们认为，在探索分解方法的过程中，最关键的是要厘清：在自然语言处理进入语义阶段之后，当代人工智能表征的分解方法是否依然合理有效。只有将这个问题搞清楚了，才能进一步对各个层次的语境问题进行深入分析，找到分解方法的瓶颈所在，进而探讨如何构建一个更为合理的解决模式。

其一，计算机的形式化体系决定了人工智能表征必然要以分解方法为基础

人工智能所依托的计算机是一个纯粹的形式系统，建立在这一形式系统之上的计算机语言，从早期第一代机器语言到第二代汇编语言、第三代高级语言，直至目前的面向对象的语言，都必然以系统的形式化表征为主要特征。人工智能要想模拟人类智能，也必然以形式化的描述方式来处理语言、声音、图像等各种信息。在人工智能中，“形式化”意味着机器可读。各种信息必须首先以形式化的方式表征出来，才能被机器读取从而实现进一步的智能化处理。这就出现了一个非常关键的问题：以什么样的形式化方法来表征信息？

在这一问题上，乔姆斯基的三个语法模式理论，为自然语言处理的产生与发展做出了巨大贡献。一开始，乔姆斯基在图灵机基础上提出了“有限状态语法”，认为“有限状态语法是一种最简单的语法，它用一些有限的装置就可以产生无限多的句子”[76]。这是一种不受语境影响的语法规则。但由于这种语法模式只能处理特定类型且长度有限的句子，很快就不能适应自然语言处理的需要。接下来提出的“短语结构语法”基于对句子进行直接的结构分解，这成为自然语言处理中句子层次结构划分的重要理论基础。而后来的“转换生成语法”作为短语结构语法的替代物，“提供了一套进一步的转换规则，用于表明一切复杂的句子都是由简单的成分构成的。……转换规则表明，任何不同的语法形式都可以转换为某种给定的语法形式”[77]。形式计算系统的本质特征以及乔姆斯基三个语法模式理论的奠基性工作，直接确立了分解思想在人工智能表征方法中的指导地位。

其二，句子层次结构是分解方法在人工智能表征中的一个主要特征，也是造成分解方法瓶颈的重要原因

从上述分析可以看出，分解方法是自然语言处理智能化发展过程中的必由之路。受乔姆斯基三个语法模式理论影响，对句子进行逐层分解成为自然语言形式处理的主要模式。

在人机交互系统中，早期自然语言处理在运用有限词汇与人会话时，分解方法表现出良好的适用性。然而，当把这类系统的处理范围拓展到充满不确定性的真实语境中时，就出现了很多难以克服的问题。其中，最关键的问题在于缺乏相应的常识知识来对句子的语义进行判断。因此，在自然语言处理的语形阶段发展相对成熟之后，就开始逐步向语义处理阶段迈进。

在这一发展过程中，对句子进行层次分解通常从句法分析入手。自然语言处理中最常见的是将句子分解为剖析树（parse trees），其分析策略主要包括自顶向下、自底向上以及左角分析法等。其中，短语规则指出了从词到短语、从短语到句子的结合规律。也就是说，词可以看作句子中最小的语法成分，词与词之间通过一定的组成关系构成短语，各种类型的短语又可以根据特定的组合关系构成更大的短语成分，最后，各种短语按照句法语义构成规则组成完整的句子。

在上述分解过程中，要想完成对语义的正确理解，所涉及的每一步几乎都要涉及语义知识或语境知识。从技术层面来看，其主要的研究难点在于：

（1）在分词过程中，印欧语系的文字在书写上单词与单词之间有间隔，很容易实现对单词的自动识别。但对于像中文、日文、泰文等语言文字来说，在书写上没有单词之间的分界线。而句子剖析树的生成是以对单词的正确识别为基础的，这直接影响到智能系统对句法、语义、甚至语用的后续处理。如果分词发生错误，则不可能产生正确的语义理解，后续工作就没有任何意义。因此，分词是实现文本语义理解的第一步。在书写方式上没有单词分界线的语言中，分词对于计算机来说是一个非常困难的工作。因为在这类语言中，对于“词”的概念以及词的具体界定通常很难达成一致认识，普通人的语感与语言学标准之间常常有较大差异。并且，应用目的不同会造成对分词单位认识上的不同。[78]所以，很多分词系统往往从工程需要的角度出发制定相应的分词规范，从而解决信息处理用的“词”的划界问题。而自动分词系统很难将所有句子的单词都分割正确，句子中的某个字应该与前面的字组成词还是和后面的字组成词，往往需要根据整个句子中前后词语间的语义关系来确定。对于不具备人类认知能力的计算机来说，对这类语言进行分词常常会出现错误，通常都需要在自动分词的基础上耗费大量人工进一步校正。

（2）在分词基础上，需要通过词性标注才能进一步生成短语。词性标注难的根本原因在于词的兼类现象，即一个词具有多个词性。在一段文字中，一个词只能有一个意义，因而也只能有一个词性。想要对句子语义有一个正确的理解，就必须先正确判断每个词的词性。而在词性的确定过程中，一旦出现歧义现象，就需要引入相应的语义知识或语境知识。

（3）很多字词不止有一个义项，在自然语言处理中必须通过词义消歧从众多的义项中选出最为适合的一个。而词义消歧的选择过程也需要引入足够的语义知识或语境知识来协助判断。

（4）自然语言的语法通常模棱两可，对一个句子剖析可能会产生多棵剖析树。当一个句子可以分解为两个以上的剖析树时，这个句子就会产生句法歧义。而句法分析的主要目标就是消除句法歧义。此时，系统就必须根据相关的语义知识或语境知识，从中选出最为适合的一棵剖析树，从而达到消解歧义的目的。

上述分析只是自然语言处理句子结构时遇到的几个特点较为显著的问题。其实，在诸如语音分割、段落划分、主题划分等众多领域，都面临着同样的问题。以分解方法为基础的自然语言处理，要解决在每个层次中遇到的歧义问题，都需要更大范围的语义知识或语境知识。而分解方法在引入语义知识或语境知识的过程中，最大的弊病在于，这些协助语义判断的知识都是针对某个单词或短语引入的，在缺乏对句子整体意义甚至语篇语境理解的情况下，所引入的语义或语境知识所能发挥的作用非常有限。正如语境原则（context principle）所揭示的：“一个词只有在句子的语境中才有意义。”[79]而一个表达式也只有处于一个更大范围的语境中，才能确定其意义。因此，分解方法的本质特征决定了其很难突破自身的局限性，形成对句子或篇章的整体性认知。由此可以推断，缺乏整体性语义知识和语境知识的分解方法，在自然语言处理的语义阶段，很难实现较好的语义处理效果。

其三，三个平面的划界理论使分解方法难以逾越语义理解的障碍。

莫里斯对句法、语义、语用平面的划分在不同的语言领域都产生了极大影响。随着研究的深入，人们发现，三个平面在不同语言的语义理解中作用不同，存在句法优先、语义优先或者语用优先等不同的语法体系。然而，无论是在哪个平面优先的语法体系中，以分解为特征的句法处理都是自然语言处理的基础。这是由计算机的形式特性决定的。因此，在所有的自然语言处理系统中，对语言意义的剖析都从形式分析开始。

（1）语形平面划界的问题分析

由于计算机在处理自然语言时，很难像人一样分析句子，因此，需要在汲取现有语言学研究成果的基础上，建立一套计算机可以“读懂”的句法规则。句法规则的确立，就是要为计算机处理自然语言提供一个确切的句法描述方式，使计算机“学会”鉴别句子中的各种成分。然而，由于自然语言的极端复杂性，这种句法规则的建立并不能使计算机百分之百正确地分析句子成分。很多在语言学中简单的成分界定问题，对于计算机来说就变得非常困难。因此，在制定句法规则的过程中，其最大特征就在于可执行性。一个机器无法执行的句法规则，哪怕其制定的再完美，也没有用。更确切地说，对于自然语言处理来说，所谓的句法平面更注重对句子结构形式化分析的实现，从而为进一步的语义理解提供一个形式化基础。

制定自然语言处理的句法规则时，由于句法平面、语义平面以及语用平面在不同语系中的优先程度不同，对于句法分解方式的具体处理也不尽相同。还是以上面提到的印欧语言与汉语的区别为例：

在印欧语言中，句法虽然在某种程度上受到语义以及语用因素的制约，但仍有较大的独立性。事实上，在西方语言学的发展过程中，语言学家们主要关注于语言的形式特征，句法在很长一段时期内都是研究重点。直到20世纪60年代以后，语言学家们才开始系统研究语义问题。这是在深刻认识到仅仅依靠句法分析无法解决语义问题之后，语言学发展的必然趋势。鉴于印欧语言句法优先的本质特征以及丰富的句法学研究成果，其在人工智能表征的形式化处理过程中比汉语具有更大优势，句法平面的划界问题也较为容易。尽管如此，印欧语言的自然语言处理要想完全脱离语义及语用因素来处理句法问题，在实践中也存在很多困难。例如，在句子分割问题上，要判断“Mr.Smith is a doctor.”是一句话还是两句话，仅仅根据句法的形式符号标记“.”作为判据，系统就会误认为这是两句话。此时，只有借助于语义知识，系统才会做出正确判断。类似问题在印欧语言的自然语言处理系统中大量存在。从句法研究向语义研究的转向充分说明，将句法平面完全割裂开来无法解决对语言意义的理解问题。

而在汉语中，虽然计算机对句法平面的划界是必要的，但三个平面之间的界限则相对比较模糊，很难明确区分开来，句法平面的界定也因此要困难得多。原因就在于“汉语的句法独立性太弱，难以建立独立于语义、语用而相对自主的句法体系”[80]。从上述对句子层次结构的分析中可以看出，由于汉语文本是按句连写的，并且汉语自身的特性决定了不可能用语法功能单一的标准对词类进行划分，需要掺杂各种意义标准。这就使得汉语的句法平面从一开始就和语义、语用平面纠缠在一起。对于缺乏各个层次语义知识和语境知识的计算机来说，要想将汉语的句法平面与语义、语用平面完全区分开来非常困难，甚至几乎不可能。这也是汉语自然语言处理系统在语义理解问题上举步维艰的根本所在。

从上述分析可以看出，在句法平面的划界问题上，虽然印欧语言与汉语之间存在着较大差别，但无论在哪种语言中，要想将句法平面完全割裂开来单独加以研究，进而解决自然语言的语义理解都非常困难。而分解方法恰恰是将语形平面割裂出来，逐层分解为更小的语言单位，才能实现对自然语言意义的理解。在逐层分解过程中，每一层级语形单位的界定往往需要相关的语义知识和语用知识。而这又使三个平面在每个层级都紧紧交织在一起。在实际应用系统中，即便是印欧语系，在缺乏相关语义知识和语用知识的自然语言处理系统中，其处理结果的正确率也非常低。在缺乏整体性语义知识的前提下，句法平面的划界问题成为分解方法难以克服的障碍。

（2）语义平面与语用平面的划界问题

自然语言处理的最终目的就是实现计算机对自然语言语义的正确理解。建立在分解思想基础上的自然语言处理方法认为，只要掌握了每个词的意义以及词与词之间的语法关系，就能够掌握句子的意义。也就是说，对句子意义的理解以对组成句子的每个词语的意义理解为基础。因此，在自然语言处理系统中，词义在语义理解系统中占有突出位置。一些句子中的核心词甚至直接就可以表明句子的意思。机器对词语意义的“理解”来自机器词典。机器词典描述了每个词的词法、句法、语义甚至是语用知识。如果不知道句子中每个词的相关知识，就无法对句子级别的语义进行“理解”。而一个具有多个义项的词在其所在句子中应该取哪个意思，仅仅依靠机器词典并不能完成。这是因为，义项中所蕴含的意义具有概括性和稳定性，不包括词语在特定语境中可能出现的具体的、临时的意义。并且，一个多义词中各义项所蕴含的语义之间通常也存在某种程度的交叉。在一个具体语境中，某个词的语义与该词的哪个义项最为接近，往往很难确定。无论是印欧语言还是汉语，很多情况下，都需要借助该词所在的更大范围的语境甚至语用知识，才能形成对一个多义词义项的正确选择。由此，语义平面就很难和语用平面完全割裂开来。而这也是现阶段分解方法无法跨越的瓶颈所在。可以肯定地说，几乎所有的自然语言处理系统都不能很好地完成这一工作，这也是我们在使用一些翻译软件时，翻译效果非常不理想的根本原因。

一般地讲，自然语言处理不能将语义平面孤立起来进行研究，因为语义是在语境中产生的，并通过语法形式来体现。语用平面是语义平面的延伸，在自然语言处理中引入语用因素，是为了更好处理语义问题。实际上，语用只是指明了一个阐明语义的角度问题。随着研究的不断深入，人们发现在自然语言处理中，语义平面和语用平面存在着明显的交叉现象。因为语用本身就是为研究语义服务的，所不同的是语用研究的语义是人在语言使用中产生的意义。而人对语言的使用必然又会涉及语境问题。因此，语义和语用在语境的基础上存在着相当程度的关联性。正如K.M.Jaszczolt指出的：“语义学与语用学之间的最大区别在于，语境因素的参与程度不同。”[81]而“参与程度”是一个模糊概念，这意味着二者之间很难截然分开。自然语言处理想要很好地解决语义问题，就很难将语义与语用以相对分离的方式进行研究。而要实现二者的统一，只有借助整体性的语境方法。但这并不意味着对语义和语用的消解，而是将二者作为要素，与语形一起融入整体性的语境处理中。而这正是分解方法所缺失的。

3.分解方法瓶颈解决的可能途径——整体性语境构建方法的提出

从上述分析可知，分解方法是建立在形式系统之上的计算机处理人工智能表征的必然选择。多年来，自然语言处理取得的成就表明，用分解方法来处理自然语言的思想是正确的，这也是人工智能表征所取得的成就。每个学科的发展都有其历史必然性，在自然语言处理的早期阶段就谈整体性方法，是不切实际的。早期阶段的研究只有通过分解的方式，才有可能实现对自然语言的形式化处理。而今天在自然语言处理经过半个多世纪的发展，基于分解的思想方法取得丰硕研究成果而不能继续前行之际，我们就应该反思方法的变革问题了。

目前，句子层次结构和三个平面的划界，是分解方法在实现自然语言语义理解过程中所不能克服的瓶颈问题。尽管在著名的框架网络在建工程中，菲尔墨在词语的语义理解中一定程度上引入了语境描写技术，但这是一种自下而上基于分解思想的局部语境描写，很难突破单句的限制实现对更大范围语言文本的意义理解。如果仅仅针对单词级别的语义理解运用语境描写技术，而不是从自上而下的整体角度去加以构建，势必造成自然语言处理不能完成对段落或篇章级别语言文本的整体性语义理解。此外，亦很难提高需要篇章级别语境知识才能判定的单句语义理解的正确率。自然语言处理在语义处理阶段难以取得突破性进展的根本原因正在于此。因此，有必要在已有的基于分解方法的局部语境描写基础上，构建整体性的语境描写框架。

在构建整体性语境描写框架的过程中，首先应该明确的是，整体性语境构建是建立在分解基础上的语境重构。大规模数据库时代，基于统计和语形匹配搜索的计算模式，要求自然语言处理首先必须是分解的。分解是形式系统处理自然语言的必然选择，整体性语境构建方法要想在形式系统上实现，首先必须是基于分解的。可见，分解方法是整体性语境构建方法的基础，而整体性语境构建方法是分解方法的必然发展趋势，二者之间是一脉相承而非矛盾的关系。

其次，整体性语境构建方法所要解决的主要问题是，在认识到语形、语义、语用三个平面无法完全割裂开来研究的前提下，如何构建基于语境的新的表征方式来实现三个平面的统一。从上述对印欧语系以及汉语的对比分析中可知，无论是哪个平面优先的语言，最大的共同点就在于三个平面可以在语境的基础上达成一致。由此，要实现对自然语言语义的理解，必然要建立基于整体性语境的描写框架。这种整体性语境的构建不仅需要各个层次自下而上的基于词汇的语境常识知识，更需要自上而下的段落或篇章级别的语境描写框架。这就要求分解方法与整体性语境构建方法相结合，二者的互补是实现整体性语义理解的必要基础。

菲尔墨的框架网络从自下而上的分解方法角度做出了有益探索。框架网络试图用“框架”（frame）将具有共同认知结构的词语以描写的方式在场景中统一起来，突破静态语境的局限，实现对人类动态语境甚至社会语境的描写。这为整体性语境理解提供了必要的词一级的语义理解基础。然而，语境描写技术的引入并不意味着就实现了整体性语境构建方法，框架网络工程只是迈出了第一步。更重要的是，要使自然语言处理突破单句的限制，实现对段落和篇章级别的语义理解。这才是整体性语境构建方法要解决的核心问题。

常识知识工程的失败表明，要在全部自然语言范围内实现整体性语境构建方法，在较长的一段时期内还不太可能。然而，我们可以尝试在篇章结构相似度较强的特定领域突破解构主义自下而上的研究路径，实现自上而下的基于篇章语境描写的框架技术。基于篇章的语境描写框架，可以使计算机首先对整篇文章有一个整体上的语义理解，进而再结合词一级的框架语义描写对文章中句子的意义进行补充和修正。[82]这就实现了整体性语境构建方法与分解方法的有机融合。而这也是解决人工智能表征分解方法瓶颈的关键所在。