（计算机软件与理论专业论文）基于复杂特征集的汉语句法分析系统.pdf

基于复杂特征集的汉语句法分析系统 摘要 句法分析是自然语言处理中的一个中心课题。根据目标的不 同，目前主要有两类研究方向：第一类着眼于句法分析的完整性， 主要依赖于大规模形式化的语言知识；另一类着眼于提取与应用相 关的浅层句法信息，依赖的方法主要是概率统计及相对简单的语言 模型。这两者通常分别称为理性主义与经验主义。 在中文信息处理领域，目前第一类句法分析系统在性能和效率 方面离实用尚有一定距离，在相当一段时间内在实用效率方面落后 于经验主义方法。然而，当前及不远的将来对计算机智能化的需要， 又迫切需要能提供完整句法结构的高效汉语句法分析平台。这样， 拉近句法分析系统与实用之间的距离，已成为亟待解决的问题，而 旦此类方法有所突破，必将深刻地影响经验主义方法，为新的该 种方法提供语言知识。本文的研究目标也在于此。 本文设计并实现了一个能有效使用大量语言知识的开放性汉 语句法分析系统模型，同时考虑了系统的效率和健壮性等实用方面 的问题。语法体系、分析算法和歧义消解是句法分析中的三个主要 问题，也是本文的研究重点。与此同时，本文完成了测试评价工作， 确保了上述诸项工作的正确性、有效性。 构建语法体系的难点在于如何将大规模的语言知识形式化。汉 语具有不同于西方印欧语系的特点，在这方面没有比较成熟的理论 可供参考。本文基于合一文法的思想，采用结合复杂特征集的上下 文无关文法的形式设计语法体系，并在此基础上结合大量现代汉语 语言知识构建了包含三百多个语法语义特征和百余条句法规则的 句法知识库，在大规模语法知识的形式化方面做了有益的尝试。同 时本文使用预编译技术使得句法知识库具有良好的开放性。 句法分析算法方面，本文在传统双向图算法的基础上做了三点 有益于实用的改进：第一、引入了分层渐进的分析模式，有效地提 高了分析效率；第二、提供了对多输入的处理，使系统能够与切分 标注前处理紧密结合；第三、加入了容错处理功能，使系统具有良 好的健壮性。 歧义消解方面，本文以句法规则中特征之间的制约关系为基 础，同时使用结合上下文相关信息的概率文法作为辅助手段，对句 法分析结果进行优选。这种规则结合概率的混合方法，比单一方法 具有更好的效果。 最后本文基于随机选取的测试集，采用多种标准对系统进行测 试，从多个角度展示了系统在分析能力、歧义消解能力和效率等方 面的性能，力求对所做的各项工作有一个科学、客观、公正的测试 和评价，并以此为依据提出进一步的工作方向。 本文所述的理论模型、实现系统及其评测工作，形成了一个崭 新的汉语句法体系平台。 关键字：自然语言处理，句法分析，合一文法，图分析器， 概率上下文无关文法 c h i n e s ep a r s e r b a s e do nc o m p l e xf e a t u r es e t a b s t r a c t p a r s i n gi sak e r n e lp r o b l e mi nn a t u r a ll a n g u a g ep r o c e s s i n g c u r r e n t l yt h e r ea r e t w ok i n d so f r e s e a r c hm e t h o d si nt h ed o m a i no f p a r s i n g o n ea i m sa tt h ec o m p l e t e n e s s o f p a r s i n gr e s u l t ，d e p e n d i n go nf o r m a l i z e dl i n g u i s t i ck n o w l e d g ea n dp a r s i n ga l g o r i t h m ， t h eo t h e ra i m sa te x t r a c t i n ga p p l i c a t i o n - r e l a t e ds y n t a c t i ci n f o r m a t i o n ，c o m m o n l yu s i n g s t o c h a s t i cm e t h o da n ds i m p l el i n g u i s t i cm o d e l s t h e s et w om e t h o d sa r ec o m m o n l y k n o w na si n t e l l e c t u a l i s ma n de x p e r i m e n t a l i s m ，r e s p e c t i v e l y i nt h ed o m a i no fc h i n e s ei n f o r m a t i o np r o c e s s i n g ，d u et ol i m i t a t i o n si n p e r f o r m a n c ea n de f f i c i e n c y , t h e i n t e l l e c t u a l i s mm e t h o di sn o tp r a c t i c a lc u r r e n t l y h o w e v e r ，a ne f f i c i e n tc h i n e s ep a r s i n gp l a t f o r mt h a tc a np r o v i d ef u l ls y n t a c t i c s t r u c t u r ei sh i 曲l yn e c e s s a r yb e c a u s eo f t h et r e n do f c o m p u t e ri n t e l l i g e n t i z a t i o n t h u s ， m a k i n gi n t e l l e c t u a l i s mm e t h o dp r a c t i c a lb e c o m e sv e r ys t r i n g e n t m o r e o v e r , o n c et h i s m e t h o dm a k e sp r o g r e s s ，e x p e r i m e n t a l i s mm e t h o dw i l la l s oh a v ed e e pi m p r e s s i o n s u c hi st h er e s e a r c hg o a lo f t h i sp a p e r i nt h i sp a p e r , w eb u i l da no p e nm o d e lo f c h i n e s ep a r s e rt h a tc a l le x p l o i tl i n g u i s t i c k n o w l e d g ee f f i c i e n t ly t h ee f f f i c i e n c ya n dr o b u s t n e s sa r ea l s oc o n c e r n e d g r a m m a r , p a r s i n ga l g o r i t h ma n dd i s a m b i g u a t i o n , t h r e ep r i m a r yp r o b l e m si n t h er e s e a r c ho f p a r s e r , a r ep i v o t so ft h i sp a p e r a tt h es a m et i m e ，w ee n s u r et h e c o h c c t o e s sa n d v a l i d i t yo f o u rw o r kb ys y s t e m a t i c a lt e s t i n ga n de s t i m a t i o n t h ed i f f i c u l t yo fb u i l d i n gg r a m m a rl i e si nt h ec o m p l e x i t yo fl i n g u i s t i ck n o w l e d g e f o r m a l i z a t i o n b e c a u s ec h i n e s ei ss i g n i f i c a n t l yd i f f e r e n tf r o mw e s t e r nl a n g u a g e s ， t h e r ei sl i r l em a t u r et h e o r ya sr e f e r e n c e i nt h i sp a p e r , b a s e do nt h et h i n k i n go f u n i f i c a t i o ng r a m m a r , w eu s ec o n t e x t f l e eg r a m m a rc o m b i n e dw i t hc o m p l e xf e a t u r e s e tt od e s i g ns y s t e mg r a m m a r t h e n 。w eb u i l das y n t a c t i ck n o w l e d g eb a s ea c c o r d i n g t ol o t so fm o d e r nc h i n e s el i n g u i s t i ck n o w l e d g e ，w h i c hc o n t a i n sr f l o r et h a n3 0 0 s y n t a c t i ca n ds e m a n t i cf e a t u r e sa n d1 0 0s y n t a c t i cr u l e s m o r e o v e r , p r e - c o m p i l a t i o n t e c h n o l o g yi su s e dt os u p p o r tt h eo p e n n e s so fs y n t a c t i ck n o w l e d g eb a s e a sf a ra sp a r s i n ga l g o r i t h mi sc o n c e m e d w ei m p r o v et r a d i t i o n a lb i d i r e c t i o n a l c h a r ta l g o r i t h m t h u sm a k eo u rp a r s e rh a sb e t t e rc o m b i n a t i o nw i t hs e g m e n t a t i o na n d p a r t - o f - s p e e c ht a g g i n gs y s t e m ，a n dh a ss t r o n gr o b u s t n e s sa tt h es a m et i m e i nt h ep a r s e r , d i s a m b i g u a t i o np r i m a r i l yd e p e n d so nt h ef e a t u r er e s t r i c t i o ni n s y n t a c t i cr u l e s p r o b a b i l i t yc o n t e x t - f r e eg r a m m a rc o m b i n e dw i t hc o n t e x t - s e n s i t i v e i n f o r m a t i o ni sa l s ou s e da sa na s s i s t a n tm e t h o dt oc h o o s et h eb e s tp a r s i n gr e s u l t t h ep a r s e ri st e s t e du n d e rac l o s e dt e s ts e ta c c o r d i n gt om u l t i p l ec r i t e r i a t h e r e s u l ti l l u s t r a t e st h es y s t e mc a p a b i i t yi np a r s i n g , d i s a m b i g u a t i o na n de f f i c i e n c y b a s e do i lt h et e s tr e s u l t ，w eg i v es o m ea d v i c et ot h ef u t u r er e s e a r c ha tl a s t k e y w o r d s ：n a t u r a ll a n g u a g ep r o c e s s i n g ，p a r s i n g ，u n i f i c a t i o ng r a m m a r , c h a r tp a r s e r , p r o b a b i l i t yc o n t e x t - f r e eg r a m m a r 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外， 本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 1 系摩 日期：五年月级绐 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅。本人授权上海交通大学可以将本学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印 不保密口。 ( 请在以上方框内打“”) 学位论文作者签名：能懂 指 日期：似年侈月衫日 日 用本授权书。 基于复杂特征集的汉语句法分析系统句法分析概述 1 句法分析概述 1 1 自然语言处理中的句法分析问题 自然语言处理是近十几年兴起的一门交叉学科，它涉及到语言学、计算机 科学和数理逻辑等学科的知识，并通过这些相关学科之间概念的相互渗透、相 互影响，逐渐形成自己特有的新概念、新理论、新技术。目前，随着网络信息 量的高速增长，以及对人机接口人性化要求的进一步提高，计算机迫切需要具 有自动处理自然语言的能力，因此，自然语言处理作为人工智能的一个重要分 支，其研究已经得到了广泛的关注。 根据心理语言学的观点，人理解语言大致分为三个过程f 挂诗者。1 ”目p g l “：首先 从语音流或文字符号流中检索出词，并检查词对应的意义；然后根据检索出的 词建立句子结构；最后通过句子结构去理解意义。这三个过程分别对应于自然 语言处理中的词语切分标注、句法分析和语义分析三个步骤。从这里可以看出， 句法分析是自然语言处理中的一个极其重要的环节，具有承上启下的作用，其 重要性是不言而喻的。一直以来各国的进行自然语言处理的研究人员均对句法 分析给予了很多的关注，句法分析已经成为自然语言处理中的一个中心课题。 自然语言的句法分析目前主要有两种方法：种是传统的句法分析 ( t r a d i t i o n a lp a r s e r ) ，它借鉴形式语言的分析技术，要求分析出自然语言语句的 完整句法结构，着眼于对语句理解提供足够的信息，所依赖的主要是各种形式 化了的语言知识，如上下文无关文法形式的句法规则集和包含大量语言特征的 形式化机器词典等；另一种称为部分句法分析( p a r t i a lp a r s i n g ) ，它并不要求分 析出语句的完整句法结构，也不追求对语言的真正理解，而着眼于从语句中提 取出与应用相关的浅层信息，所依赖的方法主要是语料统计与概率模型的使用， 以及相对简单的语言模型，如有限状态自动机。 1 2 基于语言知识的传统句法分析 1 2 1传统句法分析的基本方法 传统句法分析的目标是对自然语言语句进行完整的句法分析，其重点在于 分析的完整性与正确性，因此，必须在句法分析中融入词法、句法以及语义等 各个层面上的语言知识。要使语言知识能够被机器所利用，必须对其进行形式 化的描述。句法分析中用到的语言知识主要包括自然语言句法规则系统和描述 词一级信息的机器词典。 句法规则系统用于将词一级的单位组合成短语一级的句法单位，一般采用 基于复杂特征集的汉语句法分析系统句法分析概述 上下文无关文法的形式，并针对自然语言的特点作出扩展，例如，合一文法就 是目前应用最广泛的一种文法扩展形式。有了句法规则系统，就可以使用相应 的分析算法进行句法分析，但是，由于自然语言的极大的灵活性，描述它的规 则系统必定是充满歧义的，因此，消除歧义就成为一项重要的任务，这也是句 法分析中的一大难点。 机器词典所起的很大一部分作用正是在句法分析过程中进行歧义消解，词 典中可以对每一个词进行详细的描述，其所能提供的语言知识要比单纯的句法 规则系统广泛得多，因此，在句法分析中融入词典中的大量的语言知识，将可 以有效地消除不合理的分析结果。目前，以英语和其他主要欧洲语言为描述对 象的机器词典中影响较大的有w o r d n e t 、m i n d n e t 等，它们是一种语义网式的 语义词典。中文信息处理方面则有“现代汉语语法信息词典”( 以词为对象描述 它们的语法功能) 【龠士捷i 州、“现代汉语词海”( 提供大量的词语搭配实例) 、“知 网”( 包括词语的概念，关联等知识的知识库系统) 【董振东l ”1 等。 一些随机句法分析器( s t o c h a s t i cp a r s e r ) 也可以归入传统句法分析这一类中。 在这些分析器中，概率统计的方法作为规则系统的一种补充，在歧义消解中起 着重要的作用。概率上下文无关文法是一种常用的随机模型，它对上下文无关 文法中的每一个产生式都附加一个概率值，根据这些概率参数可以对句法分析 结果进行评价，并从多个分析结果中选取最优解。 1 2 2传统句法分析的优缺点分析 传统句法分析的重点在于分析的完整性，这正是它的优点所在，因为对语 句分析得越完整，越透彻，从中得到的信息量也就越多，信息的正确性也就越 高，从而也就能够为实际应用提供更多的帮助。 另外，传统句法分析可以将语言知识与计算机技术进行有效的结合。长期 以来，语言学家总结了大量的语言知识，这样的成果可以有效地改善计算机自 动处理语言的能力。另外，如果希望自然语言处理系统能够智能地理解语言、 处理语言，仅依靠一棵句法结构树是不够的。传统句法分析可以在句法结构树 中添加供进一步语言理解使用的信息。例如，基于合一文法的句法分析通过在 特征集中添加合适的特征，并在句法分析的过程中对特征进行赋值，这些特征 可以为基于句法结构进行语义逻辑求解直至理解创造条件。 然而，传统句法分析方法也面临着很多困难。如何对语言知识进行形式化 就是一个困难的问题。从语言知识中总结出一套合适的句法规则以及相应的特 征集是一项艰难的工作。由于自然语言的灵活性，句法规则系统很难做到完美。 为了涵盖自然语言中尽可能多的语言现象，句法规则必须详尽，而这样会增加 歧义消解的难度和影响分析的效率，而实际上几乎不可能由套句法规则系统 来描述所有的语言现象。因此，实际系统所处理的语言多数都有一定的限制， 如只能专门处理书面语言，或处理限定领域的语言。 另外，自然语言是不断发展变化的。这样，用于描述它的语言知识也必须 随之不断变化，从而维护句法规则体系就成为一个重要问题。把句法分析系统 做成开放式的并不困难，难的是如何合理地维护系统所依赖的知识，包括句法 规则系统，机器词典等等。这里大量的人力是一个方面，另一方面，常出现的 问题是，为了适应变化而作出的修改可能会与以前的知识相冲突，维护一套相 2 基于复杂特征粲的汉语句法分析系统 句法分析概述 容的知识体系是相当困难的。 还有，大规模的语言知识，如机器词典，需要大量的存储空间。知识越多， 所需的存储空间就越多。在一些对系统容量规模有限制的场合，这种方法的应 用受到了很大的限制。当然，随着计算机硬件技术的飞速提高，这个问题可能 并不严重。 最后是分析效率问题。自然语言句法分析所依赖的一定是歧义文法，在歧 义文法上进行分析的效率是相对比较低的。一个长度为n 的句子，其分析的时 间复杂度将达到o ( n 3 ) 。尽管可以利用各种优化手段进行算法改进，但比起形式 语言分析所用的无歧义文法，效率的差距是无法弥补的。而且，如前所述，句 法分析中往往不仅仅要求出句法结构树，而且需要计算出许多附加的特征标记， 这也是影响效率的一个方面。而在许多自然语言处理的应用场合，实时性的要 求是很高的，如电话自动应答系统，语音自动控制系统等。 总之，在处理非受限语言时和在资源受限的情况下，目前的传统句法分析 技术都遇到了很大的困难，这些都为基于语言知识的传统句法分析走向应用提 出了挑战。 1 3 基于语料库的部分句法分析 不少实用系统需要快速高效地处理非受限文本，如自动摘要、自动电话应 答等系统。部分句法分析正是针对传统句法分析在这方面的不足以及实际应用 中的需要而提出的一种新的语言信息处理方法。它的目标是从非受限的文本中 快速有效地提取出与应用相关的部分句法信息，重点在于分析系统的健壮性与 高效率，但以牺牲句法分析的深度与完整性为代价。这里的部分句法信息一般 是指有特定功能的语段( c h u n k ) ，如可以是句子中所有非递归的名词短语、动 词短语、名词短语的中心词、动名短语组合，也可以是指原始句子被分割成的 语段序列。 1 3 1 部分句法分析的常用方法及其应用 部分句法分析实际上是一些不同的方法与技术的统称。由于与传统句法分 析的侧重点不同，因此部分句法分析有其独特的方法。早期的一些实验系统使 用语言中的功能词( 如标点符号、汉语中的“的”、“地”等虚词) 对语句进行 语段划分呻耐酬“蜊，显然，这种方法是很粗略的，不仅不能分析出比较精确的 语段，而且如果功能词是多义的( 这在汉语中尤为常见) ，那么有可能语段的切 分结果根本就是不正确的。 比较常用的是基于语料库的方法。如基于隐马尔可夫模型( h m m ) 进行短 语边界自动标注m “”1 ；基于错误驱动的转换规则( e r r o r - d r i v e nt r a n s f o r m a t i o n a l r u l e ) 实现短语自动识别m “”j 脚“9 9 s l 等等。 部分句法分析虽然牺牲了分析的深度与完整度，但由于它在效率上的优势， 因而在许多对句法分析的深度与完整度要求不高的系统中得到应用，最常见的 基于复杂特征集的汉语句唔分析系统句法分析概述 是从语料中抽取词汇信息的系统。如从语句中自动提取出“主一谓”和“谓一 宾”词语对，然后应用自动评价的方法从中提取出词语的选择限制模型；h i n d l e 与r o o t h 使用部分句法分析的方法自动提取英语中的“v n p p p ”三元组 h i n d “ 1 蜘j ，并且以此为基础实现英语中的p p 附着歧义自动消解：部分句法分析的方 法也被用来作为动词次范畴框架自动提取系统的预处理系统t “a n a m $ 1 ”1 以及辅助 双语语料库的自动对齐【“p “9 9 3 】。在一些实用系统中，如信息抽取 c a , “a m m ”1 等， 部分句法分析也有着广泛的应用。 部分句法分析的另一个重要应用是作为传统句法分析的一个组成部分。 a b n e y 提出了一种渐增式的句法分析思想【 呻1 9 9 0 1 。由于整体分析大量文本存在 着效率，正确性等方面的问题，因此可以考虑先用相对简单和高效的部分句法 分析方法分析出语句的浅层结构，如把语句分成不相交的语段，然后再对语段 进行完整的句法分析。实际上人在理解自然语言的句子时，尤其是理解长旬时， 通常也是分段理解的，因此这种句法分析的模式也符合人的自然心理。 1 3 2 部分句法分析的优缺点分析 部分句法分析改进了传统句法分析中的不足。首先，部分句法分析中所用 到的规则或概率信息一般是从语料中自动学习得到的，因而没有维护规则系统 的困难，当语料有变化时，只需再进行一次自动学习即可；另外，部分句法分 析很少用到大容量的机器词典，对系统空间的要求要宽松得多；还有，部分句 法分析一般都是采用相对简单的语言模型和确定性的搜索算法，如有限状态自 动机模型，因而可以达到很高的分析效率，对于长度为1 1 的句子，其时间复杂 度一般是o ( n ) 。这些特点使得部分句法分析在处理非受限语言( 如口语、大规 模真实文本) 的实时系统中得到了广泛的应用。 但是，部分句法分析恰恰损失了传统句法分析所具有的优点。由于缺乏对 语句的深入分析，部分句法分析所提供的信息量和正确性都不能令人满意。而 且，部分句法分析难以利用现有的语言知识辅助分析，也无法达到理解的目的， 要对语句进行逻辑语义求解，直到依靠模型进行真正的理解，完整的句法分析 是必经之路。 两种句法分析的方法各有其特点。部分句法分析由于其高效性与健壮性。 目前已经在实用中发挥重要的作用，而传统的句法分析在目前阶段，更多的是 处于实验的阶段。但是，在实用系统中并不是不需要传统句法分析技术，而是 由于传统句法分析在效率和健壮性等方面达不到实用的要求，因此在实际应用 中，只能采用部分句法分析这种折中的方法。正是出于这一点，如何让传统句 法分析技术在实用性方面有所突破，一直是自然语言处理领域中的一个重点。 4 基于复杂特征集的汉语句法分析系统句法分析系统的设计 2 句法分析系统的设计 本章对本文将要讨论的句法分析系统做总体的介绍。首先提出系统在性能 和效率等方面的设计目标；接着讨论系统设计中要考虑的语言学相关问题和技 术上的关键问题；最后给出系统的总体结构图，并对各个模块做概要介绍，作 为以后各章讨论的基础。 2 1 研究目标 传统句法分析方法目前离实用尚有不少距离，但是，当前及不远的将来对 计算机智能化的需要，又迫切需要能提供足够语言信息的高效的句法分析平台。 拉近句法分析系统与实用之间的距离，是目前许多计算语言学工作者所追求的 目标。本文的研究也将主要集中在这个方面。 本文的总体目标是建立一个能有效地使用大量语言知识的开放性汉语句法 处理系统模型，同时考虑系统的效率和健壮性等实用方面的问题。综合来说， 句法分析系统在功能和性能等方面的目标主要集中在以下几个方面： 分析的完整性 本系统的首要目标是能够对自然语言的句子作完整深入的句法分析，得到 的句法分析结果将可以支持上层的自然语言处理，如语义逻辑的求解等。为此， 系统将以基于语言知识的传统句法分析方法为核心，同时一方面要考虑上层的 需求，另一方面要使用有效的方法改善传统句法分析中存在的种种问题。 系统的开放性 句法分析系统所依赖的语言知识和语料库都是需要不断更新的，因此系统 的每一个模块都应该具体良好的开放性，当资源更新时，系统应该不需要做或 做很少的改动。系统具有良好的开放性将有助于知识的维护。实际上，这也应 该是每个自然语言处理系统所具有的性能。 系统的健壮性 自然语言是非常灵活的，同时又处于不断的发展变化当中。事实上，目前 没有一个句法分析系统能够对所有无限制的文本都分析出完整的句法结构。但 是，一个完善的系统不应该对无法进行完整分析的句子不给出任何结果。本系 统的目标是：对得不到完整结构的句子给出尽可能多的信息，即在系统完整分 析失败后要有良好的容错后处理能力。 系统的效率 系统要走向实用，效率是不得不考虑的问题。目前，以句法规则为基础的 句法分析系统，其分析速度一般都低于l 词秒，而部分句法分析的效率可以达 到高于1 0 0 0 词秒。本系统试图融合一些部分句法分析的思想，提高系统的分 析效率。 基于复杂特征集的汉语句法分析系统句法分析系统的设计 2 2 汉语中与句法分析相关的特点 不同的语言有其共同的性质，也有很大的差异。因此在设计汉语自动处理 系统时，必须充分考虑汉语的特性。最为明显的一个例子就是处理汉语时必须 先切分，但不必做词形变换。这样，就需要考虑句法分析器是否要一致地处理 词法和句法。这涉及到能否用同样的规范来描述词法和句法。诸如此类的问题 有很多。所以，在设计汉语句法分析系统时必须先对汉语作一些考察。本文不 作详细的语言学考察，而是讨论如何从计算机处理的角度看待这些问题。事实 上，句法分析系统中的机器词典、句法规则系统、消歧策略等诸多重要方面都 与汉语的特点密切相关。而汉语中许多引发争论的问题，如果从计算机处理的 角度去看，可以避免不必要的理论争论。 汉语中有没有词? 汉语中怎样的字串能构成词? 这些问题几十年来在语言 学界一直存在争论( 胡骑扬l 嗍。朱德熙把词定义为“最小的能够独立活动的有意义 的语言成分”【朱撼熙1 9 ”m ，这个概念也有一定的模糊性，因为对“能够独立活动” 可以有各种不同的理解。从心理上看，不同的人对于什么是词的看法也有很大 的差异，例如“鸡蛋”等使用频度很高的词在普通人眼里是词，而在语言学家 看来却不构成词。 在句法分析中，词是机器处理的最小的语言单位。如果不承认词的存在， 那么机器处理的最小单位就将是单个的字，这在目前看来是有很大困难的。因 此，从实际的角度看，将字串组合成词，并在切分处理中将其分离出来，是句 法分析的必要前处理程序。 “什么是词”的问题与机器词典的构造密切相关。在计算机处理中，不必 纠缠于复杂的语言学争论，对于通用的句法分析系统，为方便处理，可以收录 所有使用频度高的字串；而在针对特定领域的句法分析系统中，可以将所有在 领域内常用的字串收入词表，而不必考虑这些字串是不是词。事实上，目前在 自然语言处理领域中，也有避免使用“词”这一模糊概念的做法，如“信息处 理用现代汉语分词规范”【刘源”1 中就使用“分词单位”这一术语表示分词的结 果。 2 2 2词类 汉语中词类的划分是依据句法功能还是依据意义，一直没有一个统一的标 准。词类问题所面临的困境是无法同时做到“词有定类”、“类有定职”。在印欧 语中，词类与句法成分之间有种简单的一一对应关系，而汉语词类和句法成 分的关系是错综复杂的【朱攮熙1 删p 2 ”，同一词类可担任多种句法成分且无形态变 化。 词类划分的问题与句法规则系统的构造有关，句法规则的依据正是词类的 句法功能。因此，在句法分析中，如果能做到“类有定职”，那么句法规则系统 6 基于复杂特征集的况语句法分析系统句法分析系统的设计 就会相对简单。但是，“类有定职”必然带来“词无定类”，这样会增大切分标 注的难度。反过来也是一样，若要“词有定类”，则必然会增加句法规则系统的 复杂性。 事实上，“词有定类”、“类有定职”两者要做到一样也是很困难的。本文倾 向于减少词的兼类。一方面词的兼类不可避免，因为单从字形上无法区分两个 不同的字，如连词“和”与“和面”中的“和”；另一方面，词用法灵活也是汉 语所固有的特点，例如，动词短语可以充当句子的主语，这样可以认为单个动 词也可以充当主语，而不必认为这样的动词是兼名词的。 2 2 3 短语与句子 朱德熙先生指出，汉语中旬子的构造原则和短语的构造原则基本上是一致 的【袁德熙l 蚓p 2 ”，汉语的短语在汉语语法体系中有着极其重要的地位。例如，汉 语的主谓短语独立时相当于英语的句子，而它不独立时可以作谓语，相当于英 语中的子句。在汉语中，从短语到句子是一种“实现”关系。只要把各类短语 的结构和功能都研究清楚了，句子的结构实际上也就清楚了，因为句子不过是 独立的短语而已。短语结构的一个重要特点是各类短语结构的组成成分又可以 是各种类型的短语。汉语表现自然语言普遍具有的这种递归性的特殊之处在于 短语担任不同的句法成分时形态不发出任何变化。所以有理由认为基于短语的 文法是适合于用来处理汉语的。这样，可以把短语本位的语法体系作为表达句 法知识的基本框架渲卫车2 姗j ，只要在句法规则系统中描述了短语的组合方式，那 么就可以认为这样的规则系统具有了处理句法的能力。 2 2 4语义 印欧语种在词汇、语法、语用、语境诸层面上有明显的界面区别，相互之 间又有对应关系。这种情况可称为明显的分层性，简称为“面结构”。但是汉语 则不同，各层面之间很难划分经纬，词法与句法之间没有明显的界限。句法、 语义、语用这几个层面均与词的形、音、义有密切的关系，直接受到“字”这 一因素的影响。词汇义贯穿各个层面，称为“体结构”嘴汝自”。因此，汉语的 “体结构”模型使得语料的初级加工不能完全忽略语义层面的信息。但是不可 能在初级加工时进行完全的语义分析，因此如何适度利用部分的语义，也是汉 语分析所面临的一个问题。 本文一方面在句法分析中引入合适的语义信息，用于句法消歧；另一方面 又在句法分析的结果中保留部分语义信息，供进一步的语义分析使用。 7 基于复杂特征集的汉语句法分析系统句法分析系统的设计 2 3 系统设计中的关键问题 2 3 1交叉式的系统结构 由于汉语的词法与句法之间，句法与语义之间均没有明显的界限，词法、 句法、语义、语用这几个层面相互交织在一起，因此，传统的自然语言处理模 式对于汉语是否适用，是有疑问的。传统模式中词法、句法、语义分析界限分 明，而汉语的“体结构”模型使得这三个层面的分析必须有所交叉。对汉语进 行词法分析，即切分和标注时，句法也起了作用；同样在句法分析中，语义也 起了不可忽视的作用。基于这种考虑，理想的汉语句法分析系统应该具有交叉 式的结构( i n t e r l e a v i n gs 仇l c t l l r c ) 。句法分析能够进一步改进切分标注的性能， 并且为语义分析提供支持，同时在分析过程中也要利用语义信息辅助句法分析。 句法分析与切分标注 汉语切分标注中的歧义字段，有些仅与词汇本身有关，可以在分词中加以 解决，有些与句法相关，在分词中难以解决，尽管也可以用统计信息加以处理， 但难以满足对正确率要求高的系统的需求【孔骏”“。 本文在系统设计中将考虑到汉语分词的这一特点，句法分析系统将是多输 入的，即输入同一个句子的多个歧义切分结果，经过句法分析后，剔除得不到 的句法结构树的切分结果，而可以分析出句法结构的切分结果则得到保留，这 实际上是把切分中难以解决的歧义问题保留到句法分析中进行处理( 详见4 3 1 节的论述) 。 显然，基于规则系统的句法分析与主要依赖于统计信息的切分标注系统相 比，在时间与空间等资源上都有更高的要求，这样，借助于句法分析解决切分 标注问题是否显得代价过高? 这个问题不能一概而论，而应该结合系统最终的 目标考虑。如果系统仅仅是为了将句子切分成词串，并且不要求很高的正确率。 那么将切分歧义留到句法分析中解决是没有必要的。但是，如果分词系统只是 某个理解系统( 例如基于理解的对话系统等) 中的一个子系统，一方面这类系 统要求分词应确保尽可能高的正确率，l 的分词错误可能会在后继的分析加工 中引起1 0 、2 0 或者更高的错误；另一方面，分词在这类系统中并不是最终 目的，句法和语义等后处理也是系统的一部分，在这种情况下，为了提高正确 率，将一部分歧义留到句法分析中处理是可以接受的。 句法分析与语义分析 句法分析与语义分析的关系体现在两个方面：第一，在句法分析中利用适 当的语义信息辅助歧义消解：第二，在句法分析的结果中保留部分语义信息， 供进一步语义分析使用。 本文在句法标记的特征集中引入语义特征，记录与语义相关的信息( 详见 第3 章) 。在句法分析的过程中要求语义特征满足一定的语义限制，以达到歧义 消解的目的；而在句法分析的结果中这些语义特征也将予以保留 语义特征的加入需要有一部比较完善的语义词典，而构建一部这样的词典 8 基于复杂特征集的汉语句法分析系统 句法分析系统的设计 需要大量的人力与专家知识，非一人之力。而且，目前汉语的语义研究还不尽 成熟，许多句法语义现象还得不到满意的解释。本文先以小规模的语言为基础， 基于较成熟的理论( 如动宾的语义搭配) ，构建一部范围较小的比较完善的语义 词典，用于系统的开发研究中。 2 3 2 歧义消解的策略 在基于句法规则的传统句法分析系统中，如果不加消歧处理，对于1 0 个词 左右的句子，句法分析得到的结果就将达到成百上千个，这样的分析结果是毫 无意义的。因此，歧义消解成为句法分析中的一个核心问题，也是句法分析中 的一大难点。本文考虑采用两种方法进行歧义消解。 第一，采用合一文法的形式对句法规则进行限制。合一文法中由“特征一 值”对构成的特征集可以记录大量与分析相关的句法语义信息，分析过程中一 方面对特征进行赋值，另一方面要求特征值满足一定的限制。这样，可以排除 特征值不满足限制条件的句法分析结果。这方面的内容与系统的语法体系相关， 将在第3 章中予以详细阐述。 第二，采用概率上下文无关文法的形式，利用对大规模真实语料进行统计 所得到的概率信息进行歧义消解。概率上下文无关文法中的概率参数由对大规 模的语料进行训练得到，然后可以对每一个分析结果计算它的概率可能，并通 过某种规则进行最优解选取。这方面的内容将在第5 章讨论。 2 3 ，3效率韵改进 句法分析所使用的文法规则系统必定是有歧义的，因此，相应的分析算法 的时间复杂度也要高于无歧义文法。而且，分析的效率还与文法规则系统的规 模( 即产生式的数目) 有密切关系，而自然语言的语法规则系统通常都是非常 庞大的。因此，效率是句法分析系统的一个固有的缺点。 在系统实现中，可以有许多改进效率的技术，如利用索引优化数据结构， 利用排序、哈希等方法改进搜索效率等等。本文并不对这些实现细节作详细的 介绍，而主要讨论设计中考虑到的效率问题。主要有以下两个方面。 在句法规则系统中引入统计信息是提高分析效率的一种有效的方法。以概 率上下文无关文法为基础，在分析中使用b e s t f i r s t 方法，句法分析算法不必搜 索整个可能的结果空间，概率高的部分分析结果将被优先处理，最优解也将会 快速地求出( 详见5 4 1 节) 。 此外，本文还将尝试用部分句法分析的方法来提高分析效率。句法分析算 法的效率是与语句的长度n 有关的，分析短句将比长句有更快的速度。因此， 可以考虑在句法分析前加一个预处理步骤，把要分析的句子中无歧义可以先组 含的成分先组合成短语，然后再对短语序列进行分析，这样将会有比直接分析 整个句子有更好的效率表现( 参见4 3 2 节) 。 9 基于复杂特征集的汉语句法分析系统句法分析系统的设计 2 4 系统的模块框架设计 2 4 1系统框架结构图 回顾2 1 节中提出的研究目标，本文主要讨论用传统的句法分析方法实现一 个接近实用水平的汉语句法分析器。传统的句法分析方法中主要包括一套句法 规则系统和一种合适的句法分析算法，机器词典和概率统计信息作为重要的辅 助信息，也是其中的重要组成部分。结合开放性、健壮性和效率等因素，系统 的总体框架结构如图2 1 所示 2 4 2 主要模块说明 图2 1 句法分析系统总体框架结构图 f i g 2 1m o d u l ed i a g r a m o f t h ep a r s e r 输出 本节对图2 1 中的各主要模块的设计和功能作简要介绍，在随后的章节中将 有更为详尽的讨论。图中的细箭头表示输入输出，粗箭头表示模块间的调用关 系。 系统的输入输出 系统的输入是切分标注系统的输出结果，即带词类标记的分词单位序列。 系统支持多输入，即对应于同一个句子的多个分词单位序列，而每个分词单位 i 0 基于复杂特征集的汉语句法分析系统 句法分析系统的设计 又可以有多个不同的词类标记。 经过句法分析处理，正常情况下系统输出的是对应于整个句子的句法结构 树，树中的每个节点都包含由“特征一值”对构成的特征集。若分析失败，即 得不到对应于整个句子的分析结果，则系统把句子划分成可以分析的几段，并 分段输出带特征集的句法结构树。 句法分析核心算法模块 该模块采用合适的算法进行句法分析。基于上下文无关文法的分析算法己 经有了相当成熟的研究成果，如l r 算法、图算法( c h a r tp a r s e r ) 等【“”删。但 是这些算法的使用都有一些限制，如l r 算法可以很好的处理无歧义的文法， 适合于处理形式语言的分析，但不适合歧义繁多的自然语言分析；图算法适合 于歧义文法，但其分析效率相对于l r 算法有很大不足。因此，后来又有了不 少改进的算法，如e a r l e y 算法f “q ”1 改进了图算法的效率：t o m i t a 算法i “”】 是对l r 算法的扩展，也是对e a r l e y 算法在效率上的改进。这些改进的算法力 求在效率和对歧义的适应性上寻求平衡。 本系统中采用的双向图算法( b i d i r e c t i o n a lc h a r tp a r s e r ) f “9 9 4 1 也是对图算 法的一种改进，适用于合文法的分析。双向图算法中引入了触发类的概念， 使图算法的使用更加灵活。传统上，触发类是指一条产生式的右边包含信息最 多的那个成分。附属在触发类上词典信息限制了产生式右边其它成分的属性， 这样，在句法分析中如果首先分析产生式右边的触发类，然后再分析产生式右 边的其它成分，句法分析就能利用限制信息来减少大量不必要的搜寻，从而有 效的改进效率。由于触发类有可能出现在产生式右边任何个位置上，因此理 想的句法分析应该从触发类出发，同时向两边进行分析，双向图算法分析器由 此而得名。本文第4 章将详细讨论系统中的算法设计和改进。 语法体系与句法知识库 合一文法对经典的上下文无关文法在形式上作了改进，目前已经成为自然 语言句法分析中最常用的形式文法体系。合一文法的基本思想是用“特征一值” 偶对的集合( 即复杂特征集) 来代替上下文无关文法中的原子符号，从而有效 的增强文法的分析能力。 合一文法事实上是一种统称，包含多种基于复杂特征集思想的语法体系， 如g p s g 、l f g 等。这些语法体系更多的是适用于语言学的研究，而不适合于 计算机处理。因此，本文并