ICCC2007面向机器识别的现代汉语副词用法规则问题研究.doc

面向机器识别的现代汉语副词用法规则问题研究 基金项目：国家973项目（2004CB318102）和河南省教育厅自然科学基金项目（2007520050） 郝丽萍 昝红英 张坤丽 范明（郑州大学信息工程学院 郑州 450052），摘要：副词用法多样，已有的副词研究大都是面向人用的，很难直接用于自然语言处理的实际应用中。本文从副词的实际用法入手，调整和完善了副词用法信息词典，构建了面向机器识别的规则库，并对用法信息词典中的部分例句进行了自动标注，基本形成了“三位一体”虚词知识库的雏形。关键词：自然语言理解，广义虚词知识库，副词用法规则库Machine Recognition Oriented Research on Chinese Adverb Usage RulesLiping Hao Hongying Zan Kunli Zhang Ming Fan(College of Information and Engineering, ZhengZhou University, ZhengZhou, 450052)，Abstract: Chinese adverbs have various usage, but existing researches, which almost oriented human, can hardly directly apply in natural language processing. This paper focused on the usage of Chinese adverbs. We have adjusted and supplemented the adverbs usage dictionary, built the machine recognition oriented rules-base, and automatically labeled part of sentences in the adverbs usage dictionary. The “Trinity” knowledge-base of functional words has taken shape.Keywords: Natural Language Understanding, Knowledge-base of Generalized Functional Words, Rules-base of Chinese Adverb Use1. 引言俞士汶8、刘云1等将广义虚词界定为副词、连词、介词、语气词、助词等，其中副词是虚词中词汇量最大的一类词，“大杂烩”几乎成了汉语副词的代称11。副词内部有诸多因素造成了它的“杂”，如语言内部副词虚化程度的差异，副词用法的多样性，现代通用词与古词语、方言词的并存，副词与状语之间的关系等。正是由于副词内部的异质性，才使得对副词的研究永无止境。本文研究避开副词范围及分类等问题的纠缠，从副词的实际用法入手，在已有的面向人用现代汉语副词研究的基础上，结合现代汉语副词用法信息词典，分析、总结不同副词用法中具备可操作性的用法规律，构建服务于机器识别与自动标注的现代汉语副词用法规则库，为基于用法的现代汉语副词语义的自动理解奠定一定的基础。 2. 现代汉语副词用法规则库现代汉语副词用法规则库在副词用法信息词典的基础上，以副词的不同义项为前提，根据用法特征的不同表现，抽取其中可操作的判断条件特征，以有序的BNF形式进行副词规则描述，为副词用法的自动识别提供了形式化基础。2.1. 副词用法信息词典副词用法信息词典对现代汉语副词用法及其义项关系进行了比较全面的分析和总结，主要参考了吕叔湘现代汉语八百词2、张斌现代汉语虚词词典10、侯学超现代汉语虚词词典、俞士汶、朱学峰等现代汉语语法信息词典详解（第二版）、北京大学中文系1955、1957语言班现代汉语虚词例释、现代汉语词典（第5版）及刘云博士后出站报告1等资料，体现了语法形式与语法意义的结合，现有词典同已有词典的结合，词典与语料库的结合，句法与篇章的结合。副词用法信息词典根据不同的属性功能设置了几组字段，如用法编码、词语、释义、例句等标志性属性字段，用法、句首、句末、前合用、前连用、后合用、后连用等用法描述属性字段，以及句法修饰功能、语法意义、篇章等其他描述属性字段。其中用法编码是一条副词用法的编码，具有唯一性，编码规律为：全拼_tn_mn，其中tn标记（其中n为数字，标明序号）用于同音不同形词汇的编码，m(1,2,3,)为不同义项的编号，n（a,b,c,）为不同用法的编号。例如副词“就是”与“就势”同音不同形，“就是”有三个义项10种用法，其第二个义项的第三种用法编码为jiu4shi4_t1_2c，“就势”只有一种用法，其用法编码为jiu4shi4_t2。2.2. 规则描述规范副词用法识别规则的一般描述形式为：HMLRNT规则中的符号为所识别副词的用法编码。规则右边是特征属性字符，H表示句首，M表示前合用，L表示前连用，R表示后连用，N表示后合用，T表示句末9。2.3. 规则描述约定对副词用法进行规则描述时，需要制定一些通用的准则。对于一条副词用法规则，并不一定用六个特征属性字符描述，只挑选能够区别这个用法的充分必要条件。各个字符之间默认为合取关系。在描述前合用、前连用、后连用和后合用时，对某些词语的音节数是有所限制的。用POS_s（POS表示词性，下同）表示单音节词，POS_d表示双音节词，POS_q表示四字词，POS_m表示多于两个音节的多音节词。如“倍加”，用法编码，在副词用法信息词典中的用法描述为“修饰双音节的形容词”，其规则为以下形式：R R。规则描述时使用了BNF范式的标准元语言“|”、“”、“（）”，但是语言用法多样，常用的元语言符号不能概括语言的实际使用情况，因此本文另外定义了两个元语言符号：#和*。#代表必须间隔一个以上的字符，*代表间隔零个或多个字符。如“连着”，用法编码，用法描述为“修饰动词或动词短语，动词后边一般有数量短语”，其规则为：N Nv*m。后合用中的动词及数量短语可以是紧邻的，如“连着发表两篇论文”，也可以是有距离的，如“连着找了他三次”。用符号“*”概括了或相邻或不相邻这两种情况。一般的规则形式不能很好地描述有些副词的用法特征，本文另外定义了一些特殊的识别规则。在某词前后出现对称形式时，用“AA”、“BB”等形式来描述。其中，A表示相同的词语，B表示不同词但同词性。例如，副词“不”第二个义项的第一个用法，用法描述为“AA，A为动词或形容词，用于反复问句”，如“能不能联系一下？”，其规则为：AA#？ Av|a。“不”的第二个义项第四种用法，用法描述为“AB，A、B是意思相同或相近的单音节动词或文言词”，如“不说不笑”、“不声不响”，其规则为：BB B。值得注意的是，用法描述中的“A”、“B”与规则中的“A”、“B”所表示的概念不同。有些副词有多个义项，每个义项中又有多个用法，那么就要用一组规则对该副词进行形式化描述，要选择条件最多且不会覆盖其他规则的作为优先级较高的对这组规则进行排序。这一组规则应该满足完备性的要求，即：使用这组规则可以将该副词所有用法全部描述出来。2.4. 典型规则实例副词是一个封闭的集合，不管将副词的义项或用法细化为多小的粒度，只要按照上述的规范及约定，都能够对副词进行形式化描述。下面以副词“都”为例，来说明在实际应用中如何构造面向机器识别的规则库。现代汉语八百词2中副词“都”有三个义项，其中第一个义项有5种用法，第二个义项有4种用法，第三个义项只有一种用法。根据不同的用法，列出其部分相应的规则：l 义项一的第一个用法“所总括的对象可以用来表示任指的疑问指代词”，如“给谁都行”、“怎么办都可以”，该用法规则为：M M谁|哪里|什么|怎么|哪儿|哪l 义项一的第二个用法“所总括的对象前可以用连词不论、不管、无论”，如“无论干什么事情，他都非常认真”，用法规则：M M(不论|不管|无论)#，前合用或后合用的范围默认为该副词所在的小句，上述用法是跨小句合用，因此在规则中用“，”予以说明。l 义项二的第二种用法“都前后用同一个动词（前一肯定，后一否定）”。如“你怎么问都不问我一声？”、“拉都拉不住他”，用法规则：A(不|没|没有|未|df)A|AA(不|没|没有|未|df) Av。其中df表示否定副词。根据完备性的要求，编码为的规则会覆盖的部分规则，因此排序时应在的后面。附录给出了副词“都”的一组用法规则描述。2.5. 面临的问题有一些副词的用法，人工理解时可以对其辨析，但是很难完成其准确的规则描述。如“修饰动词短语”、“修饰名词短语”等用法描述，目前只能用合用动词或名词来描述，以离该副词最近的动词或名词作为判断的条件。当然这种较为宽泛的描述并不准确，甚至会带来潜在的危险。如“光”有两个义项，其中第一个义项分为两个用法，分别是“修饰动词短语或形容词短语”和“修饰名词短语”。用法编码为和的规则分别为：N NNv|a Nn|r|mq 规则上虽然体现了“光”的不同用法，但是在复杂的句子中，机器会判断错误。如“光发言的就有十几位”，“光”在这里修饰的是“发言的（人）”，属第二种用法，但是由于“发言”是个动词，机器会识别为第一种用法。完成这样的形式化描述，需要更深层的语法分析支持。还有一些副词，虽然义项不同，但从用法上无法得到可操作的用法特征。如副词“处处”有两个义项，分别是“表示各个地方，相当于到处”和“表示在各个方面”，用法描述都为“修饰动词或动词短语”。在具体的语境中，人工可以轻易地分开不同的义项，如“虽然远离家乡，但我感到祖国处处有亲人”，这里的“处处”表示的是第一个义项；又如“刚搬到新的地方，处处感到不方便”，在这里“处处”是第二个义项。若不考虑篇章的语义及上下文环境，单从词性着手，机器无法区分“处处”的这两个义项。对于这种情况，也是我们下一步着重考虑的难题之一。3. 语料库自动标注副词用法规则库在副词用法词典基础上生成，同时也离不开语料库标注的检验。目前，我们以用法信息词典中的例句集作为检验语料库，对其中的613个副词共1062条用法进行了自动标注。 首先，我们对例句集分词并进行词性标注5，然后在副词出现的位置，根据规则库中的规则描述判断该副词的用法编码，并把该用法编码标注在该副词的右边。如“一口都没喝”词性标注后为“一/m 口/q 都/d 没/d 喝/v”，根据“都”的第7条规则描述，此句中“都”的用法编码为，将其标注在原句中，为“一/m 口/q 都/d 没/d 喝/v”。经过这样的标注，我们不仅知道了副词“都”的读音，而且清楚了“都”在此句中是第二个义项第三种用法。同理，副词“没”在这里是第一个义项的第一种用法。这种基于用法的自动标注，为机器翻译等领域奠定了一定的基础。在语料库自动标注，有些副词的词性与语料库中的词性标注矛盾。如“我/r 想/v 他/r 可能/v 会/v 同意/v 的/u”，副词“可能”在语料库中的词性标注为“v”，系统无法依据副词规则库对其进行用法标注。还有一些副词由于语言习惯等问题，在词语切分时被分为两个词语或成为其他词语的组成部分。如“这/r 批/q 产品/n 的/u 质量/n 大致/d 上/v 符合/v 要求/v”，副词“大致上”被分为副词“大致”和动词“上”，机器对“大致”作了用法标注，而并没有识别出副词“大致上”。又如“不劳而获/i”中的“不”、“并肩作战/l”中的“并肩”、“聊以慰藉/i”中的“聊以”等，已成为成语或习用语的组成部分没有被分离出来，机器也无法对它们进行用法标注。通过调整切分及词性标注的基础资源，这样的问题有望得到部分解决。4. 总结及进一步工作面向机器识别的副词用法研究目前取得了实质性的进展。我们已完成了副词用法信息词典的填写，建立了副词规则库，并对一半以上的副词进行了语料库自动标注，同时根据标注结果，对用法信息词典及规则库进行了属性调整。下一步将继续完善副词用法信息词典，建立完备的副词用法规则库，进一步对人民日报等语料进行自动标注，同时，根据标注中出现的错误及特殊虚词在真实语料中的用法规律，修正副词用法信息词典及其规则库。逐步完成基于用法的副词词典、规则库、语料库三位一体副词知识库的建设。参考文献1 刘云，汉语虚词知识库的建设，北京大学博士后出站报告，20042 吕叔湘，现代汉语八百词，商务印书馆，19803 齐沪扬、张谊生、陈昌来，现代汉语虚词研究综述，安徽教育出版社，20024 吴云芳、俞士汶，信息处理用词语义相区分的原则和方法，语言文字应用，2006年5月第2期，126-1335 俞士汶、段慧明、朱学峰、孙斌，北京大学现代汉语语料库基本加工规范，中文信息学报，2002年第6期，58-646 俞士汶、段慧明、朱学峰、张化瑞，综合型语言知识库的建设与利用，中文信息学报，2004年第5期，1-107 俞士汶、朱学锋、刘云，面向自然语言理解的汉语虚词研究，民族语言文字信息技术研究，2007年2月，270-2778 俞士汶、朱学锋、刘云，现代汉语广义虚词知识库的建设，汉语语言与计算机学报，2003年第1期，89-989 昝红英、张坤丽、柴玉梅、俞士汶，现代汉语副词用