语料库数据化发展趋势及词典学意义

-精选财经经济类资料- -最新财经经济资料-感谢阅读- 1 语料库数据化发展趋势及词典学意 义 摘要 语料库对词典学的价值已 得到辞书界的普遍认可，但传统大规模 语料库由于缺乏必要的标注，与词典微 观结构项之间的相关性不足，这使得它 对词典学研究和词典编纂的贡献受到很 大的制约。文章从词汇知识库和数据库 的建设特点入手，探讨它与词典学的相 关性及其在规模、速度和信息量等方面 的局限；最后以 COCA 为例，从语料库 的标注、语料库的索引、语料的智能化 检索和显示等方面探讨语料库的数据化 特征及其词典学意义。 中国论文网 /4/view-12734052.htm 关键词 词汇知识库 词汇数据库 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 2 语料库数据化 语料库与词典编纂 在语料库发展的初期，人们对语 料的评价和期望都十分高，似乎有了语 料库，词典的一切问题都解决了：释义 和义项划分有了依据、例证的采集可以 变得轻松、词典的编纂效率可以大大提 高等等。人们的主要精力是要把语料库 做大，觉得大到一定程度就可以覆盖和 解决词典编纂的一切语言问题了。所以， 语料库迅速从百万级到千万级，最后柯 林斯的“Bank of English”在 20 世纪 80 年代就达到空前的近 5 亿词。这时，词 典编纂者突然发现，在使用这些大规模 语料库时，随便输入一个词查询就会产 生成千上万的索引行，显示界面会把这 个词的各种用法实例都一股脑呈现出来。 面对海量语料，词典编纂者往往无从下 手，只能逐条浏览；这会大大增加其工 作量，影响词典编纂的进度。因此，西 方语言学家和词典学家早在 20 世纪七 八十年代就开始了语料的数据化加工， 取得了一系列的成果。下面就语料数据 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 3 化及其词典学意义做一探讨。 一、词汇知识库的建设 词汇知识库（knowledge base） 是为了特定目的，根据一定应用领域的 要求、背景特征、属性特征和使用特征 等构建的模块化的语言知识集合，系统 地满足用户某方面的知识需求。自 20 世纪 70 年代开始，美国学者就开始设 想建立能进行自动语义描述的大规模词 库，并在 20 世纪 80 年代中期付诸实践， 我国的专家在 20 世纪 90 年代以后也进 行了这方面的尝试。现在，为人熟知的 词库有词网（WordNet） 、 智网 （MindNet） 、框架网（FrameNet） 、动 词网（VerbNet） 、命题库（PropBank） ， 以及国内的知网（HowNet）和综合知 识库（CLKB）等，分别用于句法分析、 语义分析和自然语言处理或理解等，当 然也可以用于词典学研究和词典编纂。 这些词库的建设并没有受当时主 流语言学重语言能力（competence）轻 语言应用（performance）学术思潮的影 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 4 响，而是从语言实例（语料）入手，通 过自下而上的方式对语言的属性进行描 写，如句法模式、题元角色、概念结构 等语言规则和语义关系等。譬如，词网 使用同义词集合（synsets）来表征词汇 概念，在词的形式和意义之间建立起映 射关系，把名词、动词、形容词和副词 归入认知同义集合（sets of cognitive synonyms） ，每一集合表示一个不同的 概念；同义集合之间通过概念语义和 词汇系统关系相互联系起来（Miller 1990；Lin Dekang 1998） 。智网利用微 软的一个广域自然语言分析器 （broadcoverage parser）自动分析词典 释义和例证文本而获得词汇语言知识， 涉及 24 种关系，包括共同施事、拥有 者、深层宾语、深层主语、领域、材料、 来源、目标、原因、意图、方式、方法、 同义等（Richardson et al. 1998） 。框架 网是基于 Fillmore 框架语义学、借助词 典释义和语料建成的知识库，它利用 “框架”和框架元素来解释词的结构模式 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 5 和语义角色，表征词汇之间的共现特征 和相互关系，语义结构就蕴涵在这种关 系中。有了这些语言资源，研究者就可 以设计机器学习算法，构建语义角色标 签的自动标注系统，从而实现句子语义 结构的自动识别，为各类精细的语言工 程应用服务（Fillmore et al. 2001；Fillmore 2003；Ruppenhofer et al. 2010 ） 。这些词库对于认知词典用户的 内在知识结构、按用户的知识特点设置 微观结构信息项及其组织方式有很好的 借鉴作用，它们并不是为词典编纂而建 的，能直接用于词典编纂的词汇信息并 不多。因此，一些语言学家和词典学家 尝试建立能用于词典编纂的通用词汇数 据库。 二、词汇数据库的建设 词汇数据库（database）指的是 把从语言实例（语料库）中提取的词汇 语言属性，如形态、句法、搭配、语义 和用法等各种基本信息按一定格式以多 元子集的方式储存在一起，以满足用户 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 6 对共享词汇语言数据的需求。数据库一 般是由字段（field） 、记录（ record）和 文件（file ）构成。在库中，人们把字 段定义为能反映词目某一语言特征的简 单数据项，记录是能反映词目某一类语 言属性的、有特定指向或归宿的复杂数 据项，而文件则是某一类词典微观数据 项的集合。这样，单一词目（lemma） 的拼写、读音、词类、屈折变化、句法、 搭配、释义、例证，以及与其他词项的 各种关联或关系以及多媒体信息都可以 字段和记录等形式存储在库中，以便在 词典编纂时按需调取。为了词汇数据库 的建设，西方词典学家构建了语料库模 式分析（Corpus Pattern Analysis，以下 简称 CPA）理论（Hanks & Pustejovsky 2005；Hanks 2010）及语料索引和数据 提取工具词汇速描引擎（Word Sketch Engine） （Kilgarriff & Tugwell 2001；Kilgarriff et al. 2014） 。前者以“常 态与拓展”（ Norms and Exploitations） （Hanks 1994，2013）理论为基础构建 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 7 了语料模式分析的原则和方法，主要是 通过语料分析提取语词使用的横聚合原 型模式；后者是模式分析中的语料索引 和有效数据的提取工具。 CPA 理论认为，名词和动词的模 式是不同的，名词的模式隐含在语料库 中的一些反复使用的“ 经典 ”语句的共现 结构中，而动词的模式不但要看其基本 论元结构或配价结构，还要看其次配价 特征（subvalency features） ，即一个语 义角色有无其他修饰成分。譬如， “take place”与“take his place”的意思显然是不 一样的。这就需要有特定的算法统计和 分析它们的相关性，还需要人工干预来 区别习语性搭配和一般搭配的语义特点。 显然，CPA 不是解释孤立的单词意义， 而是解释语词与原型构式或句型模式 （pattern）相关的意义，而且最近的标 注方式和成分凸显与最初的方案相比有 了很大的改进。譬如动词“grind”条目 （见图 1）共有 13 个模式和语义结构 （包括短语和习语） ，241 个用法实例， -精选财经经济类资料- -最新财经经济资料-感谢阅读- 8 其重点是揭示动词事件行为参与者，并 以论元结构和配价结构的形式表征出来。 如施动者为“Device/ 设备或 Human/人”： Device=Mill/磨房，且由“Human”操作来 磨碎“Stuff/东西” ；受事“Stuff/东西”= “Grain/粮食或 Coffee Beans/咖啡豆或 Raw Material/原材料” ；方式是“Slowly/ 慢慢地；Systematically/有条理地； between a stationary stone and a rotating stone，or in some other similar device 在 固定和转动的石头之间，或同类设备中” ；成事为“Food/食物= Flour/面粉、 Coffee/咖啡，或 Stuff/东西 = Cement/水 泥”。注意，数据库把语义作为一种“ 隐 含”（implicature ）潜值来表达，即 “如 果某设备或某人 Grinds 某东西或食品， 就是该人操作磨房把粮食、咖啡豆或原 材料在固定与转动的石头之间慢而渐进 地磨碎”。这样，通过论元结构把被释 义词的句法、语义和使用搭配成分都在 一个平台上表征出来，既有释义的抽象 性、原型性，又有语用的具体性，加上 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 9 200 多个各种用法实例把被释义词的语 义潜势系统地表征出来，这为语言学习 或教学，以及词典编纂者提供了很好的、 可靠的建设性参考信息。 该数 据库拟对 5602 个动词进行数据处理， 截至 2015 年 5 月，已经处理 1275 个， 正在处理的有 384 个1。因此，目前的 实际应用价值还很有限。 另一词汇数据库是由英国词典学 培训公司（Lexicography MasterClass Ltd）创建的 DANTE 数据库，其设计目 的就是为词典编纂和计算语言学（包括 计算机词库）研究而服务。该数据库收 录了 9.45 万个词和短语，对词的义项划 分和语言属性描写都很细致，包含 40 个数据类型，以及词目类型、拼写变体、 屈折变化、句法模式、搭配结构、翻译 对等词、语用说明、语法说明和功能说 明等内容，并配有丰富的例证，对词典 编纂有很好的参考作用。相关的信息结 构和数据结构已另文发表（章宜华 2012） ，这里不再赘述。 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 10 三、语料库数据化开发 虽然数据库目的性和实用性更强， 但需要大量人力物力的投入，发展比较 缓慢。针对这种情况，西方语言学者就 开始直接对语料库进行深加工处理，把 语料库的建设从追求量的扩充向语料数 据化方向转化，即利用标注、数据挖掘 技术和计算机自动运算的方法对无序的 语料索引行进行梳理、统计、分类、归 纳，按用户需求有针对性地呈现各种典 型的词汇数据。美国当代英语语料库 （Corpus of Contemporary American English，以下简称 COCA）2就是一个 典型的代表。 COCA 由美国杨百翰大学 （Brigham Young University）的 Mark Davies 教授主持开发，语料规模达 4.5 亿词，是美国目前最新的当代英语平衡 语料库。自 2008 年 2 月 20 日在互联网 上正式推出以来，每年都要至少做两次 语料更新。语料库的数据化主要体现在 将杂乱无序的语料变得有条有序，能根 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 11 据用户的需要提供相对准确的词汇语言 数据，其关键就是“ 智能化 ”索引，而索 引的基础是对语料的标注和基础数据库 的支持。下面就从这几个方面谈谈 COCA 数据化的功能特征。 1.语料库的标注 词典编纂者最想从语料库中获取 的信息大多是语词的各种语言属性，包 括形态、词类、句法模式、搭配成分、 语义表征和使用语境等，因此需要对库 内的各种用词进行标注。COCA 在 SWECCL 词类赋码的基础上设计了 150 多种标签，对全部 4.5 亿语料进行了逐 条标注。譬如，连词类 7 个，如 CC（并列连词） 、CS（从属连词） 、 CCB（转折并列连词）等；形容词 4 个， 如 JJ（普通形容词） 、JJR （形容词一般 比较级） 、JJT（形容词一般最高级） 、 JK（连接形容词） ；限定词类 13 个，如 DA（前置或后置限定词） 、DA1（后限 定词单词形式） 、DAR（后限定词比较 形式）等；名词类 22 个，NN（普通名 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 12 词） 、ND1（方向性单数名词） 、 NN1（单数普通名词） 、NN2（复数普 通名词） 、NNL1（单数方位名词）等； NNO（数量词） 、NNT1（单数时间名词） 、NNU（度量单位词）等；动词 31 个， 如 VB0（动词原形） 、VDD（动词过去 式） 、VBM（系动词） 、VBG（现在分 词） 、VBN（过去分词）等；代词 19 个， 如 PN（不定代词） 、PNQO（宾格 WH 代词） 、PNQS （主格 WH 代词）和 PNX1（反身不定代词）等。其他还有 副词、介词、冠词、程式（FO） 、未分 类词（FU）和外来词（FW）等。 除词类外，COCA 还对所有语料 做了词汇语域和时间分布的标注，因为 语词的意义和用法与语域以及时间有着 密切关系。语域维度分为口语、小说、 流行杂志、报纸和学术期刊五大类型， 语料按这五个类型基本呈均匀平衡分布； 时间维度分为： 19901994、19951999、20002004 、20052009、20102012 等五个时段， -精选财经经济类资料- -最新财经经济资料-感谢阅读- 13 用户可以从这两个维度查询任何一个词 的分布频率。为了语词的形态变体和同 义词查询，库内还配置了词的屈折变化 和同义词数据库。 2.语料库的索引 COCA 根据标注和用户的查询需 要设计出一套索引句法（Search Syntax）来满足“智能” 检索的需要。主 要分以下几类：pos（精确词类vvg） 、 pos*（各种词类v* ） 、 lemma（原型 词形态变体speak） 、=word（同义词） 、 word|word（两词比较） 、*xx（以某前 缀开头的词） 、x？xx（含某字母的词） 、 x？xx*（含某字母+某词缀的词） 、 word （某词前成分，若要限定词 类则可加词类标签，如nn*）等。利用 上述句法成分和词类标签可以组合成各 种复杂的索引句法结构，以便词典编纂 者准确查找所需的各种信息。 3.语料的智能化检索和显示 这里说的“ 智能” 并不是说它具有 抽象思维和随机应变的能力，而是指检 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 14 索系统通过识别语料库中的标注代码， 按特定的索引句法提取语料数据。这样， 用户便可以根据自己的查询需要，按一 定句法规则来组织“ 检索模式 ”，语料库 便可以比较准确地调出他们所需的各类 信息。值得一提的是，即使是无限制的 普通检索，COCA 也能做不同的结构和 句法/搭配成分分类显示，如相同结构的 例句放在一起，各种句法成分用不同颜 色显示：名词为蓝色、动词为紫色、形 容词为绿色、副词为棕色、代词为灰色、 介词为黄色。这样，可以使用户对所显 示内容一目了然。 （见图 2） 四、语料数据化的词典学意义 语料库能辅助词典编纂是辞书界 的一个共识，它对词典学的理论研究和 实践都具有重要意义，具体的作用体现 在以下几个方面：选词立目（词频） 、 义项划分、词典释义、句法模式提取、 例证配置、语法注释、语用或用法注释、 同义词语义与使用对比等。 （参见章宜 华 2013：173176）然而，传统的语 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 15 料库会把各种信息混杂在一块，人工识 别比较困难，而数据化语料库可以按特 定义项、特定词类或形态、特定结构或 分布来提供信息。 1.特定单词或范畴词的查询 查询一般单词或连续的固定短语， 可直接输入所要查找的字符串，如输入 “child， children； give up， take measure； Actions speak louder than words.”等，就可以精确查到仅包含这些 单位的句子。如果要查包含某些字母的 一类词就需用通配符“*”，如具有某种 前缀、后缀、中缀或词根的语词：输入 “dis*， un*， anti*”等就能查找到所有 以它们为前缀的词，输入“*ness， *tion， *ly”能查到以它们为后缀的词。 同理，查词根就需要把通配符放在词头 与词尾之间，如输入“dis*ly”能查到所 有以“dis”开头、以“ly”结尾的词的词根； 要查以特定词为基础的复合词或变体， 则需把通配符放在该词的前后，如输入 “*speak*”会显示出“speak， speaks， -精选财经经济类资料- -最新财经经济资料-感谢阅读- 16 speaking， speaker， speakeasy， speakerphone”等。 如果想用一 个检索单位查得某词的所有屈折变化形 式，就要使用特定的“ 索引句法 ”及句法 代码。譬如，输入“ speak . v* ”会显 示出“speak， speaks， speaking， spoke， spoken”；如果要单独查其过去 式和过去/现在分词形式则需在动词后加 上相应的标签：speak.vvd/vvn/vvg。 此外，英语还有很多兼类词，如 track （v/n） ， lower （v/adj） ，own （adj/v/pron） ， left/right （adj/n/v）等， 若要查其特定词类则需在单词后边加上 词类标签，如“left”名词、形容词和动词 对应的索引句法是：left.n*、left.j* 和 left.v*；同理，若想区分相同词尾 的不同词类，则需要与词类标签组成特 定的索引句法，如以“ly” 结尾的大多是 副词，若输入“*ly.j*”就可以查到全部 以“ly”结尾的形容词，如排在前面的有 “only， early， likely， daily， holy， friendly， elderly， lovely”等。可见， -精选财经经济类资料- -最新财经经济资料-感谢阅读- 17 用索引句法的方式可以限定检索词的特 定词类、次语类和形态，可以做到精确 查询，大大减少词典编纂者的工作量。 2.词汇搭配与句型模式的查询 搭配和句型模式一直是外语学习 者和学习词典最为关注的语言现象之一， 同时也是难点之一，因为普通语料库 （如 BNC）无法提供这类信息的查询， 即使是利用“ 词汇速描” 等索引工具也无 法按用户的需求准确查询。COCA 的数 据化处理就比较好地解决了这一问题。 搭配和句型结构都涉及多个词的 共现，而这些共现关系的检索就比单一 语言单位更复杂一些，也更能体现语料 库的数据化特点。查两词的简单搭配可 直接在单词前/后空格加“*”，若要限定 搭配的词类则要在单词后加词类标签 “n*、j*和v*”等；譬如，查“left”作 为动词与副词的搭配情况，可在词串框 中输入“*left.v*” ，在搭配框中输入 r* 就可以得到“clockwise， abruptly， voluntarily， hurriedly， carelessly， -精选财经经济类资料- -最新财经经济资料-感谢阅读- 18 purposely”等；而反过来也可以通过词 类标签锁定被搭配词的词类，如用 “pretty nn*”可查该词作为形容词与名 词或动词搭配的情况，如“pretty girl/woman/face/picture”等；用“pretty vv*”可以查“pretty”作为副词与动词搭 配的情况，如“pretty well， pretty much”等。 若要查找某一词类（如动词）+ 任何词与特定词（如 argument）的搭配， 可输入“V* * argument”，就可以得到 与“argument”搭配的动词，如“make， reject， accept， hear， understand， win， support， lost， defend， strengthen， build”等，词典编纂者可以 从这些搭配中抽象出该词的部分隐喻用 法，如“argument is a war/battle （win， lost， defend， make） ”， “argument is an idea （hear， understand， accept， reject， support） ”， “argument is an architecture （build， strengthen） ”等， 这对促进学习者的识解和记忆有重要意 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 19 义。 句法模式是反映特定语词用法的 最有效手段之一，但其查询远比搭配复 杂，因为它们涉及的成分比较多，且组 配结构复杂，如“permit sb/sth to do， prevent sb/sth from， provide sb with/for， put sb/sth through to sb， nod to/at sb to do sth”等，中间的插入成分是 不固定的，而且往往有多种选择，查找 合乎这类句型需求的例句是词典编写中 的棘手问题，运用传统语料库编纂者只 能在海量的语料索引行中逐条寻找，耗 时又费力，而 COCA 的索引句法可让人 轻松地找到相应结构的例句，节省很多 时间，可大大提升词典编纂的速度和质 量。如输入“permit * to v*”便可查到 “permit them/us/him/it/individuals/Anna/students/ busine ss. to be/have/take/do/make/play/happen/see.” 等与所需句型一致的例句；输入 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 20 “provide * with|for”可查到含 “provide them/us/you/students/people/teachers with”和“provide opportunity/support/incentives/security/car e/food/funds/evidence/guidance/service/be nefits/training for”句型的例句。 此外，若想查找特定结构的不同 用词或特定语词的句法功能，也可以运 用相应的索引句法来解决。譬如，想了 解哪些词可以用在“to be or not to be”结 构中，可以输入“to v* or not to v*”， 结果得到“be， do， buy， tell， see， engage， play， sell”等几个较常 见的动词；若想查找某一动词接任一词 +into 后接动词 “-ing”形式构成的动结式 结构，了解“into” 表达致使义的句法功 能，可输入“vv* * into vvgk”便可以 查得“fool you/people into thinking， brought them into being， delude ourselves into thinking， talked him into going， trick people into thinking”等。 这对于说明“into” 在动结式中的作用、 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 21 抽象出动结式的句型特征，以及发现动 结式动词和用法都具有重要意义。 3.同义词组与其搭配成分的对比查询 同义词之间的语义和用法差异也 是外语学习和词典编纂处理的一个难点， 普通语料库在这方面基本没有作为。 COCA 数据化的一个重要特征就是同义 词组及其语域频率分布查询和各自搭配 成分的相互比较。 对于同义词，既可以查多义词的 所有意义，也可以查某一义项。譬如， 输入=deliver 可查“deliver”的全部同义 词，结果为“give ， bring， produce， free， provide， present， serve， send， save， produce， carry， release， supply， transfer， rescue， surrender， convey”等；如果要查该词 某一义项或分布结构中的同义词，则需 要在后边加特定搭配词做语义限定，如 用“=deliver the mail”可查得该动词作 为“递送”义时的同义动词，结果有 “send， give， carry， bring”等，这些 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 22 信息丰富、可靠，远胜过一些同义词典， 这对于同义辨析以及选择最佳搭配词都 十分有效。 同义词搭配比较查询可用于一组 同义词的分布特征、搭配成分和使用频 率差异的对比研究，并以此来辨别它们 细微的语义差异。对于同义词分布特征 的比较很简单，如选择“COMPARE/ 比 较”后在索引框中输入 “rent/hire”就能比 较两个词的使用频率，如果再选择下方 的“SHOW SECTIONS/显示项” 将会获得 这两个词在不同语域（口语、小说、杂 志、报纸和学术期刊）和不同时段的使 用分布数据；如果在比较模式下选择 “COLLOCATES/搭配词” （1n 词）和 “POS LIST/词类表” 中的相关选项（名 词、形容词、副词等） ，系统便会自动 比较两个词的特定搭配词及其出现的词 频。对于同一词搭配的比较，需要特定 的句法组合，如输入“fast|quick|rapid nn*”就能查得这三个同义词的不同名 词搭配成分：fast food/lane/track，rapid -精选财经经济类资料- -最新财经经济资料-感谢阅读- 23 transit/growth/change，quick/look/break/q uestion 等，而且后边还给出了它们的共 现频率。这种信息对于词典编纂者和英 语学习者都是十分有用的，因为中国的 EFL 学习者很容易用汉语的思维来理解 英语（语言迁移） ，对那些对应于同一 汉语概念的同义词往往难以区分，更会 混淆这类词的习惯搭配，如“提高” 的对 等词有“improve， increase， enhance”， 它们在语义上的差异以及与搭配词之间 的微妙关系常常让中国 EFL 学习者茫然， 难得要领，甚至张冠李戴。如果在 COCA 中输入“improve|inc