《中文信息学报》投稿模版 ICT NLP GROUP.docx

文章编号：基于双语映射和标注自适应的分词知识自动推导方法作者一1，作者二2，作者三1（1. 中国科学院 计算技术研究所 智能信息处理重点实验室，北京 100190）摘要：本文提出了一种从双语语料中自动学习分词知识的方法。双语映射实现有词边界的源语言和无词边界的目标语言之间的映射。标注自适应把映射知识调整成符合已有的标注准则的语料。使用该方法的分词器比其他的无监督分词器表现明显好。使用标注自适应方法，可以在人工标记语料的基础上有效地提升分词性能。该方法为需要分词但分词语料资源稀少的语言提供了有效、低成本的策略，并能容易地扩展到其他任务，像命名实体识别等。关键词：分词；双语映射；标注适应中图分类号：tp391 文献标识码：aautomatic induction of word segmentation knowledge by bilingual projection and annotation adaptationname1,2, name2 ,name1(1. key laboratory of intelligent information processing , institute of computing technology , chinese academy of science , beijing 100190, china ;abstract: this paper describes a novel method to automatically induce word segmentation knowledge from bilingual corpus, it is composed of two successive phases, bilingual projection and annotation adaptation. first, the projection procedure maps the word boundary knowledge from the source language with word delimiters to the target language without word delimiters. then, the annotation adaptation procedure adapts the projected knowledge to an existing annotation guideline. experiments show that, the segmenter trained on the projected corpus significantly outperforms previous unsupervised works, and by annotation adaptation, the projected word segmentation knowledge can significantly improve word segmentation performance on the basis of an existing human-annotated corpus. it provides an effective and inexpensive strategy for resource-scarce languages that need word segmentation, and can be easily extended to other tasks such as named entity recognition.key words: word segmentation; bilingual projection; annotation adaptation1引言对于很多语言来说，分词是自然语言处理中的基本任务。已经有多个统计模型被研究者提出以解决分词问题，比如隐马尔科夫模型1，最大熵模型2，条件随机场模型3。近期也有一些致力于提升分词性能的新工作，比如使用全局训练方法或复杂特征4-5，不同标准的整合6，词内结构研究7，联合或栈式建模8-11。包括crfs在内的判别式模型在特征表示方面具有很强的灵活性，性能却受限于训练数据的规模。为了能够使用未标注数据进行训练，许多人尝试使用半监督或是无监督的方法进行分词12-15。也有研究者尝试把具有充足语料的语言和稀少语料的语言通过双语语料进行映射，来获取分词知识。与无监督的方法相比，双语映射方法通常可以获得更好的分词表现，且复杂度低。但是，近期的双语映射工作却只关注句法信息或词汇信息16-20。我们提出了一种从双语语料中自动获取分词知识的方法，这种方法包括两个阶段的工作：双语映射和标注自适应。双语映射阶段把有分词标记的源语言和无分词标记的目标语言进行映射，得到目标语言上的分词语料。在标注适应阶段，把上个阶段得到的分词语料当作根据源语言分词标准生成的失真的标注语料，通过标注自适应算法调整成我们需要的标注标准。在第一个阶段中，我们使用的方法与前人使用的较简单的对齐方法不同。我们使用一种改进的对齐结构：概率对齐矩阵。每个字的词边界标记概率都根据该对齐矩阵计算得出，最可能的分词结果使用动态规划算法基于字分类分词模型21-22得到。我们进一步地提出了使用全局知识来优化双语映射。根据对齐矩阵中的词边界标记的概率可以得到字分类样本集合。在这些样本上训练得到的分类器能提供全局的概率来平滑对齐矩阵中的原始概率值。在第二个阶段，标注自适应算法6被用来做不同标注标准样本集之间的自适应，使得映射阶段得到的分词结果与人工标注的分词结果标注标准一致。标注自适应阶段结束后，目标语言的映射分词结果就可以用来提高分词器的性能了。我们做了英语到汉语的分词映射实验，实验结果表明，使用经过标注标准调整后的映射分词结果训练分词器可以比仅仅使用人工标注语料训练得到分词器表现明显好。使用fbis汉英双语语料得到的分词器与使用宾州树库语料得到的分词器23相比，f值高0.6个点。我们的方法为有分词需求却语料较少的语言提供有效且低成本的解决策略，并可以很容易的扩展到其他序列标注的任务上去，比如命名实体识别等。在文章后面的章节中，我们将首先介绍基于字分类的分词方法，然后详细地阐述用于分词的双语映射算法，以及使用标注自适应方法提高现有分词器的性能。2 基于字分类的分词模型给定一个包含n个字的句子：分词的目标就是把这个句子划分成m（）个词：代表其中某个词的跨度是从到 。分词问题可以被当作序列标注问题来处理21，其思想是给每一个字分配一个边界标记来表示该字在相应词中所处的位置。ng and low22通过扩展边界标记的类别，把分词任务和词性标注任务联合处理。对于分词任务，我们采用了b、m、e、s四元类标，b、m、e分别表示字在词中的位置是开始、中间、结束，s表示该词是个单字词。最终要根据字的标记，合并起来，形成分词结果。用作分词的分类器可以选择使用在线算法，像感知机算法5，或是离线学习工具，像最大熵工具包22。我们同时使用了感知机和最大熵工具，方便进行各种不同的实验。给定一个字序列，解码器返回得分最大的分词结果，其中得分函数如下：（1）函数中的是感知机算法或是最大熵工具中的参数向量，是和的内积。使用感知机算法训练后会得到一个从输入到输出的判别式映射模型，其中是训练样本中的句子集合，是相应的标注结果的集合。我们使用生成函数枚举可能的标注结果，使用表示训练样本到特征向量的映射。感知机算法训练流程见算法1。一般使用“平均感知机”算法以获得更好的分类器。算法1 感知机训练算法1：输入：训练实例2：3：for() do4： for() do5: 6: if then7: 8: 输出： 表1是为分类器（感知机算法分类器和最大熵分类器）设计的特征模板。表示当前字， 表示分别表示字左边第i个字和右边第i个字。是判断是否为一个标点符号，若是则返回true，否则返回false。用来判断该字的类别属于：数字、日期、英文字母、其他。表1 特征模板特征类型特征模板一元特征 二元特征 属性特征3 双语映射分词在阐述双语映射分词之前，首先说明本文中“源语言”和“目标语言”两个概念。源语言是指具有清晰的词分隔符或较好分词器的语言，目标语言是指没有明显的词分隔符的语言。论文中的工作针对英语到汉语方向做映射，即把汉语的字与英语的词进行对齐，以寻找词边界映射信息。我们提出了一种有效的方法来做分词知识的双语映射。为了降低对齐错误的影响，我们使用了概率对齐矩阵这种结构。字的每种类别标记概率根据对齐信息得到，然后使用动态规划解码算法寻找最优分词结果。接着使用这些分词结果训练一个分类器用于字分类。31概率对齐矩阵我们首先介绍概率对齐矩阵。假设存在一对双语句子，源语言句子是，目标语言句子是，对齐矩阵是。代表字和词的对齐概率。概率对齐矩阵可以通过累加giza+的对齐结果得到。图1是概率对齐矩阵的一个例子。图1 一个概率对齐矩阵的例子与词对齐模型相比，字-词对齐模型更复杂，原因在于字的实际语义很模糊。使用简单的对齐方法做源语言和目标语言的对齐会产生大量的噪声错误。而概率对齐矩阵是对多个对齐结果的压缩表示，可以提供更稳定和精确的双语映射结果。32基于动态规划解码方法的双语对齐给定字-词对齐信息，映射分词结果可以根据以下原则得出：目标语言中的两个相邻字是属于同一个词的，当且应当他们与源语言中的同一个词对齐。使用上述映射分词结果训练出的分词器倾向于源语言分词标准。在这里，我们给出根据双语字-词对齐结果推导出映射分词结果的方法。与直接处理源语言和目标语言的词边界映射方法不同，我们首先根据对齐信息估计每个字的每种标记概率，然后使用动态规划解码算法寻找最优映射分词结果。根据前面阐述的原则，给定目标句子和源语言句子，以及对齐矩阵，如果目标语言中两个连续的字和对齐到源语言中的同一个词，则他们不应该在目标语言中被切分到两个词中，否则应该被切分到两个词中。概率计算公式如下：（2）我们使用“/”表达语义“标记为”，使用“+/-”表达语义“不切分/切分”。根据b、m、e、s字标记方法，这四种标记可以使用如下字切分的逻辑运算得到：（3）相应地，目标端字的字标记概率计算公式如下所示：（4）给定每个字的标记概率，使用动态规划解码算法寻找该概率最大的分词结果。我们为目标语言的分词结果设计了评价指标，如下所示：（5）是介于0-1之间的实数值，用来衡量双语分词映射的质量。33使用全局训练分类器优化映射结果对齐错误、翻译表达的多样性、语言词汇的非同构化都会造成映射对齐结果的不一致。为了得到更好的双语映射结果，我们引入了全局知识来优化映射过程。根据字-词概率对齐矩阵得到的字标记概率，我们可以得到一个字分类训练集。在这个字分类训练集上训练一个分类器，使用该分类器估计每个字的标记概率。对于目标语言中的每一个字，有四种样本（分别被标记为b、m、e、s）可以被抽取出来。每种样本出现的频率就是该样本被标记成相应类别的概率。出现频次大于阈值的样本会被保留，后续用作训练字分类器。假设是使用推导出的字分类样本训练的分类器，该分类器给出字标记成的概率，则权重整合概率为：（6）公式右侧是根据对齐信息得到的权重整合概率，是分类器给出概率的权重。4 标注自适应方法提高分词器性能前面提到，在双语导出的样本上训练得到的分类器可能在类似ctb等人工标注的数据上表现不好。这是因为双语映射的方法，倾向于强制目标语言采用源语言的分词标准进行词语切分。使用双语映射得到的分词结果，可以认为是服从了一种比较特殊的标注标准。所以我们采用标注适应算法，自动调整多样化的标注标准，整合双语映射导出的分词知识和已有的人工标注语料，来提高分词性能。我们使用的标注适应算法是jiang6提出的。为方便阐述标注适应算法，我们引入几个相关概念。源语料是指采用不满足当前需求的标注标准的语料。目标语料是指采用满足当前需求的标注标准的语料。源标注标准是指源语料采用的标注标准。目标标注标准是指目标语料采用的标注标准。源分类器是指在源语料上训练得到的分类器。使用源分类器来处理目标语料，可以得到采用不同标注标准的双标注语料。转换分类器是指在双标注语料上训练得到的分类器，该分类器可以学习不同标注标准之间的转换规律。使用转换分类器处理源语料，可以使得源语料服从于目标标注标准。将处理完的源语料和目标语料整合到一起，再训练一个最终的分类器，可以提高分类精度。在我们的工作中，把双语映射语料作为源语料，宾州树库语料24作为目标语料。为方便与前人工作比对，源分类器、转换分类器、最终分类器都是使用平均感知机算法进行训练。5 相关工作前人在双语映射方面的工作主要集中在句法和词汇信息，像依存结构17-19，词性标记20。虽然句法和词汇方面的双语映射已经取得了很好的结果，但是却不能被直接应用到分词方面。这是因为对于句法分析和词性标注来说，双语映射有固定的结构或是固定数量的标记。对于分词来说，双语映射的边界和数量都不固定。标注标准自适应方面的工作主要集中在已有的人工标注语料上6,24-27。我们认为从双语映射或是无监督学习中获得的知识都可以被当作是服从某些特殊标注标准的，只要这些知识是内部高度一致的。还有一些工作时关于分词和对齐的。ma28使用了迭代优化方法来提高词对齐表现，即该轮次中对齐到相同译文的连续字会在下一个轮次中被当作词。huang29使用单语分词知识和双语翻译信息，获得更适合词对齐和翻译的分词结果。naradowsky等30使用源语言的形态句法和词汇信息，以无监督的方法做单语言的形态分析和双语的词素对齐。我们的工作的不同动机是从双语文本中推导出词对齐信息。6 实验我们首先使用概率对齐矩阵和动态规划编码算法实现了双语映射的基本实验，然后使用全局训练的分类器做映射的优化，最后我们展示使用标注自适应算法整合双语映射导出的分词知识和人工标注语料的分词性能。双语映射和标注自适应实验中，感知机分词器在映射语料和整合完的语料上进行试验，在宾州树库数据(ctb) 23上进行评估。61基本的双语映射实验该实验是为获取从英语到汉语方向的分词知识。实验使用fbis汉-英对齐语料，该语料包括23.9万条句对，690万个汉语词，890万个英语词。对齐矩阵根据liu 31的方法生成。我们首先展示平均感知机分词器在ctb5.0数据上的表现。根据前人的工作，该数据集被分成3个部分，271-300章用作测试，301-325章用于开发，剩余的用于训练。图2是ctb数据上的分词学习曲线，性能到第六轮接近收敛，所以我们把其他的感知机训练实验都设为6轮。ctb数据上训练得到最好的模型，在测试集上的f值是97.35%。图2 ctb数据集上平均感知机分词器的学习曲线在整个fbis数据上做的双语映射会产生23万以上的对齐结果。对于平均感知机来说，在如此大规模的数据上训练代价非常大。考虑到词汇非同构、译文多样性等原因，一些句子会产生噪音，我们设置了一些阈值参数来过滤明显有错的分词映射结果。图4展示了根据阈值过滤完的句子数量与感知机分词器的性能关系。我们发现低于0.8的阈值并没有筛选到太多样本，使用0.6阈值，开发集上的表现达到最优。最优的模型在ctb测试集上的f-measure是78.85%。62 优化的双语对齐实验我们使用3.3中提到的方法从字-词对齐双语语料中抽取了一个字分类样本集合。出现频度大于1的样本被留做训练字分类器。从fbis汉-英语料中可以抽取出648万个样本，有127万被保留。为了训练最大熵模型，我们把高斯先验值设为1.0，把迭代上限设为100，其他参数采用默认值。最大熵分类器在ctb数据上的f值为72.36%。由于分类器是在映射导出样本上做的全局训练，所以可以为字标记提供更平滑的概率。尽管该分类器的表现比基本的映射分词器差，但是当集成到映射阶段后，可以得到更好的双语映射结果。图3显示了使用全局训练分类器对双语映射的优化表现曲线。尽管存在波动，在=0.1时，明显的比其他值高。这验证了我们的假设，曲线的波动说明了数据分布的复杂性。图3 使用全局训练的分类器对双语映射的优化曲线除了采用全局训练的分类器做优化外，我们还过滤了明显错误的映射。图4显示了句子保留数量和分词器性能之间的关系，验证了我们优化策略的有效性。在ctb测试集上做的结果，最好的模型f值可以达到84.07%，比基本的映射分词器要好很多。图4 阈值、句子数量、分词器性能关系图表2列出了不同映射分词器的表现性能。我们也给出了一系列的无监督分词模型的最好表现。数据表明，映射分词器比最好的无监督模型还要好很多。原因是，双语对齐中的源语言给了间接的目标语言分词知识。这表明，对分词语料较少的语言来说，双语对齐语料可以成为分词知识的来源，且比无监督的方法更有效。表2 各种模型及无监督方法性能对比模型f值（%）基本映射方法78.85优化的映射方法84.07无监督方法(kit and wilks, 1999) 3263.2(feng et al., 2004) 3361.8(jin and tanaka-ishii, 2006) 3461.8(wang et al., 2011) 3578.363 标注自适应对于标注自适应来说，通过双语映射得到的标注语料即是源语料，ctb训练集是目标语料。表3是实验结果，实验表明，使用标注自适应方法整合映射语料中的分词知识和ctb语料，可以使得分词表现比单一使用ctb数据提升0.6个百分点，错误率减低21%。表3 标注自适应实验结果模型f值（%）双语映射标准到ctb标准97.91单一ctb标准97.35我们更进一步验证了使用不同规模目标语料进行标注自适应的有效性。图5显示了性能曲线，使用2000句的目标语料比使用8000句的目标语料表现好，表明目标语料越小，分词性能提高的越大。这说明映射后的语料虽然与训练语料的标注标准不同，内部的一致性却是非常高的。该方法可以为分词语料稀少的语言提供有效且低成本的分词解决方案。图5 不同规模的目标语料对标注自适应性能的影响64 基于双语映射的藏语分词我们尝试在藏语上进行双语映射的分词实验，首先，我们将藏语按音节点作切分，在藏汉双语平行语料上做藏语的字和汉语的词的对齐，得到概率对齐矩阵；然后，根据双语对齐信息抽取双语特征实例，以该实例作为最大熵训练程序的输入训练300轮，高斯先验值设为1.0；接着，如公式（6）我们加入权重系数，进行优化的双语对齐实验，即对藏语端进行分词；最后在该分词结果上使用感知机算法训练2轮。我们使用机器翻译评测的藏汉双语平行语料作为训练集，采用标准的藏语分词测试集和参考集；语料规模：双语平行语料10万句左右，其中藏语包含158万个音节点，汉语包含158个汉字，将近90万个词语；藏语分词测试集包含501句，8483个音节点。限于时间，本论文在抽取实例阶段仅使用0.6的阈值进行过滤，使用感知机算法进行两轮训练。表4 藏语分词实验结果准确率（%）30.81召回率（%）23.11f值（%）26.41表4为基于双语映射的藏语分词实验性能，使用该方法进行藏语分词的实验说明基于双语映射获取分词知识的方法有效，但可提升的空间很大。7 结论我们在本文中提出了一种新的从双语预料中自动推导出分词知识的方法。首先，做具有明显分词符的源语言和不明显分词符的目标语言之间的双语映射。在该映射结果的基础上训练得到的分词器比先前的所有无监督分词器都要好。然后，使用标注适应算法整合映射知识和已有的人工标记语料，可以提高单独使用人工标记语料的分词器性能。我们的方法为分词训练语料稀少的语言提供了更好的分词策略。我们以后将把这种方法推广到其他序列标准任务中去，比如命名实体识别等。参考文献：1 rabiner l. a tutorial on hidden markov models and selected applications in speech recognitionj. proceedings of the ieee, 1989, 77(2): 257-286.2 ratnaparkhi a. a maximum entropy model for part-of-speech taggingc/proceedings of the conference on empirical methods in natural language processing. 1996, 1: 133-142.3 lafferty j, mccallum a, pereira f c n. conditional random fields: probabilistic models for segmenting and labeling sequence dataj. 2001.4 zhang y, clark s. chinese segmentation with a word-based perceptron algorithmc/annual meeting-association for computational linguistics. 2007, 45(1): 840.5 zhang y, clark s. a fast decoder for joint word segmentation and pos-tagging using a single discriminative modelc/proceedings of the 2010 conference on empirical methods in natural language processing. association for computational linguistics, 2010: 843-852.6 jiang w, huang l, liu q. automatic adaptation of annotation standards: chinese word segmentation and pos tagging: a case studyc/proceedings of the joint conference of the 47th annual meeting of the acl and the 4th international joint conference on natural language processing of the afnlp: volume 1-volume 1. association for computational linguistics, 2009: 522-530.7 li z. parsing the internal structure of words: a new paradigm for chinese word segmentationc/proceedings of the 49th annual meeting of the association for computational linguistics: human language technologies-volume 1. association for computational linguistics, 2011: 1405-1414.8 nakagawa t, uchimoto k. a hybrid approach to word segmentation and pos taggingc/proceedings of the 45th annual meeting of the acl on interactive poster and demonstration sessions. association for computational linguistics, 2007: 217-220.9 kruengkrai c, uchimoto k, kazama j, et al. an error-driven word-character hybrid model for joint chinese word segmentation and pos taggingc/proceedings of the joint conference of the 47th annual meeting of the acl and the 4th international joint conference on natural language processing of the afnlp: volume 1-volume 1. association for computational linguistics, 2009: 513-521.10 wang k, zong c, su k y. a character-based joint model for chinese word segmentationc/proceedings of the 23rd international conference on computational linguistics. association for computational linguistics, 2010: 1173-1181.11 sun w. a stacked sub-word model for joint chinese word segmentation and part-of-speech taggingc/proceedings of the 49th annual meeting of the association for computational linguistics: human language technologies-volume 1. association for computational linguistics, 2011: 1385-1394.12 zhao h, kit c. unsupervised segmentation helps supervised learning of character tagging for word segmentation and named entity recognitionc/ijcnlp. 2008: 106-111.13 johnson m, goldwater s. improving nonparameteric bayesian inference: experiments on unsupervised word segmentation with adaptor grammarsc/proceedings of human language technologies: the 2009 annual conference of the north american chapter of the association for computational linguistics. association for computational linguistics, 2009: 317-325.14 mochihashi d, yamada t, ueda n. bayesian unsupervised word segmentation with nested pitman-yor language modelingc/proceedings of the joint conference of the 47th annual meeting of the acl and the 4th international joint conference on natural language processing of the afnlp: volume 1-volume 1. association for computational linguistics, 2009: 100-108.15 hewlett d, cohen p. fully unsupervised word segmentation with bve and mdlc/proceedings of the 49th annual meeting of the association for computational linguistics: human language technologies: short papers-volume 2. association for computational linguistics, 2011: 540-545.16 hwa r, resnik p, weinberg a, et al. evaluating translational correspondence using annotation projectionc/proceedings of the 40th annual meeting on association for computational linguistics. association for computational linguistics, 2002: 392-399.17 hwa r, resnik p, weinberg a, et al. bootstrapping parsers via syntactic projection across parallel textsj. natural language engineering, 2005, 11(03): 311-325.18 ganchev k, gillenwater j, taskar b. dependency grammar induction via bitext projection constraintsc/proceedings of the joint conference of the 47th annual meeting of the acl and the 4th international joint conference on natural language processing of the afnlp: volume 1-volume 1. association for computational linguistics, 2009: 369-377.19 smith d a, eisner j. parser adaptation and projection with quasi-synchronous grammar featuresc/proceedings of the 2009 conference on empirical methods in natural language processing: volume 2-volume 2. association for computational linguistics, 2009: 822-831.20 das d, petrov s. unsupervised part-of-speech tagging with bilingual graph-based projectionsc/proceedings of the 49th annual meeting of the association for computational linguistics: human language technologies-volume 1. association for computational linguistics, 2011: 600-609.21 xue n, shen l. chinese word segmentation as lmr taggingc/proceedings of the second sighan workshop on chinese language processing-volume 17. association for computational linguistics, 2003: 176-179.22 ng h t, low j k. chinese part-of-speech tagging: one-at-a-time or all-at-once? word-based or character-based?c/emnlp. 2004: 277-284.23 xue n, xia f, chiou f d, et al. the penn chinese treebank: phrase structure annotation of a large corpusj. natural language engineering, 2005, 11(02): 207-238.24 cahill a, mccarthy m, van genabith j, et al. automatic annotation of the penn-treebank with lfg f-structure informationj. 2002.25 gao j, wu a, li m, et al. adaptive chinese word segmentationc/proceedings of the 42nd annual meeting on association for computational linguistics. association for computational linguistics, 2004: 462.26 clark s, curran j r. comparing the accuracy of ccg and penn treebank parsersc/proceedings of the acl-ijcnlp 2009 conference short papers. association for computational linguistics, 2009: 53-56.27 muhua zhu, jingbo zhu, and minghan hu. better automatic treebank conversion using a feature-based approachc/ in proceedings of acl.,2011.28 ma y, stroppa n, way