（计算机软件与理论专业论文）中文语音合成系统中文本分析的若干关键技术研究.pdf

r 卜文语音合成系统巾文本分析的若干关键技术形 究 作并：陈忠 摘要 中文t t s ( t e t - t o - s p e e c h ) 系统就是把文本文字串或文件通过一定的软硬 件转换成连续的语音流输出的系统。文本分析和语音合成是t r s 系统两个基本 步骤。前者从文本中提取各种韵律控制信息来控制后者的合成，这些韵律信息对 提高合成语音的自然度至关重要。本文仅介绍文本分析研究中的一些关键技术。 本文首先介绍了t 1 - s 系统的基本原理、发展状况等，然后根据作者参与中文 t t s 系统中的文本分析的流程，依次介绍了文本预处理、自动分词、特殊符号处 理、词性调整、多音字消歧和韵律生成等关键技术。然后分章讨论了其中的三项： 提出了一种基于外部规则的特殊符号处理方法，具有很好的可扩展性和可维护 性，明显提高了特殊符号识别的萨确率：提出了基于s v m 的多音字规则自动调 整体系，有效的处理了多音字问题；最后介绍了文本韵律分层标注体系和层次化 韵律处理模型。 关键字： 文语转换 特殊符号处理 多音字消歧 层次化韵律处理模型 箱4 页，共6 4 页 巾文晤音合成系统巾文本分析的若干关键技术耐1 ：究 作忏：陈忠川 a b s t r a c t c h i n e s e 。丌_ s ( r e t t o s p e e c h ) s y s t e mi sas y s t e mt h a tt r a n s f o r m st h e c h l n e s et e to rs tr i n gi n t oc h i n e s es p e e c hb ys o m es o f t w a r ea n dh a r d w a r ea n d t h e no u t p u t si t c h i n e s e 丌_ sh a st w oe i e m e n t a r ys t e p s ：t e ta n a i y s i sa n d s p e e c hs y n t h e s i s t h ef o r m e ri sr e s p o n s i bj ef o rt h ee t r a c t i n ga | | k i n d so f p r o s o d i cc o n t r o fi n f o r m a t f o nt h a tw 1 | b eu s e db yt h ei a 舵rt ol n s t r u c tt h e s y n t h e s i so ft h es p e e c h t h ei n f o r m a t l o ni sc r u c i a lt ot h en a t u r a i n e s so ft h e s y n t h e t i cs p e e c h t h i sp a p e rj u s ti n t r o d u c e ss o m ek e y t e c h n o i o g i e so ft e t a n a i y s i si nc h i r 、e s et t ss i s t e m t h i sp a p e rg i v e sas u m m a r ya b o u tt h eb a s i cc o n c e p t i o na n dd e v e l o p m e n t o f 。t ss y s t e mf i r s t b a s e do no u rs y s t e m ，s u c ht e c h n o l o g i e si si n t r o d u c e d ： r e tp r e t r e a t m e n t 、a u t 0w o r ds e g m e n t a t i o n 、。r e x tn o r m a i i z a t o n 、p a r to f s p e e c h 。r a g g i n g 、a m b l g u i t yr e s o i u t i o n0 fp o i y p h o n e 、p r o s o d i cp r e d j c t i o n t h r e e o ft h e s ea r ed j s c u s s e dc o n c r e t e l yi 九t h i sp a p e r ：an e wa p p r o a c hb a s e d0 n e x t e r n a lr u i e si si n t r o d u c e dt od e a lw j t ht h e r e x tn 0 r m aj j z a t i o n t h ee x d e r i m e n t r e s u i t ss h o wt h a te a s y m a j n t a i n a b i i i t y 、 e a s y 。e p a n d a b i | i t y a n d g o o d c o r r e c t - r a t ea r ea c h i e v e d ；as y s t e mo fa d j u s t i n gr u l ew e i g h tb a s e do ns v mi s p r e s e n t e dt 0s o i v et h ea m b l g u j t yo fp o l y p h o n e ；a tl a 辜tt h i sp a p e rp u t sf o r w a r da k i n do fh j e r a r c h j c a i t e x tp r o c e s s i 九gm o d e i ，a n dd e f i n e sc o r r e s p o n d j n g h i e r a r c h i c a ii a b ej i n gs y s t e m 。 k e y w o r d ： r r s ( _ r _ e tt os p e e c h ) 1 _ e x tn o r m aj i z a t i o n a m b l g u i t yr e s o l u t i o no fp 0 l y p h o n e h i e r a r c h i c a l r - e tp r o c e s s i n gm o d e i 第5 页共“页 q 文语音合成系统叶 文本分析的若干关键技术研究作揣：陈忠刚 绪论 现代科学技术讵以r 新月异的速度迅猛发展，它使得世界发生着翻天覆地的 变化。在这高科技的浪潮中，以计算机为中心的信息技术起到了核心和领导作用， 沿音作为一种信息的重要载体，它的研究越来越受到重视。文语转换( t e x tt o s d e e c h ，t t s l 系统就是这个领域的重要应用之，具有巨大的应用前景。 目阿世界上已经研究出多重语言的t t s 系统，如汉、英、法、同、德等， b e l l 实验室、a t r 和s i e m e s 公司已经研制出多语种的t t s 系统，法国c n e t 实 i 蛇的多语种t t s 已经应用于电话网的公共话音服务中。在我国，许多科研单位 对中文t t s 系统也进行了大量的研究，并且市场上已经有了比较成熟的中文t t s 产品，然而这些中文t t s 系统普遍存在一个问题，即合成语音不够自然。事实 上，自然度问题长期以来都是中文t t s 系统的研究难点，也是系统评测的重要 指标，它制约了t t s 系统在实际应用方面的发展。目前中文t t s 的自然度不高 的原因主要有两方嘣：是由于计算机不能像人一样诈确的理解文本，从而无法 提取出很细致的韵律信息：另一方面，语音合成本身也存在很多问题，无法完全 实现韵律信息对合成的准确控制。 计算语言学是一门交叉科学，它的研究内容就是如果让计算机理解自然语 言具体包括汉字的信息处理、词语的信息处理、句法分析技术和语义分析技术 等。目前。计算语言学已经广泛应用到各种中文信息处理领域，其中就包括了中 文f t s 系统的日u 端文本分析处理部分。运用计算语言学可以对文本进行准确的 分析，分析的准确程度就决定了能提取韵律信息的多少，最终得到合成语音的自 然度就越高。 本文主要根据作者实际工作，在实验室以前的研究基础上，总结了中文t t s 系统的前端文本分析中所涉及的部分关键技术：文本预处理、自动分词、特殊符 号处理、词性标注、多音字消歧、韵律层的生成。其中文本预处理、自动分词、 词性标注得到广泛研究且相对成熟，可以很容易在一些科技书刊杂志上找到相关 的论文或章节，因此本文对这些技术仅做了一个简单的概括；相对来说特殊符号 处理、多音字消歧的研究文献比较少，但是它们在文本分析占有很重要地位，本 文详细讨论了这两项并提出新的解决方法；而文本韵律边界的预测作为前端文本 第6 页共6 4 页 叶1 文语音合成系统叶i 文本分析的若干关键技术研究 分析的最终目的，本文也作了重点介绍，提出了一个新的层次化韵律处理模型。 本文的安排是第一章主要介绍中文语音合成系统，第二章对中文语音合成系 统c m 0 部分关键技术作了简单介绍，第三、四、五章分别介绍特殊符号处理、多 音字消歧和韵律生成，最后第六章是总结。 第7 页共6 4 页 巾文语音合成系统巾文本分忻的若干关键技术研究作者：陈占川 第一章中文语音合成系统概述 人类已经进入信息时代，信息的存在形式多种多样，在计算机的帮助下，人 类对信息的控制能力叱在不断的加强。大量以声音、图像和动画等为媒介的交互 系统越来越多进入我们的生活，我们的生活因此乜变得更摘单、更易操作、也更 丰富多彩。中文语音合成系统就是其中一个很有代表性的一个，它又称中文1 _ r s ( 文语转换t e f r o s p e e c h ) 系统。 声讯有声服务是t t s 应用i u 景的非常广阔的一个领域。网络技术的飞速发 展，使i n t e m e t 服务项目闩益增多，时效性提高，同时，电话已成为人与网络交 互信息的终端。如通过f 色话查询股票行情，进行股票交易；通知或查询即时到达 的电子邮件：通过l 幽舌进行电子商务活动等。2 0 0 2 年世界杯的时候全国不少地 方利用丁r s7 i ：通了1 6 8 声讯服务即时传递比赛信息和花絮，取得了很好的效益。 e i 时，t r s 已应用到信息咨询、电话银行、办公自动化等各个方面，它把声 音和文字、图像集成在一起，增强了人们的理解和阅读兴趣，使人与计算机之间 的交流变得“亲切”和“友好”。 语音技术已成为智能计算机领域的研究热点，但技术的成熟度、应用的广泛 性与人们的需求还有较大的差距，无论从技术的进步还是应用的丌拓，都还需付 出巨大的努力。目自0 ，合成语音的可懂度、清晰度已基本解决，自然度还不尽如 人意，表现力的差距较大。从应用的角度来说，仅把语音输出看作是“锦上添花” 是不够的，如盲人计算机即时信息服务、语音报警提示、口语机器翻译中的语 音合成就是非常必要的。 1 1t t s 系统的基本原理 丁r s 系统就是把文本文字串或文件通过一定的软硬件转换成连续的语音流后 由计算机或电话语音系统等输出的系统 1 。一般认为，语音合成系统包括两个 主要的组成部分：文本分析模块、语音合成模块，因此可以说1 _ r s 系统是语言 学和声学有效结合的产物。图1 1 为一个典型的t r s 系统原理框架图： 第8 页，共6 4 页 巾文语音合成系统巾文本分析的若干关键技术研究 作描：陈忠川 图1 1 1 - r s 系统原理框架图 1 1 1 语言学处理 在丌_ s 系统特别是中文丌_ s 系统中，语言学处理起着非常重要的作用。它的 任务是模拟人对自然语言的理解过程，使得计算机对输入的文本能充分理解，然 后从中提取其后语音合成所需要的各种信息 2 。这些信息一般可以分成两类： 一是语音信息，它决定了合成语音的准确性：另方而是韵律信息，它则直接影 i 阳了合成语音的自然度。语音信息主要根据发音规则末确定，如词典中规定的拼 音信息、多音字处理规则等，而对韵律信息，必须先要对输入文本进行处理，然 后辅以韵律规则库来提取。这些文本的处理分析在主要包括自动分词、文本标准 化、拼音调整、词类调整、语法分析和语义分析等，都属于计算语言学的研究范 眦哿。由于文本分析处理的结果对于韵律的准确提取至关重要，而韵律信息直接影 响了合成语音的自然度，因此可以说计算语言学的运用程度将大大提高最后输出 的合成语音的自然度。同时，一些特殊字( 如特殊字符、多音字等) 的语音信息 的准确性也依赖文本分析的结果。 1 1 2 声学处理 系统知道了要说什么并掌握了韵律控制参数后，它是如何使计算机发声的 昵? 系统产生的合成语音星通过一个声学模块来具体实现的。早期语音合成系统 的声学模型多是通过模拟人的口腔的声道特性来产生的。其中比较著名的有 k | a t t 的共振峰( f o r m a n t ) 合成系统，后来又产生了基于l p c 、l s p 和l m a 等声学 第9 页，共6 4 页 嚣一j j i 9 0 g g 目 n ：t 一 巾文函音合成系统叶 丈本分忻的若十关键技术邗f 究 作# ：陈忐川 参数的合成系统，这些都可以归结为参数合成系统。使用这些方法建立声学模型 的过程是：首先录制声音，这些声音涵盖了人发音过程中所有可能出现的读音： 然后，提取出这些声音的声学参数，并整合成一个完整的音库( 3 】。在发音过程 t 1 i ，首先根据发音需要从音库中选择合适的声学参数，然后根据从韵律模型中得 到的韵律参数通过合成算法产生语音。参数合成方法的优点是其音库一般较小， 并且整个系统能适应的韵律特征的范围较宽，但其合成语音的音质却往往受到一 定的限制。 近1 0 年来采_ = | 波形拼接( p s o l a ) 合成语音的方法越来越被广泛应用。这种 力法的核心思想是直接对存储于音库的语音运用p s o l a 算法进行拼接，从而合 成完整的语音。有别于传统概念中只是将不同的语音单元进行简单拼接，该系统 首先要在大量语音库中，选择最合适的语音单元用于拼接，并且在选音过程中往 往采用多种复杂的技术，包括多项统计学上的技术或神经网络技术，最后在拼接 时，使用p s o l a 算法，对其合成语音的韵律特征进行修改，使合成的语音达到 了很高的音质 4 】。如同本a t r 推出的多语种语音合成系统，就采用了统计学上 的隐马尔可夫模型来进行选音。其他的一些主要语音产品，如s i e m e n s 的 p a p a g e n o 系统，也采用了类似或相关的技术。 1 2 中文t t s 系统的发展历程及现状 中文t r s 系统的研究丌始于上个世纪6 0 年代，最初发展比较缓慢，到了7 0 年代后期8 0 年代初期，随着计算机科学的发展，彳有了较快的发展。近年来， 由于信息技术的迅速发展，语音技术的重要性f 被越来越多的研究单位和跨国公 司所认识。国内一些科研单位对中文门_ s 系统进行了大量的研究。 2 0 世纪8 0 年代，中科院声学所首先丌始中文语音合成的研究。之后，社科 院语言所、清华大学、中国科技大学、北方交通大学等单位陆续开展了对中文 t r s 的研究，同时，台湾交通大学、台湾大学和国际上的b e | | 实验室也研制了中 文t 1 - s 系统，其中清华大学、中国科技大学、中科院声学所等单位都取得了很 好的成绩。1 9 9 9 年，在口语处理国际会议期间，还举行了语音合成系统的评比， 有十几种语言的几十个系统参加，其中有5 个中文系统。 国内对波形编码合成技术研究比较成功的单位主要是清华大学和中科学声 第1 0 页，共“页 - 1 ，文语音合成系统巾史本分析的若干关键技术研究 作辑：陈忠川 学研究所。该方法采用语音编码技术，存储适当的语音基元，合成时，经编码、 波形编辑、平滑等处理后输出语音。它的特点是语音基元是从自然语音中切分出 来的，傈帮了i l 然i 鲁啬的韵律特性，因而自然度比较好【5 。基元拼接过程中的 数撕网2 滑是必1 i - ，j 。少的，它直接决定了合成音质的好坏。有些研究机构曾以汉语 音素( 2 2 个辅音、3 8 个元音共6 0 个) 为合成基元实现文语转换，但是由于合 成丛元为单音节的，音节i 刈的平滑工作不能满足自然度的要求。 8 0 年代未期，旗音同步叠加技术( p s o l a ) 同趋成熟，p s o l a 既能保持原 始发音的主要音段特征，又能在拼接时灵活的调整基频、时长和强度等超音段特 征，因而成为种比较好的波形拼接技术 s 。中科院声学所研制的基于p s o l a 技术的中文文语转换系统，它的合成过程是对音库中取出的音节波形段进行了基 音同步调节使其达到韵律规则库确定的该音节所应具有的音高、音长和音强，然 后将调节后的音节拼接成输出语音。该系统一方面由于音库取自自然语音保持 了自然语音的音段特征，因此系统输出的清晰度较高；另一方面由于具有个较 为完整的韵律规则库，而p s o l a 技术又使得系统能根据韵律规则去改变取自音 库中的音节的基频、音长和音强等韵律特征，因此系统自然度也较好。 1 3 计算语言学在中文t t s 系统中的地位及研究内容 在中文1 _ r s 系统中，自然度和清晰度已成为两个最重要的指标，也是影响转 换质量的关键因素。目前各种语音合成系统输出的语音音质跟自然语言的语言音 质相比还有较大差距，合成的语音脱不了浓重的“机器味”，即语音台成的自然 度不够。因此自然度的提高已经成为中文1 - r s 系统的研究重点。 提高中文丁r s 系统自然度的努力主要集中在两个方面，一是从计算语言学的 角度精确对文本的分析和韵律信息的提取。抑扬顿挫、流畅自然的合成语音依靠 的是大量韵律规则的使用。这些规则主要用于对句子的轻重位置、各成分的时长 分布、各种节奏停顿、语调等韵律特征给出定量的韵律参数。由于这些规则的实 现必须以文本分析的结果为基础，因此只有从更深层次上运用计算语言学的知 识，全面分析文本的句法、语义等才能较为细致的划定韵律参数。另一个努力的 方面就是语音合成技术，由于目前的中文。几s 系统大多采用p s o l a 算法进行语 音合成，因此这方面的努力主要集中在如何改进p s 0 l a 算法，使其可以根据各 蒴1 1 页，共6 4 页 中文语音合成系统中文本分析的若干关键技术硼f 究作冉：陈忠刚 种韵律参数有效的调整合成波形。 1 3 1 计算语言学在中文t t s 系统中的地位 计算语言学是一门交叉学科，它既涉及到传统语言学的内容、又涉及到计算 机科学的内容 6 。就理论研究来看，它本身还可以分为计算语音学、计算嗣汇 学、计算语法学、计算语义学、语料库语言学等不同的分支 8 。这些分支学科 各独、j ：、掩仃侧啦叭汁鲜语吉学又足门应剐学科、实验学科，它面划的往 往是项语言：l 程，在实际操作中，即使一个很小的语言问题，也往往要涉及到 词汇学、语法学、语义学，很难将他们截然分丌。 随着后端语音合成技术研究的深入，我们掌握了更多的韵律知识，可以使合 成语音更加具有表现力，也讦i 是由此，我们意识到了对文本中语法语义精细结构 的了解划于进一步提高合成效果的重要性。因此，计算语言学的在中文t 1 s 系 统中的作用被提高到一个前所未有的高度。 1 3 2 计算语言学的研究内容 计算语吉学的研究内容t 要在以下几方面： 1 3 2 1 汉字的信息处理 文字，从本质上说不属于语言本身的构成要素，它只是记录语言的工具。但 是汉字具有表意的特殊性，在计算机的信息处理中，它不能不占有相当的地位， 而且在汉字处理中也确实涉及了一些语言学的问题。同时，信息是靠语言文字来 传递的，因此信息处理首先要处理语言文字。汉字处理技术主要是解决汉字的计 算机输入、输出、存储和传递问题，这其中重要的一项就是汉子的编码。 1 3 1 2 2 词语的信息处理 随着汉字信息处理技术难题的相继解决，近年来，我国语言文字处理的研究 重点逐渐从字的信息处理转向词语、句子和篇章的处理，其中词语的信息处理主 要包括： 词语的自动切分 电子词典的设置 语料库的建设 第1 2 页，共6 4 页 巾文语音合成系统中文本分析的若干关键技术研究 作并：陈忠川 信息的仁l 动畅h 丰 1 3 _ 2 _ 3 句法分析技术 语言信息处理的研究目的是让计算机能理解人类的语言，而人类语言传递信 息的莽本单位是句子，因此信息处理要深入到句子这个层面上来。对于句子结构， 传统认为是“三婴豢”：语音、词汇、语法。5 0 年代木，乔姆斯基的转换生成语 法理论的出现，i ：人们对语言结构的认识有了改变，现在认为构成语言结构的三 部分应是句法、语音、语义。句法是用来组织语言各单元，它的分析要依据语言 学理论的分析程度。典型的句法分析方法有：短语结构语法( p s g ) 、扩充转移 网络( a t n ) 、确定性分析的析句方法等。 1 3 2 4 语义分析技术 人类用语言进行交际的起点和终点，即说话者要表达的和听话者所要接受 的，都是意义。目日口，计算机理解和生成自然语言过程中存在很多难题，这些问 题的解决都离不丌语义分析。就目前阶段而言，语义分析技术远不如句法分析技 术那么成熟，还处于一个摸索阶段许多问题还未能解决。语义分析的基本方法 主要有：语义标注、语义框架、语义网络等。 1 4 本章小结 本章首先介绍了t 1 s 的应用前景，提出t r s 研究的意义；然后从1 _ r s 系统 的处理流程上介绍了其基本原理：接下来对于中文丌- s 系统的发展情况作了一 个简单的回顾和总结；最后针对中文丁r s 系统中的文本分析，介绍了计算语言 学在中文t r s 系统中的地位以及其研究内容。 第1 3 页，共“页 巾丈语音合成系统中文本分析的若干关键技术研究 第二章中文t t s 系统的文本分析中一些关键技术 从第一章已经了解到，文语转换系统一般可大致分为前端的文本处理部分和 后端的语音合成部分，i n 者蕾要解决语言文字层的问题：而后者则是根据自h 者的 结果得到韵律，并合成出最终语音的过程。在文语转换技术发展的仞级阶段，由 于后端合成的表现力不足，自口端的处理显得不是很重要，因此出易被忽视。但当 后端的表现力提高到一定程度后，前端的分析显得尤为重要。 中文厂r s 系统前端文本分析的任务也就是后端语音合成的要求，因为前端的 l 作是为后端合成服务的。可以用一个例子来说明d u 端的任务。假设待合成文本 就一句话，比如况是：“司马光还在2 1 世纪的第三天。”后端合成一句话所需要 的信息有：合成这句话时所需的每一个拼音，还有各个拼音问的连接紧密程度。 我们现在的系统自h 后端传递的是这样一棵树( 称之为语音树) ： 图2 1 文本分析的目标：语音树 由于空间所限，上面这棵语音树中还有很多信息没有能显示出来，如每个节 点的轻重读信息、中英文发音方式等，这些信息均反映了拼音和各个拼音间的紧 密程度。 筇1 4 页共6 4 页 叶【文语音合成系统中文本分忻的若干关键技术研究作者：陈。s 川 本章结合作者参与的中文丁r s 系统，根据其文本分析的处理流程，对其中的 一些关键技术，作个简单的介绍。 2 1 中文t t s 系统文本分析中关键技术的综述 图2 1 的语音树是我们文本分析的目标，为了得到这样一棵树，本文提出了 层次化处理思想，“汉语是一种概念的堆砌”，事实上不仅仅是汉语，对任何一种 自然语言，总是l “一些比较小的语言单位逐步一层层的组合为更大的单位，表达 特定的意义。而汉语这种层次累进的构成关系就更为明显，所以本文采用将不同 级别的语言单位分别定义并予以分层次处理的方法，将一句文本的各层信息归结 到一棵分析树，而整个处理的过程也就是不断扩展这棵树的过程。与其它仅进行 单一或有限层处理的方法相比，本文的方法能更自然准确的描述自然语言，同时 更加易于处理和进一步的扩展。 层次化处理直接导致了模块化分步处理的思想，由于各个层次范围的预先确 定( 我们系统划分的层次范围见圈2 2 ) ，可以针对不同的层采用不同的算法， 再根据层问的依赖关系按顺序进行各层的处理。所以我们为不同层的处理丌发不 同的模块，他们以独立二进制文件的形式存在，在总控环境下加载运行，中m 的 数据传递即为带处理的树。这种思想带来的赢接好处就是整个系统的可剪裁性与 易维护性，可以根据不同的应用场合选择合适的算法模块，取得性能效率的一致； 而且可以由不同的人丌发不同的模块，使维护变得容易；同时易干做不同算法实 现的性能对比测试：更重要的是，极大的提高了出研制状态转为应用状态的速度。 图2 2 文本分析的流程 根据中文t r s 系统文本分析处理流程，可以相应划分为如下一些模块：文本 菊1 5 页，共6 4 页 巾文语音合成系统qr 文本分析的若干关键技术研究作辑：鼢；忠川 预处理、自动分词、特殊符号处理、词性调整、多音字消歧、韵律层的生成。 对于新的文本来到时，首先必须进行预处理成统一的格式后爿能进行以后的 各利一处理。文本预处理包括无效字符删除、分句、字符集转换等。 对于单字节符号，从o o h f f h ：剥于双字节符号，从0 0 0 0 h f f f f h 进行扫 描将这两个区l n j l l l 所有的符号分为有意义的符号和无意义的符号。将所有无意 义符号的区川进行9 类。然后依次捡查输入文本，将其中的属于无意义符号中区 川的宁符挑选米，：惭这些无意义的符号填加到附加接点- 巾去，并为这些接点设 置特殊标记。将来对于这些加过标记的附加接点，将不作任何处理。这一点对于 后面的处理很重要，因为无意义符号的存在会使后面特殊符号的识别、汉字的分 词等处理发生错误。 分句是指从连续的篇章中搜索出当前应处理的句子单元，它主要依据特征标 点符号、旬长统计等信息进行处理，它决定了每次处理的粒度。 字符集转换是为了支持多内码文本，我们系统当前已经支持的字符集有 g b k 、b i g 5 。 预处理完成后，得到的是统一编码的有效的文本句子。出于中文文本的特殊 性，接下来的任务就应浚是自动分词了，自动分词方法很多，技术也比较成熟， 2 2 节会对其作一个简单介绍，包括了未登录词识别。 特殊符号处理指文语转换中，对于文本中出现的除汉字以外的其它字符，如 何给出其f 确的发音信息( 如拼音、节奏、词性等) 。特殊符号处理是文语转换 系统的日u 端处理中一个重要的部分。特殊符号处理的不好，不仅会影响合成系统 的音质，甚至会使系统对于某些字符串的读音完全弄错，使合成后的语句很难被 听懂或使合成后语句被错误的理解。第三章将对特殊符号处理作详细的介绍。 在分词阶段，多词性词的词性可能被标错，这会导致更高层的拼接错误，如 后面的多音字处理中，词性是多音字规则判断的一个条件。词性调整的目的也就 是调整其词性直至正确。本章2 3 节将对词性调整的原理方法作较为详细的介 绍。 多音字的处理一直是文本处理的一个难题。由于各多音字的读音情况千差万 第1 6 页，共6 4 页 巾文晤音合成系统巾文本分 斤的若干关键技术研究作揣：陈忠川 别，难以用统一方法处理因此在文本处理的不同阶段都进行了相应的多音字调 整，比如在未登录词中的姓氏处理部分以及词类调整阶段。对于其它不能覆盖到 的情况则采用规则的方法来处理。如有这样的规则：得在数词之前都读成d e 2 。 多音字处理第四章将列使用规则处理多音字的方法做详细介绍。 文本韵律是中文1 - 广s 系统中文本分析的目的，在这个模块，我们利用了f i i 面 各个模块处理结果，生成韵律的各个层次来反映文本韵律的一些精细结构。第血 章将首先给出文本韵律分层标注体系的定义，然后详细给出各层生成的方法原理 等。 另外，单个有蛹音节放在同组中，由于协同发音效应和语言表达的约定俗称， 会技t l 二有规律的变现象：从l 一1 语发展而束的种常用单音竹名词后加“儿”尾 辅助成分的儿化词，会产生特殊的语音现象：儿化音，它的特征就是“儿”字在 词尾，并与它前面的被修饰字结合紧密。这些汉语读法现象对合成语音的自然度 也有一定的影响，因此在我们系统中也加入这方面的处理。 2 2 自动分词 汉语是一利t 词根语，与西方语言不同，它采用连续的书写形式，词与词之问 无自然界限，无词尾形式标记，无形念变化【9 。这种“三无”现象使得人们在 用肉眼阅读时需要借助大脑思维切分词语，而在中文t 1 - s 系统中，若要让计算 机理解和处理书面汉语，以便给出难确的韵律参数，就必须先进行自动分词的工 作。 2 2 1 分词算法 目前汉语自动分词方法至少有十几种，分词速度也不尽相同，下面列出几种 典型的分词方法： 机械匹配分词法 其基本思想：实现建立一个词典库，其中包括了所有可能出现的词。对 于待分词的汉字串s ，根据某种确定的原则切取s 的子串，若该子串与词库 中的某条词条相匹配，则该串是词，继续分割剩余的部分，直到剩余部分为 空；否则，该子串不是词，转上重新切取s 的子串进行匹配。图2 3 给出了 箱1 7 页，共6 4 页 巾史语音合成系统叶文本分忻的若干关键技术砷究 这种方法的流程。 ：否 百磊素i t 皋s 的事蹋辚 l 图2 3 机械分词法 我们系统采用的就是| ；i r 后向最大匹配的机械分词方法，通过对词典的不 断完善，我们系统分词的平均证确率目前达到了9 7 ( 人民f | 报语料更高) ， 这个数据是在忽略了未登录词的错误后测出的。在专门的未登录词处理后， 正确率达到9 8 7 。 高频词优先分词法 此方法是基于词频的统计、字与字之问的构成结合律等现象的分析提出 来的。根据现代词语频率词典，对于报刊和政论性文章，不同音节词的 词频为：双音节词7 4 ，三音节词3 7 ，单音节词1 7 2 ，五音节以上的 词o 4 。因此分词时首先考虑两字词，然后考虑单字词。这种方法提 高了分词的效率，但是对于歧义问题也同样没有办法 1 0 1 。 神经网络分词法 此方法是模拟人脑并行、分布处理和建立数值计算模型工作的【1 1 【1 2 。 第1 8 页，共6 4 页 f 文沿爵合成系统r 卜文本分忻的柠1 二关键技术甜f 究作并：陈忠h 0 它将分词知识存入神经网络内部，通过自学习和训练修改内部权值，以达到 讵确的分词结果。 专家系统分词法 从专家系统的角度把分词的知识( t 生括常识性分词知识与消除歧义切分 的启发性知识即歧义切分知识) 从实现分词的推理机中独立出来，使得知 让l 眸的维护与推理机的实现互不二f 扰，从而使知识库易于管理和维护。它还 具有发现交集歧义。声段和多义组合歧义字段的能力和定的学习功能 1 3 。 上嘶叫种典型的分测方法，各有优缺点。机械分i 司的优点是易于实现，缺点 精度只有在完善的词典库下j 能得到保证：基于规则的知识分词方法( 如神经网 络分词法和专家系统分词法) 的优点是精度较高，缺点是难以实现。后者难以实 现的主要原因是：人们对汉语构词、构旬等规律在计算机形式化方面还很落后， 甚至可以况对于汉语这些规律的认识不统一、不清楚；再者，从实践上看，为了 提高知彭 分词的精确度，往往需要引用大量的知识，而对这些“巨量”的知谚 进 行有效的组织和管理也比较困难。而且，这些知识往往是不完备的，甚至是自相 矛盾的，这样势必会产生意想不到的切分错误。这也是我们系统采用机械分词的 1 = ! 要原区。 2 2 2 分词歧义 在分词过程中，具有两种或两种以上的切分形式的字段的情况，称为分词歧 义。分词歧义( 歧义切分字段) 是影响分词精度的重要因素。 2 2 2 1 分词歧义的类吧 通常，人们把汉语文本中的歧义切分字段分成交集型和组合型两个基本类 型。 交集型歧义切分字段 如：土丝z 鲤险工他z 的z 驱签和土丝z 鲤z 险工d 鱼z 的z 亟爱。交集型歧义 又有伪歧义和真歧义之分。所谓伪歧义是指虽然是交集型歧义，但是只有一 种切分形式是可实现的【1 4 】，如：壶扬经渣z 馇剑和直扬丝渣签剑。 组合型歧义切分字段 第1 9 页共6 4 页 巾文语音合成系统巾文本分忻的若干关键技术研究作并：陈忠川 如：至监和毯。 根据调查在真实文本中交集型歧义占8 4 ，组合型歧义占1 6 。交集 型歧义切分字段- ! ，+ 令部歧义圳分字段的绝大多数，因此在我们系统中目前仅处理 了真歧义的交集型。 2 2 2 2 分词歧义常川解决方法 常刚的解决分词歧义的方法有如下几种： 分词知u 处卫断去 这类方法是通过列大量的歧义切分字段的研究，发现其中的一些普遍规 律，获得知谚 ，并反过来利用获得的知识来处理歧义字段【1 5 。 联想一l 亘i 溯法 陔方法主要依掘规则库处理歧义字段，规则库中包括语法知识，使用联 想机制构造新词汇，利用回溯机制处理歧义 1 6 。 垫于凋频统计的方法 该方法的基本思想是在分词过程中，依据词频的统计结果，对歧义段进 行处理，频度高的词优先分出。如果a b c 是交集字段，a b 的频度比b c 高， 则应切分为a b c ：若a 的频度比c 的频度大，则应切分为a b c 。 邻接约束法 由于句法、语义或习惯用法的限制，或人们为了避免造成阅读上的困难， 相邻词之间有种约束关系，称为邻接约束，如“那旱”就不能被分成“那 里”。 基于数学期望的方法 在一个句子中，由于人的说话习惯和汉语语法等，一个词的出现对于后 面的紧跟的词有种期望，根据语法知识和语义知识，可把该期望分为结构期 望和语义期望。 在这些方法中，基于词频统计的方法比较直观，而且可以在分词的同时进行 消歧，实现起来也比较简单，因此我们系统中就采用了词频法消歧的方法。 第2 0 页，共6 4 页 1 _ ! = ! = 语音合成系统叶1 文本分析的若干关键技术研究 2 2 3 未登录词识别 凶为词典是相对封闭的，在系统运行过程中，词典大小不可能改变。虽然可 以考虑把一部分常刷的人名、地名等专用词加入词典中，但是不可能加入所有的 术登录词。因此一个好的文本分析系统必须有一套针划末登录词生成的算法来及 时生成这些专刖名字。 2 2 3 1 人幺改圳n 勺策 汉语中姓氏塔管很多，但是主要集中在少数大姓上，姓名总数的8 8 为常见 的1 0 0 个姓氏 1 7 ，i 司样人名用字的使用在比较集中。这样就提供了用统计方法 解决人名识别问题的可能。 在实际环境中，姓名的往往刁；是孤立出现的，会伴随一些限制性的成分。( 1 ) 在其前后常常会出现一些表示其身份的词，如：工人、教师、影星、创始人、之 流等；( 2 ) 地名或，靼位名往往用在人名之前，如：中国跳水队伏明霞、江苏南通 二f 平：( 3 ) 并列人名之f 日j 用顿号或“和同与”等词连接。同时，中文人名 的构成的一些习惯! 也卅以作为规则来对统计方法作个有效的补充。如下面的 j 爿。腆： 完全形式的姓名包括两部分：姓在前，名在后： 前缀+ 姓：如“老王”、“小李”： 姓+ 后缀：如“王老”、“侯总”、“李某”等： 有姓无名：如“王从张处得知了这一情况”； 有名无姓：单个名字也可以作为人名的一种简称姓氏； 姓+ 称谓词：这种形式在汉语非常常见，如“张妈妈”、“王老师”等。 因此，我们系统对于中文人名的识别采用了统计加规则的处理策略，对于单 字姓氏集、双字姓氏集、姓名中间字集、姓名末字集，统计了作姓概率、作中间 字概率和作末字概率，辅于一些未登录词识别规则。 对于外国译名，主要采用了统计的方法，因为没有多少可用的规则。我们统 计了每个汉字作为外国译名各个部分的概率。 第2 1 页，共6 4 页 ，t 文语音合成系统- n 文本分昕的若干关键技术研究作存：陈忠川 2 2 3 2 地名改别的策略 与中文人名和外国译名相比，地名相对数量要少的多，因为世界上的地名总 是有限的。地名同样有中国地名和外国地名之分。 对- _ j 二中国地名，我们的处理策略是，首先将常用地名收录进词典。目前我们 圳典中就收录了中田县以上的行政地名。根据新版辞海的附录，中国县以及 县以上的行政地名共2 5 8 4 个，其中包括了不少极少见的县名。同时收录了几 己i 个常见的自然地理名称和著名风景旅游区的名字。剥于那些县以下级别的行政 地名和一般的自然地理名称一律不收录进词典，需要在文本中动态识别。 对于外幽地名处理策略和中国地名类似：将常见地名l 恢录进词典，这些地 名包括所有的国家名，首部名私i | i ； 界知名城市名。同时了数百个著名的自然地理 名称和世界著名旅游区的名字。对于其他的地名，一律在文本未登录词处理时识 别。 同样地名的构词特征和上下文特征也能为地名识别提供定的知识。如下面 几类词： 一山、岭、贫地、岛、沙漠 乡、村、街、巷、路、镇 城、楼、庙、门、亭、寨 j + f 、县、市、区 因此，我们的地名识别策略是，以地名后缀为触发条件，当遇到地名后缀时， 提出一个地名候选词，然后检查候选词上下文，如果发现上下文符合地名上下文 特征，则识别该地名。 z 2 4 衍生词的识别 我们定义的衍尘词是指由词典词经过固定的某些变换得到的派生词。如“唱 起歌来”，这个词是由“唱歌”这个词衍生而来。显然衍生词跟其原型词在语义 上并没有太多的区别，只不过在语气、语调上有着自己的特点，因此自动分词的 时候，我们希望能将其拼接一个词。 第2 2 页，共“页 r f 丈语爵合成系统r 文术分析的若于关键技术l ：究1 1 ：异：陈出h 0 衍生词具有以下特点： 存在一个原型词 我们定义“丹歌”为“唱起歌来”的原型词。 衍化胤律通川原j 性目搬多、很普遍 如可以是“唱起歌来”、“打起架来”，“洗起谎来”。 衍生觇律不是适用所有的词 象“a 起b 来”就不可以是“演起员来”，“规起律求”。这就是说衍 尘需要满足一定的条件，“a 起b 来”这条衍生规则就是需要a b 是一个动宾 关系的词。 规则显然是处理衍生词的有效方法。在我们系统的衍生词规则库中定义了五 。i 多条规则。这些姚则基水上能处理目前遇到的绝大部分衍生词。 2 3 词类调整 我们系统中词典库的设计是，划。于单词类词，在词典库中是可以通过词语唯 确定的；而剥于兼类词( 多词类词) ，是通过词语和词类4 能唯一确定一个词 条。也就是说对r 兼类词，有几个词类，在词库中就有几个词条项。分词的刚候， 每个分开的词语的词类均有了初始值( 因此我们的这个过程称为调整而不是标 注) ，这个初始值显然未必是正确的，考虑到词类对后面各个处理模块的重要性， 因此在自动分词结束后，必须立刻对词类调整。 词类调整的主要问题是兼类词的问题【1 8 】。词类调整的难点就是兼类词的消 歧。汉语缺乏形态变化，词的应用非常灵活，可以充当句子的不同成分，因此汉 语中词语兼类情况特别多，特别复杂。尽管在兼类词在词典中的比例不是很高， 但是在语料文本中出现概率却比较高，这说明许多常用词是兼类词。 2 3 1 词性标注的常用方法 词性标注是一项相对文本分析其他处理来说比较成熟的一项技术，已经走向 实用化，常用的方法有： 笫2 3 页，共6 4 页 f ，文爵青合成系统t 文水分析的廿干关键技术研究作肯：陈忐川 2 3 1 1 丛丁规则的方法 基于规则的方法利用语言学家归纳出的舰则进行测性消歧，例如t a g g r r 系 统 1 9 】运用了3 3 0 0 多条删则和8 6 利- 词阡，其准确牢为7 7 。b r j | | ( 1 9 9 2 ) 2 0 】 提出一种 占于转换规则的词性标注，获得了9 5 - 9 6 的准确牢。 v o u t i i a i n e n ( 1 9 9 4 ) 【2 1 则采嗣约束文法进行词性标注，获得9 9 3 的准确率，这 结梁是迄今为i f ：关于测性明整的最好的结果。 赆管语吉学f 1 勺力；上能取得很好的嗣。胜标注结果，f j l 是考虑到获得一个好的模 型所耍付i 川l ，j 火量的人九，凼此我们系统并没有采用这样的方法。 2 3 1 2 基1 ：统计的方法 基于统计的方法是最常使用的一种词性标注的方法。对于给定的输入词串， 块于统讨内方法5 t 确定其所有可能的词性串，然后对它们分别打分，并选择得分 最高的词性串作为最佳输出。常见的统计词性标注的方法有基于隐马尔科夫模型 ( h i d d e nm a r k o vm o d u i e s ，h m m ) 的方法、基于频度的方法和基于n 元模型的 方法。其中h m m 结合v j t e r b i 算法的词性标注方法最为常见。 2 3 1 3 混合的方法 混合方法足一种统计与规则相结合的方法，最典型的是l a n c a s t e r 大学的 c l a w s 系统，它将一些有关英语多字词、成语的规则引入h 卜1 m ，最新的版本是 1 9 9 6 年的c l a w s l 7 。其准确率为9 6 9 7 。 我们系统中采用的方法是混合方法。 2 3 2h m m 模型 2 3 2 1 理想化的词性标注概率模碘 从概率的角度，词性标注问题可以描述为：给定一个含有词语的序列 w ，w 2 ，l 的输入句子，确定最有可能的词性标记序列丁= ，2 ，。，使得条件 概率j d ( rj ) 最大。p ( 丁i ) 目前还很难直接估计，一般采用贝叶斯原理进行转 换，即： 尸( r i ) ：! 婴! 咧型 ( 2 1 ) 、1 p ( 1 筢2 4 页共6 4 页 r l 文语音合成系统叶1 文本分忻的若干关键技术 i f 究作靠：除忠川 山于词性标注r f t ，w 是给定的，j ) ( ) 不依赖于t ，因此在汁算j d ( r i ) - ，j 以不考虑，( ) ，川时、v 用拿概率公式尸( 爿，口) = 尸( 彳) p ( 口f 4 ) ，有， j 【，；) = j (