（通信与信息系统专业论文）汉语合成中基于机器学习的韵律模型研究.pdf

；塑竺 一一 坚堕鱼! 苎! ! 苎! ：坐堂堂型竺塑堡丛望型塑 p 互3 5 i18 摘要移l ， l 随着 ：会的发展，汁锋机| l 髓成为人类! l ：活必不l u 少的f ；f j 分。如何才能方便f l 、j j j 计算 机逾订交流就成为人们需要解决的一个匝要的问题。语苦是人类最方便的交流方式。i x i 此人 ”j 希耀能够采j h 语言j 计算机削妾进行交流，【n 就灶实现人机之问的舆j i 的i 占y t , j | j l m 。f 17 为 这一要求的计算机白然语言输出部分，再种语言的语爵合成系统近些年来得剑j 。r 分迅地的 发腮。i l j 现山了人茸的新技术和新垃汁。 住i l f 爵合成系统巾，韵伴模j 弘址必_ i 可少的。它将_ i l f 端文本分析1 jj i 端诳卉生成暇系起 求，实际l ：起了一个1 r 常爪嘤| 勺桥梁f 1 ：川。闪此盘们波汁韵律模，n 使之能够更：f f 】蚍近的表 现r | 然i l i 青1 1 1 符种符样f i 韵m 观琢，成为了i f i 舟台成系统改 lt l ，个重要帕纰成部分。小义 就煺以此为口标，对韵律卡；! j 乍成力法进行丁较为深入的埘究。j 文q 1 首九介 “了汉语语爵中的些堆小概念，其t 】包括语音的产生模】p 以及汉语行系 恂。然肝对汉语语音l j 的一些韵律删则进仃j 总结。这然韵律规则是我们训幼：韵律模，弘必小 可少的经验知识。 水文的重点是放f i i i , , j 采川机器学爿方法牛戊韵律模7 弘。( 为了更好的训约；韵 | t = n 儿 作者采川了一套对训练数据进行j = ! i j 处+ i t l , j 方法川以删除训约；数据中的噪声数据。住i i l 约 c h 作朽阿先提山了一种基丁c 4 5 决策恻的韵律模7 弘。庄文中，作肯详细的介2 “，c 45 弹浊的 流聘! ，然历通过试验指小了山这种韵律模j 怛乍成n 0 丛频曲线，与韵律规则方法相比，更加接 近白然t f 流巾的基频曲线。这种方法已经被放入实川的汉t j - i h i 音合成系统，r 且得到了令人鼓 胖的结果。、 7 庄保持决策树算法壮体结构不变的情况h 作齐义捉山丁一种丛 i 混合- 岛斯模，i u 挑镱扣q 的韵律模) 诬的改进刑算法o ，c 4 5 决策树算法t ，存仡一个| j i i i 仃的问题，即数据类吧事先定义。 | j 类j 唑数1 ；能过多。而地下批合高j l j 模j 弘决策扣叶! _ 7 ：“i 址亿决策树! i i 成过wr f f i i 动| j - 4 j ! 数掘 炎州故，闪此更能反映1 1 然i 占言t l i 多变的韵律脱象。这一点出做试验所证1 9 j 。 、 糙后本文对整个论文进i ? j 总 ，j f 找山 r 若。i 改进力法。、) ， q 利 术人学帧h 亡殳 垒! 壁翌壁竖堡垒些! 兰! ! 矍堂翌塑塑堡堡型塑! ! a b s t r a c t w i t ht h ed e v e l o p m e n to ft h eh u m a ns o c i e t y , t h ec o m p u t e rh a sb e c o m eo n eo ft h ei n d i s p e n s a b l e p a r t so fh u m a nl i v e s h e n c e1 1 0 wt oc o m m u n i c a t ew i t hc o m p u t e r sb e c o m e sav e r yi m p o r t a n t p l o b l e m v o i c ei so n eo f t h em o s te f f i c i e n tc o m m u n i c a t i o nm e t h o d so f i l u l n a n s s op e o p l eh o p e t o c o m m u n i c a t e d i r e c t l y w i t h c o m p u t e r w i t hi t w h i c hi sc a l l e dt h em a n - m a c h i n ev o i c e c o m m u n i c a t i o n a st h eo u t p u to fm a n - m a c h i n ev o i c ec o m m u n i c a t i o n ，m a n yt y p e so fs p e e c h s y n t h e s i sm o d u l ef o rd i f f e r e n tl a n g u a g e s a r eb o o m i n g r e c e n t l y 1 nt h es p e e c hs y n t h e s i ss y s t e m ，t i l ef u n c t i o no fp r o s o d ym o d e li st oc o n v e r tt h er e s u l to ft h e t e x t - a n a l y s i si n t ot h ea c o u s t i cp a r a m e t e r su s e df o rg e n e r a t i n gs y n t h e s i z e ds p e e c h t h ei m p o r t a n c e o fp r o s o d ym o d e li so b v i o u s s oh o wi og e n e r a t et i l ep r o s o d ym o d e lt or e f l e c tt i l e p l o s o d y p h e n o m e n o nc l o s e l yi so n eo f t i l em o s ti m p o r t a n tc o m p o n e n t so fa s p e e c hs y n t h e s i ss y s t e m t h i s t h e s i sm a k e sa d e e pr e s e a r c ho i lt i l ep r o s o d y m o d e l g e n e r a t i o nm e t h o d t h ef i r s ts e c t i o ni st oi n t r o d u c es o m eb a s i cc o n c e p t i o n so nt h em a n d a r i ns p e e c h ，w h i c hi n c l u d et h e s p e e c hg e n e r a t i o nm o d e la n dt h ek n o w l e d g e o nt h ep h o n o l o g yo fm a n d a r i ns p e e c h t h e nw es h o w s o l n ep r o s o d yr u l e so fm a n d a r i ns p e e c h t h e s ep r o s o d yr u l e sa r ee s s e n t i a lp r i o rk n o w l e d g ef o l t h e g e n e r a t i o no f p r o s o d ym o d e l t i l ee m p h a s i so ft h i st h e s i si so nt h eg e n e r a t i o no fp r o s o d ym o d e lb ym a c h i n e - l e a r n i n gm e t h o d b e f o r et i l et r a i n i n gp r o c e s so f a p r o s o d ym o d e l ，as e to f p r e t r e a t m e n tm e t h o d sf o rt i l et r a i n i n gd a t a g r o u pa r eu s e dt og e tr i do fb a dd a t a t h e nap r o s o d ym o d e lt r a i n e db yc 4 5d e c i s i o nt r e e i s p r o p o s e d 1 nt h et h e s i s t h ep r o c e s so f c 4 5d e c i s i o nt r e ei sd i s c u s s e di nd e t a i l t i l ee x p e r i m e n t s s h o wt h ep i t c hc o n t o u rg e n e r a t e db yt i l ep r o p o s e dp r o s o d ym o d e li sm u c hc l o s e rt ot h en a t u r a l o n e st h a nt h er e s u l t s b yp r o s o d yr u l e s t h i sm e t h o dh a sb e e nu s e d i no u rm a n d a r i ns p e e c h s y n t h e s i ss y s t e ma n da r c h i v e de n c o u r a g i n g r e s u l t s k e e p i n gt i l ef r a m ew o r k so f t i l ed e c i s i o nt r e eu n c h a n g e d ，ai m p r o v e dp r o s o d ym o d e lg e n e r a t i o n m e t h o db a s e do nt h em u l t i g a u s s i a nm i x t u r em o d e ld e c i s i o nt r e ej s p r o p o s e d t h e r e j sa n i n t r i n s i cp r o b l e mj nt h ec 4 5i n e t b o dt h a tt h ec l a s s e so fd a t ah a v e b e e nd e f i n e db e f o r et h e c o n s t r u c t i o no ft h ed e c i s i o nt r e ea n dm o r e o v e rt h en u m b e ro fc l a s s e sc a n tb et o oi a r g e b u tt h e m u l t i g a u s s i a nm i x t u r em o d e ld e c i s i o nt r e ec a na d j u s tt h ec l a s s e so ft h ed a t ad u r i n gt h et r a i n i n g p r o c e s s s oi tc a nr e f l e c tt h ei n c o n s t a n tp r o s o d yp h e n o m e n o no fn a t u r a ls p e e c ha n di th a sb e e n p r o v e db ye x p e r i m e n t s t i l ef i n a ls e c t i o ni st om a k eac o n c l u s i o no ft h ew h o l et h e s i sa n dp r o p o s es o l f i e p o s s i b l e i m p r o v e m e n t s o nt h ep r o s o d ym o d e l g e n e r a t i o nm o d e l 中国科学技术大学坝：l 二论文第2 贝 笫一尊绪论 汉语合成中牡十机器学习的韵律模型研究 第一章绪论 本章首先讨论了语音合成系统研究的意义，然后指出在语音合成系统中韵律模型的重要 性，最后给山了作者所做的i ：作雨i 论文内容的安排。 i i 汉语语音合成系统的意义 语言是伴随人类的产生而产生的。作为人类信息交流的基本手段，语言对人类历史的发 展产生了巨人的作_ 【 i 。但是语言本身是怎样产生的却地一个1 f 常复杂的问题，f 且l 灶引了| l | = 界上许多天才的科学家对它进行研究。 语音技术具有很悠久历史。但是其真止的发展还是在近现代。特别是随着信息时代的剑 来，人们越来越重视语音技术的发展。许多国家和地区都建立了政府资助的项目，以促进语 音技术的发展例如，日本的“第无代计算机计划”就捉山要实现能够自动说衍，j f 将一种 语言翻译成另一种语言的计算机。在美国的“d a p r p a 计划”西欧的“尤里膏”计划，以 及我国的“8 6 3 计划”中语音技术的方展研究都是其重要的组成部分。此外一些著名的 电子、通信领域的公司，如i b m 、i n t e l 、m o t o r o l a 等均有其语音产品的开发计划。 作为语音技术的一个重要的组成部分，语音合成技术近年米获得了飞速的发展，爿：被广 泛应川丁语音对话系统，语音呼叫中心，语音触发网站和有卢电子邮件服务等行业。同时人 域的廊川需求也促使语音合成技术的研究和开发迈进了一个新的台阶。一方面，语音合成技 术的研发单位不断推山新的开发平台。另一方面，越米越多的语音技术开发商致力1 ：住稃种 语音合成技术开发平台上的麻川产黼开发。语音合成技术的在线廊刚实例也不断涌现。戍该 说。语音合成技术正处于一个高速发展的阶段。 但是现有的语音合成技术仍然存在许多问题。迎常米说衡姑语音合成效果的妤坏t 叮以 从两个方面着手，一个是可慌度，即人们对合成语音能够听慵得张度；另一个是白然度，l 1 j 合成语音与白然发膏之间的相似程度。代表当前先进水平的语音合成系统都可以合成山可怖 度相当高的合成语音。但是这些系统所生成、语音的白然度与人仍然存在相当的蔫距。这种筹 距造成了语音合成系统中，真正形成规模化市场的麻川土要集中在一些明确领域| ；6 1 定的场合 和一些对自然度要求不高的领域。例如。航班信息布询，股票价格夯洵，天气轰洵，便携式 设备上的语音合成等。而无领域的_ i ： 音合成技术仍然不能人规模走向市场。冈此，语音合成 技术仍然还有很多的地方需要研究。 汉语作为使埘人口最多的一种语言，研究汉语语音合成系统的重要性是不育臼明的。e j 前许多国外的公司正在火力研究汉语语音处理技术。为了保住我们在信息领域的最后一块阵 地汉语信息处理在国家任务项目的支持f 我国的汉诰语音合成系统的研究有了快述 的发展，取得了| 受足的进步。中国科学院卢学所、清华人学、中国科学技术人学等单位均先 后研制山高质量的汉语语音合成系统，有些系统井转化为产晶。本文的研究l ：作就是在国家 口然科学基金项目支持r 进行的。 1 2语音合成系统中的韵律模型 在语音合成中，韵律的筹距是造成合成i 占青! j 人的c i 然语亩之问荠距的t 璎原川之。 c p 罔科学技术火学捌：i ：论文第5 负 笙= ! 竺堡 坚! 堡垒! 些! ! ：兰! ! ! ! ! ! 鲨堂翌业塑业丝里型塑 对于语音合成系统来说，韵律的实现策略通常可以分为二个部分：1 ) 从文字剑高层而韵律 符号( 例如韵律层次结构，韵律层次边界，语句甄音化置以及等级，语调和语气等) 的转换： 2 ) 从韵律符号描述到韵律卢学参数( 例如音高，音强，音k ，停顿) 的转换，这就是通常 所说的韵律模型的功能，也是本篇论文重点讨论的问题：3 ) 在合成语音中实现韵律卢学参 数。 在韵律实现的三个步骤中，韵律模j 诅将高层面的韵律符号描述转换为每个合成单元的声 学韵律参数，冈此起剑了一个在两利，不同层面韵律描述体系之间建立映射关系的作川。韵律 模刑可以通过两种方式建立。 1第一利，方式是采川规则的方式。这种方式通过已有的语音学生识结合棚关的实验米 得到不同韵律描述体系之问的映射天系。但是这些规则人多比较零敞平| | 简啦，土要 在词一级层面上进行研究，而1 3 然语音是千变万化的，要从中提取音1 ，、韵律词、 韵律短语、i 吁吸群、句f 等层| f i j 上的系统n 0 韵律舰! j ! l j ，还有待1 ：进一少f | f j 4 i # l ：究。 2 1第二种方式是采朋基丁统计模型或者人i ：神经网络的方法建立模删。许多机器学习 方法可以解决训练数据稀疏的问题，从而使得到的韵律模型能够对在训练数4 i ；中没 有山现的输入也生成合理的输山。 3 1与第一种方式相比，第矗二科，方式所生成的模，鹌能够更全面的描述上述的映射关系。 但是这并不表示基1 ：统计方式的韵律模，科可以完全取代基丁规划的韵律模】n ：多 机器学习方法需要一定的专家知识才能进 t - i l l 练，而这些专家知识就是米白 j 韵律 规则。由于训练数据的关系，通过统计方法所获取的模把往往对某些特定条什m 0 韵律描述的不够清楚，而通过实验的方式可以弥补这方面的不足。 1 3 本文所作的工作 本文研究i ：作主要烂用绕采川机器学习的方法建立汉语语音韵律摸刑米展开的。作肯作 了一i - j h 方面的j ：作： )训练数据对1 ：模7 1 帅i l 练的蚶坏贝有至芙重要的影响，坏的训练数据| i 仪会造成棋 精度的f 降，共至会导致训练无法进行。冈此本文采川了一种针对语音数据的特点 对训练数据进行处理方法。 2 )剥。r 相同的训练数据采川不同的训练方法，可以得剑精度不同的韵钓i 模，弘。木文提 山了两种不同的模型，并且通过实验比较了这两种模型之间的优劣。 本论文分为人章，以f 是各部分的土要内容： 1 )第二章：汉语语音学基本概念。介纠语音的发卢机理以及汉语的音系结构。 2 )第二章：汉语语音中的韵律规则。介纠白然语流中的韵律变化。 3 )第四章：韵律标注。介绑韵律标注的根据以及我们所采川的韵律标注体系。 4 )第五章：训练数据预处理。介纠噪卢数j 辑对训练帕影响以及本文中所采川的删除 策略。 5 )第八章：基丁c 4 5 决策树的韵律模j 儿介 “c 4 5 算法的基本原理以及我们如何采 j h 该算法生成韵律模刑。 中陶科学技术人学坝二l ：论文 第6 吹 ；一带绪论 汉语合成中抽j 二秽l 器学习的触绀模，i ! i i j 宄 6 1第七章：照丁混合高斯分相决策树| 1 c j 韵律模，艮介 “混合商斯模啦的定义、训约i 方 法以及我们的试验结果。 7 1结束诰。总结本文i ：作，f 对统计韵律模州的生成提出儿点建议。 中固科学技术人学碗：论文笫7 虹 蚺一二带汉i 哥语岛- 学祭奉概念 汉语俞成中抽十机器学习的胸 1 t 楼型 i l 究 第二章汉语语音学基本概念 住对语音技术进行研究之前，我们有必要认识一f 语音信号的一些重要特祉。本章主要 包括两个方面。第一个部分，我们将讲述发音器官是如何发音的，即语音产生的模，喊笫二 个部分，我们将了解语音信号的组成单元是什么。这些问题都可以门丁声学语音学的范畴。 2 1 语音产生模型 语音合成技术实际上就是采川齐种手段人l ：模拟自然语音的一项语音技术。而语青模j 诅 就是要通过模弛的方式古描述人是怎样发音的。冈此对r 语音合成来说，语音模j 聘是一m 常重 要的。 2 1 1 语音产生的生理机理 语音产生是一个复杂的生理过稗：语言中枢r 达命令，这些命令表现为神经脉冲信号， 指挥发音器官的肌肉，“生运动，冈此就产生了气流气压的变化卢音的动作和卢腔共lj j 系统 的凋：仉摄终产生可慷的语言。所以_ i ； 音产生是一个复杂的信息转换系统：化学一电、i u 一 机械、机械一空气动力、空气动力一声能。 语音产生的生理方面士要涉及二个系统：声f 系统、喉系统以及卢r j 上系统。 )声f 系统：俗称l l 乎吸器官。它由气管、支气管、肺、及呼气肌群、吸气肌群科 膈 肌组成。它提供人类发青的动力，因此是发音的动力器官。 2 )喉系统：实际上就是一个空气阀它有两利赫本功能：州驶时，声f j 打，f ；发j h 寸t 声i j 作有牡律的开f ：i 动作，将肺中呼出的平直气流调：m 茂为脉动气流。这种携带r 卢能的脉动气流成为言语羽i 歌唱发声的基本，h 源。 3 )卢fj 上系统：义称共鸣腔，或称凋音器官。它山口腔、鼻腔矛咽腔纰成。喉部j 。生 的嗓音流( 声门波) 或气流。通过这些共鸣腔的调。m 可以产生山不同的裔素。 发音系统可以产生三类基本的卢音：浊音、胯擦音平j i 爆破音。 )浊音( 如元音) ：是通过提高肺部气压强迫空气通过声fj ( 卢带之间的孔道) ，使 卢带振动而产生的。卢带的振动切断气流产生一种类似周期性的宽频脉冲，激励 卢道。声带的振动韧带人约1 8 毫米k = ，卢带fj 孔道面积的典型变动范闱在0 剑2 0 i f 方毫米左右。 2 )胯擦音( 如辅音s 、s h 、f 等) ：是卢道的某些部何部分笑例，空气从紧缩处以足够 的速度通过引起湍流而产生的。 3 ) 爆破音( 如塞音p 、t 、k ) ：是卢道完全i = j j 塞( 一般是脬或舌闭塞) ，空气，e 力住 塞部位后面增加，然后突然打开闭塞部何而产生的。当空气释放的时候，这种尖锐 的卢青常常伴随肴脖擦或送气。 中罔科学技术人学i 蛳i ：论文 。：箍l 笫81 j 1 抑一带汉语语阿学堆奉概念 汉语介成i ij - j 机： 学爿的的 | i 模j | i ! t o i 究 2 1 2 语音，“生的数学模) 诬 根据上述发音器官的卢学理论，语音信号产生的过群可以j i _ j f i g2 1 所示的模型实现：科 模拟。 论。 醐t振幅i 煳“卜 瓣i l 。 一 浊清 丌父 随机噪声发生器i l 振幅ia u 卢道参数 名道l 旧抽 严音信q 模! “|l 射模掣l f i g2 1 整个模型包括三个部分，卢源模刑、卢道模型、辐射模刑。r 面分别就二个模型具体讨 2 1 2 1 声源模趔 由丁激励的不同卢源可以被分为两种：浊音、清音。 1 )浊音：浊音包括所有的元音和浊辅音。当气流在通过绷紧的卢带时，7 , l , r l i - 卢带产生 振动，使声| j 处形成准周期性的脉冲串，并川它玄激励卢道。卢道绷紧的程度不同， 振动频率也不同。这个频率就是音调频率，它的倒数就是音调周j 9 l 。 生理及卢学研究结果表明自然语音的卢fj 有点类似三角波。开始时卢j 自j 合，i 旧度 为零，接着缓慢上升，然后快速r 降，当r 降剑零时有一个导数不连续点，其频谱 特性在高频部分以一1 2 d b o c t 变化。 语音合成的实验表明卢fj 波形状的选抒， 不是很苛刻的。只要它们的频谱l 彳丁i e 确的特性r o s e n b e r g 在研究卢fj 脉冲的形状对语音质最的影响州发现可以川一个 台成的脉冲波形米代替臼然语音的卢j 波。常川的有r o s e n b e r g 卢fj 波和三角波博。 最后，我竹j 给山一个完整的浊音激励源模，张示意图( f i g2 2 ) 如h 基音周期 l 冲激序列发生器 幅度控制 1声门波输出 声门脉冲模型l 。 f i g2 2 2 )清音：消音包括清辅音其激励源相对来说比较简单。卢道松驰而不振动，气流通 过声门直接进入卢道。来白肺部的湍流为具有平坦频谱的压力波，而这湍流的卢fj 波与压力的芙系是相肖复杂的，一种常川的方法是川低通滤波关系简化它。f i g 2 3 是一个较完整的清音激励源模碘。 中国科学技术大学颂i ：论文笫9 贞 第一：章汉语语背学堆奉概念 汝语合成中坫十机器学习的韵律模型 j j 究 3 )消塞音：即爆破n 句消音。这是一类特殊的消裔。发爆破音时，卢带在一段时问内烛 关闭的，随后就建立起气胝，而卢带，f 不振动，当这一障甜去除时，空气即以商速 冲山，从而产生湍流。准确模拟这类爆破音煺比较凼难的，一种简单n 勺方法赴使 f i g2 3 中的幅度控制发生突变以模拟爆破音源。 高斯白噪声源 幅度控制 l 输山声门波 低通滤波器 - f j g2 3 2 i 2 2 卢道模型 浊音发声时其激励源的位置i i i i i 定不变，均处丁卢门外。对 j 1 f 鼻化的浊音，鼻腔完全 关刚卢道对某些频率发生谐振，i 跨振点( 共振峰) 对麻_ r 卢道传递函数中的极点，所以剥 下这类浊音用全极点模型就可以很女，地模拟卢道效麻。对丁鼻辅音雨i 鼻化元音，由丁抖腔的 藕合作川。除了谐振外还存在反谐振，所以卢道的传递函数除了极点外，还要引入零点 需刚零极点模型来模拟。 清音发声时，由_ 丁- 阻甜点位置不同，声源的位置也不同，声道的k 短著异非常人，卢道 的传递幽数也有较人著异。如送气消音，激励源何丁喉部，故声道的传递函数具有与一m 鼻化 浊音相同的形式。而发消擦音时由_ 丁- 卢道的收缩作川，把卢道划分为前后两个腔，前腔起 喈振作州，而屙腔起反谐振作_ l = i ，故声道传递函数中要外加零点。 另外，在发青过程中由丁声道形状发生政变，卢道的传输特性也随之故变，所以卢道的 传递函数是时变的我f j h j 时变的线性滤波器模拟声道，如卜幽2 4 所示。 控制参数 li 输出 声门波 时变的线性滤波器| i ； f i g2 4 芙丁声道部分的数学模! i ! l ，目前有二种实现方法： 1 )卢管模型：这种模型把卢道看作多个不同截面积的管子串联而成的系统，根掂语音 信号的短时平稳特性，在其某一“短时”期间，卢道可表示为形状稳定的管道，而 且在声频范围内可以认为沿管轴传：| i | 的是平面波。 2 )共振峰模型：这种模! i ! f 是把卢道视为一个喈振腔，共振峰就是这个腔体的谐振频率。 由于人耳的纤毛细胞是按频率感觉而排列传置的，所以这种共振峰的卢道模刑方法 是非常有效的。它可以较好地解决音与音之间l 办同发音问题使合成声音连续白然。 实践表明，h j 前二个共振峰足以代表一个元音。 3 )滤波器模矾：这是一种纯粹效果上的模型。将卢fj 波通过声道产生语音的过鞋简单 看作是由激励源通过滤波器的过样，卢道的作j j 就相当丁滤波器。至丁该滤波器是 怎样模拟卢道的物理特征的，则h i 女考虑。女i i l p c ( l i n e rp r e d i c t i o nc o d i n g ，线 中周科学技术人学删“l 论文筘1 0 负 粥_ 二章汉语语啬学皋t 牟= 概念 汉语合成中书于机器学习的韵律模型i i j 究 性预测编码) 模州就是川线形预测i 吴差滤波器来模拟卢道：而1 m a ( l o gm a g u i r u d e a p p r o x i m a t i o n ，对数振i 畸近似) 模j 鹏，就是川有理函数形式的l 。m 滤波器米模拟卢 道的。 - 2 1 2 3 辐射模型 从卢道模型输山的是迷度波，而语音信号是卢爪波，两者之倒比称为辐射阻抗。它代表 1 2 1 唇的辐射效应也包括圆形的头部的绕射效应等。如果认为1 5 1 属张开的面积远小丁头部的 表面积则这种辐射效麻可近似地看成是平板开槽辐射情形。据此最终可得辐射模刑函数的 近似表示式：r ( z ) = r o ( i z - 1 ) 有了语音产生的数学模刑，就可以在计算机上进行i ：科模拟，编成符种语音合成系统。 语音合成系统实现的一个重要方法源滤波器型方法，就是利州这种数学模州米实现 的。 2 2 汉语音系结构 在介圣f 完语音的产生模型，f 面我”j 将介坌； 汉语语音的基本组成单位，即汉语音系结构。 我们这里所说的汉语是指以北京话为基础经过加i ：后的规范化汉语语音。汉语的细成单何 包括以f 两种：音素、音。其中，音仃义包括卢母、韵母、卢调。 2 2 1 汉语的音素结构 音素是最小的语音单位。它是从音色的角度划分的。音素可以分为辅音、元音两人类。 气流在口腔和咽头受阻形成辅音。气流振动卢带在口腔和咽头不受阻碍而形成的音叫元齐。 f 面是音素分类表。 辅音基本单元元音基本单元 b ，c ，c h ，d ，c 岛h ，j ，k a l ，a ，i e ，e l ，e n ，e ，c i ， i ，i n ，1 1 ，n g ，p ，q ，ls c h i ，b io u 0 u 。v e r s h ，t ，x ，z ，z h r a b l e2 1 注：元音中“a l ”的意思是韵母“a i ”中的第一个音素。 从上表可以看到，音素的辅音单元包括2 2 个单元。而元音包括j 3 个单元。其中元爵分类 士要是按照舌位前后、腭形、舌高进行的。辅音由于是通过气流在口腔席或咽头受阻形成的， 所以描述它们的声学特征要比元音复杂得多有摩擦、送气段的谱玳、幅度变化、浊卢源、 过渡青祉和共振峰等。辅音的分类主要是按儿廿气流的强弱，卢带是否振动，阻碍的方式进行 的。f 面二个图表分别给山了元音分类表、辅音发音部何、发音方法分类表以及辅音听辨特 征分类表。 中固科学技术大学l i i ii ：论文第1 i 虹 n 锕_ 二章汉语语爵学摧奉概念 汉语合成中堆十机器学习的韵拌模耻研究 元音分类表 类别舌面元音 舌尖元音卷舌元音 舌位前后前 t i 亓u 后 屑形展圆展 圆 舌高高( 关) b u【v 】【u 】 【c 妇 c h i 】 口开 中( p 开)【l e 【e h e n 】 e l 】 o 】，o u【e l 】 低( 开) 【a l j 【a 】a t a b l e2 2 辅膏发膏部位、发膏方法分类表 塞音塞擦音擦音 鼻音边音 发音方法消音清音清音 浊音浊音浊音 不 送不送送气 发音部位 送气气 气 舣唇音上厨【b 】b 【p 】 m 】 f 厮 孵齿膏上齿【f 】 下屑 舌尖前青舌尖【z 】 c 【s 】 舌尖音舌尖【d 】d【l 】【1 1 】【l 】 舌尖厉膏舌尖【z h c h 】【s h 】【r 】 舌面音舌面 d 】【q 】【x 】 舌根青舌根 【g 】 k 】 【h 】【r i g 中固科学技术大学咧i ：论文 t a b l e2 3 第1 2 虹 ；n _ 一：章汉语语诎学媒术概念 汉语成巾拈十机器学习的糟f 1 按型研究 轴音听辨特征分类表 辅音士要听辨信息 不送气爆破音 b ，d ，g 送气爆破音 k ，t ，p 消胖擦音fh ，x ，s ，s h 浊胯擦音( 卷舌音)r 不送气塞擦音 z ，z h ，j 送气胯擦音c ，c h ，q 浊鼻音 n m 浊边音 l 2 2 2 汉语的音：仃结构 音。1 ，是语音的基本坌i ! i 构单能，是人 f ：j 在听觉上感受到的最小语音片断。汉语中有人约 1 3 0 0 多个多个音。竹，其中可以单念有1 2 6 8 个音协。汉语中的音协般由三个部分细成：，h 母、 韵母雨i 卢调。其中声母和韵母的特性共同决定了音仃的基本模式。汉语拼音方案中规定 了2 1 个卢母、3 8 个韵母以及4 种声调。声母全部由辅音充当( 如果音：件的开头没有辅音，则 称为零卢母) 。韵母则主要由元音充当，韵母义可以分为韵头、韵腹和韵尾= 个部分，其中 韵股是每个音节必须有的而韵头年i l 韵尾则不是必须的。 按j i 镬卢、韵、调的汉语音仃结构，可能的组合形式有：2 2 x 3 8 x 4 - - - - 3 3 4 4 种，但实际v j 二 汉语有着严格的卢韵组合规则，冈此实际数日远远少1 i3 3 4 4 种。所以可以采川音1 ，作为丛 本合成单元。 粹迎话中还有一种韵母称为儿化韵， 而发展起米的，但它们之间的结合关系 儿化韵当作普通活韵母的一人类。 儿化韵是一个音p 的韵母和另一个音协“儿” j f 合 已超出了两个音h 之问的结合关系。所以，般将 2 2 2 1 卢调： 声调包括阴平、刚平、上卢、去卢。 2 2 2 2 卢毋 声母是指音：仃开头的辅音。其分类平音素辅音相同。 2 2 2 3 韵母 韵母指音。1 ，中卢母后面的部分。迎常包括一个或儿个街素( 不超过4 个) 。韵母k 订3 8 个，它们是： 中田科学技术人学顿二i ：论文 笫1 3 负 第：帝汉语语卉学摧奉概念汉语合成中牿寸：机器学习们韵件横j 诬圳究 a ( a ) ，a i ( a l b i ) ，a n ( a l n ) ，a n g ( a n g ) ，a o ( a u ) ，e ( e ) ，e i ( e l b i ) ， e n ( e n n ) ，e n g ( e n n g ) ，e r ( e r ) ，i ( b i ) ，i i ( s i ) ，i 2 ( c h i ) ，i a ( b i a ) ，i a n ( b i l e n ) ， i a n g ( b i a n 曲，i a o ( b i a u ) ，i e ( b i l e ) ，i n ( b i l n ) ，i n g ( b i n g ) ，i o n g ( b i u n g ) ， i o u ( b i o u u ) ，o ( o ) ，o n g ( u n g ) ，o u ( o u u ) ，u ( u ) u a ( u a ) ，u a i ( u a l b i ) ， u a n ( u a l n ) ，u a n g ( u a n g ) ，u e i ( u e l b i ) ，u e n ( u e n n ) ，l i e n g ( u e n n g ) ， u o ( u o ) ，v ( y v ) ，v a n ( y v l e n ) ，v e ( b i l e ) ，v n ( y v n ) 1 r a b l e2 5 韵母的组成；韵头，韵腹，韵尾。从实际音色米看，它们都是不断变化的音段，不能明 显区分界限。 1 )韵腹：义叫主要元音，是韵母中发音开1 2 1 度较人卢音最响亮的元音。 2 )韵头：是由i 、u 、v 二个元音构成，义叫介音。 3 )韵尾：是韵母后面的收尾部分，义分为元音韵尾年i i 辅音韵垲。 对韵母的分类有以f 儿种方式： 1 )韵母按结构：单元音韵母、复合元音韵母、复合鼻尾音。 复台元音( 1 3 ) ：a i 、e i 、8 0 、o h 、i a 、i e 、i a o 、i o u 、u a 、u o 、u a i 、u e i 、u e 。复合元音 从共振峰特性看。一般都是由头、腹到尾的平滑过渡。 复合鼻尾音( 1 3 ) ：a n 、e n 、e n g 、o n g 、i a n 、i n 、l o n g 、u s n 、u e n 、u a n g 、u e n g 、u o n g 、 u n 。在这类复元青中，有的是单元音后跟一个鼻辅音，有的烂二合元音厅面跟一个鼻 辅音。后一种情况比较特殊。复合元音首先艟由前一个元音过渡剑屙一个元音，然后 再由j l 亓一个元音过渡到鼻辅音。由1 ：鼻化作川后一个元音的终点受剑后接抖裔的影 响。 2 )韵母按开口元音不同分 开( 1 4 ) a ，o ，e ，a i ，n o ，o u ， i n ，e n ，a n g ，e n g e i ，e - i i ，- i 2 齐( 9 ) i ，i a ，i e ，i a o ，i o u ，i a n ，i n ，i a n g ，i n g 合( 9 ) u ，u a ，u o ，u a i ，u e i ，b a n 。u e n ，u a n g ，o n g 擞( 6 ) v v n ，v e ，v a n ，v n ，l o n g t a b l e2 6 中国科学技术人学颂i ：论文 铺1 41 i ( 第二章汉语语裔学摧奉概念汉语合成中埔十村l i 学习的韵 t 模型研究 3 )韵母按韵头不同分为 a ，a i ，8 1 1a h g ，a o e ，e l ，e n ，e n g ，e r o ，o n g ，o u j ，l a ，t a n 。l a n g ，i a o ，i e ，i n i n g ，l o n g ，i u v ，v a n ，v e ，v n i i ， i 2 i u ，l l a ，u a i ，g a l l ，u a n g u i ，u r ，u o t a b l e2 7 4 )韵母按韵尾不同分为： a ，i a 。t l a e v e 1 e i ，i i ，i 2 ，a i ，u i ，u a i ，e i o ，l a o ，r i o ，f l o l i ，i u ，o u v v a n v nu a nu n i a n i ne 1 1a n u a n g ，i a n g , i n g ，i o n g , a n g ，e n g ，o n g e r 2 2 2 4 卢韵母搭配关系 t a b l e2 8 声母n 及零卢母与开口呼、齐齿呼、撮口呼都有拼合关系。 声母f 、g 、k 、h 、z h 、c h 、r 、z 、c 、s q 同开口呼、合口呼相拼。 卢嘲、x 、q 只同齐齿呼、撮1 2 1 呼相拼。 声母b 、p 、m 、d 、t 不同搬1 2 1 呼相拼。 开口呼、合口n 乎韵母同除去- j 、q 、x 外的其他卢母都有拼合关系。 搬1 2 1 呼韵母只同j 、q 、x 、1 1 、l 及零卢母有拼合关系。 中罔科学技术人学颟+ l ：论文 t a b l e2 9 笫1 5 负 椰章汉语语音学堆奉概念汉语介成中拈十帆 ： 学习的韵 1 l 模州删究 2 2 2 5 过渡音征 辅音巾过渡音征是一个重要素。轴爵同元青结合时，历接元音受剑辅音舌似的影响， 其共振峰开头或结尾会偏离原米的频率位置，一般被称为过渡音。第一二共振峰的过渡音向辅 音方向的走辨是该辅音主要f f j 听辨信息。这种走势就是“过渡音自i 符种辅音，特) 灶寒 音过渡音征都- f i 很重要的地f = ：7 ：。合成实验表明：如果去掉了这一段音征，听起来就不象原 米的辅音了。过渡青征的走向是同辅音的发音舌付有直接关系的，所以当不同元音年同- - j i l i 音结合时，其过渡音祉的走向住谱幽上往往趋1 ：同一点，这一点称为该辅音的音轨。爵轨频 率按辅音发音部位的不同而有高低之别。 2 3 汉语韵律特征的一些研究结果 从听感上来说，人们通常从音k 、音心、音- 岛年音色这四个方面来描述语音特性。音k 是指卢青的k 短，它主要取决r 发音体振动时间的持久度：音拯是指卢音的强弱，它一t 崾收 决丁发音体振动幅度的人小；音高是指卢音的高低，它主要取决r 发音体振动的快慢；音色 是指卢音的特色，也称为音质它主要取决r 发音体的振动方式。从卢学上米说，人们通常 川1 1 0k 、幅度、基频和频谱米表征语音特性。这两种表征方式密切相关，前者是心理锵，肝 者是物理培，但两者井不等价。表3 3 以“r 号的多少来人致说明这两种表征方式之间的相 关程度。 时长幅度基频频谱 音长 + 音强 音高 音色 + t a b l e2 1 0 从表上来看，音欧和时k 、音强和幅度、音高和基频、音色和频谱，它们之问的父系微 密切。闪此，人f | j 通常把这两种表征方法溉j h 。在语音学中，经常论及语音的音段特征平超 青段特征。前者指语音学上的再种语音单何间在音色上相互别的特征，斤者义称韵 1 特征， 士要指音高、青姻，青长方面的特征。 天丁合成臼然度的研究表明，在每个合成单元都比较消晰白然的前提r ，影响白然度l i , j 主要内素是语流中音。h 的音商、音k ：的变化，以及语流的快慢讧奏，即韵律控制对合成高| 二l 然度的汉语非常重要。卜面将给山目前已有的一些韵律特征研究结果，特别是一些较成功的 合成系统中使川的韵律规则。 日科学技术人学倒l ? 论空讯1 6 虹 笫二三章汉语语爵中的韵律j j ! l ! 则 汉语合成中批1 二机器学习的韵律模型 i j 究 第三章汉语语音中的韵律规则 在语音合成中。韵律规则是1 i 常重要的。它实际上起了个韵律模型的作h j 。通过这些 韵律规则，语音合成系统可以挑选合适的单元作为合成单元。这些韵律规则对许多韵律信息 ( 特别是人耳比较敏感的信息) 都做了细致的描述，冈此如果可以在合成系统中能够将韵律 规则与统计韵律模型结合起来，则合成效果会更加理想( 这已经被实验豇e 明) 。 3 1声调的变化规则 汉语是一种有调语言，闪此j 日凋枉汉谢r | l 贝7 训! 常m 婴的地 i 7 = 。林茂灿先生采川介成l i 辩方法对粹通酐声凋的听觉征兆作了详细的分析。其土婴结论为：基频灶泞丑衍卢州帕最小 质成分，是辨认瞥通话声调的充分必要的祉兆。虽然其他一些学者对此结论提山了