（模式识别与智能系统专业论文）共振峰语音合成算法研究和实现.pdf

摘要 摘要 当前流行的晤音合成系统足采用大语料的波形拼接技术获得高顾量的合成晤音，基 于这种投术的各种拼接算法和韵律模型及语音库的建立等方面的研究上作受到广泛关沱， 很多优秀的合成系统成功用于商用场合。然而这种合成方法需要夫规模的语音库限制了其 在p d a 和手机等小型化机器上的运删。而传统的基于参数的共振峰谢音合成模型所需的参 数库小，可以在频域上蠢接对参数修改，同时对语音参数控制的灵活性使得共振峰合成r 以建立在一个牛甘对较小的参数库基础土就能合成出4 i 同说话人风格的语音求等优点。所以 本文开腱了而向共振峰合成的研究 作。 夺义工作包括以l i 儿个方面： 1 ：者- 扛要酬究比铰j 各种卢源参数模刑的特点，在保讹提墩掉浊的n j 莨和扯确他 的基础上选择k l g l ( ) t t 8 8 模剞 1 】作为声源参数模型，基1 。最小化自然晤音声源 耳带肯一一i | i ；! 模节之川的误差术求得模掣参数，将问题转化为帝约求条件的l 。i 函数优 化问题。完成j 7 个刘一然语音自动提取卢源参数的剪泄、。实验验i m 蛮嘎算划、能有 效的提取模型参数，为下步共振峰合成据供了可靠的卢源激励。 针刘k l a t t 合成器的控制参数过多使得在合成一个自然语音时合理地殴置参数变 得很用难的问题，作者设计了个辅助产生年控制模型参数的工具。 详细分析共振峰合成的优缺点，特别提到共振峰合成中对轻音的合成的困难，提出 ，混合波形拼接和芡振峰合成的方案来合成一段话。昕辨实验实了该合成方法的 良盘j 效果。 总之，本文针对参数语肯合成过程叫1 从对声源参数的提取算法奠玑作j 有效f 1 勺尝试和改 进。 关键湖：讯裔合成，l 抓峰合成，声源。滤波嚣模型，参数介成 第j 页 英文摘要 a i g o r i t h ma n di m p i e m e n t f o rf o r m a n ts p e e c h s y n t h e s i s a u t h o i ：l i a n gz h a 。 s u p c r v i s o r ：眠n j 呼i 1 1 a b s t r a c t r e c e n t l ys p e e c hs y n t h e s i ss y s t e mi sr u l e db vc o n c a t e n a t i v es v n t h e s i su s i n gs p e e c hw a v e f o r m sc o r p u s ，b a s e do nw h l c hv a r i o u sc o l l c a t e n a l i v ea l g o r i t h r n s ， p r o s o d vm o d e l 8a n de s t a b h s h m e n to f8 p e e c hd a t a b a s et e c h n 0 1 0 9 va r cw i d e l vs t u d i e dm a n yg o o ds y n t h e s i z c r sl l a v eb e e ni n t oc o m r l l e r c i “p l a c t i c eh o w e v e rt h j s t e c h n o l o g yn e e da1 a r g es p e e c hd a t a b a s e ，w h i f hl i i n i t si t sa p p l l c a t i o ni n t op d a a n dm o b i l ce t a lt r a d i t i o n a ld a r a m e tr i cs v n t h e s i sm c t h o d s 叭l c ha sf b r m a n t b a s e d s y l l t h e s i sc a nc h a l l g et h ep a r a m c c e r so ns p e c t r l l m ， m c a i l “1 1 1 et 1 1 e 妇e x i b m t vo f n l o d i f v j 儿gs p e e 曲p a r a m c t c r s a k e sf 。r m a n ts y n t h c s j sf j e e das a 】j e rp a r a m c t c r s ( 1 a i ：a b a s cl ，os y n t l l e s i s ( i i h c i c n ls p e a k e rs t y l et h i sp a l ) e lj s0 1 1 e 1 1 1e ( t of o i r i l l n l 8 v n t h c s 诂l od os o m er e s e a ic hw o r k t h em a i nc o n t r m u t i o i l so fl h i st h e s j s1 n c l u d cf o l l o w i l l gi s s l l e s n bc o m d a r e dt w ov o c a s o u r c ed a r a m e t r i cm o d e i s ， i i lo r d e rt oa c h i e v ea c r e d i b l ea i l de x a c ta l g o n t h m ，w ec h o s ek l g l o t t 8 8m o d c la sas o u i c e n l o d e l t h e l o d e lp a r a m e t e r sa r ea c q u i r e db vm i n i m i z i n gt h ce r r o rb e l w e e l l r e a lv o c a ls o u r c ea n dm o d e ls o u r c e b vi tc h ee s t i m a t i o nd r o b l e i ni sf o r m u l a l e da sac o n v e xo p t i m i z a t i o np r o b l e m t h em e r i to ft h i sm c t i l o di sc o m p u t a t i o n a le m c i c n c ya 1 1 dg l o b a lo p t i m a l i t ys y n t h e s i se x p e r i m c r l td e n l o l l s c r a c e 曲ea l g o r i t h mi sv a l i da n ds u p p o r tt r u s t i n gs m l r c ec x c i t a t i 。i lf o rf o r m a n t s v n t h e s i z c i f 0 r i n a n cs y n t h e s i so 能r ss oi n a n yd e g r e e so ff r e c d 。i ni i 王a k e sil d i 吊c u l tt o s e ta l lo ft h o s ep a r a m c t c i si 1 1aw a yt h a ty i e l d sn a c u i a is ) u d i n gs 1 ) e e c l l “) i e x p o ii n l e n l s at o o li sd c s i g n c dt oh e l pd e a lw i c ht h cp i0 1 ) l 。i n s1 n 1 1 e ”n ti 1 1 t h l s1 a lg cd a l a s e to fp a r a n l c t c r smaw wt h a ti so p t i mm lc x p c r i i n e 肌a l c o n t i0 1 i b r n l a n ts y i l t l l e s i s ：sm e r i t sa n dh a w sa r e i nd e t 新1d l s c u s s ( ：d c s p c c i a l l yt n a n y l y p e so fs o u n ds u c ha ss o n o r a n ta r ed i m c u l t l ys y n t h e s i z e ( ) yi ( ) r i i l 扎i 王ls y n t h e s i z e ram c t h o dt h a tj n t e g r a t e s 上0 r i n a n ts y n t h e s i sa n dw a v c f o i mc 0 1 1 一 c a t e n a l i o ni so f k r e ( 1 1 i 8 t e n i n gt e s t sv a l i d a t et h a li tc a np fo d l l c eag o o d r e s u 【t i naw o r d ，i nt h i st h e s i s ，w eh a v c1 1 1 a d eal o to ff n l i t f u la t t e l p t sa n ds i g n i 矗c a n t p r o g r e s s e st oe x t r a c ts o u r c em o d e lp a r m e t e r so np a r a m e t r i cs i ) e c c hs y n t h e s i s k e yw o r d s ：s p e e c hs y n t l l e s i s ，f o r m a n ts y n t h c s i s ，s o u r c e 一行l t e rm o d e l ，p a r a m c t r i c s v n t h c s i s 第i j 页 插图目录 插图目录 2 1 语音产生的源，滤波器理论示意图 2 2 发声器官示意图，引自【4 9 2 3 声带示意图，引白【3 3 一l 一个基频周期内声带振动过程，引臼4 9 3 2 删想卢源波形极其微分波肜 3 3 i 卢源波形极其频普蚓 3 4 噪音卢源模型 3 5 声微分波形的l f 模型 3 6 对a 进行基频标注 3 7p s i a i f 算法提取a 声源 4 。l 声源估计算法框图 4 2k l g l o t t 8 8 声源估计算法框图 4 。3k l g l o t t 8 8 声源估计元音a 4 4k l g l o t t 8 8 声源估计元音o 4 ，5k l g l o t t 8 8 声源估计元音e 4 6k l g l o t r i 、8 8 声源估计元音i 4 7k l g l o t t 8 8 声源什计元哥u 4 _ 8k l g l o t t 8 8 声源估计元哿u 4 9兀音a 朋日i l g i 0 t t 8 8 声溉濮型提取结果1 ，o q = 08 ，n = 4 0 4 一l o i 音a 的k l g l o t t 8 8 声源模型提取结果2 ，0 q = 09 5 ，n 一一4 u 4 一儿元占a 误差与o q 值的父系，o q = o g j 最小 4 1 2 元音a 中k l 声道频谱和l p c 比较，n = 3 0 4 1 3 元音a 误差与阶数n 的关系，o q = 09 5 4 一1 4 元音a 的合成结果 5 1k l a t t 共振峰合成器结构框图 5 2 共振峰及带宽示意图 ， 5 3 共振峰声道传递特。盹 5 ，4 确定语肯单兀参数流程图 5 5p a r e d i t 系统框图 5 6 ( a ) 语音“听起来”的波形，( h ) 混合方法f 一合成效 果，f c ) p r a a t 软什辅助的只振4 唪合成效果 5 7 主观m o s 【 分结果示意图 第v 页 6 9 9 1 4 1 5 l o 1 7 1 9 2 2 2 2 2 6 3 0 3 l 3 l 3 2 3 2 3 3 3 。 3 l 3 5 3 5 3 6 3 7 3 8 4 0 4 1 4 。 4 5 4 7 4 q 4 9 表格目录 表格目录 3 。l l f 模犁头三帧叫问参数 5 1 合成语肯利原始l 吾占的似然失真值( 签觋判定) 第v i 页 2 i 1 8 独创性声明 本人声明所递交的论文是我个人在导师指导下进行的研 究r 作及驭得的研究成果。尽我矽豫| | ，除了文m 、 别加以标 注和致翊拍勺地方外，沦义中不包含其他人已经发表或撰写过 的研究成果。与我一同_ i ：作的同志剥本研究所做的任何贡献 均已在论文中作了明确地说明并表示了谢意。 签名：垫! 垒日期：型： 关于论文使用授权的说明 本人完全了解中圈科学院自动化研究所有哭保留、使朋 学位论文的规定，即：中国科学院自动化研究所有权保留送 交论文的复印件，允许论文被查阅和借阅；可以公布论文的 全部或部分内容，可以采用影印、缩印或其他复制手段保存 论文。， 箍躬：导师签名：j 垒丑皇鳌日期：兰竺 共振峰语音合成算法研究和实现 第一章绪论 1 1 课题意义 在信息科学和计算机科学快速发展的今天，语音合成技术的发展受到的前 所未有的重视。让电脑像人类的朋友一样自由地交谈一直是计算机学家、语言 学家、语音专家为之奋斗的目标。从早期人类通过机械或电r 器什完成语音的 合成，到最近随着电脑的普及应用，m 现_ r 更多的可灵活控制的数字式合成 器。然而现住的人机交互方式还是很小方便，众所周知人类最自然的交流方式 就是通过说话米表达和交流思想。人们和电腑的交流不 耳是通过j 令冰冰的键 盘、鼠标，希望l 商也能发m 带感隋色彩的请裔，能和人们进行l 的交淡。 经过多年的努力，语音合成技术取得了长足的进步，高清晰度、高f 然度 的语音合成系统已经不断涌现，并用于信息查询、自动报警、电子邮件、计算 机辅助教学等领域。同时语音合成技术提供了各种人难以发山的、声学参数叮 以进行精确控制的合成语音，对基础语葺学的研究有重要的作用。f + f 的语 音合成器将不但能够提供自然语音，还能具有适应特定的环境下的特定的说话 方式的灵活性。 实际应用巾大部分爵音合成系统都集中在基于大规模语料的波形拼接技 术，该技术直接从言库中提取语子单元拼接成所要语奇，使得语爵质量获得了 很大的提高，并宵成功的商业化应用。然而，现代应目中要求合成山的语膏具 仃1 j 富的感情色彩，瑟 二波形拼接的厅法对韵律旧改变能j 有限，听台成的连 续语流的r 然度 往、降明显。只能借助r 增大语音库存量来f 富合成语旨的 韵律表现力。但随着合成系统趋向于小型化的发展，此种方泱并不适合内存容 量有限制的p d a 、手机等上的应。而基于参数模型的合成方法因为合成音质 较差面受关注的程度很小。以共振峰为代表的参数合成很好地模拟了人类的语 音在频域的产生过程，建立基于规则的语音参数可以得到高可懂性的合成语 音。同时对语音参数控制的灵活性使得共振峰合成很容易控制对合成语音自然 度影响最大的各种超青段特征( 如时长、基频、能量以及音节删的j i 振峰过渡 等) ，可以建立在一个相对较小的参数库基础上就能合成h 1 吖i 同说| 舌人风格的 第l 页 第一章绪论 弭占来。囚此共振峰合成仍有应用的价值和研究的必要。 传统的共振峰合成也存存一些问题：绎过声学分析和提取幔掣参数，由参 数再返回合成器柑到语音等三个过程构成参数合成主体，分析技术的障础，合 成参数的误筹，合成模型不够完善都会卣接导致合成语音的占质r 降。止是基 于以l ：需要，作者进行了如下儿个方圈的研究工作。奉文针肘k l a t t 苁振峰合 成模型2 8 1 p 的声源、卢道模型参数提出一个高效的提取算法。该算法是由听 辩音实验验证算法提取的语音参数输入合成器来得到高清晰度的合成语，因此 使用这种算法确定的语音参数用于基于规则的合成系统的参数库建立上将具有 很高的价值。 1 2 研究目标及所做工作 本文l ：作的研究h 标是幸| 对j 振峰参数合成存在的参数捉j 议团难，分析和 比较已有的提取卢源模型参数算法，提 h ，改进的算法，并将参数提驭的过程 自动化。最后使用提取的参数得到合成语音。通过实验验证该算法能够满足合 成高质量语音的要求。作者所做】：作主要集中在以f 两个方面：语音声源、声 道模型参数的提取算法、共振峰语音合成中的参数控制。 语音声源、声道模型参数的提取，作者卡要研究比较厂各种声源参 数模型的特点，在保证提取算法的可靠性和准确性的基础上，选 择k l g l o t t 8 8 模型f 1 1 作为声源参数模型，基于蛀小化真实语音声源 和语爵声源模型之问冉勺误差来求得模型参数，将问题转化为带约束条件的 f 、函数优化问题。完成了个埘自然语音自动提取声源参数的算法。实验 证实该算法能有效地键取模型参数，为下一步0 振峰合成提供了j 带的声 源激励； 在k l a t t 共振峰合成器的基础上实现对声源、声道参数控：叭完成了一 个图形化界面修改模型参数的t 具。可以直接修改声源参数和声道参数， 如共振峰值、带宽、幅值等； 0 ) 详细分析共振峰合成的优缺点，特别提到共振峰合成中对轻音的合成的困 难，提出，混合波形拼接和共振峰合成的方案来合成段语占。实验证实 了该合成方法的效果； 第2 页 共振峰语音合成算法研究和实现 5 1 3 论文的内容安排 第j ：章介绍语音合成的发展历史和儿类合成方法，语奇发生的生理过程。在此 基础j ：对参数合成的应r 口前景作厂预测。 第i 章声源模型背景介绍干l f 模型的参数提取算法实现。 第四章详细叙述了荩j 二k l g l o t t 8 8 声源参数模型的声源参数提取算法和试验 结果。 第i 章是共振峰语音台成器的实现和参数控制。并采用该合成器合成出浊音 结合清音波形拼接实现混合方法的语音合成。 第六章对论文工作进行总结。 第3 页 第二章语音参数合成自? j 发展栉凡述 第二章语音参数合成的发展概述 2 1 语音合成的研究概况 语音合成又名文语转换( t e x t t o s p c c c l l ，t t s ) ，是指将输入的文宁或将储存 于电脑叫j 的文本文件模拟人声发h 1 语音的技术。语音合成投术的研究l 三经有二 百多年的历史了从十八世纪的机械手动合成器到如今的町灵活控制的数字合 成器，语占合成技术完成了从萌芽到成熟、从实验室到实际应用的成长过张。 2 语音合成的历史 人类语音合成技术的研究j r 早就开始了，剑现在已经经历了机械、【u _ ( 模拟) 和数字三个阶段。最早的语音机器是由v b nk e m p e 】e n 于1 7 8 0 年制造 的，它完全是机械式的，通过风箱向一个簧片送气来模拟声带震动。声道足用 一段软的橡胶管模拟的谐振器，其形状由操作员的手来控制。以后的许多年 中，很多人致力于这种机械式语音合成器的改进和完善。1 9 3 9 年，美国纽约的 同际博览会e 展d j 了b e l l 实验室d u d l e y 制作的v o c o d e r ，这是个电，式的语音 合成器。他是利用共振峰原理制作的甲期的语音合成器。r o ( j e r 用构造象琴 键一样的键盘，控制 个带通滤波器，近似共振峰的效粜，产7 l 各种晤蒈， 个训i 练有素的操作员，可以用v o c o d e r 说砦简单的语句1 0 1 。现代讲音合成技 术的发展是和汁算机技术、数字信号处理技术的发艘分不开n q 。用汁算机_ 研 究语音合成，大大缩短了研究周期，降低了研究成本。随着计算机的凿及和应 用，语音合成的研究在许多语音：通讯实验室开展起来，k j a c tf 2 1 f 总结了这删 期的语音合成技术的发展过程，按照规则合成、实验室文语转换和商用文语转 换系统等四个层面，沿着发音参数合成、共振峰合成和波形编码合成三条线索 描述了语音合成技术的发展过程。其巾，i i o l m e s 的并联共振峰合成器和i ( 1 a t t 的 串并联共振峰合成器，只要经过精心调整合成参数，就能够合成j i l l e 常自然的 语音。后米的许多文语转换系统都是基0 ：这两个模型的。但是m1 二准确提取其 振峰参数比较幽难，整体合成效果不址很好。近十f 米，沿| i ：；合成技术义仃r r 人发展，特别足然音同步叠加方法的键出，使得基 ：叫域波形拼接方法合成 第4 页 共振峰语酋合成算洼研冤和实现 的语音自然度较以前有了提高。同时，多样本时域波形拼接的方法更是得到了 广泛的应用，由该与法合成出来的语占自然度得到很大提高。 2 12 各种语音合成技术的比较 语音合成技术可以分为三类：波形编羁、分析台一成和按舰则合成模 型f 1 3 卜其t 斗波形编码指对自然语音波形段进行波形编码，斤存储起来，合成 时经过解码，恢复i 占音信号。分析一合成方法首先列自然语音进行分析，卯将其 转换为参数序列存储起来，合成剐将参数送入台成器，束控制介成器的特陛。 合成器输出的就是所需语音。按舰则合成是通过规则控制合成模型所需的参数 序列，以得到所需的输出浯菏。 2 12l 发音模型合成技术 发音模型合成技术是通过模拟人的发哥过程来进行语音合成的。人的发音 器官包括肺、气管、喉( 包括声带) 、咽、鼻和口。这些器官共同构成形状复 杂的管道，其中喉以上部分成为声道。产生爵音的动力源是呼吸时肺产生的稳 定声流。发斋刑按照发音方式不j 副分为三类：一是气流冲击声带产生震动周 期性声波通过卢道响应，发出浊奇；一是声门引。丌，但声道舒某处收紧f 盯形成 湍流，发川摩擦音；三是声j 打开，声道菜处完全阻塞，然后突然放气流， 这种高压气流导致发卅阻塞音。基于发音模型的合成就是将声道召成是1 个横 截面积变化的管子，取发音器官的位置和变化作为控制参数，建立发商动作与 系列声道形状之问关联的发音模型，实现语音的合成。这种基于对人发音机 理的研究进行语音合成的方法，在理论上应该能够合成出很逼真的语音。但足 由于人类发音机理过程非常复杂，给分析带来了一定的困难。目前虽然已经有 一些元音的分析数据，但对于复合元音过渡段、辅音等，可利用的分析数据还 很少，使得目前这种方法还仅限于实验室研究阶段。 212 2 基于波形编码和拼接的合成 采刖波形拼接的方法合成语音，可以将语音波形乔身的信息很自然地 保留在合成语占之中，因此能够合成出高质量的语音术。线彤舰测合成模 型f l l ，c ) 足种编码披术，其奉质也足基于源一滤波器理论，声通滤波器采用全 极点模型。激励源足准周期脉冲序列( 浊高声源) 、准随机噪声序列( 车簪声声 第5 页 第二章语音参数合成的发展概述 源) 。这种简单的卢源模型影响了合成语音的清晰度和可懂度，有人提出多脉 冲激励l p c 模型。用多脉冲序列作为激励源，根据原始语音选择脉冲激励的位 置和幅度，大大提高了合成语音的清晰度。 基于时域拼接的合成技术是在时域剥波形进行拼接的合成技术， 分为有韵律调节波形拼接和无韵律调节直接拼接两利，。l d r ) s 0 l a 足 由yc h a r d e n t e i 在】9 9 0 年提出的，它是利时域短时语音信弓做荩音j 司步转 换，实现韵律渊整，合成语旨。由于该算法是荩_ 丁u 寸域波形的拼接，所以，7 t 较好的清晰度和自然度， 具有一定的时长、摹频渊节能力，运算龄小。i i 前，基于大语料j 牢的时域波形拼接语音台成技术应用广泛。该方法直接从连续 语流中截取自然流畅的符合韵律要求的语音段进行拼接。这种方法成为诸家公 司和研究机构的首要选择，例如a t r 的c h a t r 便是一个很成功的例子。 语音合成系统也可以根据人工对系统设计的干涉程度分为规则合成和数据 驱动合成。规则合成是指使用一套人工得到的规则去驱动合成器，而数据驱动 合成巾的参数则是从真实语音数据中自动获得。所以，拼接合成就属于数据驱 动的系统。共振峰台成器通常使用规i l ! | j 合成，因为系统。p 共振峰参数的变化是 人手 二取得的规则控制的。但是，共振峰转换也h j 以通过数据训练得剑。 2123 声学模型合成技术 在声学模世巾，卢源信号的产q i 上毛会受到卢道变化的影响，但考虑到声门 的阻抗较大，通常町以忽略声道时声门m 抗的干扰，将语奇分m 犁为声源函数和 滤波器，这就是源。滤波器模型的理沦基础。 最典型的基于声学模型的合成技术就是共振峰合成，# 振峰合成的设计 源于语音产生的源一滤波器理论f 9 1 根据这个理论，来自肺部的气流通过声fj 后，被看成具有一定潜结构的声源s ( f ) 也是声道滤波器的激励信号，卢道则被 声强：塬体积速唇体耪速 浊音 叫震l 函数t ( f ) i ii 工_ i 擦音 送气音 图2 1 语音产生的源一滤波器理论示意图 第6 页 共振峰语音合成算法研究和实现 看成足一个线阽的德波器，其转移凼数t ( f ) 是广| 和舁处f n l 奉移 速腹i f f ) 利声 源s ( i ) 之比，mj 二实际上总是存离口腔有一段距离的地力得到语音l j ( f ) ，此 必须考虑4 口腔的辐射效应r ( f ) 。原理如图2 1 。 在苁振峰合成器巾，浊音源通常具有定形状的声门波模拟， 清音则用噪声作为激励源，卢道的谐振效应用串联利并联模拟， 最早的可动态控制的其振峰合成器是l a w r e n c e 的p a t ( l a w r c i 1 9 5 3 ) 和f a n t 的0 v e i f a i l c ，1 9 5 3 ) 。p a t 由三级并联电子共振峰谐振器构成，它 的输入是峰音或噪声。o v e i 由串联电子共振峰谐振器构成，o v e l 只限于 合成元音，之后的许多年，p a t 和o v e i 都在不断的改善。当它们再次相邋 于1 9 6 2 年的语言通讯大会e 时，都能合成出比较接近人说话的声音。现代 e 振峰合成器已经抛弃丁在1 乜了线路上进行构造，而在数宁计算机上进行 模拟或在专用数字硬件上进行构造。语音合成器发展的一个重要里程碑 足1 9 7 2 年i - i o l m p s ( h 【) h n c s ，1 9 7 3 ) 研制的_ i = 联共振峰合成器，他用这个合成器 在1 9 7 2 年i e e e 语音通讯和处刖人会上合成了旬”ab 州i nt 1 1 e1 1 a n dl sw o i t h t w oi nt 1 eb u s h ”几乎听不出与自然语音的差别。 2l2 4 几类方法的比较 l p c 合成和波形拼接合成不受参数提取的影响。而共振峰模型受参数提取 的影响很大，参数不准确会导致合成音质下降。而波形拼接的合成声音音质最 好，但合成新的声音需要事先录制新的说话人的声音，或者同，个说话人的不 m 【j i 话风格的声音。共振6 唪合成只需在频域对声奇作修改。这样的修改包括；0 振峰偏移、带宽修改、振峰强应的修改和频带斜坡的修改。如粜可能 j 至可 以向谱ih 增加零极点以模型化菜种唱歌的声音。、f 行jl 振峰合成器可以实现刘 这种修改的灵活控制。但需要单元数据厍必须准确，j 振峰的噗芹必须 心小， 因此需要过多的费力地手动修改。 2 2 语音的产生 参数合成是一种模拟声源、声道发声的过程，因此有必要对浯音的产生有 一定的了解。人类的语音是由人体发音器官在大脑的控制r 的生理运动产f e 的。人体的发音器官有三部分组成：肺和气管，喉( 包括声道) 、叫、鼻利 j 。其中喉以e 部分称为声道。声道的形状随着发 n 语音的不同而不同。喉部 第7 页 第二章语音参数合成的发展概述 成为声门。下图2 2 是发i _ ! j 器官的横戗面结构图。人的发声器官在喉头，由声 带、软骨韧带结构的支架、挎制声带伉置和张力的肌肉群组成。肌肉的活动由 神经米义配。声带化丁- 人体喉腔中部，是刚着一：内帚上的肌肉纽钐 ，爿是瓣 状表血覆以粘膜，具有定的弹性，是发声器官的丰要! n 域部分。婀卢带问 的开口( 矢状裂隙) 为声门裂( 俗称声门) 。从气管经喉头、咽部至嘴和舜孔的管 道为声道，如劁2 3 所示产生语音的能量来自于肺部呼m 的稳定气流，喉部的声 带既是一个阀门又是一个振动部件。通常情况下声j 是关闭的。发浊音时声门 处的气流冲击声带产生振动，然后通过声道响应变成语音。发清音时有两种发 音方式，一种是声门打开，但声道某处收紧形成湍流，这种高速湍流导致发出 摩擦音；另一种是声f 1 打开，但声道的某处完全阻塞，然后突然释放，这种高 压气流导致发出阻塞音。声道足一个修改功率谱形状的谐振器。它包括两个部 分：鼻腔和l j 腔。软聘的丌闭可咀控制气流通往鼻腔的通路，如果软腭f 。硅， 声门气流就从这两个腔m 玄存两个 l 振腔- 形成通路，发m 鼻化i 哥。如果软腭 闭合，则只有 腔作为共振腔。 前面从声学理论 ：分析了语音产生的过程肝得知语占信号是声道铍激励 发生共振而产生的输出，山十在发声过程巾声道是运动的，因此这个过程可以 用一个时变线性系统来模拟，模拟衔好不好j 要看它产生的语音信号f ! i = e 去是 否符合预期结果。至于是否能准确描述发音器官产生语音的物理过程则并不重 要。 2 3 参数合成的前景 声学模掣即 个能够精确描述语占j 7 ，l j 过程和语音全部持和。的数学模 以发音机制的饪型作为基础，日会模拟声带频谱特性的滤波器系数和若二f 卢源参数来捕述这个模型，在发送端从模拟语占信号r iz 提取各个特钲参量并 进行量化编码。这种卢学模型编码的特点足语音编码迷牢较低，摹夺上 在2 k b i t s 一4 8 k b i t s 之间，语音的可懂度较好，但有明显的失真。从定义知 道只要调整滤波器的参数就等效于改变口腔及声道形状，可以达到控制发不同 音的曰的，而调整激励源脉冲序列的周期或强度，将改变合成语占的音调、重 音等。冈此，只要正确控制激励源和滤波器参数( 一般每隔1 0 r n s 3 0 n ，s 送一 组) 6 1 ，这个模型就能灵活地合成出各种语句来，因此，又称为参数合成方 第8 页 共振峰语音台成算法研究和实现 弛e m 0 f m 蛐cb i ：“自”i t y i i y 图2 2 发声器官示意图，引白f 4 9 】脏 图2 3 声骷示意图，引自f 3 第9 页 、角w牛一箩啦 n # 第二章语音参数合成的发展慨述 法，然而人类爵i 1 。的产生过程很复杂，语音- 包台的信息又f 分# 富和多样， 争今尚未找到一种能够细致描述语爵产生过程和所有特征的理想模型。 参数合成就是模拟人的整个发音的生理过程，从腹部出米的气流经过声带 的调整变成脉动气流，经过声道、牙齿和鼻变成声音出来，这个过程可以用一 个滤波器来模拟发音器官。前面肺部的气流就可以有一个激励源，就好象向一 个管子里用鼓风机不断地鼓入不同的东西，管子变化出不同的形状，声音就出 来了。语音 h 大旧问题是，同个字的声音在不同的语句里，不同的字词排 列，不同的节凑、情况下，发爵都不尽相同。要让一个机器念出人的声音来应 该具备： ( j ) 要有一系列的舰则，在当前的句话里每一个字、每个占节，已的声 调、时长、能量的参数是什么样； 婴有准确的控弗0 声凋、h j 长、能量的语音参数，最好是从臼然语流， - 准确 提取； 要有拼接算法把那些参数经过动态选择最平滑的拼接方式，调节参数中的 协同发音，昕起来会比较流畅，基于这种滤波器的模式，很多参数相互之 1 1 司可以变得很平滑。 由参数生成出。个个的音1 ，然后拼戚的，与原始的音节市丌比总门多少会在 音质 何一些芹肌。它的自然度比较好，但语音j 听来音质r 蓐一些，有点模 糊。因此参数介成的关键还是在如何准确提取参数 ：。 参数合成的优点： 基于参数合成的系统需要较少的系统资源，凶为不需要磁棉：空间存储人景 的录制语料。 基于参数合成的系统使用参数化语音模型，具有很好的灵活性。t t s 用户 可以改变模型的参数以调节合成语音的输出方式。因此很多具有不同的基 频、基频范闱、c i e a k m e 青色和b l 堋n e s s 的声音挪产生丁同个基元 模型。 缺点 第l ( ) 页 共振峰语音合成算法研究和实现 基于参数合成的系统合成出的声音很不自然，一个对人类语音发声系 统足够准确的模型还未发现。因此，合成出的声音机械，t i r t n y ，有嘶嘶 声，c l i c k s 、p o p s 。很低的可理解度。 ( 互) 准确提取语音参数仍是参数合成最大的0 q 题。 针对日前的参数语音合成中存在忽略对合成语音质量有很人作刖的声源变化， 本文上作将着重在语音声源的参数提取上。通过提山一个自然语子中提取声源 模型参数的算法来捕捉不同语境f 浊音声源的变化，不但能提高合成语音的质 量，也为日后建立声源参数和韵律参数的关系做基础。 第l l 页 第三章l f 声源模型的参数提取 第三章l f 声源模型的参数提取 3 1 研究背景 许多研究表明声源在语音分析过程中有很重要的作用。但是征很多语音分 析算法中声源的变化被忽略了。尤其是声源一滤波器模型中，忽略声源的变化 会导致语音模型的不准确。冈为声源滤波器模型包含一个产生声源序列的声门 激励，语音输出可以看成是声源激励声道滤波器和口腔辐射的微分作用看得到 的。而声道滤波器的作用和口腔辐射的作用是可交换的，冈此很多浯音分析 中，都是以卢门信号的微分作为声道的输入。本章将提出一个提取该输入的模 型参数算法以表征语青过程中声源的变化。为下章的共振峰介成捉供可雍的声 源输入。 3 1 1 声源的分类 将人类发声过程看作是一个模拟声门状态的源，去激励个表征声道谐振 特性的时变数字滤波器，这个源可能是周期脉冲序列，它代表浊音情况下的声 带振动，或者是随机噪声序列，代表不出声的清音。具体训分类为4 1 ：浊音声 源，具有周期性。元音紊音卢源，气流通过时形成紊乱的湍流，产生咝咝声的 噪声。如s 瞬音声源，发音器官某一部分紧缩完全4 ；让气流通过，使气流产生 比较强的压力，然后突然释放，7 i 流瞬时冲出，产生一种非常短镭的瞬时爆破 声，如b 、d 、g 。 j 司样在| 五音学上，还可以将卢音区分为四种不i 司的发音类型1 3 i ，分别为清 音、正常嗓音、气嗓音和紧缩嗓音。 清音。声门大开、声带不振动，两杓状软骨相距最大( 1 0 0 ) 如h a ( 哈) 中的辅音h 。 正常嗓音。一般的元音发音巾，声门全长振动，杓状软骨相对靠 拢( 7 5 ) ，不泄漏气流。 第1 2 页 共振峰语音合成算法研究和实现 7 飞嗓音声门f 部长度卜开度较大，其余参与振动。凶此它的发声状态是前 两者的混合。声门下部裂开是由于杓状软骨相距较远( 0 0 ) 之故，幽之 会有气流的泄漏。从声门波形上看就不存存闭合相位，_ 丁是开商o q ( 定 义见3 一1 ) 就等于i 。 紧喉嗓音，又叫喉化音。发青时杓状软封靠得很近f 6 7 ) ，因此使声门 后部紧紧靠拢以致不能振动，只有声门的前部能够振动。声带绷得不象正 常嗓音那样紧。振动频率比较低，甚至可听清楚一个个声门脉冲的声音。 如h 3 1 声带是喉头的两片韧带，声带分离时巾问的通道口是声门。用束绷 紧声带关闭声门的软骨和肌肉是使声带维持振动的重要条仆，呼吸气流是使声 带作机械振动的重要因素。来自肺部的7l 流靠脚廓和横膈膜运动捉供n 0 压力 通过声。当气流快速通过卢门的时候，卢j 处出现负压，迫使部分声带相 互靠拢；这一段声，带闭合以后，气流被堵塞，声fj 下压增加，此义把声f j 推 ，f ；这种过程反复进行，引起声带复杂的振动。气流通过声门产7 t 负压，是一 种伯奴力现象，当两船相遇挨得太近的时候，两船对水的相对速度也会引起负 压，使船发生碰撞，这是十分相似的现象。相可= 靠拢发牛振动的是部分声带， 剩余部分一般是闭台的，但是有时候，或者有的人会有”气门”，是会漏气的。 正常情况下，漏气造成的噪声也会参与语音功能，改变”口气”或”语气”等。声 带产生蜂i 坞般的声音，但是我们不能直接听到它。这是一种乐音，它的声波 呈三角波的形式。它的振动周期中大约8 5 是开相位，1 5 足闭相位。在开州 位中前5 0 是打开过程，后3 5 是关闭过挥。这刊，比例笑系是凶人而异的。这 样的三角波的频满足种离散游，它们的包络线略向下倾制，每俯频程下降1 2 d b 。( 为了便j ：观明占语声，。1 生的原理，我们可以忽略这 ，把它的包络线 看成是平的，即谱线的顶点都样高。) 在对声源进行建模需要考虑不同声源类别。目前大量研究集| j 侄对浊音声 源的模型建市上，对于噪声声源的研究比较少。本章将对浊啬声源和噪音声源 模型分别进行讨f ，并提出一利t 赢效的浊音声源模型参数提取的算趔i 。 312 声门信号波形测量参数 声带振动时，由声门喷射出个个气流脉冲，它的重复频率及其波形对声 源谱是非常重要的，| j 1 ：者决定了卢源谱各分量的问距( 即摹频) ，后者决定了 第1 3 页 第三章l f 声源模型的参数提取 圄3 1 一个基蜘j 剖期l 山声骷抓动过千u 。| 臼f 4 9 各谐波分量的振幅模式。如图3 一l 所示为元音发声过程中一个基频周期内的声 带振动过程，从图中知道声源在闭稆位是稳定的，关闭午 ； 位通常比开启相位要 短。下面将提到有关声源参数的测量和定义。 声门宽度是指声带边缘之间的距离，如图3 - 1 所示；声门而积如图3 ，2 上图所 尔，由声带边缘所围成的面积称为声门面积a ，声门面稍的变化在时间域上的 展开称之为”声门面积波形”( a ) 。在正常的振动中，声门面积波形类似于 声门宽度波形。声门面积波形a 又与通过声门的体积流速度近似，但两者4 i 完 全相同，这是因为下声唇藉积波形a 1 和l 卢唇丽积波形a 2 存在9 0 度相 妒差，根 据波形替加珥论，产生新的面积波形a 3 ，暖声道负裁的影响而a 3 4 ：受声道的 影响。声fj 开创相位。图中所呈现的是个完整的整周期声叫积波膨。上升段 称为升肩相位，r 降段称为关闭相位。由于这两个相位都呈敞开状态，而合 起来称为开相位，紧接着开相位是声门完全闭合时段，此时称为声j 的闭合市h 位。这个相位要延续剑下个振动周期的开始才结束。实验中观察发现丌启相位 段声门信号是渐缓变化而在关闭相位段声门信号下降很快。个完整的声门振 动周期所延续的时间用t 表述。t 的单位是秒，它决定了声带的振动频率( 笊 频) f ( h z ) = ；通常定义卢源的参数有开商( 0 q ) 、速度商( s q ) 和速度指 数( s 1 ) 。当声门不存在闭合相位时，0 q 就等于l 。开商的定义： t o p 一鬲( 3 一1 ) z 其。 。r 是开相位延续时间，以秒或者采样点数为单位，该式农明开干闩位越 氏，o q 越人。 速度商的定义： s q2 去( 弛) 第1 4 页 共振t 峰语音合成算法研究和实现 速度指数的定义 9 ，- 塑二! 一 s q 十1 ( 3 3 ) 对元音声学特性的完整描述不能不提到芦吖 声源的频谱特性，因为它极大 地影响了元音的色彩。理想声门气流波形极其频谱如图3 3 、图中左图所示是元 音i 的理想声源的波形。右图其频谱中各分量的振幅从低频到高频依次递减。 这种下降的振幅所形成的包络线是条劁线，其倾剿度称为”劁率。它以每倍 频加( + ) 或减( 一) 多少分贝米度量的。如这条线足下降的，琊就用分贝倍 频程( 一d b o ( 、t ) 水表“。理想的卢源 【f 是以一1 2 d b 儿c l 的斜率1 降。这成为了声 源一滤波器理论训论的基础。由声l 1 波形参数汁算声源谱。股晚来声】波的形 状唯+ 决定了声源谱的特性( 斜率) 。文献5 1 提出了由少量波形参数计算声源 谱的简便公式。声波形参数s 是关闭千【f 的时长，它决定了关闭榴的斜率，时 跃越短斜率越大，r 、j 长越长斜率越小；疋是闭合辛同长度，与s 密切相关，疋越长 则s 越短，蜀是周期时间。由此诸参量可计算出该声门波的谱斜率m ： m 4 5 1 7 1 0 9 s 正( 3 4 ) 蚤 篆3 图3 2 理恕声源波形槭其微分波形 第1 5 页 。： 珊 塑 t 。 暮_ o 高 l 一 南玛1lm 瓣 ?i蔓； 班 1 蟊 畔， ， 下 ，偷 ，_t【e-_f【 付 。l毒iil“ljio。 第三章l f 声源模型的参数提取 图3 3 j 卢源波形极其频谱剀 公式3 4 表明e 越人或者s 越短，瞒斜率m 越小，意味着声源淆包络线的剁度越 小，些i 此高频分景：悔具有较大的能最，整个讲的宽度增加。反之，“艇缺至不 存在，那么s ：i 辱很长，此时的声源曙斜率将会很大，岛频能景很快衰减，谱的 宽度缩窄。可以通过方程预测当基频提高卜f ，由- 丁缩短因而声源谱斜率m 也 会减小，相应的高频分量得到提高。当然一个真实声j 信弓的频谱是参筹小齐 的，如图3 3 所示元音l 的频谱，谱斜率一1 2 d b j l 是各谐波振幅的平均值。 3 2 噪音声源模型 非浊音声源的