项目5-3 知识技能：语音合成原理

项目5：智能语音助理—语音处理语音合成原理（本视频/PPT中部分所用图片、视频等资料来自网络，仅供教学使用）语音合成来自于微软的语音合成技术，声源名叫“云希”，被运用于众多短视频解说当中语音合成应用：语音导航、手机语音助手、无障碍的朗读助手等语音合成定义语音合成，又称文语转换（Text-To-Speech，TTS）技术，就是将任意文字信息转化为相应语音朗读出来。语音合成的基础是各种语言的高质量语音库。语音合成涉及声学、语言学、数字信号处理、计算机科学等多个学科技术。为了合成出高质量的语言，除了依赖于各种规则，包括语义学规则、词汇规则、语音学规则外，还必须对文字的内容有很好的理解，这也涉及到自然语言理解的问题。语音合成系统一个完整的语音合成过程是先将文字序列转换成音韵序列，再由系统根据音韵序列生成语音波形。系统框图如下：文本分析韵律处理声学处理语音合成系统-文本分析文本分析对输入的文本进行分析，输出尽可能多的语言学信息(如拼音、节奏等)；为后端的语言合成器提供必要的信息；文本分析实际上是属于自然语言处理的范畴。流程如下：字音转换多音字消歧自动分词文本规范化文本预处理词性标注语音合成系统-文本分析文本预处理：删除无效符号、断句等；文本规范化：将文本中的特殊字符识别出来，并转化为一种规范化的表达；字音转换多音字消歧自动分词文本规范化文本预处理词性标注例如：原句：原句：今天@是2022/8/20，天气晴朗，&气温20-30℃。文本预处理，规范化后：今天是2022年8月20日，天气晴朗，气温20至30摄氏度。语音合成系统-文本分析今天是2022年8月20日，天气晴朗，气温20至30摄氏度。自动分词，词性标注后：今天是2022年8月20日，天气晴朗，气温二十至三十摄氏度今天/nt是/v2022年/nt8月/nt20日/nt，/wp天气/n晴朗/a，/wp气温/n二十/m至/p三十/m摄氏度/q字音转换多音字消歧自动分词文本规范化文本预处理词性标注自动分词：将待合成的整句以词为单位划为单元序列，以便后续考虑词性标注、韵律边界标注等；语音合成系统-文本分析字音转换：将待合成的文字序列转换为对应的拼音序列，即告诉后端合成器应该读什么音。由于汉语中存在多音字问题，所以字音转换的一个关键问题就是处理多音字的消歧问题。字音转换：（renyaoshixing,ganyihangxingyihang,yihangxinghanghangxing.

人

要

是

行,干

一

行

行

一

行,一

行

行

行

行

行。字音转换多音字消歧自动分词文本规范化文本预处理词性标注语音合成系统-韵律分析韵律处理是文本分析模块的目的所在。节奏、时长的预测都是基于文本分析的结果。韵律即是实际语言交流中的抑扬顿挫和轻重缓急。对韵律的研究涉及语音学、语言学、声学、心理学、物理学等多个领域；作为语音合成系统中承上启下的模块，也是整个系统的核心部分，极大地影响最终合成的语音的自然度。语音合成系统-声学处理模块声学处理模块根据前面的文本分析模块和韵律处理模块提供的信息来生成自然的语音波形。合成方法：基于时域波形的拼接合成方法：根据韵律处理模块提供的基频、时长、能量和节奏等信息并在大规模语料库中挑选最合适的语音单元，然后通过拼接算法生成自然语音波形；基于语音参数的合成方法：根据韵律和文本信息的指导来得到语音参数，然后通过语音参数合成器来生成自然语音波形。端到端语音合成方法：通过神经网络深度学习的方法，实现直接输入文本，中间为黑盒算法部分，然后输出合成音频，对复杂的语言分析部分得到了极大的简化。语音合成系统-声学处理模块基于拼接的语音合成基本原理：根据文本分析的结果，从预先录制并标注好的语音库中挑选合适基元（语音拼接时的基本单元，可以是音节或者音素等）进行适度调整，最终得到合成语音波形。早期拼接语音合成：基元库小，以及拼接算法本身性能的一些限制，导致这些合成的语音不连续，自然度较低。当代拼接语音合成：基于大数据语料库的基元拼接合成系统，语料库具有较高的上下文覆盖率，因此我们能够挑选出的基元几乎不需要经过任何调整就可以用于拼接合成。语音合成系统-声学处理模块待合成文本：外交部评日本首相国会演说

语料库：外交部发言人今天宣布海关凭进口证明验放日本文化的装饰味很浓乌兹别克斯坦首都塔什干音频文件的格式选项国家宏观调控能力大大提高发展机遇也会眼睁睁地跑掉邓小平同志说外交部凭日本首项国会眼说外交部评日本首相国会演说语音合成系统-声学处理模块基于拼接的语音合成特点：优点：音质好，声音真实感强。缺点：需要的录音量大，覆盖要求高；字间协同过渡生硬，不平滑，不是很自然；很难改变发音的特征，只能合成该基元库说话人的语音。语音合成系统-声学处理模块基于参数的语音合成方法基本原理：基于统计建模和机器学习的方法，根据一定的语音数据进行训练，提取频谱特性进行参数建模，快速构建合成系统。特点：优点：录音量小，可多个音色（不同的发音人、发音风格、语种）共同训练，字间协同过渡平滑，自然等。缺点：音质没有波形拼接的好，机械感强，有杂音等。基于隐马尔科夫模型（HMM）的参数合成系统。语音合成系统-声学处理模块合成音频黑盒算法输入文本端到端的语音合成方法端到端语音合成技术是目前比较火的技术，通过神经网络学习的方法，实现直接输入文本或者注音字符，中间为黑盒部分，然后输出合成音频，对复杂的语言分析部分得到了极大的简化。端到端的语