语音信号处理课件-语音合成

SpeechsignalprocessingLecture6:语音合成1语音合成技术概述2共振峰合成技术3LPC参数合成技术4PSOLA合成5按规则合成6语音合成的未来发展方向Speechsignalprocessing1语音合成技术概述Speechsignalprocessing1语音合成技术概述语音合成定义为：通过机械的、电子的方法产生人造语音的技术。语音合成的三个层次:Intention-To-SpeechConcept-To-SpeechText-To-SpeechSpeechsignalprocessing1语音合成技术概述-TTS文本分析韵律生成语音生成Speechsignalprocessing1语音合成技术概述-合成过程查找拼写错误，并将文本中出现的一些不规范或无法发音的字符过滤掉。分析文本中词或短语的边界，标注词性、确定文字的读音，同时分析文本中出现的数字、姓氏、特殊字符、专有词语以及各种多音字的读音方式。分析文本中每个句子的语法结构和语义结构，确定语义中心，句子的重音模式，语调，从而为韵律处理提供必要信息。对音系层的韵律事件预测：声调、语调、轻重、节律等对声学层的韵律参数预测Speechsignalprocessing1语音合成技术概述建立韵律模型的两种方法基于模型的方法基于规则的方法Speechsignalprocessing1语音合成技术概述

语音生成方法主要目的：根据韵律建模的结果，从原始语音库中取出相应的语音基元，利用特定的语音合成技术对语音基元进行韵律特性的调整和修改，最终合成符合要求的语音。主要方法:（1）共振峰合成（2）LPC（线性预测编码）参数合成（3）PSOLA（基音同步叠加）合成Speechsignalprocessing2共振峰合成技术原理 音色各异的语音具有不同的共振峰模式，以每个共振峰频率及其带宽作为参数，可以构成共振峰滤波器。再用若干个这种滤波器的组合来模拟声道的传输特性（频率响应），对激励源发出的信号进行调制，再经过辐射模型就可以得到合成语音。Speechsignalprocessing2共振峰合成技术模型 级联型、并联型、混合型。优点 对音高、音长、音强等目标值可以通过设置激励和谐振器参数等来实现，调整起来较容易。缺点 由于对声道的模拟不精确影响了合成的自然度；控制参数过多，导致实现困难。激励源分为浊音和清音。Speechsignalprocessing2共振峰合成技术混合型共振峰模型Speechsignalprocessing3LPC参数合成技术原理一个语音的采样能够用过去若干个语音采样的线性组合来逼近。形式利用预测系数ai直接构成的递归型合成滤波器；利用反射系数ki构成格型合成滤波器。Speechsignalprocessing3LPC参数合成技术

LPC合成模型中的所有控制参数都必须随时间不断地修正。

(1)对于清音语音段，可以简单地针对每一帧数据改变一次参数。

(2)对于浊音语音段，根据控制参数改变时刻的选取不同，有基音同步合成和帧同步合成两种方式。

(3)分析帧的长度固定，一般选择大于两个基音周期，因此为了得到每个基音周期起始处的控制参数，就必须进行内插。优点简单、易于实现。缺点合成语音样本需要很高的计算精度Speechsignalprocessing4PSOLA基础-时间尺度的调整（TSM）

如何将一段声音变慢或者变快？Speechsignalprocessing

变慢一倍后的语谱图被拉长4PSOLA基础-时间尺度的调整（TSM）Speechsignalprocessing

问题Problem:如何保证局部的时间结构，而使整体的时间长度发生变化？解决方法

Solution将小段反复重复4PSOLA基础-时间尺度的调整（TSM）Speechsignalprocessing4PSOLA基础-时间尺度的调整（TSM）Speechsignalprocessing

允许在叠加过程中有一定的误差4PSOLA基础-时间尺度的调整（TSM）Speechsignalprocessing

通过交叉相关方法确定4PSOLA基础-时间尺度的调整（TSM）Speechsignalprocessing4PSOLA合成技术原理对原始波形进行分析，进行基音标注。(2)对这些短时信号做必要的修正，形成一系列短时合成信号。首先根据原始语音波形的基音曲线和超音段特征与目标基音曲线和超音段特征修正的要求，建立合成波形与原始波形之间基音周期的映射关系；再由此映射关系确定合成所需的短时合成信号系列。(3)将合成短时信号系列与目标基音周期同步排列并重叠相加得到合成波形。Speechsignalprocessing为原始语音段加基音标注是算法执行的基础。

浊音有基音周期，能够进行有效地标注。对于清音，为了保持算法的一致性，一般标注为一个适当的常数。需要按基音周期分别修改音长、基频及合成信号的幅值。

4PSOLA合成技术Speechsignalprocessing4PSOLA合成技术对于音长的修改，就是找到分析信号的基音同步标注点与最后合成信号的基音同步标注点之间的对应关系，一般它们呈现一种线性关系，下图给出了音长缩短时的基音标注情况。Speechsignalprocessing4PSOLA合成技术进行基频和音长的调整Speechsignalprocessing4PSOLA合成技术Speechsignalprocessing4PSOLA合成技术Speechsignalprocessing4PSOLA合成技术Speechsignalprocessing4PSOLA合成技术

基于拼接合成算法中需要解决的问题声学基元的选择韵律修饰Speechsignalprocessing5按规则合成

选择更小的合成基元，加入庞大的规则库将其合成为词语或句子的合成方式，更侧重于各种合成规则的研究，因此称其为按规则合成。对汉语，基元一般应选声母和韵母。韵律规则也叫“超音段特征”，反映了语音在基频、共振峰、能量以及谱分布特性上的差异。

主要包括声调、语调、重音等。Speechsignalprocessing5按规则合成

(a)重音规则指说话或朗读时读的比较重的音节或词语，要时间长一点、音程大一点。一般可以将汉语重音分为词重音和句重音两大类。（b)转接与音渡转接与音渡是音素序列转变成语音流时的动态变化规律。汉语发音中存在两种基本的过渡，即辅音与元音组合和元音与元音组合。前者称之为“转接”；后者称之为“音渡”。Speechsignalprocessing5按规则合成

(c)声调与变调在连续的语流中，由于相邻音节之间的相互影响，各音节的基音频率时变曲线与孤立发音时的音节相比会发生较大的变异。（d)音长问题音长也是语音的重要特征之一，对语音的可懂度、自然度都有一定的影响。汉语中音长主要体现在韵母的调型段长度上。Speechsignalprocessing6合成音质的评价主观评价可懂度（清晰度）正确听辨被传送的