第三章 声音的合成ppt课件

第二章声音的合成 一 音频信号 1 声音是一种波声波可以在空气中传播 也可以在液体及固体中传播 声音三要素 1 音调 高低 2 音强 强弱 3 音色 特质 2 音质音质与频率范围成正比 频率范围越宽音质越好3 声音采样把声音信号按固定的时间间隔 转换成有限个数字表示的离散序列 0000 0001 0010 0011 1001 1010 1011 常用声音信号与采样频率 声音信号 CD音乐 数字电话 采样频率 信号带宽 数字电话 44 1K 16K 8K 20K 7K 3 4K 4 音频文件的种类及特点 1 MIDI文件 电子乐器数字接口 是用于在音乐合成器 电子乐器 音序器和计算机之间交换音乐信息的一种标准协议 MIDI实质上是由MIDI控制器 或MIDI文件 产生的指示电子音乐合成器要做什么 怎么做 如演奏某个音符 加大音量 生成音响效果 的一套标准指令 MIDI不是声音信号 在MIDI电缆上传送的不是声音 而是动作指令 由于MIDI只是记录音乐信息的数字代码 所以生成的文件比较小 便于传播 也便于编辑修改与Mp3 Wav等音频格式不同的是MIDI的播放质量很大程度上取决于硬件或软件的音源环境 也就是说同样的MIDI文件在不同的电脑上可能有非常明显的效果差别 究其原因是因为它们调用的波表音色库不一样 声音文件 24 9K 声音文件 16K 2 WAVE WaveformAudio 波形音频文件多媒体系统 音乐光盘制作 记录物理波形 数据量大WAVE格式文件是以RIFF为标准的在Windows中 把声音文件存储到硬盘上的扩展名为WAV WAV记录的是声音的本身 所以它占的硬盘空间大的很 例如 16位的44 1KHZ的立体声声音一分钟要占用大约10MB的容量 和MIDI相比就差的很远 标准格式的WAV文件和CD格式一样 也是44 1K的采样频率 速率88K 秒 16位量化位数WAV格式的声音文件质量和CD相差无几 MP3也就是指的是MPEG标准中的音频部分 也就是MPEG音频层 根据压缩质量和编码处理的不同分为3层 分别对应 mp1 mp2 mp3 这3种声音文件 MPEG音频文件的压缩是一种有损压缩 MPEG3高压缩率 基本保持低音频部分不失真 但是牺牲了声音文件中12KHz到16KHz高音频这部分的质量来换取文件的尺寸 相同长度的音乐文件 用 mp3格式来储存 一般只有 wav文件的1 10 而音质要次于CD格式或WAV格式的声音文件 文件尺寸小 音质好 声音文件 WAV Wave 波形音频文件 wav MIDI MusicalInstrumentDigitalInterface 乐器数字化接口文件 mid 教学进程 STOP STOP 二 录音编辑 1 基于句子和单词的录音编辑方式 可以预先将句子 单词作为录音的单位 对录音 讲话所涉及的有关句子或单词逐个进行录音并保存为了实现这种录音编辑方式 应事先存入大量的有关单词 句子 即需要大量的存储空间 声音合成时还需要快速地检出和呈现 需要高速的检索和控制 2 基于音节的编辑合成方式 在任何语言中 音节的数量比单词的数量少很多 基于音节的编辑方式在合成时的检索 控制变得十分方便 基于音节的合成方式的音质较差 很难表现人们在讲话时的各种情感和声调的变化 根据发音耦合的原理和要求 人们对单词的发音制定了一定的规则 基于这种规则进行声音合成 可以得到较好的声音效果 3 录音编辑声音合成的分析 1 以录音编辑的方式进行声音合成 需要大容量的存储设备 2 为了让一定容量的存储设备能存储更多的声音信息 需要对声音信息的数据量进行压缩 3 通过编码的方式 减少声音信息中的冗余性是实现声音信息压缩的基本方法 三 脉冲代码调制PCM 脉冲代码调制PCM pulsecodemodulation 是一种对模拟信号的编辑声音信号是一种模拟信号 经PCM编码后 变成数字信号通常所说的PCM录音就是一种数字录音 1 基本原理 PCM编码过程 1 对模拟声音信号进行采样 采样周期 采样信号 t 振幅 2 将各个采样点的声音信号值通过模 数变换 A D转换 变换成由0和1组成的脉冲变换序列 0011001000010000111111101101 正值 负值 模拟信号 码字序列 3 在PCM 脉冲代码调制 中所分配码字的首位为符号位 信号为正时 首位为0信号为负时 首位为1 4 对声音采样的频率称为采样频率 f经采样后对每一个采样点分配的码字为a位 用于存储1秒钟的声音信号所需的存储容量为f a 它也表示了传递声音信号所需的速率 例 设声音信号的采样频率为10KHz PCM编码所分配码字长度为8bit 传送该声音信号所需的传递速率应不低于10 103 8 8 104bit s 5 PCM录音及其声音合成系统 扬声器 A D变换器 2 采样与量化 1 在PCM调制中 采样频率应是声音信号中最高频率的两倍以上 2 声音信号中包括有多种不同的频率成分 为使各种不同的频率成分都能很好地传递 呈现 所需的带宽应是20Hz 20KHz采样频率应选为40Hz 3 对于连续的声音信息 由于其相关性 通过前 后的有关信息可以实现信息的预测和识别 声音合成时采样频率选为8KHz就足够了 至多10KHz 4 PCM编码中 除需要以一定的频率进行采样外 还需要对每一个样本进行量化 分配一定的码字 5 量化的精度 即分配码字的长度 对声音的失真度有很大影响 声音信号与量化精度的关系 量化噪音与量化精度 即分配码字长度a之间有如下关系 6 a 1 dB例如 要求噪音的信噪比S N不低于60dB6 a 1 60a 11说明 在PCM编码时 分配的码字长度应不低于11bit 如采样频率为10kHz分配的码字长度为11bit 记录1秒钟的声音信息所需要的存储容量为 11 10 103 110 kb 若以字节计算 记录1分钟的声音信号所需存储容量 110 103 8 14 KB 40KB的存储容量 只能存3秒钟 3 高频滤波 为提高声音合成效果 进行预处理 采样频率为f将声音信号中高于f 2的高频成分滤掉 这种处理是通过低通滤波器完成 低通滤波器 四 增量调制 1 基本原理 增量调制是一种以最低的一位数进行数据压缩的编码方式在DM系统中 应预先确定具有一定振幅值的增量 并根据当前信号与基于预测编码的预测值之间的差值进行编码 设当前时刻n的声音信号值为Sn 基于预测编码的n 1时刻的声音信号预测值为Sn 1其间的误差值en为en Sn Sn 1en为预测误差 预测编码是按照不断减少预测误差的方向进行编码的 通过编码 使预测值Sn 1不断逼近Sn在DM方式中 预测值是以Sn Sn 1 确定的下面以声音信号采样序列 4 5 1 0 3 在编码前 应预先确定增量 设 2 并给定编码的初始条件为S0 0 n 1时刻 声音信号为4 由于初始条件为S0 0e1 S1 S0 4 0 4由于e1 0分配增量 2 以码字0表示 预测值为S1 S0 2 n 2时刻 声音信号为5 预测误差为e2 S2 S1 5 2 3由于e2 0分配增量 2 以码字1表示 预测值为S2 S1 4 n 3时刻 声音信号为1 预测误差为e3 S3 S2 1 4 3由于e3 0分配增量为 以码字0表示 预测值为S3 S2 4 2 2声音信号 预测值 预测误差与码字序列及其相互间的关系如下图所示 DM方式的信号波形 通过上述DM编码的过程 可得到声音信号的DM编码的0 1符号序列 根据这样的符号序列 通过DM编码的逆操作 可进行解码 恢复原声音信号 例如 2的情况下 接收的码字序列为 11011100 当码字 1 到来时 进行 2的操作 当码字 0 到来时 进行 2的操作 由此可得到解调后的声音信号为 2 4 2 4 6 8 6 4 2 粒状噪声与超载噪声 增量调制是一种一位数的编码方式 它根据预测误差的正 负分配相应的 在很多情况下 信号的变化很小 甚至不变 在这种情况下 DM编码仍然要分配 或 2 粒状噪声与超载噪声 如上图 在原声音信号不变 或缓慢变化时 DM编码的码字序列却是010101 这样变化的码字序列 这种变化的0 1序列 经解码后产生一种噪声 对原声音符号的音质造成一定的影响 称这种噪声为粒状噪声 GranularNoise 为了减小粒状噪声的影响 应减小增量的幅度 显然 的幅度越小 粒状噪音越小 当增量的幅值减小时 会给DM方式的声音信号带来超载噪声 OverloadNoise 对于一定的增量幅值 当声音信号变化比较大时 DM编码信号值的变化跟不上声音信号的变化 使得编码信号值的变化比原声音信号产生一种延迟如图所示 超载噪声 为了减少超载噪声应增大增量的幅值 这与减小粒状噪声是相矛盾的 一般地 人们对超载噪声噪声的感知不太敏感 而粒状噪声在整个频谱范围上都会产生一定的影响 它对音质的影响较大 因此 在决定增量的幅值时 与实际的声音信号大小相比较 应选择增量足够小的幅值增量的幅值过小 必将使超载噪声增加 为减少超载噪声 可增加采样频率 使得在一定的采样间隔内声音信号的变化