第5章5.3 数字声音及应用19384.ppt

5 3数字声音及应用 5 3 1波形声音的获取与播放5 3 2波形声音的表示与压缩编码5 3 3波形声音的编辑5 3 4计算机合成声音 5 3 1波形声音的获取与播放 声音的特性和类型 声音由振动产生 通过空气进行传播声音是一种波 它由许多不同频率的谐波组成谐波的频率范围称为声音的 带宽 计算机处理的声音类型 话音或语音 speech 专指人的说话声音 带宽仅为300 3400Hz全频带声音 如音乐声 风雨声 汽车声等 其带宽可达到20Hz 20kHz人耳可听到的声音统称 可听声 audio 20Hz 20kHz 数字波形声音的获取 步骤 2 量化 quantization 模数转换 3 编码 encoding 1 取样 sampling 数字波形声音的获取设备 声音的联机获取设备 声卡 声波转换为电信号 声音的脱机获取设备 数码录音笔 取样 量化和编码 声音的重建与播放 计算机输出声音分为两步 1声音的重建 把声音从数字形式转换成模拟信号形式 由声卡完成 2声音播放 将模拟声音信号经处理和放大后送到音箱 扬声器 关于音箱 普通音箱接收的是重建的模拟声音信号数字音箱直接接收数字声音信号 失真更小 声卡的功能与逻辑组成 波形声音的获取与编码波形声音的重建与播放MIDI消息的输入MIDI音乐的合成 背景材料 声卡的具体实现 声卡主要由2块芯片组成 主处理芯片 包括数字信号处理器 MIDI控制 I O控制等CODEC芯片 负责多声道取样 A D与D A转换 混音处理等 当前PC机的声卡大多已不再做成独立的插卡形式 而是与主板集成在一起 称为集成声卡 背景材料 声卡的几种类型 硬声卡 除CODEC芯片外 主板上还有1块音频主处理芯片 很多音效处理任务无需CPU参与就可独立完成 声卡的类型 独立声卡 以扩展卡形式插在机箱中使用 集成声卡 软声卡 仅1块CODEC芯片 负责多声道取样与量化处理 I O控制器部分集成在主板上的南桥芯片中 DSP的功能需由CPU协助完成 声卡的组成部分均集成在主板上 5 3 2波形声音的表示与压缩编码 数字波形声音的表示及其参数 数字波形声音是使用二进位表示的一种串行比特流 其数据按时间顺序进行组织 文件扩展名为 wav 数字波形声音的主要参数有 取样频率 语音的取样频率低 一般为8kHz全频带声音 如音乐 的取样频率高 一般为44 1kHz量化位数 通常为8位 12位或16位声道数目 单声道为1 双声道为2码率 比特率 每秒钟的数据量 数字波形声音码率的计算 未压缩时数字波形声音的码率计算公式码率 取样频率 量化位数 声道数例 压缩编码之后数字波形声音的码率为 压缩后的码率 未压缩时的码率 压缩倍数例 上面CD唱片的立体声音乐压缩为MP3后 若压缩倍数是12倍 则该MP3音乐的码率是 118kb s左右 数字波形声音的数据压缩 数字波形声音的数据量很大 例如 数字语音1小时的数据量大约是30MBCD立体声高保真的数字音乐1小时的数据量大约是635MB数据压缩的必要性 为了降低存储成本和提高在网络上的传输效率数据压缩的可能性 声音中包含了大量冗余信息 人耳的灵敏度有限 允许有一定失真数字波形声音压缩编码的方法 全频带声音 国际标准MPEG 工业标准DolbyAC 3数字语音 固定电话使用ADPCM编码移动电话使用高效率的混合编码技术 全频带数字音频编码的标准 所谓 MP3音乐 就是一种采用MPEG 1层3编码的高质量数字声音 它能以10倍左右的压缩比降低高保真数字声音的存储量 使一张普通CD光盘上可以存储大约100首MP3歌曲 附 MP3播放器的结构与原理 嵌入式处理器用于运行控制程序 控制各个部件协调工作 它接收控制按键的操作命令 从闪烁存储器读取MP3音乐数据送到DSP去解码 显示播放器的工作状态 负责与主机连接并交换数据等等 数字信号处理器DSP完成MP3数据流的解码操作 并输出波形格式的数字音频信号 经数模转换和功率放大之后 用户即可听到声音 存放MP3音乐数据 容量越大 可存放的歌曲数目就越多 存放MP3播放器的控制程序 显示MP3播放器的工作状态和歌曲的歌词 什么是流媒体 在因特网上收听 看 音 视 频节目的2种方式 下载存储方式 先下载存储在计算机中 下载完毕后再播放 缺点 需要等待很长时间 并需要较大的存储容量 流式传输方式 边下载 边播放 优点 只需要下载一部分数据之后 就可以开始一边播放一边下载 等待时间短 存储需求小 流媒体技术就是允许在网络上让用户一边下载一边收看 听 音视频媒体的一种技术目前主要有3个公司的流媒体产品 RealNetworks公司的RealMedia微软公司的WindowsMedia苹果公司的QuickTime 附 流媒体是如何工作的 流媒体播放软件 Web服务器 Web浏览器 网页 客户计算机 http协议 3点击流媒体节目 启动流媒体播放程序 RTSP TCP RTP UDP 6播放器可以边播放边接收数据 并可以控制播放 暂停 快进 快倒等 5将音 视 频节目传输给客户计算机 RTCP UDP HTML网页 1请求网页 2服务器送回网页 4向流媒体服务器发出请求 数字波形声音的主要文件格式 wav 波形声音文件 pcm 使用PCM编码的声音文件 mp2 MPEG层1或层2编码的声音文件 mp3 MPEG层3编码的声音文件 rm ra RealAudio RealNetworks的流式声音文件 wma 微软公司的流式声音文件 aif AudioInterchangeableFileFormat 苹果公司的声音文件 5 3 3波形声音的编辑 波形声音编辑软件的功能 主要功能 1编辑声音 如声音剪辑 复制 调节音量2声音的效果处理 如混响 回声等3录音4声音的格式转换5播放声音 声音编辑软件的典型用户界面 5 3 4计算机合成声音 什么是计算机合成声音 计算机合成声音就是计算机模仿人说话或演奏音乐计算机合成声音有两类 计算机合成语音 计算机模仿人把一段文字朗读出来 即把文字转换为语音 简称为TTS 应用 有声查询 文稿校对 语言学习 语音秘书 自动报警 残疾人服务等计算机合成音乐 计算机模拟各种乐器发声并按照乐谱演奏音乐应用 计算机作曲 配器等 例 计算机合成的语音 Hello everybody 1 你好 我是贝尔实验室的中文语音合成系统 BellTTS1 南京大学计算机系2002年招收了202名本科生 22名博士生 130多名硕士生 中科大讯飞公司 Bell 安徽中科大讯飞信息科技有限公司是专门从事中文语音及语言技术软件 讯飞 我们都是同行 我们一路同行 去参加人参培植研讨会 讯飞 Bell 需要进一步提高之处 发音和断句要正确 提高自然度 丰富表现力 计算机合成音乐 MIDI 计算机合成音乐需要三个要素 乐器 乐谱和 演奏员 声卡上的音乐合成器能像电子琴一样模仿几十种不同的乐器发出声音 它按照MIDI消息合成出不同音色和音调的音符 通过扬声器播放出音乐来 乐谱在计算机中使用一种叫做MIDI的音乐描述语言来表示 使用MIDI描述的音乐称为MIDI音乐 一首乐曲对应一个MIDI文件 其文件扩展名为 MID或 MIDI 媒体播放器软件相当于 演奏员 播放MIDI音乐时 它先从磁盘上读入 MID文件 解释其内容 然后以MIDI消息的形式向声卡上的音乐合成器发出各种指令 背景材料 音乐合成器 PC机声卡一般都带有MIDI音源 音乐合成器 MIDI音源有两种 调频合成器 一种受控的电子振荡器 音色单调 效果较差 已很少使用波表合成器 音色丰富 效果很好 可扩展 现广泛使用波表合成器的原理预先将真实乐器演奏的各个音符的波形数字化 把它们组织成一个个波表文件存放在存储器中播放时合成器软件根据乐器类型和音符参数等将相应的波形数据修饰成所要求的音强和时长 然后合成 加工后播放 例 计算机合成的MIDI音乐 例1音乐之声 6KB 例2军港之夜 7KB MIDI的优点 数据量极小 比CD立体声少3个数量级 比MP3少3个数量级 易于制作和编辑修改可以与波形声音同时播