第5章5.3 数字声音及应用

1、5.3 数字声音及应用数字声音及应用 5.3.1 波形声音的获取与播放波形声音的获取与播放 5.3.2 波形声音的表示与压缩编码波形声音的表示与压缩编码 5.3.3 波形声音的编辑波形声音的编辑 5.3.4 计算机合成声音计算机合成声音 2 5.3 数字声音及应用 5.3.1 波形声音的获取与播放波形声音的获取与播放 3 5.3 数字声音及应用 声音的特性声音的特性和类型和类型 n声音由振动产生，通过空气进行传播声音由振动产生，通过空气进行传播 n声音是一种波，它由许多不同频率的声音是一种波，它由许多不同频率的 谐波组成谐波组成 n谐波的频率范围称为声音的谐波的频率范围称为声音的“带宽带宽”

2、n计算机处理的声音类型：计算机处理的声音类型： n话音或语音话音或语音(speech)，专指人的说话声音，带宽仅为，专指人的说话声音，带宽仅为300 3400Hz n全频带声音全频带声音(如音乐声、风雨声、汽车声等如音乐声、风雨声、汽车声等)，其带宽可达到，其带宽可达到 20Hz20kHz n人耳可听到的声音统称人耳可听到的声音统称“可听声可听声”(audio) ，20Hz 20kHz 4 5.3 数字声音及应用 数字波形声音的获取数字波形声音的获取 步骤：步骤： 2. 量化（量化（quantization，模数转换，模数转换 ) 3. 编码编码（encoding） 1. 取样（取样（samp

3、ling） 取取 样样 模拟声音信号模拟声音信号 取样的目的是把时间上连取样的目的是把时间上连 续的信号转换成时间上离续的信号转换成时间上离 散的信号散的信号 量量 化化 量化是把每个样本从模拟量化是把每个样本从模拟 量转换成为数字量量转换成为数字量(8位或位或 16位整数表示位整数表示) 数字数字 声音声音 01100011001 编编 码码 将所有样本的二进制将所有样本的二进制 代码组织在一起，并代码组织在一起，并 进行数据压缩进行数据压缩 5 5.3 数字声音及应用 数字波形声音的获取设备数字波形声音的获取设备 n声音的联机获取设备声音的联机获取设备(声卡声卡) 声波转换声波转换 为电信

4、号为电信号 n声音的脱机获取设备：数码录音笔声音的脱机获取设备：数码录音笔 麦克风麦克风 （microphone） 声音卡声音卡 （sound card） 模拟声音模拟声音 数字声音数字声音 取样、量取样、量 化和编码化和编码 6 5.3 数字声音及应用 声音的重建与播放声音的重建与播放 n计算机输出声音分为两步：计算机输出声音分为两步： 1 声音的重建：把声音从数字形式转换成模拟信号形式，由声声音的重建：把声音从数字形式转换成模拟信号形式，由声 卡完成卡完成 2 声音播放：将模拟声音信号经处理和放大后送到音箱声音播放：将模拟声音信号经处理和放大后送到音箱(扬声器扬声器) n关于音箱：关于音箱

5、： n普通音箱普通音箱接收的是重建的模拟声音信号接收的是重建的模拟声音信号 n数字音箱数字音箱直接接收数字声音信号，失真更小直接接收数字声音信号，失真更小 重建的模拟重建的模拟 声音信号声音信号 数字数字 声音声音 011010011101 插插 值值 数模转换数模转换 解解 码码 把压缩编码的数字把压缩编码的数字 声音恢复为压缩编声音恢复为压缩编 码前的状态码前的状态 把声音样本从把声音样本从 数字量转换为数字量转换为 模拟量模拟量 把时间上离散的一组把时间上离散的一组 样本转换成在时间上样本转换成在时间上 连续的模拟声音信号连续的模拟声音信号 7 5.3 数字声音及应用 声卡的功能与逻辑组

6、成声卡的功能与逻辑组成 波形声音的获取与编码波形声音的获取与编码 波形声音的重建与播放波形声音的重建与播放 MIDI消息的输入消息的输入 MIDI音乐的合成音乐的合成 DSP DMA接口接口 PC总线总线 取样，量化取样，量化 D/A 重建，滤波重建，滤波 声音输出声音输出 声音输入声音输入 音乐合成器音乐合成器 mixer MIDI接口接口 声卡的主要功能声卡的主要功能 8 5.3 数字声音及应用 背景材料：声卡的具体实现背景材料：声卡的具体实现 声卡主要由声卡主要由2块芯片组成：块芯片组成： 主处理芯片：包括数字信号处理器、主处理芯片：包括数字信号处理器、MIDI控制、控制、I/O控制等控

7、制等 CODEC芯片：负责多声道取样、芯片：负责多声道取样、A/D与与D/A转换、混音处理等转换、混音处理等 音频音频 主芯片主芯片 音频混合音频混合 芯片芯片 运运 算算 放大器放大器 功功 率率 放大器放大器 MIDI/ joystick MIC输入输入/ 线路输入线路输入 P C I 总 总 线线 线路输出线路输出 扬声器扬声器 Audio CODEC芯片芯片 当前当前PC机的声卡大多已不再做成独立的插卡形式，而是机的声卡大多已不再做成独立的插卡形式，而是 与主板集成在一起，称为集成声卡与主板集成在一起，称为集成声卡 2种音频技术规范：种音频技术规范： - AC97音频技术规范音频技术规

8、范 - HD Audio 9 5.3 数字声音及应用 背景材料：声卡的几种类型背景材料：声卡的几种类型 硬声卡：硬声卡：除除CODEC芯片外，主板上还芯片外，主板上还 有有1块音频主处理芯片，很多音效处理块音频主处理芯片，很多音效处理 任务无需任务无需CPU参与就可独立完成参与就可独立完成 声卡的类型声卡的类型 独立声卡：以扩展卡形式插在机箱中使用独立声卡：以扩展卡形式插在机箱中使用 集成声卡集成声卡 软声卡软声卡：仅：仅1块块CODEC芯片，负责多芯片，负责多 声道取样与量化处理，声道取样与量化处理，I/O控制器部分控制器部分 集成在主板上的南桥芯片中，集成在主板上的南桥芯片中，DSP的功的

9、功 能需由能需由CPU协助完成协助完成 声卡的组成部声卡的组成部 分均集成在主分均集成在主 板上板上 10 5.3 数字声音及应用 5.3.2 波形声音的表示波形声音的表示 与压缩编码与压缩编码 11 5.3 数字声音及应用 数字波形声音的表示及其参数数字波形声音的表示及其参数 n数字波形声音是使用二进位表示的一种串行比特流，其数数字波形声音是使用二进位表示的一种串行比特流，其数 据按时间顺序进行组织，文件扩展名为据按时间顺序进行组织，文件扩展名为“.wav” n数字波形声音的主要参数有：数字波形声音的主要参数有： n取样频率：取样频率： n语音的取样频率低，一般为语音的取样频率低，一般为8k

10、Hz n全频带声音（如音乐）的取样频率高，一般为全频带声音（如音乐）的取样频率高，一般为44.1kHz n量化位数：通常为量化位数：通常为8位、位、12位或位或16位位 n声道数目：单声道为声道数目：单声道为1，双声道为，双声道为2 n码率码率(比特率比特率)，每秒钟的数据量，每秒钟的数据量 12 5.3 数字声音及应用 数字波形声音码率的计算数字波形声音码率的计算 n未压缩时数字波形声音的码率计算公式未压缩时数字波形声音的码率计算公式 码率码率 = 取样频率取样频率 量化位数量化位数 声道数声道数 n例：例： 声音类型声音类型 声音信号带宽声音信号带宽 (Hz) 取样频率取样频率 (kHz)

11、 量化位数量化位数 (bits) 声道声道 数数 未压缩时的未压缩时的 码率码率 数字语音数字语音3003 40088164 kb/s CD立体声立体声2020 00044.11621411.2(kb/s) n压缩编码之后数字波形声音的码率为：压缩编码之后数字波形声音的码率为： 压缩后的码率压缩后的码率 = 未压缩时的码率未压缩时的码率/ /压缩倍数压缩倍数 n例：上面例：上面CD唱片的立体声音乐压缩为唱片的立体声音乐压缩为MP3后，若压缩倍数后，若压缩倍数 是是12倍，则该倍，则该MP3音乐的码率是：音乐的码率是：118 kb/s左右左右 13 5.3 数字声音及应用 数字波形声音的数据压缩

12、数字波形声音的数据压缩 n数字波形声音的数据量很大，例如：数字波形声音的数据量很大，例如： n数字语音数字语音1小时的数据量大约是小时的数据量大约是30MB nCD立体声高保真的数字音乐立体声高保真的数字音乐1小时的数据量大约是小时的数据量大约是635MB n数据压缩的必要性：数据压缩的必要性： n为了降低存储成本和提高在网络上的传输效率为了降低存储成本和提高在网络上的传输效率 n数据压缩的可能性：数据压缩的可能性： n声音中包含了大量冗余信息；人耳的灵敏度有限，允许有一声音中包含了大量冗余信息；人耳的灵敏度有限，允许有一 定失真定失真 n数字波形声音压缩编码的方法：数字波形声音压缩编码的方法

13、： n全频带声音：国际标准全频带声音：国际标准MPEG；工业标准；工业标准Dolby AC-3 n数字语音：固定电话使用数字语音：固定电话使用ADPCM编码编码 移动电话使用高效率的混合编码技术移动电话使用高效率的混合编码技术 14 5.3 数字声音及应用 全频带数字音频编码的标准全频带数字音频编码的标准 n所谓所谓“MP3音乐音乐”就是一种采用就是一种采用 MPEG-1层层3编码的高质量数字声音编码的高质量数字声音, 它它 能以能以10倍左右的压缩比降低高保真数字倍左右的压缩比降低高保真数字 声音的存储量，使一张普通声音的存储量，使一张普通CD光盘上光盘上 可以存储大约可以存储大约100首首

14、MP3歌曲歌曲 标准名称标准名称压缩后的码率压缩后的码率(每个声道每个声道)声道数目声道数目主要应用主要应用 MPEG-1 audio层层1192 kbps （压缩（压缩4倍）倍）2数字盒式录音带数字盒式录音带 MPEG-1 audio层层2128 kbps（压缩（压缩6倍）倍）2DAB,VCD, MPEG-1 audio层层364kbps（压缩（压缩1112倍）倍）2Internet，MP3音乐音乐 MPEG-2 audio与与MPEG-1层层1,层层2,层层3相同相同5.1, 7.1同同MPEG-1 Dolby AC-364 kbp5.1, 7.1DVD, DTV，家庭影院，家庭影院 15

15、 5.3 数字声音及应用 附：附：MP3播放器的结构与原理播放器的结构与原理 程序程序 存储器存储器 闪烁闪烁 存储器存储器 液晶显示液晶显示 D/A转换转换 嵌入式处理器嵌入式处理器 及及DSP 声音输出声音输出 控制按键控制按键 USB接口接口 嵌入式处理器用于运行控制程序，控制各个部件嵌入式处理器用于运行控制程序，控制各个部件 协调工作：它接收控制按键的操作命令，从闪烁协调工作：它接收控制按键的操作命令，从闪烁 存储器读取存储器读取MP3音乐数据送到音乐数据送到DSP去解码；显示去解码；显示 播放器的工作状态；负责与主机连接并交换数据播放器的工作状态；负责与主机连接并交换数据 等等等等

16、数字信号处理器数字信号处理器DSP完成完成 MP3数据流的解码操作，并数据流的解码操作，并 输出波形格式的数字音频信输出波形格式的数字音频信 号，经数模转换和功率放大号，经数模转换和功率放大 之后，用户即可听到声音之后，用户即可听到声音 存放存放MP3音乐数音乐数 据，容量越大，据，容量越大， 可存放的歌曲数可存放的歌曲数 目就越多目就越多 存放存放MP3 播放器的播放器的 控制程序控制程序 显示显示MP3 播放器的播放器的 工作状态工作状态 和歌曲的和歌曲的 歌词歌词 16 5.3 数字声音及应用 什么是流媒体？什么是流媒体？ n在因特网上收听在因特网上收听(看看)音音(视视)频节目的频节目

17、的2种方式：种方式： i下载存储方式：先下载存储在计算机中，下载完毕后再播放（缺点：下载存储方式：先下载存储在计算机中，下载完毕后再播放（缺点： 需要等待很长时间，并需要较大的存储容量）需要等待很长时间，并需要较大的存储容量） i流式传输方式：边下载、边播放（优点：只需要下载一部分数据之流式传输方式：边下载、边播放（优点：只需要下载一部分数据之 后后, 就可以开始一边播放一边下载，等待时间短、存储需求小）就可以开始一边播放一边下载，等待时间短、存储需求小） n流媒体技术就是允许在网络上让用户一边下载一边收看流媒体技术就是允许在网络上让用户一边下载一边收看(听听) 音视频媒体的一种技术音视频媒体

18、的一种技术 n目前主要有目前主要有3个公司的流媒体产品：个公司的流媒体产品： 1.Real Networks公司的公司的 Real Media 2.微软公司的微软公司的 Windows Media 3.苹果公司的苹果公司的 Quick Time 17 5.3 数字声音及应用 附：流媒体是如何工作的？附：流媒体是如何工作的？ 流媒体流媒体 播放软件播放软件 Web服务器服务器 Web 浏览器浏览器 流媒体流媒体 专用服务器专用服务器 音频音频(视频视频) 流媒体文件流媒体文件 网网 页页 （客户计算机）（客户计算机） http协议 3 点击点击 流媒体流媒体 节目，节目， 启动流启动流 媒体播媒

19、体播 放程序放程序 RTSP/TCP RTP/UDP 6 播放器播放器 可以边播可以边播 放边接收放边接收 数据，并数据，并 可以控制可以控制 播放、暂播放、暂 停、快进停、快进 、快倒等、快倒等 5 将音将音(视视)频频 节目传输给客节目传输给客 户计算机户计算机 RTCP/UDP HTML网页 1 请求网页请求网页 2 服务器送回网页服务器送回网页 4 向流媒体服向流媒体服 务器发出请求务器发出请求 18 5.3 数字声音及应用 数字波形声音的主要文件格式数字波形声音的主要文件格式 n.wav波形声音文件波形声音文件 n.pcm使用使用PCM编码的声音文件编码的声音文件 n.mp2MPEG

20、 层层 1 或层或层2 编码的声音文件编码的声音文件 n.mp3MPEG 层层3 编码的声音文件编码的声音文件 n.rm，.ra(RealAudio)RealNetworks的流式声音文件的流式声音文件 n.wma微软公司的流式声音文件微软公司的流式声音文件 n.aif (Audio Interchangeable File Format)苹果公司的苹果公司的 声音文件声音文件 19 5.3 数字声音及应用 5.3.3 波形声音的编辑波形声音的编辑 20 5.3 数字声音及应用 波形声音编辑软件的功能波形声音编辑软件的功能 主要功能：主要功能： 1 编辑声音：如声音剪编辑声音：如声音剪 辑、复

21、制、调节音量辑、复制、调节音量 2 声音的效果处理：如声音的效果处理：如 混响、回声等混响、回声等 3 录音录音 4 声音的格式转换声音的格式转换 5 播放声音播放声音 数字声音数字声音 的参数的参数 左声道左声道 信号波形信号波形 右声道右声道 信号波形信号波形 淡入淡入 淡出淡出 时间刻度时间刻度 播放标尺播放标尺 声音编辑软件的声音编辑软件的 典型用户界面典型用户界面 21 5.3 数字声音及应用 5.3.4 计算机合成声音计算机合成声音 22 5.3 数字声音及应用 什么是计算机合成声音？什么是计算机合成声音？ n计算机合成声音就是计算机模仿人说话或演奏音乐计算机合成声音就是计算机模仿

22、人说话或演奏音乐 n计算机合成声音有两类：计算机合成声音有两类： n计算机合成语音：计算机合成语音： n计算机模仿人把一段文字朗读出来，即把文字转换为语音计算机模仿人把一段文字朗读出来，即把文字转换为语音 （简称为（简称为 TTS） n应用：有声查询、文稿校对、语言学习、语音秘书、自动报应用：有声查询、文稿校对、语言学习、语音秘书、自动报 警、残疾人服务等警、残疾人服务等 n计算机合成音乐：计算机合成音乐： n计算机模拟各种乐器发声并按照乐谱演奏音乐计算机模拟各种乐器发声并按照乐谱演奏音乐 n应用：计算机作曲、配器等应用：计算机作曲、配器等 23 5.3 数字声音及应用 例：计算机合成的语音例

23、：计算机合成的语音 nHello，everybody （1） n你好，我是贝尔实验室的中文语音合成系统你好，我是贝尔实验室的中文语音合成系统（BellTTS1） n南京大学计算机系南京大学计算机系2002年招收了年招收了202名本科生，名本科生，22名博士名博士 生，生，130多名硕士生。多名硕士生。（中科大讯飞公司）（中科大讯飞公司） （Bell） n安徽中科大讯飞信息科技有限公司是专门从事中文语音及安徽中科大讯飞信息科技有限公司是专门从事中文语音及 语言技术软件语言技术软件 （讯飞）（讯飞） n我们都是同行，我们一路同行，去参加人参培植研讨会我们都是同行，我们一路同行，去参加人参培植研讨会

24、 （讯飞）（讯飞） （Bell） 需要进一步提高之处：发音和断句要正确，提高自然度，丰富表现力需要进一步提高之处：发音和断句要正确，提高自然度，丰富表现力 24 5.3 数字声音及应用 计算机合成音乐（计算机合成音乐（MIDI） 音乐音乐 合成器合成器 音乐音乐 MIDI 文件文件 媒体媒体 播放器播放器 MIDI 消息消息 n计算机合成音乐需要三个要素：乐器、乐谱和计算机合成音乐需要三个要素：乐器、乐谱和“演奏员演奏员” 声卡上的音乐合成声卡上的音乐合成 器能像电子琴一样器能像电子琴一样 模仿几十种不同的模仿几十种不同的 乐器发出声音，它乐器发出声音，它 按照按照MIDI消息合成消息合成 出

25、不同音色和音调出不同音色和音调 的音符，通过扬声的音符，通过扬声 器播放出音乐来器播放出音乐来 乐谱在计算机中使用乐谱在计算机中使用 一种叫做一种叫做MIDI的音乐的音乐 描述语言来表示。使描述语言来表示。使 用用MIDI描述的音乐称描述的音乐称 为为MIDI音乐。一首乐音乐。一首乐 曲对应一个曲对应一个MIDI文件，文件， 其文件扩展名其文件扩展名 为为 .MID或或 .MIDI 媒体播放器软件相当媒体播放器软件相当 于于“演奏员演奏员”。播放。播放 MIDI音乐时，它先从音乐时，它先从 磁盘上读入磁盘上读入.MID文件，文件， 解释其内容，然后以解释其内容，然后以 MIDI消息的形式向声消息的形式向声 卡上的音乐合成器发卡上的音乐合成器发 出各种指令出各种指令 25 5.3 数字声音及应用 背景材料：音乐合成器背景材料：音乐合成器 nPC机声卡一般都带有机声卡一般都带有MIDI音源（音乐合成器）音源（音乐合成器） nMIDI音源有两种：音源有两种： n调频合成器调频合成器（一种受控的电子振荡器）。音色单调，效果较（一种受控的电子振荡器）。音色单调，效果较 差，已很少使用差，已很少使用 n波表合成器波表合成器。音色丰富，效果很好，