《音频信号及数字化》PPT课件.ppt

第3章 音频、视频信号及数字化 3.1 音频信号及数字化 3.1.1 音频信号及其心理特征,什么是声音？,声音：是一种波，其本质是机械运动或气流扰动引起周围弹性 媒质发生波动的现象； （声音可以在空气、液体和固体中传播）,周期（T）,A,t,振幅,（一）振幅：声波中的振幅就是通常所说的音量；,振幅,频率,周期,声波,声压（P）,声压级（SPL）,1声压（P）,声压:声波引起某处媒质压强的变化量称为该处的声压。 （单位为Pa（帕斯卡），即牛顿/米2是压强的量纲）,总结: a.声压是有声波时该处的压强值与没有声波时该 处的压强值的差值。 b.声压越大，声音也就越大。,声压级：将声压的有效值取对数的形式表示声音强 弱，这种表示方式称为声压级。,2声压级（SPL）,Prms-计量点的声压有效值 Pref-零声级的参考声压值（Pref=210-5帕）,（单位用分贝dB）,b .声压级实际上是一种相对量，是某点的声压与零 声压的比，是描述声音变化的动态范围的物理量.,a . 为具有正常听力的年轻人对1kHz的单一频率 信号刚刚能觉察到它存在时的声压值。,音频与音高 音频是指声音信号的频率; 人对于声音频率的感觉表现为音调的高低。在音乐中称为音高。,（二）频率,音频信号：人类听觉的频率相应不是平直的，频率在 20Hz-20kHz是人类可以听到的听觉频带， 我们称为“音频信号”。,超音（超音波）,次音（亚音波）,Speech(voice):300Hz-3000Hz。,Audio(High-Fidelity):10Hz-20000Hz。,用声音信号的频率范围来衡量声音质量,1、数字激光唱盘，简称CD-DA质量 （Compact Disc Digital Audio），频率范围：10-20000Hz。,2、调频无线电广播，简称FM质量 （Frequency Modulation）， 频率范围：20Hz-15000Hz。,4、电话质量，简称Telephone质量 频率范围：200Hz-3400Hz。,3、调幅无线电广播，简称AM质量 （Amplitude Modulation）， 频率范围：50Hz-7000Hz。,音频带宽：20 Hz20 kHz是人类的听觉频带。,人耳对不同频率的敏感程度有很大差别。,低频区和高频区较不敏感，能被人耳听到的信号 幅度比中频段要高得多。,中频段（3kHz5kHz）最为敏感，幅度很低的信 号都能被人耳听到。,响度是指人类所感受到声音大小的程度，而响度级则是以1 kHz信号的声压级数，单位是“方”（Phon）。,响度与响度级,注：声压级是客观量，而响度级则是主观量。,等响度曲线 具有相等响度的不同频率的点连接起来构成的一条条曲线被称为等响度曲线,注：每条曲线上的各点响度相同但声压级不同。,绝对听阈：响度级为0方的等响度曲线；,注：在绝对听阈曲线以下的各种声音将不能被人耳察觉。,在安静环境中，能被人耳听到的纯音的最小值(该曲 线为0方响度级等响度曲线,即该曲线在1 kHz时声压级为 0dB。,注:某一频率强音的存在会改变其附近的绝对听阈曲线,而改变部分称为掩蔽听阈曲线。 改变后的听阈曲线以下的各种声音将不能被人耳察觉。 某一频率的强音对较高频率弱音的影响大于较低频率。,掩蔽效应: 声场中的一个强音能掩蔽与之同时发 声的附近的弱音。,8动态范围 是某个声音的最强音与最弱音的强度差，用分贝表示。它是衡量声音强度变化的重要参数。,9音频信号在时域和频域中的表现形式 在时域空间中表现为幅值随时间连续变化的曲线，在频域中则是将音频信号经傅里叶（Fourier）变换后在频率空间的分立或连续的谱线。,第3章 音视频信号及数字化 3.1 音频信号及数字化 3.1.1 音频信号及其心理特征,注：两种描述虽然形式不同，但是以不同的侧面去描述同一事物。,第3章 音视频信号及数字化 3.1 音频信号及数字化 3.1.1 音频信号及其心理特征,1模拟信号 从时间上以及幅值上都连续（不间断） 变化的信号称为模拟信号,第3章 音视频信号及数字化 3.1 音频信号及数字化 3.1.2 模拟信号与数字信号,注: 模拟信号强调在时间上的连续性。 模拟信号强调在幅值上的连续性。 计量和描述方式，一般采用十进制数。,缺点：a、噪声容限低； b、抗干扰能力差,2数字信号 在时间上和幅值上都是离散（不连续）的信号称为数字信号。,第3章 音视频信号及数字化 3.1 音频信号及数字化 3.1.2 模拟信号与数字信号,注：数字信号强调在时间上和幅值上都不连续。 数字信号的描述方式采用二进制数量来表示。 二进制数与数字信号是两个概念，前者只是对后者的一种描述，在数字信号中强调的是状态。 正逻辑是人们用“1”表示有脉冲或电源接通，而用“0” 表示无脉冲或电源断开。 二进制与十进制的关系：,第3章 音视频信号及数字化 3.1 音频信号及数字化 3.1.2 模拟信号与数字信号,仅从三个方面分析 音频信号的动态范围 噪声容限 （对噪声的承受能力） 与计算机的兼容性,第3章 音视频信号及数字化 3.1 音频信号及数字化 3.1.3 为什么要数字化,1. 音频信号的动态范围 实际声场中声音强弱的变化达120 dB。 传统的模拟音响设备的动态范围：采用模拟信号处理方式记录和重放音频信号。比如：磁带录音机等，其动态范围不会超过60 dB。 数字音响设备的动态范围接近或者达到实际声音的动态范围。,采用16 bit量化(如16位声卡)，则声音的强弱范围就可划分成： 个等级，因而动态范围可达96 (dB) 。,第3章 音视频信号及数字化 3.1 音频信号及数字化 3.1.3 为什么要数字化,结论：数字系统的音频信号动态范围比模拟系统提高了近一倍。这也是CD技术之所以获得高水准的音质的重要原因。,20 lg216 = 96 (dB),2. 噪声容限 （对噪声的承受能力） 传统的音响设备的失真情况 在重放时，由于失真、噪声、电机转速不匀等原因，重放效果大打折扣。 数字音响设备的失真情况 数字系统只要能识别码的长短或脉冲的有无，即可再现出原来的信号。 结论：数字信号的噪声容限比较高,第3章 音视频信号及数字化 3.1 音频信号及数字化 3.1.3 为什么要数字化,3. 与计算机的兼容性 多媒体是以计算机控制为基础的，而计算机处理、存储的都是数字信息，即“0”、 “1”信号，所以在多媒体中的音频、视频信号必须是数字信号。,第3章 音视频信号及数字化 3.1 音频信号及数字化 3.1.3 为什么要数字化, 动态范围大。若采用16 bit量化方法，音频信号的幅度可分为65536个量化级，动态范围达96 dB。 信息易处理。可以通过计算机对音频、视频信号进行各种特技及非线性编辑。 媒体易保存。使用时间长，采用数字化的光盘，重放时不存在机械磨损，使用寿命长。 成本低。数字化信息便于大规模集成电路的存储和处理，可降低成本。 可靠性高。数字信号只要求脉冲的有无，而不依赖信号的幅值大小，对硬件一致性和稳定性要求下降了许多，从而提高了可靠性。,第3章 音视频信号及数字化 3.1 音频信号及数字化 3.1.4 数字化的特点,1模拟信号的数字化 将模拟信号转变成数字信号的处理过程称为模拟信号的数字化。,第3章 音视频信号及数字化 3.1 音频信号及数字化 3.1.5 数字化方法,2模拟信号的数字化方法 采样：以适当的时间间隔观测模拟信号波形幅值的过程叫采样。,第3章 音视频信号及数字化 3.1 音频信号及数字化 3.1.5 数字化方法（三步曲）,量化：将采样时刻的信号幅值归整（四舍五入）到与其最接近的 整数标度叫做量化。,编码：将量化后的整数,用一个二进制数码序列来表示叫做编码。,采样周期 两次采样的时间间隔大小叫做采样周期, 用Ts表示 2. 采样频率 单位时间内的采样次数.用fs表示.,第3章 音视频信号及数字化 3.1 音频信号及数字化 3.1.6 采样定理及音频采样频率标准,3. 采样频率的选择 与采样精度和采样后的数据量大小有关。 在单位时间内采样次数越多,则对信号的描述越细腻,越接近真实信号，即采样频率fs应尽量高。但一味提高采样频率，增大数据量，给数据处理带来了麻烦，增加了技术实现上的困难。,第3章 音视频信号及数字化 3.1 音频信号及数字化 3.1.6 采样定理及音频采样频率标准,与被测信号的变化速度有关。 在过短的时间里反复测量体温或是河流水位的变化是完全没有必要的。这就是说，采样频率的选择必须考虑被采样信号变化的快慢程度,fs是一个相对值。,4. 采样定理 采样频率fs必须高于被采样信号所含最高频率的两倍。 该定理指出：当对连续变化的信号波形进行采样时，若采样频率fs高于该信号所含最高频率的两倍，那么可以由采样值通过插补技术正确地恢复原信号的波形，否则将会引起频谱混叠（Aliasing）产生混叠噪声（Aliasing Noise）,而重叠的部分是不能恢复。这一定理不仅适用于模拟音频信号，也同样适用于模拟视频信号的采样。,第3章 音视频信号及数字化 3.1 音频信号及数字化 3.1.6 采样定理及音频采样频率标准,5. 被采样后的信号可恢复的原因 设有一音频信号f（t）,图（a）是对其在时域与频域中的描述。 设有一采样信号,图（b）其频谱为一个频率为nfs的波列。 图（c）为采样后的波形与频谱。信号可恢复的原因：原信号的频谱完好保留，可以通过插补技术将原信号恢复。,第3章 音视频信号及数字化 3.1 音频信号及数字化 3.1.6 采样定理及音频采样频率标准,如fs低于信号中最高频率的两倍，将出现频谱混叠，原信号的频谱与下边带无法分开，破坏了原信号的频谱，原信号将无法恢复。,第3章 音视频信号及数字化 3.1 音频信号及数字化 3.1.6 采样定理及音频采样频率标准,亨利.奈奎斯特(Harry Nyquist)采样定理:当对连续变化的信号 波形采样时,若采样频率fs高于该信号所含最高频率的2倍,那么 可以由采样值通过插补技术正确地恢复原信号的波形;,44.1kHz作为CD级音频信号的采样频率;,6. 音频信号的采样频率标准 选用了44.1 kHz作为CD声音的采样标准 音频信号频率上限为20 kHz，故采样信号频率fs应大于40kHz以上，考虑到LPF在20kHz处大约衰减10%，为全频带高质量的还原，可以用22kHz的两倍频率作为音频信号的采样频率，但又为了能与电视信号同步，PAL制场频为50 Hz，NTSC制场频为60 Hz，所以取二者的整倍数，则选用了44.1 kHz作为CD声音的采样标准。,第3章 音视频信号及数字化 3.1 音频信号及数字化 3.1.6 采样定理及音频采样频率标准,量化级数 对满幅度模拟信号平均分得的份数称为该信号的量化级数;,第3章 音视频信号及数字化 3.1 音频信号及数字化 3.1.7 量化,所以得出:当量化位数为n时,量化级数为 级,2. 量化位数 表示该级数的二进制位数称为量化位数,书中图3.9,4. 量化误差（量化噪声） 由四舍五入所引起的输入信号样值与量化后输出值的差，叫做量化误差，也称为量化噪声(N)。 由于量化值是在对应量化级内四舍五入得到的，所以量化误差应不大于： N/2,第3章 音视频信号及数字化 3.1 音频信号及数字化 3.1.7 量化,3. 量化级差 量化级的最小单位称为量化级差，用表示,(1)量化噪声是随样值的不同而变化的，则设 -/2n/2，方均值为：,第3章 音视频信号及数字化 3.1 音频信号及数字化 3.1.7 量化,平均值（方均根值）为：,(2)量化噪声总是量化级差的1/12 ，这个重要结论是由W.R.贝内特给出的。,5. 信噪比：信号与噪声的量值比S / N（对数形式） (1) 音频信号的信噪比：因为音频信号总是双极性的，所以峰值电压 ，式中n为量化级数的bit数，因此音频信号的信噪比为:,第3章 音视频信号及数字化 3.1 音频信号及数字化 3.1.7 量化,式中m为由信号统计性质决定的常数。如果用16bit量化且信号为 正弦波时（m=3.01）则有：,（2）视频信号的信噪比 由于视频信号是单极性的，所以Vp=2n，则视频信号的信噪比为,第3章 音视频信号及数字化 3.1 音频信号及数字化 3.1.7 量化,6. 音频信号的量化位数,总结:量化噪声N与成正比关系，当采样频率 一定时可以通过提高量化级数即增加bit数来 减小量化级差，从而降低量化噪声，以减少 信号的损失；,考虑到技术的复杂性和商品成本等多方面原因，CD和 VCD中的音频采用16 bit量化器；理论上动态范围可达 96dB,信噪比约90dB；,7. 音频码率 码率:为单位时间内传输的数据bit数；,音频码率：R=44.1 162=1.41 b/s,例题：当采样频率为时，16bit量化对立体声音响信号 （双声道）进行数字化处理，每秒的码率是多少？,8. 均匀量化与非均匀量化,均匀量化：无论信号大小，都采用同样的量化级差 的方法叫均匀量化；,非均匀量化：根据信号的大小，采用不同的量化级 差 ，即对微小信号采用细量化（小） 对大幅度信号采用粗量化（大）的方法 叫非均匀量化；,3.1.8 编码,编码就是把已经量化后的采样值用二进制数码表示出来,在模拟信号数字化过程中,a.对单极性信号一般采用自然码；,b.对双极性信号通常采用 符号数值码、2的补码、偏移码;,3.2数字音频文件的存储格式,在多媒体计算机中,存储声音信息的文件格式主要有: WAV文件、VOC文件、MIDI文件、AIF文件、SNO文件及 RMI文件等。,a. Wav音频,Wav音频是多媒体计算机获得声音最直接、最简便的方式。,b.声卡以一定的采样频率和量化级对声音进行数字化， 以适当的格式存储在硬盘;,a.麦克风、立体声录音机、CD激光唱盘;,声音信号的输入源,a/d转换,c. 声卡将音频文件中的数字信号还原成模拟信号，经 混音器混合后由扬声器输出；,d/a转换,Wav 音 频 工 作 流 程,1、Wav文件是Windows所使用的标准数字音频文件，文件的扩展名是.WAV，记录了对实际声音进行采样的数据。,2、在适当的硬件和计算机控制下，波形文件能重现各种 声音。,Wav文件的特点,CD音质的音乐 单声道或立体声的声音 不规则的噪音,3、 Wav文件主要的缺点是产生的文件数据量太大，不适合 长时间记录。,a.如果对声音质量要求不高，可以通过降低采样频率和 较低量化位数或单声道来录制wav文件。,b.采用适当的软硬件方法进行压缩处理（ACM，PCM）,1、wav文件,Wav文件的大小=采样频率（量化位数/8）声道数时间,例题:用44.1kHz的采样频率对声波进行采样，每个采 样点的量化位数选用16位，录制30秒的立体声节 目，其波形文件的大小是多少？,M=44.11000(16/8)230=5292000byte=5MB,1、用声音信号的频率范围来衡量声音质量，一般把声音质量 分为哪几种？他们的频率范围是多少？ 2、在声场中有一个简谐音A，频率为1kHz，此时有一个 1.1kHz,声压级数比A低20dB的简谐音B,这时我们能听 到哪个声音？请解释这是什么现象？ 3、以22.05kHz的采样频率和8位的量化位数，录制1min的单声道 声音，此波形文件的大小为多少？ 4、以44.1kHz的采样频率和8位的量化位数，录制30sec的立体声 声音，此波形文件的大小为多少？,2、VOC文件,VOC文件是Creative公司音频文件格式，也是声卡使用的文件格式。,V O C 文 件 的 组 成,文件头块：标识、版本号和一个指向数据块 起始的指针。,音频数据块：分成各种类型的子块，如声音 数据、静音、标记、ASCII码 文件、重复以及终止标志、扩展 块等。,利用声卡提供的软件可以实现voc和wav文件的互相转换；,3、MIDI文件,MIDI(Music Instrument Digital Interface)乐器数字接口,MIDI是由世界上主要的电子乐器制造厂商建立起来的一个通信标准。,MIDI文件本身不含有任何数字音频信号，采用字节指令格式， 这些指令可在任何兼容的MIDI合成器上指定声道、音名标识 符、控制器、声道音量。,任何电子乐器，只要有处理MIDI消息的微处理器和合适的 硬件接口，就构成了一个MIDI设备。当一组MIDI消息通过音乐 合成芯片处理时，合成器能解释这些符号并且产生音乐。,MIDI的关键是作为媒体能够记录这些音乐的符号，相应的设备能够产生和解释这些符号。它给出了一种得到音乐声音的新方法。,MIDI合成的方式主要有FM（调频）和Wave Table(波表）,MIDI音乐合成器,a、频率调制FM合成;,MIDI合成器的类型：,b、波表（Wave Table）合成,2、FM 合成 (Frequency Modulation Sysnthesize) 早期的电脑声卡普遍使用FM合成方式来还原MIDI 文件中记录的音符数据，例如以前许多声卡使用 YAMAHA公司OPL2/3 FM合成芯片。FM 合成是通过对 简单正弦波的 线性控制来模拟音乐乐器特殊效果。 实际技术操作是用调制器发出的周期性信号 来调制 另一个信号的频率，但与调频(FM)广播信号的具体 技术含义不一样。FM广播是将低频的声音信号调制 到很高频的载波信号上的一种方法，而MIDI的FM合 成 则是将几个频率是一个基频的整数倍的正弦波信 号叠加成一个信号的办法。这是根据乐器发声的特 点，是在一个基音的基础上，有很多频率是基音整 数倍的泛音 同时产生，这些泛音的数量和振幅，决 定了这种乐器的音色。但是，由于声卡上的FM合成,芯片所能产生的用来合成的频率太少(一般仅有四 个)，而且乐器的发声绝不是一成不变的，不同的 音高、不同的力度、甚至一个音符的不同阶段，音 色 都会有差异，而FM合成没有考虑这些因素，所以 效果当然就不尽如人意了。,3、波表合成 (Wave Table Synthesize) 由于FM算法的局限性，无法描绘千变万化细致入微 的真实乐器，音质自然只能类似于普通玩具电子琴 的效果。波表合成利用已录制好的声音样本合成相 应声音。 具体操作是用PCM波形(Wave，就是常听到 的游戏中的爆破、人声等效果音) 格式 对足够多的 乐器波形逐一采下样本排列成一个表格(Wave Table)。回放MIDI格式记录的音乐，也就是常见的 *.mid等格式文件时，从波形表中分别查到所需乐 器 对应的波形数据，再按照演奏需要的音符高低调 整频率等相关数据后重放出来。 从理论上说，这种 合成方式得到的MIDI回放效果与真实乐器一样。波 表合成可以用硬件或软件方式实现。,A、硬件波表合成 硬件合成是将波表合成引擎以硬件的形式做在声卡 上，有些声卡还将音色数据保存在卡上的专用RAM芯 片中或是在系统内存中划分区段存放。 如创新 (Creative) 的AWE32/64、SB PCI 128、SB Live! 和帝盟(Diamond)的MX300等声卡。硬件波表 的优点 是系统资源占用小、音色信噪比(SNR)高，能实时回 放MIDI音乐。,B、软件波表合成 软件方式波表合成是用软件利用系统CPU的运 算功能完成合成运算过程， 然后通过声卡的 Wave合成引擎发出声音。,MIDI的特点：,1、与波形声音相比，MIDI不是声音数据而是指令，所以数据量 要少得多。30分钟的音乐，用MIDI文件记录只需200KB，用 16位CD品质的未压缩WAV文件记录需317MB；,2、MIDI可以与其他波形声音配合使用，形成伴乐的效果。而两 个波形声音一般是不能同时使用；,3、对MIDI的编辑也很灵活，用户可以自由地改变音调、音色 等属性，直到自己想要的效果；,4、MIDI在音质上还不能与真正的乐器完全相似。无法模拟自然 界中其它非乐曲类声音；,2、3音 频 卡,音频卡也称为声卡，是多媒体信息系统中处理声音 信息的基本设备,它集输入与输出功能为一体,是工 作在系统与声源设备和回放设备之间的传输系统;,2、3、1声卡的定义；,声音卡处理的音频媒体有数字化声音（Wave）、合 成音乐（MIDI）、CD音频。,声卡处理的对象是什么？,声音是怎样工作的？,2、3、2音频卡主要具有的作用；,1、采集、编辑和回放数字声音文件,CD光盘驱动器,线路输入,麦克风,计算机PC,A/D转换,A、采集,B、编辑:对数字音频文件进行剪切、复制、粘贴、 混合、删除等处理；,C、回放:,不同的音频卡以及相应的控制软件在采集、编辑和回放 数字声音文件时所采用的文件格式可能不同，但他们之 间可以相互转换；,2、对数字音频文件进行压缩和解压缩,声卡支持的压缩标准主要有: 1、ADPCM（自适应差分脉冲编码调制） 2、ACM（音频压缩管理器）,3、MIDI音乐合成,1、合成或创作MIDI音乐； 2、可以输入或者输出M