第三章音频信号及数字化.ppt

第3章音频 视频信号及数字化3 1音频信号及数字化3 1 1音频信号及其心理特征 什么是声音 声音 是一种波 其本质是机械运动或气流扰动引起周围弹性媒质发生波动的现象 声音可以在空气 液体和固体中传播 周期 T A t 振幅 一 振幅 声波中的振幅就是通常所说的音量 振幅 频率 周期 声波 声压 P 声压级 SPL 1 声压 P 声压 声波引起某处媒质压强的变化量称为该处的声压 单位为Pa 帕斯卡 即牛顿 米2是压强的量纲 总结 a 声压是有声波时该处的压强值与没有声波时该处的压强值的差值 b 声压越大 声音也就越大 声压级 将声压的有效值取对数的形式表示声音强弱 这种表示方式称为声压级 2 声压级 SPL Prms 计量点的声压有效值Pref 零声级的参考声压值 Pref 2 10 5帕 单位用分贝dB b 声压级实际上是一种相对量 是某点的声压与零声压的比 是描述声音变化的动态范围的物理量 a 为具有正常听力的年轻人对1kHz的单一频率信号刚刚能觉察到它存在时的声压值 音频与音高音频是指声音信号的频率 人对于声音频率的感觉表现为音调的高低 在音乐中称为音高 二 频率 音频信号 人类听觉的频率相应不是平直的 频率在20Hz 20kHz是人类可以听到的听觉频带 我们称为 音频信号 超音 超音波 次音 亚音波 Speech voice 300Hz 3000Hz Audio High Fidelity 10Hz 20000Hz 用声音信号的频率范围来衡量声音质量 1 数字激光唱盘 简称CD DA质量 CompactDiscDigitalAudio 频率范围 10 20000Hz 2 调频无线电广播 简称FM质量 FrequencyModulation 频率范围 20Hz 15000Hz 4 电话质量 简称Telephone质量频率范围 200Hz 3400Hz 3 调幅无线电广播 简称AM质量 AmplitudeModulation 频率范围 50Hz 7000Hz 音频带宽 20Hz 20kHz是人类的听觉频带 人耳对不同频率的敏感程度有很大差别 低频区和高频区较不敏感 能被人耳听到的信号幅度比中频段要高得多 中频段 3kHz 5kHz 最为敏感 幅度很低的信号都能被人耳听到 响度是指人类所感受到声音大小的程度 而响度级则是以1kHz信号的声压级数 单位是 方 Phon 响度与响度级 注 声压级是客观量 而响度级则是主观量 等响度曲线具有相等响度的不同频率的点连接起来构成的一条条曲线被称为等响度曲线 注 每条曲线上的各点响度相同但声压级不同 绝对听阈 响度级为0方的等响度曲线 注 在绝对听阈曲线以下的各种声音将不能被人耳察觉 在安静环境中 能被人耳听到的纯音的最小值 该曲线为0方响度级等响度曲线 即该曲线在1kHz时声压级为0dB 注 某一频率强音的存在会改变其附近的绝对听阈曲线 而改变部分称为掩蔽听阈曲线 改变后的听阈曲线以下的各种声音将不能被人耳察觉 某一频率的强音对较高频率弱音的影响大于较低频率 掩蔽效应 声场中的一个强音能掩蔽与之同时发声的附近的弱音 8 动态范围是某个声音的最强音与最弱音的强度差 用分贝表示 它是衡量声音强度变化的重要参数 9 音频信号在时域和频域中的表现形式在时域空间中表现为幅值随时间连续变化的曲线 在频域中则是将音频信号经傅里叶 Fourier 变换后在频率空间的分立或连续的谱线 第3章音视频信号及数字化3 1音频信号及数字化3 1 1音频信号及其心理特征 注 两种描述虽然形式不同 但是以不同的侧面去描述同一事物 第3章音视频信号及数字化3 1音频信号及数字化3 1 1音频信号及其心理特征 1 模拟信号从时间上以及幅值上都连续 不间断 变化的信号称为模拟信号 第3章音视频信号及数字化3 1音频信号及数字化3 1 2模拟信号与数字信号 注 模拟信号强调在时间上的连续性 模拟信号强调在幅值上的连续性 计量和描述方式 一般采用十进制数 缺点 a 噪声容限低 b 抗干扰能力差 2 数字信号在时间上和幅值上都是离散 不连续 的信号称为数字信号 第3章音视频信号及数字化3 1音频信号及数字化3 1 2模拟信号与数字信号 注 数字信号强调在时间上和幅值上都不连续 数字信号的描述方式采用二进制数量来表示 二进制数与数字信号是两个概念 前者只是对后者的一种描述 在数字信号中强调的是状态 正逻辑是人们用 1 表示有脉冲或电源接通 而用 0 表示无脉冲或电源断开 二进制与十进制的关系 第3章音视频信号及数字化3 1音频信号及数字化3 1 2模拟信号与数字信号 仅从三个方面分析音频信号的动态范围噪声容限 对噪声的承受能力 与计算机的兼容性 第3章音视频信号及数字化3 1音频信号及数字化3 1 3为什么要数字化 1 音频信号的动态范围 实际声场中声音强弱的变化达120dB 传统的模拟音响设备的动态范围 采用模拟信号处理方式记录和重放音频信号 比如 磁带录音机等 其动态范围不会超过60dB 数字音响设备的动态范围接近或者达到实际声音的动态范围 采用16bit量化 如16位声卡 则声音的强弱范围就可划分成 个等级 因而动态范围可达96 dB 第3章音视频信号及数字化3 1音频信号及数字化3 1 3为什么要数字化 结论 数字系统的音频信号动态范围比模拟系统提高了近一倍 这也是CD技术之所以获得高水准的音质的重要原因 20lg216 96 dB 2 噪声容限 对噪声的承受能力 传统的音响设备的失真情况在重放时 由于失真 噪声 电机转速不匀等原因 重放效果大打折扣 数字音响设备的失真情况数字系统只要能识别码的长短或脉冲的有无 即可再现出原来的信号 结论 数字信号的噪声容限比较高 第3章音视频信号及数字化3 1音频信号及数字化3 1 3为什么要数字化 3 与计算机的兼容性多媒体是以计算机控制为基础的 而计算机处理 存储的都是数字信息 即 0 1 信号 所以在多媒体中的音频 视频信号必须是数字信号 第3章音视频信号及数字化3 1音频信号及数字化3 1 3为什么要数字化 动态范围大 若采用16bit量化方法 音频信号的幅度可分为65536个量化级 动态范围达96dB 信息易处理 可以通过计算机对音频 视频信号进行各种特技及非线性编辑 媒体易保存 使用时间长 采用数字化的光盘 重放时不存在机械磨损 使用寿命长 成本低 数字化信息便于大规模集成电路的存储和处理 可降低成本 可靠性高 数字信号只要求脉冲的有无 而不依赖信号的幅值大小 对硬件一致性和稳定性要求下降了许多 从而提高了可靠性 第3章音视频信号及数字化3 1音频信号及数字化3 1 4数字化的特点 1 模拟信号的数字化将模拟信号转变成数字信号的处理过程称为模拟信号的数字化 第3章音视频信号及数字化3 1音频信号及数字化3 1 5数字化方法 2 模拟信号的数字化方法 采样 以适当的时间间隔观测模拟信号波形幅值的过程叫采样 第3章音视频信号及数字化3 1音频信号及数字化3 1 5数字化方法 三步曲 量化 将采样时刻的信号幅值归整 四舍五入 到与其最接近的整数标度叫做量化 编码 将量化后的整数 用一个二进制数码序列来表示叫做编码 采样周期两次采样的时间间隔大小叫做采样周期 用Ts表示2 采样频率单位时间内的采样次数 用fs表示 第3章音视频信号及数字化3 1音频信号及数字化3 1 6采样定理及音频采样频率标准 3 采样频率的选择 与采样精度和采样后的数据量大小有关 在单位时间内采样次数越多 则对信号的描述越细腻 越接近真实信号 即采样频率fs应尽量高 但一味提高采样频率 增大数据量 给数据处理带来了麻烦 增加了技术实现上的困难 第3章音视频信号及数字化3 1音频信号及数字化3 1 6采样定理及音频采样频率标准 与被测信号的变化速度有关 在过短的时间里反复测量体温或是河流水位的变化是完全没有必要的 这就是说 采样频率的选择必须考虑被采样信号变化的快慢程度 fs是一个相对值 4 采样定理采样频率fs必须高于被采样信号所含最高频率的两倍 该定理指出 当对连续变化的信号波形进行采样时 若采样频率fs高于该信号所含最高频率的两倍 那么可以由采样值通过插补技术正确地恢复原信号的波形 否则将会引起频谱混叠 Aliasing 产生混叠噪声 AliasingNoise 而重叠的部分是不能恢复 这一定理不仅适用于模拟音频信号 也同样适用于模拟视频信号的采样 第3章音视频信号及数字化3 1音频信号及数字化3 1 6采样定理及音频采样频率标准 5 被采样后的信号可恢复的原因设有一音频信号f t 图 a 是对其在时域与频域中的描述 设有一采样信号 图 b 其频谱为一个频率为nfs的波列 图 c 为采样后的波形与频谱 信号可恢复的原因 原信号的频谱完好保留 可以通过插补技术将原信号恢复 第3章音视频信号及数字化3 1音频信号及数字化3 1 6采样定理及音频采样频率标准 如fs低于信号中最高频率的两倍 将出现频谱混叠 原信号的频谱与下边带无法分开 破坏了原信号的频谱 原信号将无法恢复 第3章音视频信号及数字化3 1音频信号及数字化3 1 6采样定理及音频采样频率标准 亨利 奈奎斯特 HarryNyquist 采样定理 当对连续变化的信号波形采样时 若采样频率fs高于该信号所含最高频率的2倍 那么可以由采样值通过插补技术正确地恢复原信号的波形 44 1kHz作为CD级音频信号的采样频率 6 音频信号的采样频率标准选用了44 1kHz作为CD声音的采样标准音频信号频率上限为20kHz 故采样信号频率fs应大于40kHz以上 考虑到LPF在20kHz处大约衰减10 为全频带高质量的还原 可以用22kHz的两倍频率作为音频信号的采样频率 但又为了能与电视信号同步 PAL制场频为50Hz NTSC制场频为60Hz 所以取二者的整倍数 则选用了44 1kHz作为CD声音的采样标准 第3章音视频信号及数字化3 1音频信号及数字化3 1 6采样定理及音频采样频率标准 量化级数对满幅度模拟信号平均分得的份数称为该信号的量化级数 第3章音视频信号及数字化3 1音频信号及数字化3 1 7量化 所以得出 当量化位数为n时 量化级数为级 2 量化位数表示该级数的二进制位数称为量化位数 书中图3 9 4 量化误差 量化噪声 由四舍五入所引起的输入信号样值与量化后输出值的差 叫做量化误差 也称为量化噪声 N 由于量化值是在对应量化级内四舍五入得到的 所以量化误差应不大于 N 2 第3章音视频信号及数字化3 1音频信号及数字化3 1 7量化 3 量化级差量化级的最小单位称为量化级差 用 表示 1 量化噪声是随样值的不同而变化的 则设 2 n 2 方均值为 第3章音视频信号及数字化3 1音频信号及数字化3 1 7量化 平均值 方均根值 为 2 量化噪声总是量化级差 的1 12 这个重要结论是由W R 贝内特给出的 5 信噪比 信号与噪声的量值比S N 对数形式 1 音频信号的信噪比 因为音频信号总是双极性的 所以峰值电压 式中n为量化级数的bit数 因此音频信号的信噪比为 第3章音视频信号及数字化3 1音频信号及数字化3 1 7量化 式中m为由信号统计性质决定的常数 如果用16bit量化且信号为正弦波时 m 3 01 则有 2 视频信号的信噪比由于视频信号是单极性的 所以Vp 2n 则视频信号的信噪比为 第3章音视频信号及数字化3 1音频信号及数字化3 1 7量化 6 音频信号的量化位数 总结 量化噪声N与 成正比关系 当采样频率一定时可以通过提高量化级数即增加bit数来减小量化级差 从而降低量化噪声 以减少信号的损失 考虑到技术的复杂性和商品成本等多方面原因 CD和VCD中的音频采用16bit量化器 理论上动态范围可达96dB 信噪比约90dB 7 音频码率码率 为单位时间内传输的数据bit数 音频码率 R 44 1 16 2 1 41 b s 例题 当采样频率为时 16bit量化对立体声音响信号 双声道 进行数字化处理 每秒的码率是多少 8 均匀量化与非均匀量化 均匀量化 无论信号大小 都采用同样的量化级差 的方法叫均匀量化 非均匀量化 根据信号的大小 采用不同的量化级差 即对微小信号采用细量化 小 对大幅度信号采用粗量化 大 的方法叫非均匀量化 3 1 8编码 编码就是把已经量化后的采样值用二进制数码表示出来 在模拟信号数字化过程中 a 对单极性信号一般采用自然码 b 对双极性信号通常采用符号 数值码 2的补码 偏移码 3 2数字音频文件的存储格式 在多媒体计算机中 存储声音信息的文件格式主要有 WAV文件 VOC文件 MIDI文件 AIF文件 SNO文件及RMI文件等 a Wav音频 Wav音频是多媒体计算机获得声音最直接 最简便的方式 b 声卡以一定的采样频率和量化级对声音进行数字化 以适当的格式存储在硬盘 a 麦克风 立体声录音机 CD激光唱盘 声音信号的输入源 a d转换 c 声卡将音频文件中的数字信号还原成模拟信号 经混音器混合后由扬声器输出 d a转换 Wav音频工作流程 1 Wav文件是Windows所使用的标准数字音频文件 文件的扩展名是 WAV 记录了对实际声音进行采样的数据 2 在适当的硬件和计算机控制下 波形文件能重现各种声音 Wav文件的特点 CD音质的音乐单声道或立体声的声音不规则的噪音 3 Wav文件主要的缺点是产生的文件数据量太大 不适合长时间记录 a 如果对声音质量要求不高 可以通过降低采样频率和较低量化位数或单声道来录制wav文件 b 采用适当的软硬件方法进行压缩处理 ACM PCM 1 wav文件 Wav文件的大小 采样频率 量化位数 8 声道数 时间 例题 用44 1kHz的采样频率对声波进行采样 每个采样点的量化位数选用16位 录制30秒的立体声节目 其波形文件的大小是多少 M 44 1 1000 16 8 2 30 5292000byte 5MB 1 用声音信号的频率范围来衡量声音质量 一般把声音质量分为哪几种 他们的频率范围是多少 2 在声场中有一个简谐音A 频率为1kHz 此时有一个1 1kHz 声压级数比A低20dB的简谐音B 这时我们能听到哪个声音 请解释这是什么现象 3 以22 05kHz的采样频率和8位的量化位数 录制1min的单声道声音 此波形文件的大小为多少 4 以44 1kHz的采样频率和8位的量化位数 录制30sec的立体声声音 此波形文件的大小为多少 2 VOC文件 VOC文件是Creative公司音频文件格式 也是声卡使用的文件格式 VOC文件的组成 文件头块 标识 版本号和一个指向数据块起始的指针 音频数据块 分成各种类型的子块 如声音数据 静音 标记 ASCII码文件 重复以及终止标志 扩展块等 利用声卡提供的软件可以实现voc和wav文件的互相转换 3 MIDI文件 MIDI MusicInstrumentDigitalInterface 乐器数字接口 MIDI是由世界上主要的电子乐器制造厂商建立起来的一个通信标准 MIDI文件本身不含有任何数字音频信号 采用字节指令格式 这些指令可在任何兼容的MIDI合成器上指定声道 音名标识符 控制器 声道音量 任何电子乐器 只要有处理MIDI消息的微处理器和合适的硬件接口 就构成了一个MIDI设备 当一组MIDI消息通过音乐合成芯片处理时 合成器能解释这些符号并且产生音乐 MIDI的关键是作为媒体能够记录这些音乐的符号 相应的设备能够产生和解释这些符号 它给出了一种得到音乐声音的新方法 MIDI合成的方式主要有FM 调频 和WaveTable 波表 MIDI音乐合成器 a 频率调制FM合成 MIDI合成器的类型 b 波表 WaveTable 合成 2 FM合成 FrequencyModulationSysnthesize 早期的电脑声卡普遍使用FM合成方式来还原MIDI文件中记录的音符数据 例如以前许多声卡使用YAMAHA公司OPL2 3FM合成芯片 FM合成是通过对简单正弦波的线性控制来模拟音乐乐器特殊效果 实际技术操作是用调制器发出的周期性信号来调制另一个信号的频率 但与调频 FM 广播信号的具体技术含义不一样 FM广播是将低频的声音信号调制到很高频的载波信号上的一种方法 而MIDI的FM合成则是将几个频率是一个基频的整数倍的正弦波信号叠加成一个信号的办法 这是根据乐器发声的特点 是在一个基音的基础上 有很多频率是基音整数倍的泛音同时产生 这些泛音的数量和振幅 决定了这种乐器的音色 但是 由于声卡上的FM合成 芯片所能产生的用来合成的频率太少 一般仅有四个 而且乐器的发声绝不是一成不变的 不同的音高 不同的力度 甚至一个音符的不同阶段 音色都会有差异 而FM合成没有考虑这些因素 所以效果当然就不尽如人意了 3 波表合成 WaveTableSynthesize 由于FM算法的局限性 无法描绘千变万化细致入微的真实乐器 音质自然只能类似于普通玩具电子琴的效果 波表合成利用已录制好的声音样本合成相应声音 具体操作是用PCM波形 Wave 就是常听到的游戏中的爆破 人声等效果音 格式对足够多的乐器波形逐一采下样本排列成一个表格 WaveTable 回放MIDI格式记录的音乐 也就是常见的 mid等格式文件时 从波形表中分别查到所需乐器对应的波形数据 再按照演奏需要的音符高低调整频率等相关数据后重放出来 从理论上说 这种合成方式得到的MIDI回放效果与真实乐器一样 波表合成可以用硬件或软件方式实现 A 硬件波表合成硬件合成是将波表合成引擎以硬件的形式做在声卡上 有些声卡还将音色数据保存在卡上的专用RAM芯片中或是在系统内存中划分区段存放 如创新 Creative 的AWE32 64 SBPCI128 SBLive 和帝盟 Diamond 的MX300等声卡 硬件波表的优点是系统资源占用小 音色信噪比 SNR 高 能实时回放MIDI音乐 B 软件波表合成软件方式波表合成是用软件利用系统CPU的运算功能完成合成运算过程 然后通过声卡的Wave合成引擎发出声音 MIDI的特点 1 与波形声音相比 MIDI不是声音数据而是指令 所以数据量要少得多 30分钟的音乐 用MIDI文件记录只需200KB 用16位CD品质的未压缩WAV文件记录需317MB 2 MIDI可以与其他波形声音配合使用 形成伴乐的效果 而两个波形声音一般是不能同时使用 3 对MIDI的编辑也很灵活 用户可以自由地改变音调 音色等属性 直到自己想要的效果 4 MIDI在音质上还不能与真正的乐器完全相似 无法模拟自然界中其它非乐曲类声音 2 3音频卡 音频卡也称为声卡 是多媒体信息系统中处理声音信息的基本设备 它集输入与输出功能为一体 是工作在系统与声源设备和回放设备之间的传输系统 2 3 1声卡的定义 声音卡处理的音频媒体有数字化声音 Wave 合成音乐 MIDI CD音频 声卡处理的对象是什么 声音是怎样工作的 2 3 2音频卡主要具有的作用 1 采集 编辑和回放数字声音文件 CD光盘驱动器 线路输入 麦克风 计算机PC A D转换 A 采集 B 编辑 对数字音频文件进行剪切 复制 粘贴 混合 删除等处理 C 回放 不同的音频卡以及相应的控制软件在采集 编辑和回放数字声音文件时所采用的文件格式可能不同 但他们之间可以相互转换 2 对数字音频文件进行压缩和解压缩 声卡支持的压缩标准主要有 1 ADPCM 自适应差分脉冲编码调制 2 ACM 音频压缩管理器 3 MIDI音乐合成 1 合成或创作MIDI音乐 2 可以输入或者输出MI