多媒体技术和应用-第4章.ppt

,多媒体技术与应用,公共选修课,广州中医药大学信息技术学院,1. 什么是声音? 声音的种类 声音的种类繁多。人声马嘶、兽鸣鸟叫、风雨雷电、机器轰鸣、悠扬琴声等 因此，声音根据内容可以分为：天籁之音，语音，乐音等；根据频率可分为：高音、低音、重低音、超声波与次声波等；根据特性分为乐声和噪声。 声音的实质 从信息处理的角度来看，声音实质上是一种信号，称之为音频信号。,第四部分 声音和音频信号处理, 创点教程网,2.声音信号的特点,声波具有时间和幅度上的连续性； 声音的传播具有反射、折射、衍射等形式；（声速和多普勒效应）,振幅A 反映了信号的强度；就是声音的大小。 频率F 反映了音调的高低；也即尖细或是低粗。,3.声波的应用 声纳，B超。,4.声音的三要素,音调：指声音的基音频率；（音阶的划分） 音色：指声音的泛音频率；（音频带宽） 音强：指声音的声音幅度；（音量的计量分贝dB)。,5. 声音质量的度量,声品质可定义为听觉事件对个人各方面需求的满足程度，影响声品质的因素包括物理(声场)、心理声学(听觉感知)、心理(听觉评价)等几方面。 人类的听觉频率范围：2020KHz。 语音质量等级： 根据声音频带，声音质量分5个等级，依次为：电话、调幅广播(AM)、调频广播(FM)、CD光盘、数字录音带( DAT，Digital Audio Tape),6.音强和响度，听阈和痛阈,音强又称为响度，是表示人的听觉主观判断声音的强弱程度。在心理学上，响度是人耳对音量大小、声音强弱的主观感受。响度大，声音显得丰满；响度小，声音便非常单薄脆弱。在物理上，响度用声压或声强来描述声音的强弱。 响度级为以1000Hz为基准。定义1000Hz、40dB纯音时，响度为1宋。 当声音弱到人耳刚刚能听到的时候，此时的音强称之为：听阈。 当音强达到人耳感觉疼痛的时候，此时的音强称为痛阈。听阈和痛阈是随频率变化的。 人耳的听觉音强范围为0-120dB。,人的听觉声强范围,7.人类的听觉特性,1) 人耳只能察觉出3dB以上音强变化 2) 人耳对不同频段的声音敏感度不同 人耳对13KHZ的声音最为灵敏 3) 人的听觉具有掩蔽效应,听觉的掩蔽效应,问题： 音频信号有什么特点？ 如何用计算机处理音频信号？ 如何获得高质量的音频信号？,模拟信号的数字化处理,模拟到数字的转换A/D转换（Analog to Digital Conversion）,模拟信号数字化的步骤 ： 1.采样 在连续信号中每隔一定时间取一个值； 2.量化 把其大小取整为n位二进制数所能表示的数； 例如: n=4， 即有24=16个级别可用于表示一个采样， 量化后只能以0，1，215这16个数之一来表示 3.编码 按一定的规律产生二进制位数据。,模拟信号数字化的原理, 将检测到的电压值转换成数字信息,模拟信号的数字化4bit,采样定理 采样频率要高于被采样信号最高频率的两倍，信号才可能完全复原。 话音最高频率为4000Hz，则需每秒采样8000次；声音的最高频率为20kHz，所以在多媒体计算机中使用的多是44.1 kHz的采样频率。 量化精度 取决于表示一个采样值的二进制位数。位数越多，精度也越高。 用16个二进制位（bit）表示声音，可将声音分为216=65536级，而若用8位则仅能区分出28=256级。 用16位表示的声音比用8位的声音质量高得多。,音频数据压缩处理,1. 音频压缩的理论基础是人的听觉特性。 2. 音频压缩算法的分类： 1) 有损压缩和无损压缩 2) 时域压缩，子带压缩和变换压缩 三种语音编码器： 波形编码器 音源编码器(声码器) 混合编码器 3. 最基本的音频压缩处理方法PCM编码,脉冲编码调制的概念是1937年，由法国工程师Alec Reeres 最早出来的。1946年美国Bell实验室实现了第一台PCM数字电话终端机。 1962年，晶体管PCM终端机大量应用于市话网中局间 中继线，使市话电缆传输电话路数扩大2430倍。 70年代后期，超大规模集成电路的PCM编、解码器的出现，使光纤通信、数字微波通信、卫星通信获得了更广泛的应用。 此外，CD唱机和DAT录音机，均采用线性PCM编码来存储音乐信号，为非压缩方式。,脉冲编码调制(Pulse Coding Modulation),PCM算法是最简单、最完善、最常见也是压缩效率最低的编码方法。它用一组二进制数码来代替连续信号的抽样值，具有极强的抗干扰能力。 步骤： 仅对输入信号进行采样量化编码。,PCM系统原理框,几个关于量化的概念： 均匀量化与非均匀量化,量化噪声（误差）,量化信噪比：随量化电平阶数M的增加而提高，信号的逼真度越好。 均匀量化的不足：量化信噪比随信号电平的减小而下降。 在民用电话中，一种简单而又稳定的非均匀量化器为对数量化器。该量化器在出现频率高的低幅语音信号处，运用小的量化间隔，在出现概率低的高幅语音信号处，运用大的量化间隔。,幅度大的信号被压缩，幅度小的信号被扩张。,压缩与扩张的示意图,两种常见PCM体制： 1)律压扩算法 2) A律压扩算法,A律压缩特性,律压缩特性,MP3压缩标准 MP3是一种有损数字音频压缩格式，其全称是MPEG-1 Audio Layer3。 MPEG-1音频压缩标准是第一个高保真音频数据压缩标准。 除AC-3之外，其他的音频压缩算法只适用于语言(如码激励线性预测CELP)或只有中等压缩质量(如自适应差分脉冲编码调制ADPCM)。 MPEG1音频压缩标准虽然是MPEG-1标准的一部分，但它完全可独立应用。,在MPEG-1标准中，按复杂程度划分了三种音频压缩模式即层，层，层。 目前广泛使用的VCD音频压缩方案为层，其典型码率为每通道192Kbps，共2通道。 层即称掩蔽模式，采用通用子带集成编码与多路复用，典型码率为每通道128 Kbps，广泛应用于数字音频广播、数字演播室、CD-I等数字音频专业的制作、交流、存储和传送。 层是综合层和自适应谱感知熵编码 (ASPEC)的优点提出的混合压缩技术，MP3的复杂度相对较高，不利于实时编码，典型码率为64 Kbps，在低码率下有高品质的音质。用于ISDN语音通话。,MPEG-1音频压缩模式的比较,MP3产品简介 1. 组成结构,PHILIPS芯片方案 PHILIPS解码芯片属于高端产品。其系列芯片SAA7750,SAA7751, PNX0101ET本身仅是解码芯片，必须搭配控制芯片才能使用。 代表产品： iRiver的IFP-100、300、500系列和MPIO的FD100、FL100、FY200、FG100等。 SIGMATEL芯片方案 美国SIGMATEL的STMP 34和35系列芯片是目前市场占有率较大的芯片，采用独立控制方式，成本较低。 代表产品：爱国者月光宝盒系列、三星 YP-55H，JNC SSF-800等 TELECHIPS芯片方案 韩国TELECHIPS的TCC730、TCC731也是性能较好的MP3解码芯片之一，同样需要外围元件的配合，成本比飞利浦较低。 代表产品：丹丁328系列、DEC街舞系列，朝华魔音系列 。 对三款主流芯片来说，音质排列顺序为：Philips Sigmatel Telchips,乐器数字接口MIDI 乐器数字接口规范MIDI (Musical Instrument Digital Interface)于1983年提出。MIDI是一种利用合成器产生的音乐技术。 MIDI由三个部分组成，分别是： 通信协议Communication Protocol； 连接器 Connector（硬件接口）； 传播规范，称为标准MIDI文件Standard MIDI Files。,通信协议 MIDI协议是乐谱的数字化描述语言。每一个描述乐器演播的动作的字都赋给一个特定的二进制代码。 例如：音色编号为00；音符C3编号为00；8分音符编号为60。如果钢琴8分音符的C3音，它的MIDI编码是“00 00 60 连接器 根据MIDI 1.0规范，MIDI连接器是一个5针DIN接头。 由于PC机未为MIDI预留接口，故采用串行口或游戏杆端口来连接MIDI乐器。 标准MIDI文件 一个MIDI文件不需要捕捉和存储实际的声音，仅是一个事件的列表，描述了一个声音卡或其他播放设备要产生某种声音的特定的步骤。因此，MIDI文件比数字音频文件小得多，并且事件是可以编辑的，音乐可以重排，编辑，甚至交互式作曲。,4.4 声卡简介 声卡的基本功能：将来自话筒、磁带、光盘的原始声音信号进行转换，输出到耳机、扬声器、扩音机、录音机等声响设备，或通过音乐设备数字接口(MIDI)使乐器发出美妙的声音。 4.1 声卡的发展历史 1984年，英国ADLIB AUDIO公司推出第一款声卡。 1995年，创新推出AWE32系列，具有硬件波表合成能力，而以往的声卡仅具备FM合成能力，具有一个32复音的波表引擎，并集成了1MB容量的音色库，MIDI的表现力获得大大提升，硬件波表合成能力成为高档声卡的象征。 1996年，创新推出AWE64系列，具有64复音的波表合成能力，成为当时MIDI表现力最佳的声卡，这个系列中的AWE64 Gold，是公认最优秀的声卡之一 。,声卡主要由以下几个部分组成： 声音的合成与处理 是声卡的核心部分。由数字声音处理器、调频(FM)音乐合成器及MIDI控制器组成。完成声波信号的A/D和D/A转换，利用调频技术控制声音的音调、音色和幅