多媒体技术与应用-第4章.ppt

,多媒体技术与应用,公共选修课,广州中医药大学信息技术学院,1.什么是声音?声音的种类声音的种类繁多。人声马嘶、兽鸣鸟叫、风雨雷电、机器轰鸣、悠扬琴声等因此，声音根据内容可以分为：天籁之音，语音，乐音等；根据频率可分为：高音、低音、重低音、超声波与次声波等；根据特性分为乐声和噪声。声音的实质从信息处理的角度来看，声音实质上是一种信号，称之为音频信号。,第四部分声音和音频信号处理,创点教程网,2.声音信号的特点,声波具有时间和幅度上的连续性；声音的传播具有反射、折射、衍射等形式；（声速和多普勒效应）,振幅A反映了信号的强度；就是声音的大小。频率F反映了音调的高低；也即尖细或是低粗。,3.声波的应用声纳，B超。,4.声音的三要素,音调：指声音的基音频率；（音阶的划分）音色：指声音的泛音频率；（音频带宽）音强：指声音的声音幅度；（音量的计量分贝dB)。,5.声音质量的度量,声品质可定义为听觉事件对个人各方面需求的满足程度，影响声品质的因素包括物理(声场)、心理声学(听觉感知)、心理(听觉评价)等几方面。人类的听觉频率范围：2020KHz。语音质量等级：根据声音频带，声音质量分5个等级，依次为：电话、调幅广播(AM)、调频广播(FM)、CD光盘、数字录音带(DAT，DigitalAudioTape),6.音强和响度，听阈和痛阈,音强又称为响度，是表示人的听觉主观判断声音的强弱程度。在心理学上，响度是人耳对音量大小、声音强弱的主观感受。响度大，声音显得丰满；响度小，声音便非常单薄脆弱。在物理上，响度用声压或声强来描述声音的强弱。响度级为以1000Hz为基准。定义1000Hz、40dB纯音时，响度为1宋。当声音弱到人耳刚刚能听到的时候，此时的音强称之为：听阈。当音强达到人耳感觉疼痛的时候，此时的音强称为痛阈。听阈和痛阈是随频率变化的。人耳的听觉音强范围为0-120dB。,人的听觉声强范围,7.人类的听觉特性,1)人耳只能察觉出3dB以上音强变化2)人耳对不同频段的声音敏感度不同人耳对13KHZ的声音最为灵敏3)人的听觉具有掩蔽效应,听觉的掩蔽效应,问题：音频信号有什么特点？如何用计算机处理音频信号？如何获得高质量的音频信号？,模拟信号的数字化处理,模拟到数字的转换A/D转换（AnalogtoDigitalConversion）,模拟信号数字化的步骤：1.采样在连续信号中每隔一定时间取一个值；2.量化把其大小取整为n位二进制数所能表示的数；例如:n=4，即有24=16个级别可用于表示一个采样，量化后只能以0，1，215这16个数之一来表示3.编码按一定的规律产生二进制位数据。,模拟信号数字化的原理,将检测到的电压值转换成数字信息,模拟信号的数字化4bit,采样定理采样频率要高于被采样信号最高频率的两倍，信号才可能完全复原。话音最高频率为4000Hz，则需每秒采样8000次；声音的最高频率为20kHz，所以在多媒体计算机中使用的多是44.1kHz的采样频率。量化精度取决于表示一个采样值的二进制位数。位数越多，精度也越高。用16个二进制位（bit）表示声音，可将声音分为216=65536级，而若用8位则仅能区分出28=256级。用16位表示的声音比用8位的声音质量高得多。,音频数据压缩处理,1.音频压缩的理论基础是人的听觉特性。2.音频压缩算法的分类：1)有损压缩和无损压缩2)时域压缩，子带压缩和变换压缩三种语音编码器：波形编码器音源编码器(声码器)混合编码器3.最基本的音频压缩处理方法PCM编码,脉冲编码调制的概念是1937年，由法国工程师AlecReeres最早出来的。1946年美国Bell实验室实现了第一台PCM数字电话终端机。1962年，晶体管PCM终端机大量应用于市话网中局间中继线，使市话电缆传输电话路数扩大2430倍。70年代后期，超大规模集成电路的PCM编、解码器的出现，使光纤通信、数字微波通信、卫星通信获得了更广泛的应用。此外，CD唱机和DAT录音机，均采用线性PCM编码来存储音乐信号，为非压缩方式。,脉冲编码调制(PulseCodingModulation),PCM算法是最简单、最完善、最常见也是压缩效率最低的编码方法。它用一组二进制数码来代替连续信号的抽样值，具有极强的抗干扰能力。步骤：仅对输入信号进行采样量化编码。,PCM系统原理框,几个关于量化的概念：均匀量化与非均匀量化,量化噪声（误差）,量化信噪比：随量化电平阶数M的增加而提高，信号的逼真度越好。均匀量化的不足：量化信噪比随信号电平的减小而下降。在民用电话中，一种简单而又稳定的非均匀量化器为对数量化器。该量化器在出现频率高的低幅语音信号处，运用小的量化间隔，在出现概率低的高幅语音信号处，运用大的量化间隔。,幅度大的信号被压缩，幅度小的信号被扩张。,压缩与扩张的示意图,两种常见PCM体制：1)律压扩算法2)A律压扩算法,A律压缩特性,律压缩特性,MP3压缩标准MP3是一种有损数字音频压缩格式，其全称是MPEG-1AudioLayer3。MPEG-1音频压缩标准是第一个高保真音频数据压缩标准。除AC-3之外，其他的音频压缩算法只适用于语言(如码激励线性预测CELP)或只有中等压缩质量(如自适应差分脉冲编码调制ADPCM)。MPEG1音频压缩标准虽然是MPEG-1标准的一部分，但它完全可独立应用。,在MPEG-1标准中，按复杂程度划分了三种音频压缩模式即层，层，层。目前广泛使用的VCD音频压缩方案为层，其典型码率为每通道192Kbps，共2通道。层即称掩蔽模式，采用通用子带集成编码与多路复用，典型码率为每通道128Kbps，广泛应用于数字音频广播、数字演播室、CD-I等数字音频专业的制作、交流、存储和传送。层是综合层和自适应谱感知熵编码(ASPEC)的优点提出的混合压缩技术，MP3的复杂度相对较高，不利于实时编码，典型码率为64Kbps，在低码率下有高品质的音质。用于ISDN语音通话。,MPEG-1音频压缩模式的比较,MP3产品简介1.组成结构,PHILIPS芯片方案PHILIPS解码芯片属于高端产品。其系列芯片SAA7750,SAA7751,PNX0101ET本身仅是解码芯片，必须搭配控制芯片才能使用。代表产品：iRiver的IFP-100、300、500系列和MPIO的FD100、FL100、FY200、FG100等。SIGMATEL芯片方案美国SIGMATEL的STMP34和35系列芯片是目前市场占有率较大的芯片，采用独立控制方式，成本较低。代表产品：爱国者月光宝盒系列、三星YP-55H，JNCSSF-800等TELECHIPS芯片方案韩国TELECHIPS的TCC730、TCC731也是性能较好的MP3解码芯片之一，同样需要外围元件的配合，成本比飞利浦较低。代表产品：丹丁328系列、DEC街舞系列，朝华魔音系列。对三款主流芯片来说，音质排列顺序为：PhilipsSigmatelTelchips,乐器数字接口MIDI乐器数字接口规范MIDI(MusicalInstrumentDigitalInterface)于1983年提出。MIDI是一种利用合成器产生的音乐技术。MIDI由三个部分组成，分别是：通信协议CommunicationProtocol；连接器Connector（硬件接口）；传播规范，称为标准MIDI文件StandardMIDIFiles。,通信协议MIDI协议是乐谱的数字化描述语言。每一个描述乐器演播的动作的字都赋给一个特定的二进制代码。例如：音色编号为00；音符C3编号为00；8分音符编号为60。如果钢琴8分音符的C3音，它的MIDI编码是“000060连接器根据MIDI1.0规范，MIDI连接器是一个5针DIN接头。由于PC机未为MIDI预留接口，故采用串行口或游戏杆端口来连接MIDI乐器。标准MIDI文件一个MIDI文件不需要捕捉和存储实际的声音，仅是一个事件的列表，描述了一个声音卡或其他播放设备要产生某种声音的特定的步骤。因此，MIDI文件比数字音频文件小得多，并且事件是可以编辑的，音乐可以重排，编辑，甚至交互式作曲。,4.4声卡简介声卡的基本功能：将来自话筒、磁带、光盘的原始声音信号进行转换，输出到耳机、扬声器、扩音机、录音机等声响设备，或通过音乐设备数字接口(MIDI)使乐器发出美妙的声音。4.1声卡的发展历史1984年，英国ADLIBAUDIO公司推出第一款声卡。1995年，创新推出AWE32系列，具有硬件波表合成能力，而以往的声卡仅具备FM合成能力，具有一个32复音的波表引擎，并集成了1MB容量的音色库，MIDI的表现力获得大大提升，硬件波表合成能力成为高档声卡的象征。1996年，创新推出AWE64系列，具有64复音的波表合成能力，成为当时MIDI表现力最佳的声卡，这个系列中的AWE64Gold，是公认最优秀的声卡之一。,声卡主要由以下几个部分组成：声音的合成与处理是声卡的核心部分。由数字声音处理器、调频(FM)音乐合成器及MIDI控制器组成。完成声波信号的A/D和D/A转换，利用调频技术控制声音的音调、音色和幅度等