多媒体技术及应用数字音频技术02课件

1、多媒体技术及应用数字音频技术022022/7/26多媒体技术及应用数字音频技术02第二章 数字音频技术2.1 数字音频基础2.2 数字音频压缩标准2.3 声卡与电声设备2.4 MIDI与音乐合成2.5 音频编辑软件2.6 语音识别技术本章小结多媒体技术及应用数字音频技术02一、声音的基本概念 声音是通过一定介质传播的连续的波。t振幅周期A声波振幅：音量的大小周期：重复出现的时间间隔频率：指信号每秒钟变化的次数重要指标2.1 数字音频基础多媒体技术及应用数字音频技术02 声音按频率分类：次声波可听声波超声波20Hz20kHzf(Hz)语音信号频率范围：300Hz-3kHz2.1 数字音频基础10

2、 20 50 200 3.4k 7k 15k 20kCD-DAFM广播AM广播电话f(Hz)频带声音质量的频率范围：多媒体技术及应用数字音频技术02 声音的传播携带了信息，它是人类传播信息的一种主要媒体。 声音的三种类型： 波形声音：包含了所有声音形式 语音：不仅是波形声音，而且还有丰富的语言内涵(抽象提取特征意义理解) 音乐：与语音相比，形式更规范。音乐是符号化的声音。2.1 数字音频基础多媒体技术及应用数字音频技术02二、声音的数字化 1.声音信号的类型 模拟信号(自然界、物理) 数字信号(计算机) 2.声音数字化过程采样量化编码模拟信号数字信号模拟信号数字信号A/D ADCD/A DAC

3、2.1 数字音频基础多媒体技术及应用数字音频技术02 3.声音数字化过程连续的模拟声音信号声音信号的采样离散的音频信号示意2.1 数字音频基础多媒体技术及应用数字音频技术02 4.声音数字化三要素采样频率量化位数声道数每秒钟抽取声波幅度样本的次数每个采样点用多少二进制位表示数据范围使用声音通道的个数采样频率越高声音质量越好数据量也越大量化位数越多音质越好数据量也越大立体声比单声道的表现力丰富，但数据量翻倍11.025kHz22.05 kHz44.1 kHz 8位25616位65536单声道立体声2.1 数字音频基础多媒体技术及应用数字音频技术02 5.声音数字化的数据量 音频数据量采样频率量化

4、位数 声道数/8(字节/秒)采样频率(kHz)量化位数(bit)数据量(KB/s)单声道立体声11.025810.7721.531621.5343.0722.05821.5343.071643.0786.1344.1843.0786.131686.13172.272.1 数字音频基础多媒体技术及应用数字音频技术02三、音频的文件格式 1.WAV文件 WAV是Microsoft/IBM共同开发的PC波形文件。因未经压缩，文件数据量很大。 特点：声音层次丰富，还原音质好2.1 数字音频基础 2.MP3文件 MP3(MPEG Audio layer3)是一种按MPEG标准的音频压缩技术制作的音频文件

5、。 特点：高压缩比(11:1)，优美音质多媒体技术及应用数字音频技术022-11 3.RA文件 RA(RealAudio，即时播音系统）新型流式音频，RA、RM、RMX。 特点：在低速的广域网上实时传输音频 4. WMA文件 WMA(Windows Media Audio)是Windows Media格式中的一个子集(音频格式)。 特点：压缩到MP3一半2.1 数字音频基础多媒体技术及应用数字音频技术02 5. MIDI和RMI文件 MIDI(乐器数字接口)是由一组音乐、乐谱或乐器符号的数字集合。 特点：播放效果与硬件相关，数据量很小，音质不高、音色单调等 6.VOC文件 创新公司开发的声音文

6、件格式，由文件头块和音频数据块组成。 2.1 数字音频基础多媒体技术及应用数字音频技术022-13四、音频的采集与处理 1.声音的采集录音软件专业录音棚唱盘活录音带转录数字音频库2.1 数字音频基础 2.声音的处理 剪接、降噪、均衡、效果、动态处理、格式转换。多媒体技术及应用数字音频技术022.2 数字音频压缩标准一、音频压缩方法概述编码器传输/存储解码器输入音频信号输出音频信号压缩编码技术是指用某种方法使数字化信息的编码率降低的技术 音频信号能压缩的基本依据：声音信号中存在大量的冗余度；人的听觉具有强音抑制弱音的现象；低频段敏感、高频段不敏感。 多媒体技术及应用数字音频技术02 音频信号压缩

7、编码的分类： 无损压缩(熵编码) 霍夫曼编码、算术编码、行程编码 有损压缩 波形编码-PCM、DPCM、ADPCM 子带编码、矢量量化 参数编码-LPC 混合编码-MPLPC、CELP2.2 数字音频压缩标准多媒体技术及应用数字音频技术022.2 数字音频压缩标准二、音频压缩技术标准分类标准说明电话语音质量G.711采样8kHz，量化8bit，码率64kbpsG.721采用ADPCM编码，码率32kbpsG.723采用ADPCM有损压缩，码率24kbpsG.728采用LD-CELP压缩技术，码率16kbps调幅广播质量G.722采样16kHz，量化14bit，码率224(64)kbps高保真立

8、体声MPEG音频采样44.1kHz，量化16bit，码率705kbps (MPEG三个压缩层次，384-64kbps)多媒体技术及应用数字音频技术022.2 数字音频压缩标准三、音频压缩工具 音频文件转换：Audio Converter、另存为 MP3压缩工具：MP3Resizer多媒体技术及应用数字音频技术022.3 声卡与音箱一、声卡(声音卡、音频卡) 1.声卡的主要功能 声卡是负责录音、播音和声音合成的一种多媒体板卡。其功能包括：录制、编辑和回放数字音频文件控制和混合各声源的音量记录和回放时进行压缩和解压缩语音合成技术(朗读文本)语音识别技术具有MIDI接口(乐器数字接口)多媒体技术及应

9、用数字音频技术02 2.声卡的组成原理线性输出总线接口芯片数字音频处理芯片音乐合成器A/D和D/AMIDI接口混音器CD接口计算机总线话筒输入线性输入扬声器输出A/D数据处理D/A声波喇叭2.3 声卡与音箱多媒体技术及应用数字音频技术02 3.声卡的性能指标 采样和量化能力 衡量音响器材音质好坏。 采样频率：11.025kHz (语音效果) 22.05 kHz (音乐效果) 44.1 kHz (高保真效果) 量化等级： 8位/256级 (语音质量) 16位/65536级(高保真质量)2.3 声卡与音箱多媒体技术及应用数字音频技术02 芯片类型 CODEC芯片(依赖CPU，价格便宜) 数字信号处

10、理器DSP(不依赖CPU) 总线类型 ISA总线、PCI总线、USB接口 输出声道数 2声道(立体声)、2.1/4.1/5.1声道 多通道声卡(营造杜比环绕立体声)2.3 声卡与音箱多媒体技术及应用数字音频技术02 4.声卡的外部接口2.3 声卡与音箱多媒体技术及应用数字音频技术022.3 声卡与音箱线性输入接口Line In用来连接外部音频设备以便进行录音，如录音机、CD唱机和音响等话筒输入接口Mic In用来连接话筒，直接输入现场的声音信号线性输出接口Line Out用来连接外部音频设备的输入口，也可连接大功率有源音响等扬声器输入接口/Spk Out用来连接扬声器，从声卡的内置功率放大器向

11、扬声器输出声音游戏杆MIDI接口用来连接游戏杆或MIDI设备。CD音频连接器用来连接CD-ROM驱动器，可以直接播放CD音乐，而不占用CPU时间多媒体技术及应用数字音频技术022-24二、电声设备 1.传声器 传声器是一种将声信号转换成相应电信号的能量转换器件（话筒、麦克风）。 传声器的分类： 换能原理、声学原理、指向性、用途、使用方式、有线无线2.3 声卡与音箱多媒体技术及应用数字音频技术022.3 声卡与音箱传声器的工作原理：声 能（1）电动式传声器，包括动圈式传声器和带式传声器两种，电磁换能原理。优点：简单方便、无需放大器、性能稳定、价格低廉（2）电容式传声器，振膜震动引起电容量变化实现

12、换能。优点：灵敏度高、动态范围大、瞬态特性好、失真度低缺点：振膜受潮会导致变形多媒体技术及应用数字音频技术022.3 声卡与音箱（3）驻极体式传声器，利用驻极体材料制作的电容传声器。优点：简单、体积小、耐振动、价格低（4）无线传声器，声音信号转变为电信号，形成超高频信号。无线传声器不是指传声器的结构原理，而是指信号的传输方法。优点：可随身携带、无需电缆缺点：时远时近，影响拾音效果多媒体技术及应用数字音频技术022.3 声卡与音箱传声器的性能指标：（1）灵敏度，传声器的声电转换效率。动圈式：-60-70dB；电容式：-40-50dB（2）频率响应，输出电平与频率的关系。（3）指向性，某频率下声波

13、入射方向对应灵敏度的变化特性。（4）输出阻抗，两根输出线之间在1kHZ时的阻抗。（5）动态阈，规定谐波失真条件下，传声器承受最大压级与安静时等效噪声级之差。多媒体技术及应用数字音频技术022-28 2.扬声器 将电信号转换成声音信号的电声器件。（1）磁路系统，磁铁、导磁板、心柱（2）振动系统，纸盆、音圈（3）辅助系统，纸架、铁架、防尘盖 电流音圈磁力振动 纸盆振动声音2.3 声卡与音箱多媒体技术及应用数字音频技术022.3 声卡与音箱扬声器的分类：（1）按工作原理分类，电动式、电磁式、静电式、压电式等。（2）按放声频率分类，低音、中音、高音、全频带等。性能指标：输出功率、频率特性、信噪比、谐波

14、失真、灵敏度和额定阻抗。多媒体技术及应用数字音频技术02 3.音箱 音箱是一种电声转换的发音设备。将高、中、低音扬声器组装在专门设计的箱体内，经过分频网络将高、中、低频信号分别送至相应的扬声器进行重放。2.3 声卡与音箱音箱是扬声器系统多媒体技术及应用数字音频技术02音箱的分类：使用场合：家用音箱、专用音箱功率放大器：有源音箱、无源音箱声道：2.0双声道立体声 2.1双声道超重低音声道 4.1/5.1/7.1 5.1五声道超重低音声道2.3 声卡与音箱多媒体技术及应用数字音频技术02 音箱的性能指标： （1）输出功率：额定、最大峰值。 （2）频率范围：指音箱最低有效回放频率和最高有效回放频率之

15、间的范围。 （3）信噪比：音箱回放的有效信号与噪声信号的比值。信噪比较低时，噪声严重。信噪比70-80dB普通音箱信噪比80-90dB高档音箱信噪比95dB 专业音箱2.3 声卡与音箱多媒体技术及应用数字音频技术022.3 声卡与音箱（4）失真度：谐波失真、互调失真、瞬态失真。其中，瞬态失真直接影响到音质音色还原程度。（5）灵敏度：指音箱产生全功率输出时的输入信号。输入信号越低，灵敏度越高，性能越好（6）阻抗：扬声器输入信号的电压与电流比值。高阻抗、低阻抗。多媒体技术及应用数字音频技术022-342.4 MIDI与音乐合成一、MIDI技术概述 1.什么是MIDI MIDI(Musical In

16、strument Digital Interface，乐器数字接口)是一种利用合成器产生的音乐技术。 采用数字信号处理技术合成的音效： 模仿钢琴、小提琴、吉他等音色 超越时空的太空音乐多媒体技术及应用数字音频技术022-35 2.MIDI标准 MIDI是各种电子音乐设备之间以及与计算机之间交换信息的国际标准。 MIDI硬件规范：硬件接口标准和信号传输机制(I/O通道、连接电缆和插座形式)。 MIDI软件规范：音乐信息数字化编码方式(音符、音符长短、音调和音量等)。原声钢琴8分音符的C3音：00 00 60音色Piano编号 音符C3编号 8分音符编号2.4 MIDI与音乐合成多媒体技术及应用数

17、字音频技术022-36二、MIDI合成方式 1.调频合成法-FM 原理：MIDI合成器接收到MIDI音乐信息后，利用傅立叶级数原理将其分解为若干个不同频率的正弦波，然后生成MIDI音乐信息中指定乐器的各个正弦波分量，最后将这些分量合成起来送至扬声器播放。 特点：系统开销小，声音清脆 声音音色少，音质较差2.4 MIDI与音乐合成多媒体技术及应用数字音频技术022-37 2.波形表合成法-WT 原理：在MIDI合成器的ROM中预先存放各种实际乐器的声音样本，在进行音乐合成时以查表的方式调用这些样本，使其与MIDI音乐信息的要求完全相配，然后合成器将这些分段合成的样本送至扬声器播放。 特点：音乐真

18、实感强，音色自然 硬波形表，软波形表。2.4 MIDI与音乐合成多媒体技术及应用数字音频技术022-38三、MIDI的工作过程MIDI输入设备MIDI接口MIDI文件音序器合成器扬声器音频卡PC机 音序器是MIDI音乐创作的核心控制部件。2.4 MIDI与音乐合成多媒体技术及应用数字音频技术022-39四、音乐制作系统 1.基本设备 音源：声卡(模拟乐器发声的设备) 音序器：硬件音序器、软件音序器 Cakewalk, Logic Audio 输入设备：电子琴(MIDI In,MIDI Out) MIDI键盘(省去音源) Cakewalk虚拟键盘2.4 MIDI与音乐合成多媒体技术及应用数字音频

19、技术022-40 2.音乐软件分类 音序软件：Cakewalk、MusicatorWin3、Logic Audio、Cubase VST 乐谱打印软件：MIDI Scan、Encore 音乐教育软件：Earnaster、Tonica 音频编辑软件：Cool Edit、Audition、Sound Forge、wavelab 效果器软件：TC Native、VST2.4 MIDI与音乐合成多媒体技术及应用数字音频技术022.6 语音识别技术 语音识别：利用计算机自动识别语音的技术。如将语音转换成其所对应的文字，利用语音信号中所包含的特定人的信息进行说话人身份辨认的说话人识别技术。一、语音识别的发

20、展历史 1952：Bell实验室研制出可识别10个英文数字的语音识别器(Audry系统)。 1988：卡内基梅隆大学研制SPHINX识别系统(非特定人、大词汇量、连续语音)。多媒体技术及应用数字音频技术02二、语音识别基本原理 语音识别本质上是一种模式识别过程，主要包括语音信号预处理、特征提取、特征建模(建立参考模式库)、相似性度量(模式匹配)和后处理等几个功能模块。2.6 语音识别技术多媒体技术及应用数字音频技术02三、语音识别系统的分类 1.根据词汇量大小 小词汇量：100词 中词汇量：100-1000词 大词汇量：1000词以上 2.根据对说话人依赖程度 特定人：针对某个用户进行识别工作

21、 非特定人：针对任何人进行识别工作 限定人：针对特定一组人进行识别工作 2.6 语音识别技术多媒体技术及应用数字音频技术02 3.根据对说话人说话方式 孤立词识别：每次只含词汇表中的一个词条，如一个词、一个词组或一条命令。 连接词识别：每次说词汇表中若干个词条来进行识别，该若干词条以慢速连续的方式连续说出，一般指十个数字连接而成的多位数字的识别。 连续语音识别：指说话人以日常自然的方式讲述并进行识别。2.6 语音识别技术多媒体技术及应用数字音频技术02四、语音识别软件 中文听写 语音识别软件 语音命令 语音合成 IBM ViaVoice 8.0中文语音识别系统2.6 语音识别技术多媒体技术及应

22、用数字音频技术022-46五、文本-语音转换技术基于声音合成技术的声音产生技术。能将计算机内的文本转换成连续自然的语言流。包含两种类型：（1）有效词汇的计算机语音输出。 用于语音报时、汽车报站（2）基于语音合成技术的文本-语音转换器TTS。 包括对语言的理解和语音的声韵处理 2.6 语音识别技术多媒体技术及应用数字音频技术022-472.5 音频处理软件专业音乐软件音乐编曲软件(音序器)合成器软件Cakewalk 1.0-9.0Sonar 1.0-4.xCubase VSI 5.xCubase SX 2.1Logic Audio(PC版、Apple版)(MIDI/音频/合成器一体化)录音、混音

23、、音频编辑软件CoolEdit (Syntrillium)Audition (Adobe)GoldWare (GoldWare Inc.)效果器软件效果器插件Waves Native Gold Bundle(20以上)TC Native Bundle(4)Ultrafunk Sonltus fx(7)多媒体技术及应用数字音频技术022-48一、Audition概述 1.Audition的发展历史1997年 syntrillium公司 Cool Edit pro1.0、 1999年(1.2)、2002年（2.0） 2003年 Adobe公司 Audition 1.0、 2004年(1.5)、 2

24、006年(2.0)、2007(3.0) 2.Audition的主要功能 Adobe Audition 3.0是集声音录制、音频混合和编辑于一体的数字音频处理软件。2.5 音频处理软件主要功能：录音、混音、音频编辑、效果处理、降噪、音频压缩、刻录音乐CD等多媒体技术及应用数字音频技术022-49 3.Audition的启动和退出 开始/程序/Adobe Audition、图标、启动栏 4.Audition的窗口组成2.5 音频处理软件多媒体技术及应用数字音频技术022.5 音频处理软件（1）标题栏：显示应用程序名称和正在处理的音频文件名；（2）菜单栏：完成对音频文件的读取、修改、存储和软件设置等；（3）工具栏：编辑视图：多轨视图：CD视图：工作区：多媒体技术及应用数字音频技术022.5 音频处理软件（4）“文件”和“效果”列表框：（5）波形显示区：显示音频文件的波形（6）控制面板：多媒体技术及应用数字音频技术022.5 音频处理软件（7）“电平”指示条：当前音频电平大小（8）状态栏：状态信息。5.编辑视图和多轨视图编辑视图：编辑独立的音频文件。多轨视图：混合多轨文件或混合MIDI音乐及视频。采用破坏性编辑方法采用非破坏性编辑方法多媒体