多媒体音频技术.doc

第二章 多媒体音频技术教学目标：了解数字音频基础；了解数字音频压缩标准；了解声卡与音箱； 掌握音频处理软件；了解MIDI与音乐合成；了解语音识别技术。 重点难点：音频处理软件教学内容：1数字音频基础 2数字音频压缩标准 3声卡与音箱 4音频处理软件 5MIDI与音乐合成 6语音识别技术教学课时：3学时教学过程： 2.1 数字音频基础一、声音的基本概念 声音是通过一定介质传播的一种连续波。A声波t周期振幅重要指标：振幅：音量的大小周期：重复出现的时间间隔频率：指信号每秒钟变化的次数声音按频率分类：次声波可听声波超声波20Hz20kHzf(Hz)人类说话声音频率范围：300Hz-3kHz声音质量的频率范围： 二、声音的数字化 1.声音信号的类型 模拟信号(自然界、物理) 数字信号(计算机)2.声音数字化过程采样量化编码模拟信号数字信号模拟信号数字信号A/D ADCD/A DAC3.声音数字化过程图示连续的模拟声音信号声音信号的采样离散的音频信号4.声音数字化三要素单声道立体声8位256 个值16位65536个值11.025kHz22.05 kHz44.1 kHz立体声比单声道的表现力丰富，但数据量翻倍量化位数越多音质越好数据量也越大采样频率越高声音质量越好数据量也越大使用声音通道的个数每个采样点用多少二进制位表示数据范围每秒钟抽取声波幅度样本的次数声道数量化位数采样频率5.声音数字化计算公式 数据量采样频率量化位数声道数/8(字节/秒)86.1343.0743.0721.5321.5310.77单声道数据量(KB/s)量化位数(bit)采样频率(kHz)172.271686.13844.186.131643.07822.0543.071621.53811.025立体声三、数字音频的文件格式 1.WAV文件 WAV是Microsoft/IBM共同开发的PC波形文件。因未经压缩，文件数据量很大。 特点：声音层次丰富，还原音质好 2.MP3文件 MP3(MPEG Audio layer 3)是一种按MPEG标准的音频压缩技术制作的音频文件。 特点：高压缩比(11:1)，优美音质3.WMA文件 WMA(Windows Media Audio)是Windows Media格式中的一个子集(音频格式)。 特点：压缩到MP3一半 4.MIDI文件 MIDI(乐器数字接口)是由一组声音或乐器符号的集合。特点：数据量很小，缺乏重现自然音2.2 数字音频压缩标准一、 音频压缩方法概述二、编码器传输/存储解码器输入音频信号输出音频信号压缩编码是用某种方法使数字化信息的编码率减低音频压缩依据：声音信号中存在大量的冗余度听觉具有强音能抑制弱音现象无损压缩：霍夫曼编码、算术编码、行程编码有损压缩：波形编码、参数编码、混合编码二、音频压缩技术标准采样44.1kHz，量化16bit，码率705kbps (MPEG三个压缩层次，384-64kbps)MPEG音频高保真立体声采样16kHz，量化14bit，码率224(64)kbpsG.722调幅广播质量采用LD-CELP压缩技术，码率16kbpsG.728采用ADPCM有损压缩，码率24kbpsG.723采用ADPCM编码，码率32kbpsG.721采样8kHz，量化8bit，码率64kbpsG.711电话语音质量说明标准分类三、音频压缩工具 MP3压缩工具(豪杰超级解霸3000)2.3 声卡与音箱一、声卡(又称声音卡、音频卡) 1.声卡的主要功能 声卡是负责录音、播音和声音合成的一种多媒体板卡。 录制、编辑和回放数字音频文件 控制和混合各声源的音量 记录和回放音频时进行压缩和解压缩 语音合成技术(朗读文本) 具有MIDI接口(乐器数字接口)2.声卡的组成原理线性输出总线接口芯片数字音频处理芯片音乐合成器A/D和D/AMIDI接口混音器CD接口计算机总线话筒输入线性输入扬声器输出3.声卡的性能指标 采样和量化能力 衡量音响器材音质好坏。 采样频率：11.025kHz (语音效果) 22.05 kHz (音乐效果) 44.1 kHz (高保真效果) 量化等级： 8位/256级 (语音质量)16位/65536级(高保真质量)芯片类型 CODEC芯片(依赖CPU，价格便宜) 数字信号处理器DSP(不依赖CPU) 总线类型 ISA总线、PCI总线、USB接口 输出声道数 2声道(立体声)、2.1/4.1/5.1声道多通道声卡(营造杜比环绕立体声)4.声卡的外部接口二、音箱 音箱是一种电声转换的发音设备，它由箱体、扬声器、电源和信号放大器等组成。 分类：2.0双声道立体声 2.1/4.1/5.1/7.1 5.1五声道超重低音声道2.4 音频处理软件专业音乐软件Waves Native Gold Bundle(20以上)TC Native Bundle(4)Ultrafunk Sonltus fx(7)效果器软件效果器插件Sound Forge(Sonic Foundry)Wavelab (德国Steinberg)Cool Edit (Syntrillium)录音、混音、音频编辑软件Cakewalk 1.0-9.0Sonar 1.0-3.0Cubase VSI 5.xCubase SX 2.1(MIDI/音频/合成器一体化)Logic Audio、Vegas Audio/Video等音乐编曲软件(音序器)合成器软件一、Cool Edit概述 Cool Edit Pro 1.1/1.2/2.0/2.1 (专业版) Cool Edit 2000(简化版)是一种集录音、编辑、合成于一体的数字音频处理软件。 编辑：插入、叠加、替换、调制等； 音效：回音、延迟、失真、杂音等； 分析音讯及频率； 与Cakewalk能很好地结合。1.Cool Edit的启动和退出 开始/所有程序Cool Edit 20002.Cool Edit的窗口组成 显示范围条 波形显示区 声音播放工具 水平缩放工具 时间显示区 垂直缩放工具 CD播放栏 音量电平表标题栏菜单栏工具栏状态栏二、音频的基本操作 1.声音的录制 Options/Windows Mixer音量控制 从麦克风中输入 File/NewNew Waveform对话框 语音：11025Hz、Mono、8-bit 音乐：44100Hz、Stereo、16-bit 从CD唱机中输入 CD唱机(波形输出混音)2.音频的编辑 选择 删除(选区、非选区) 复制 粘贴 混合粘贴3.音频文件管理 新建文件 打开文件 保存文件 另存为(其他格式) 保存选择区三、调整音量大小 1.调整音量 Transform/Amplitude/Amplify菜单 Amplify对话框 Constant Amplification选项卡 2.显示振幅边界线(90%) View/Show Boundaries 3.静音(选择区域) Transform/Silence四、淡入与淡出 淡入效果是指音频选区的起始音量很小甚至无声，而最终音量相对效大。 淡出效果是指音频选区的起始音量相对较大，而最终音量很小甚至无声。 操作步骤：选择音频区域Transform/ Amplitude/Amplify选择Fade In(淡入)、Fade Out(淡出)Linear Fades(线性) Logarithmic Fades(对数)五、消除环境噪音 环境噪音是在语音停顿之处有一种振幅变化不大的声音，这个声音贯穿于录制声音的整个过程。 消除环境噪音的方法是在语音停顿之处选择一段环境噪音，让CE记录噪音的特征，然后自动消除所有的环境噪音。操作步骤：选取噪音样本Transform/ Noise Reduction/Noise Reduction双击波形显示区选取整个波形六、延迟效果 1.Delay延迟效果 Transform/Delay Effects/Delay菜单 Delay对话框参数： Delay：延时(-500500ms) Mixing：声音混合(0100%) Invert：颠倒 Presets：预置 模拟各种房间效果、空中回声、隧道。2.Echo回声效果 Transform/Delay Effects/Echo菜单 Echo对话框的参数： Decay：衰减(0100%) Delay：延时(02000ms) Initial Echo Volume:初始回声音量 Lock Left/Right：锁定左右声道 Echo Bounce：弹簧回声 模拟声场效果，如礼堂、峡谷、大厅。3.Flanger空间感效果 Transform/Delay Effects/Flanger菜单Flanger对话框的主要参数：立体声相位Stereo Phasing反馈量Feedback最终混合延时Final Mix Delay初始混合延时Initial Mix Delay原始声音和延时声音比例Original Delayed模拟科幻、火星人、水下等声音感觉。七、正弦波发生器 正弦波发生器 音频信号发生器 非正弦法发生器 噪音发生器 Generate/TonesNew Waveform (16000,Mono,16-bit) Generate Tones (选中Lock to these 400,0,0)2.5 MIDI与音乐合成一、MIDI技术概述 1.什么是MIDI MIDI是一种利用合成器产生的音乐技术。 Musical Instrument Digital Interface译为乐器数字接口。 利用数字信号处理技术合成的音效有： 模仿钢琴、小提琴、吉他等音色； 超越时空的太空音乐。 2.MIDI标准 MIDI是各种电子音乐设备之间以及与计算机交换信息的国际标准。(Yamaha,Roland) MIDI硬件规范：硬件接口标准和信号传输机制(I/O通道类型、连接电缆和插座形式)。MIDI软件规范：音乐信息数字化编码方式(音符、音符长短、音调和音量等)。原声钢琴8分音符的C3音：00 00 60音色Piano编号 音符C3编号 8分音符编号二、MIDI合成方式 1.调频合成法FM 原理：利用傅立叶级数进行分解。 特点：系统开销小，声音较清脆； 声音音色少，音质差。 2.波形表合成法WT 原理：预先存放实际乐器的声音样本。 特点：音乐真实感强，音色自然。 硬波形表，软波形表。三、MIDI的工作过程MIDI乐器MIDI接口MIDI文件音序器合成器扬声器音频卡PC机音序器是MIDI音乐创作的核心控制部件。四、音乐制作系统 1.基本设备 音源：声卡(模拟乐器发声的设备) 音序器：硬件音序器、软件音序器 输入设备：电子琴(MIDI In,MIDI Out) MIDI键盘(省去音源) Cakewalk虚拟键盘MIDI连接线2.音乐制作技术 提取原音软件：Exact Audio Copy(EAC) MP3数字CD抓轨 把CD音轨转换成WAV格式(无失真)。 音频处理软件：Cool Edit 2000 原音伴唱消除：Effect/Amplitude/ Channel MixerVocal Cut VCD(卡拉OK)：左声道、右声道 人声 伴音2.6 语音识别技术一、语音识别的发展历史 1952：Bell实验室研制可识别十个英文 数字的语音识别器-Audry系统。 60-80:动态规划(DP)、线性预测(LP)、 矢量量化(VQ)、隐马尔可夫模型、 人工神经元网络(ANN)。 1988：卡内基-梅隆大学研制SPHINX系统 非特定人、大词汇量、连续语音。1997：IBM公司开发出汉语ViaVoice语音 识别系统。ViaVoice98-地方口音二、语音识别的基本原理三、语音识别系统的分类 1.根据词汇量大小 小词汇量语音识别系统：几十词 中词汇量语音识别系统：几百词大词汇量语音识别系统：几千-几万词 2.根据对说话人依赖程度 特定人语音识别系统：专人 非特定人语音识别系统：所有人 限定人识别系统：一组人 3.根据对说话人说话方式 孤立词语音识别系统：每词后停顿 连接词语音识别系统