多媒体技术与应用02.ppt

第二章数字音频技术 第二章数字音频技术 2 1数字音频基础2 2数字音频压缩标准2 3声卡与电声设备2 4MIDI与音乐合成2 5音频编辑软件2 6语音识别技术本章小结 2 3 一 声音的基本概念声音是通过一定介质传播的连续的波 声波 2 1数字音频基础 2 4 声音按频率分类 语音信号频率范围 300Hz 3kHz 2 1数字音频基础 2 5 声音的传播携带了信息 它是人类传播信息的一种主要媒体 声音的三种类型 波形声音 包含了所有声音形式语音 不仅是波形声音 而且还有丰富的语言内涵 抽象 提取特征 意义理解 音乐 与语音相比 形式更规范 音乐是符号化的声音 2 1数字音频基础 2 6 二 声音的数字化1 声音信号的类型模拟信号 自然界 物理 数字信号 计算机 2 声音数字化过程 模拟信号 数字信号 A DADC D ADAC 2 1数字音频基础 2 7 3 声音数字化过程 示意 2 1数字音频基础 2 8 4 声音数字化三要素 2 1数字音频基础 2 9 5 声音数字化的数据量音频数据量 采样频率 量化位数 声道数 8 字节 秒 2 1数字音频基础 2 10 三 音频的文件格式1 WAV文件WAV是Microsoft IBM共同开发的PC波形文件 因未经压缩 文件数据量很大 特点 声音层次丰富 还原音质好 2 1数字音频基础 2 MP3文件MP3 MPEGAudiolayer3 是一种按MPEG标准的音频压缩技术制作的音频文件 特点 高压缩比 11 1 优美音质 2 11 3 RA文件RA RealAudio 即时播音系统 新型流式音频 RA RM RMX 特点 在低速的广域网上实时传输音频4 WMA文件WMA WindowsMediaAudio 是WindowsMedia格式中的一个子集 音频格式 特点 压缩到MP3一半 2 1数字音频基础 2 12 5 MIDI和RMI文件MIDI 乐器数字接口 是由一组音乐 乐谱或乐器符号的数字集合 特点 播放效果与硬件相关 数据量很小 音质不高 音色单调等6 VOC文件创新公司开发的声音文件格式 由文件头块和音频数据块组成 2 1数字音频基础 2 13 四 音频的采集与处理1 声音的采集录音软件专业录音棚唱盘活录音带转录数字音频库 2 1数字音频基础 2 声音的处理剪接 降噪 均衡 效果 动态处理 格式转换 2 14 2 2数字音频压缩标准 一 音频压缩方法概述 压缩编码技术是指用某种方法使数字化信息的编码率降低的技术 音频信号能压缩的基本依据 声音信号中存在大量的冗余度 人的听觉具有强音抑制弱音的现象 低频段敏感 高频段不敏感 2 15 音频信号压缩编码的分类 无损压缩 熵编码 霍夫曼编码 算术编码 行程编码 有损压缩波形编码 PCM DPCM ADPCM子带编码 矢量量化参数编码 LPC混合编码 MPLPC CELP 2 2数字音频压缩标准 2 16 2 2数字音频压缩标准 二 音频压缩技术标准 2 17 2 2数字音频压缩标准 三 音频压缩工具音频文件转换 AudioConverter 另存为MP3压缩工具 MP3Resizer 2 18 2 3声卡与音箱 一 声卡 声音卡 音频卡 1 声卡的主要功能声卡是负责录音 播音和声音合成的一种多媒体板卡 其功能包括 录制 编辑和回放数字音频文件控制和混合各声源的音量记录和回放时进行压缩和解压缩语音合成技术 朗读文本 语音识别技术具有MIDI接口 乐器数字接口 2 19 2 声卡的组成原理 2 3声卡与音箱 2 20 3 声卡的性能指标 采样和量化能力衡量音响器材音质好坏 采样频率 11 025kHz 语音效果 22 05kHz 音乐效果 44 1kHz 高保真效果 量化等级 8位 256级 语音质量 16位 65536级 高保真质量 2 3声卡与音箱 2 21 芯片类型CODEC芯片 依赖CPU 价格便宜 数字信号处理器DSP 不依赖CPU 总线类型ISA总线 PCI总线 USB接口 输出声道数2声道 立体声 2 1 4 1 5 1声道多通道声卡 营造杜比环绕立体声 2 3声卡与音箱 2 22 4 声卡的外部接口 2 3声卡与音箱 2 23 2 3声卡与音箱 2 24 二 电声设备1 传声器传声器是一种将声信号转换成相应电信号的能量转换器件 话筒 麦克风 传声器的分类 换能原理 声学原理 指向性 用途 使用方式 有线无线 2 3声卡与音箱 2 3声卡与音箱 传声器的工作原理 声能 1 电动式传声器 包括动圈式传声器和带式传声器两种 电磁换能原理 优点 简单方便 无需放大器 性能稳定 价格低廉 2 电容式传声器 振膜震动引起电容量变化实现换能 优点 灵敏度高 动态范围大 瞬态特性好 失真度低缺点 振膜受潮会导致变形 2 3声卡与音箱 3 驻极体式传声器 利用驻极体材料制作的电容传声器 优点 简单 体积小 耐振动 价格低 4 无线传声器 声音信号转变为电信号 形成超高频信号 无线传声器不是指传声器的结构原理 而是指信号的传输方法 优点 可随身携带 无需电缆缺点 时远时近 影响拾音效果 2 3声卡与音箱 传声器的性能指标 1 灵敏度 传声器的声电转换效率 动圈式 60 70dB 电容式 40 50dB 2 频率响应 输出电平与频率的关系 3 指向性 某频率下声波入射方向对应灵敏度的变化特性 4 输出阻抗 两根输出线之间在1kHZ时的阻抗 5 动态阈 规定谐波失真条件下 传声器承受最大压级与安静时等效噪声级之差 2 28 2 扬声器将电信号转换成声音信号的电声器件 1 磁路系统 磁铁 导磁板 心柱 2 振动系统 纸盆 音圈 3 辅助系统 纸架 铁架 防尘盖电流 音圈 磁力振动 纸盆振动 声音 2 3声卡与音箱 2 3声卡与音箱 扬声器的分类 1 按工作原理分类 电动式 电磁式 静电式 压电式等 2 按放声频率分类 低音 中音 高音 全频带等 性能指标 输出功率 频率特性 信噪比 谐波失真 灵敏度和额定阻抗 2 30 3 音箱音箱是一种电声转换的发音设备 将高 中 低音扬声器组装在专门设计的箱体内 经过分频网络将高 中 低频信号分别送至相应的扬声器进行重放 2 3声卡与音箱 音箱是扬声器系统 2 31 音箱的分类 使用场合 家用音箱 专用音箱功率放大器 有源音箱 无源音箱声道 2 0 双声道立体声2 1 双声道 超重低音声道4 1 5 1 7 15 1 五声道 超重低音声道 2 3声卡与音箱 2 32 音箱的性能指标 1 输出功率 额定 最大峰值 2 频率范围 指音箱最低有效回放频率和最高有效回放频率之间的范围 3 信噪比 音箱回放的有效信号与噪声信号的比值 信噪比较低时 噪声严重 信噪比 70 80dB 普通音箱信噪比 80 90dB 高档音箱信噪比 95dB 专业音箱 2 3声卡与音箱 2 3声卡与音箱 4 失真度 谐波失真 互调失真 瞬态失真 其中 瞬态失真直接影响到音质音色还原程度 5 灵敏度 指音箱产生全功率输出时的输入信号 输入信号越低 灵敏度越高 性能越好 6 阻抗 扬声器输入信号的电压与电流比值 高阻抗 低阻抗 2 34 2 4MIDI与音乐合成 一 MIDI技术概述1 什么是MIDIMIDI MusicalInstrumentDigitalInterface 乐器数字接口 是一种利用合成器产生的音乐技术 采用数字信号处理技术合成的音效 模仿钢琴 小提琴 吉他等音色 超越时空的太空音乐 2 35 2 MIDI标准MIDI是各种电子音乐设备之间以及与计算机之间交换信息的国际标准 MIDI硬件规范 硬件接口标准和信号传输机制 I O通道 连接电缆和插座形式 MIDI软件规范 音乐信息数字化编码方式 音符 音符长短 音调和音量等 2 4MIDI与音乐合成 2 36 二 MIDI合成方式1 调频合成法 FM原理 MIDI合成器接收到MIDI音乐信息后 利用傅立叶级数原理将其分解为若干个不同频率的正弦波 然后生成MIDI音乐信息中指定乐器的各个正弦波分量 最后将这些分量合成起来送至扬声器播放 特点 系统开销小 声音清脆 声音音色少 音质较差 2 4MIDI与音乐合成 2 37 2 波形表合成法 WT原理 在MIDI合成器的ROM中预先存放各种实际乐器的声音样本 在进行音乐合成时以查表的方式调用这些样本 使其与MIDI音乐信息的要求完全相配 然后合成器将这些分段合成的样本送至扬声器播放 特点 音乐真实感强 音色自然 硬波形表 软波形表 2 4MIDI与音乐合成 2 38 三 MIDI的工作过程 音序器是MIDI音乐创作的核心控制部件 2 4MIDI与音乐合成 2 39 四 音乐制作系统1 基本设备音源 声卡 模拟乐器发声的设备 音序器 硬件音序器 软件音序器Cakewalk LogicAudio输入设备 电子琴 MIDIIn MIDIOut MIDI键盘 省去音源 Cakewalk虚拟键盘 2 4MIDI与音乐合成 2 40 2 音乐软件分类音序软件 Cakewalk MusicatorWin3 LogicAudio CubaseVST乐谱打印软件 MIDIScan Encore音乐教育软件 Earnaster Tonica音频编辑软件 CoolEdit Audition SoundForge wavelab效果器软件 TCNative VST 2 4MIDI与音乐合成 2 41 2 6语音识别技术 语音识别 利用计算机自动识别语音的技术 如 将语音转换成其所对应的文字 利用语音信号中所包含的特定人的信息进行说话人身份辨认的说话人识别技术 一 语音识别的发展历史1952 Bell实验室研制出可识别10个英文数字的语音识别器 Audry系统 1988 卡内基 梅隆大学研制SPHINX识别系统 非特定人 大词汇量 连续语音 2 42 二 语音识别基本原理语音识别本质上是一种模式识别过程 主要包括语音信号预处理 特征提取 特征建模 建立参考模式库 相似性度量 模式匹配 和后处理等几个功能模块 2 6语音识别技术 2 43 三 语音识别系统的分类1 根据词汇量大小小词汇量 100词中词汇量 100 1000词大词汇量 1000词以上2 根据对说话人依赖程度特定人 针对某个用户进行识别工作非特定人 针对任何人进行识别工作限定人 针对特定一组人进行识别工作 2 6语音识别技术 2 44 3 根据对说话人说话方式孤立词识别 每次只含词汇表中的一个词条 如一个词 一个词组或一条命令 连接词识别 每次说词汇表中若干个词条来进行识别 该若干词条以慢速连续的方式连续说出 一般指十个数字连接而成的多位数字的识别 连续语音识别 指说话人以日常自然的方式讲述并进行识别 2 6语音识别技术 2 45 四 语音识别软件中文听写语音识别软件语音命令语音合成IBMViaVoice8 0中文语音识别系统 2 6语音识别技术 2 46 五 文本 语音转换技术基于声音合成技术的声音产生技术 能将计算机内的文本转换成连续自然的语言流 包含两种类型 1 有效词汇的计算机语音输出 用于语音报时 汽车报站 2 基于语音合成技术的文本 语音转换器TTS 包括对语言的理解和语音的声韵处理 2 6语音识别技术 2 47 2 5音频处理软件 专业音乐软件 2 48 一 Audition概述1 Audition的发展历史1997年syntrillium公司CoolEditpro1 0 1999年 1 2 2002年 2 0 2003年Adobe公司Audition1 0 2004年 1 5 2006年 2 0 2007 3 0 2 Audition的主要功能AdobeAudition3 0是集声音录制 音频混合和编辑于一体的数字音频处理软件 2 5音频处理软件 主要功能 录音 混音 音频编辑 效果处理 降噪 音频压缩 刻录音乐CD等 2 49 3 Audition的启动和退出开始 程序 AdobeAudition 图标 启动栏4 Audition的窗口组成 2 5音频处理软件 2 5音频处理软件 1 标题栏 显示应用程序名称和正在处理的音频文件名 2 菜单栏 完成对音频文件的读取 修改 存储和软件设置等 3 工具栏 编辑视图 多轨视图 CD视图 工作区 2 5音频处理软件 4 文件 和 效果 列表框 5 波形显示区 显示音频文件的波形 6 控制面板 2 5音频处理软件 7 电平 指示条 当前音频电平大小 8 状态栏 状态信息 5 编辑视图和多轨视图编辑视图 编辑独立的音频文件 多轨视图 混合多轨文件或混合MIDI音乐及视频 采用破坏性编辑方法 采用非破坏性编辑方法 2 53 二 音频的基本操作1 导入 录音与播放 1 导入 文件 打开 文件 打开视频中的音频 2 5音频处理软件 2 54 2 录音 a 文件 新建 新建波形b 录音按钮c 录制 停止2 后期音频剪辑一方面包括复制 剪切和粘贴 另一方面能够选择编辑对象或范围 还包括内部剪贴板 声音混合 删除静音等功能 2 5音频处理