音频编解码技术ppt课件

音频编解码技术 邓凌03361 培训目标 了解音频编解码的目的熟悉音频编解码的各种标准知道音频编解码的技术构成关注音频编解码技术的发展 语音编解码概述 a 波形编码器 b 声码器 c 混合编码器 语音编码器类型 语音编解码概述 a 波形编码器不利用生成语音信号的任何知识来产生一种重构信号 波形编码器会尽可能重构出包括背景噪音在内的模拟波形 由于波形编码器作用于所有输入信号 因此会产生高质量的样值 特点是复杂度低 在数据速率16kb s以上时 质量很好 例如 ITU TG 711规范 PCM 用的比特率为64kbps Timedomainapproach PCM pulsecodemodulation DPCM ADPCMFrequencydomainapproach SBC sub bandcoding ATC adaptivetransformcoding 语音编码器类型 语音编解码概述 b 声码器声码器 vocoder 也称为音源编译码器 它试图在话音波形信号中提取生成话音的参数 通过这些参数和话音生成模型重构出语音 线性预测编码 LPC 用来获取一时变数字滤波器的参数 这个滤波器用来模拟说话人的声道输出 声码器 vecoder 时变滤波器 time varyingfilter 命令基本激励它的音质很低 增加数据率对提高音质基本无用 广泛用于军事保密通讯 语音编码器类型 语音编解码概述 试图填补波形编码和音源编码的间隔 waveformcoding不能解决低于16kb s下的音质问题 sourcecoding可压缩到2 4kb s或更低 但音质不自然 时域合成 分析编码器 analysis by synthesis ABS 它和音源编码器的主要区别 不使用2个状态 有声 无声 的模型来寻找滤波器的输入激励信号 而是要寻找这样一种激励信号 使得这种信号产生的波形尽可能接近原始话音波形 语音编码器类型 1 语音编解码概述 c 混合编码器目前常用的语音编码器是混合编码器 它融合了波形编码器和声码器的长处 它的另一特点是它工作在非常低的比特率 4 16kbps 混合编码器采用合成分析 AbS 技术 c 1 线性预测合成分析编码器 前向自适应LPAS编码器 8kbpsG 729编码器和6 3kbps与5 3kbpsG 723 1编码器后向自适应LPAS编码 16kbpsG 728低时延码激励线性预测 c 2 参数语音编码器 2 4kbps混合激励线性预测编码 语音编码器类型 2 语音编解码概述 语音编码器的主要功能就是把用户语音的PCM 脉冲编码调制 样值编码成少量的比特 帧 这种方法使得语音在链路产生误码 网络抖动和突发传输时具有鲁棒性 Robustness 在接收端 语音帧先被解码为PCM语音样值 然后再转换成语音波形 语音编解码目的 语音编解码概述 帧大小 帧的大小表示语音流量的时间长度 也称为帧时延 帧是语音信号的分立部件 且每帧是根据语音样点更新的 本章所介绍的编解码器都是一次处理一帧 每帧信息放在各语音分组中 并传送给接收端 处理时延 它表示在编解码器中对一帧语音做编码算法处理时所需的时间 它通常简单的计入帧时延 处理时延也称为算法时延 前视时延 编码器为了对当前帧的编码提供帮助而检查下一帧的一定长度 此长度就称为前视时延 前视的想法是为了利用相邻语音帧之间的密切相关性 帧长度 这个值表示经编码处理后的字节数 不包括帧头 语音编码器评价 语音编解码概述 语音比特率 当编解码器的输入是标准脉冲编码调制的语音码流 比特率为64kbit s 时 编解码器的输出速率 DSPMIPS 此值是指支持特定编码器的DSP处理器的最低速度 RAM需求 它描述了支持特定的编码过程所需要RAM的大小 编码器工作所需的时间 是指编码器的缓存及处理时间 称为单向系统时延 其值 帧大小 处理时延 前视时延 显然 解码时延也非常重要 实际上 解码时延大约是编码时延的一半 语音编码器评价 续 音频编解码标准 语音编解码标准其它音频编解码标准DTMFTransmittersandReceivers标准回声消除相关标准 音频编解码标准 语音编解码标准其它音频编解码标准DTMFTransmittersandReceivers标准回声消除相关标准 音频编解码标准语音编解码标准 ITU TRecommendationG 711ITU TRecommendationG 723 1 AnnexAITU TRecommendationG 728 AnnexGITU TRecommendationG 729 AnnexAB 音频编解码标准 语音编解码标准参数对照 音频编解码标准 音频编解码标准各参数对照 PCM PulseCodeModulation 模拟信号 低通防失真滤波器 波形编码器 PCM样本 量化器 采样 均匀采样量化 均匀量化 非均匀量化 大信号采用大间隔 小信号小间隔 音频编码技术 PCM在通信中主要用于时分多路复用和频分多路复用 语音压缩 ADPCM 自适应差分脉码调制波形编码方案自适应 自动压扩差分 仅对样本之间的变化编码每个样本的速率与比特 32Kbps 8Kbpsx4bits sample24Kbps 8Kbpsx3bits sample16Kbps 8Kbpsx2bits sample CELP 码激励线性预估 进入编码器的信号从8比特PCM转换成16比特线性PCM样本编码器使用电码本 电码本用反馈信息对语音波形不断地分析 学习 和预估白噪声生成器 激励 编码器数字结果 参数 被传送到远端码器进行语音波形的合成和生成 CS ACELP 共轭结构代数码激励线性预估 使用DSP80个16比特线性PCM数据样本帧 10M 进入10个8比特码字增加一个 向前 的5毫秒噪音降低和音调合成过滤增加到处理要求中8Kbps的数据速率 LD CELP 低延迟码激励线性预估 与CSA CELP相似 但LD CELP使用较小的电码本 并以16Kbps操作使延迟减小到2 5毫秒 无 向前 从8 kHz输入语音的每五个样本中产生10比特的码字四个10比特的码字被称为一个 子帧 它大约需要2 5毫秒进行编码两个 子帧 结合到一个5毫秒的码组中进行传输 DMandADM AdaptiveDeltaModulation SBC Sub BandCoding andSB ADPCMLPC LinearPredictiveCoding 音频编码技术 其它语音编码类型 音频编解码标准 语音编解码标准其它音频编解码标准DTMFTransmittersandReceivers标准回声消除相关标准 当前国际上主流的新一代视音频编解码软件技术标准是国际运动图像专家组于1999年公布的MPEG 4技术标准 将逐渐取代现有的MPEG 1 VCD MPEG 2 DVD 标准 MPEG 4主要为了实现在有线 移动网络上传输互动的视音频内容 目前世界主要公司的编解码软件都支持MPEG 4标准 虽然微软等几个公司在发展自己的技术和标准 但都脱不开MPEG 4标准底层的基础专利技术 MPEG 4等编解码技术的革命 极大地扩展了数字多媒体的应用市场 音频编码技术 音频编解码标准其它音频编解码标准 MPEG中音频编码标准 1 编码器的输入和解码器的输出与现存的PCM标准兼容ISO IEC11172 3 MPEG1音频 的采样率为32kHz 44 1kHz和48kHz 根据应用需要 可以使用不同层次的编码系统 Layer 包括将数字音频变成32个子带的基本映射 将数据格式化成块的固定分段 决定自适应位分配的心理声学模型 利用块压扩和格式化的量化器 理论上 层 编码 解码的最少延时约为19ms Layer 提供了为分配 缩放因子和抽样的附加编码 使用了不同的帧格式 这层理论上的最小编码 解码延时约为35ms Layer 采用混合带通滤波器来提高频率分辨率 它增加了差值量化 非均匀 自适应分段和量化值的熵编码 这层理论上的最小编码 解码延时为59ms 联合立体声编码作为一个附加特征 能够加入到任何一层中 音频编码技术 音频编解码标准其它音频编解码标准 杜比数字音频技术 1 AC 3编码和解码AC 3音频编码标准的起源是DOLBYAC 1 AC 1应用的编码技术是自适应增量调制 ADM 它把20kHz的宽带立体声音频信号编码成512kbps的数据流 AC 1曾在电视和调频广播上得到广泛应用 1990年DOLBY实验室推出了立体声编码标准AC 2 它采用类似MDCT的重叠窗口的快速傅立叶变换 FFT 编码技术 其数据率在256kbps以下 AC 2被应用在PC声卡和综合业务数字网等方面 1992年DOLBY实验室在AC 2的基础上 有开发了DOLBYAC 3的数字音频编码技术 AC 3提供了五个声道的从20Hz的全通带频响 即正前方的左 L 中 C 和右 R 后边的两个独立的环绕声通道左后 LS 和右后 RS AC 3同时还提供了一个100Hz以下的超低音声道供用户选用 以弥补低音之不足 因为此声道仅为辅助而已 故定为0 1声道 所以AC 3被称为5 1声道 AC 3将这6个声道进行数字编码 并将它们压缩成一个通道 而它的比特率仅是320kbps 音频编码技术 音频编解码标准其它音频编解码标准 杜比数字音频技术 2 杜比E是一种专业音频编码技术 用于辅助广播和其它一些两声道设备传输多声道的音频信息 杜比E可以通过一对AES EBU或者一对数字VTR音轨 给后期制作和发行提供多达8个声道的广播级质量的音频信息 另外 杜比E的优点还在于经过它编码的信息可以被编辑 解码 编码再解码 经过多次编解码转换而没有可察觉的音质降低 MLPLossless是一个真正的 无损 编码系统 DVD Audio中采用的压缩技术 可对PCM数据进行完美地复制 不同于 有损 的感性编码的杜比数字技术 MLPLossless有效地将磁盘空间扩充了一倍 而没有影响高解析度的PCM音质 从而使DVD Audio光盘可以同时携带同一节目的立体声和多声道版本 所有DVD Audio播放机必须具备MLPLossless解码功能 音频编码技术 音频编解码标准其它音频编解码标准 杜比数字音频技术 3 高级音频编码 AAC 是一种高质量感性音频编码技术 应用于广播和网络音乐下载 AAC的编码效率优于MP3 以更低的比特率提供更高质量的音频信号 这项技术是由四个工业界的领导者 AT T 杜比实验室 FraunhoferIIS以及索尼公司 共同开发 将其标准化为一个ISO IEC的规范 作为MP3的继任者 AAC现在已经获得了越来越多软硬件生产商的支持 音频编码技术 音频编解码标准其它音频编解码标准 音频编解码技术 回声抵消EC混音背景噪声抑制ANS静音压缩自动增益控制AGC唇音同步包丢失隐藏PLC 音频编解码技术 混音 混音就是把两个以上的声音 文件形式或码流形式 混合为一个 目前 混音主要有硬件合成和软件叠加这两种方法 为了防止混音后的溢出问题 一般采用的算法是累加取平均值 这种方法会产生声强失真现象 加权叠加的算法可以有效解决这个问题 加权系数的优化成为这个算法的关键 在多方会议时 混音还有一个策略的问题 音频编解码技术 回声消除 AEC adaptiveechocanceller 是对扬声器信号与由它产生的多路径回声的相关性为基础 建立远端信号的语音模型 利用它对回声进行估计 并不断地修改滤波器的系数 使得估计值更加逼近真实的回声 然后 将回声估计值从话筒的输入信号中减去 从而达到消除回声的目的 AEC还将话筒的输入与扬声器过去的值相比较 从而消除延长延迟的多次反射的声学回声 根椐存储器存放的过去的扬声器的输出值的多少 AEC可以消除各种延迟的回声 音频编解码技术 回声消除 回声产生的因素1 混杂传输2 电话3 路由器4 服务质量QoS 音频编解码技术 背景噪声抑制 背景噪音抑制的英文缩写为ANS AutomaticNoiseSuppression ANS可探测出背景固定频率的杂音并消除背景噪音 例如 风扇 空调声自动滤除 呈现出与会者清晰的声音 音频编解码技术 静音压缩 它利用了在总会话时间中静音时间占了大约50 这一事实 其基本思路是在静音期间减少传送的比特数 从而节省了所需传输的总比特数 在电话网中 多年来对模拟语音信号都是用时间分配语音插值 TASI Time AssignedSpeechInterpolation 方法进行处理 这一技术也就是将其他语音信号或者数据信号放置在谈话的静音期间内 从而为多信道链路提供附加容量 现今 TASI已被运用于数字信号中并被赋予新名称 其中的一个例子就是时分多址 TDMA TimeDivisionMultipleAccess 简要地讲 TDMA是将通常的信号划分成很小的 数字化的片段 slots即时隙 这些时隙和其他时隙一起在一个信道中进行时分复用 音频编解码技术 静音压缩技术的几个概念 VAD VoiceActivityDetectionSID SilenceInsertionDescriptorDTX DiscontinuousTransmissionCNG ComfortNoiseGenerator Voice Spurt Silence PinkNoise Time VoiceActivity PowerLevel SIDBuffer SID HangTimer NoVoiceTrafficSent B WSaved 54dbm 31dbm Voice Spurt 音频编解码技术 静音压缩之语音活动识别 音频编解码技术 自动增益控制AGC AGC可以自动调麦克风的收音量 使与会者收到一定的音量水平 不会因发言者与麦克风的距离改变时 声音有忽大忽小声的缺点 AGC可分为模拟AGC和数字AGC电路 AGC环路可以放在模拟与数字电路之间 增益控制算法在数字部分来实现 合适的增益设置反馈给模拟可变增益放大器 VGA AGC电路的实现有前馈 反馈和混合环路等三种 分别如图1 2 3所示 音频编解码技术 自动增益控制AGC 音频编解码技术 唇音同步 唇音同步是指语音和画面播放的时间差小于一定范围 它实际上是一个牵涉多种技术的综合问题 包括编解码时延 网络QOS等等 这里只针对关键的一个因素进行阐述 Internet是基于分组交换的传输技术 因此会出现语音包不会等时到达目的地的现象 表现在语音不连贯 这就需要先对语音包进行排队 经过动态调整后使语音稳定输出 一般采用jitterbuffer等技术 使语音流畅清晰 音频编解码技术 包丢失隐藏 PLC 包丢失隐藏 PLC 算法也被称为帧消除隐藏算法 它隐藏了音频系统的传输包丢失现象 很多基于CELP算法的语音编码器都把PLC算法写入它们的算法中 PLC的目标 是产生一个合成的语音信号以替代在接收的码流中丢失 消除 的数据 理想情况下 合成的信号会有和丢失信号同样的音质和频谱特性 并且不会产生不自然的伪音 PLC算法的依据 由于语音信号通常是局部静止的 所以可以利用以前的信号来产生对丢失语音段合理近似 PLC应用条件 丢失的包不是很长 丢失的包不发生在快速变化的区域内 在满足PLC应用条件的前提下 包丢失可以完全被隐藏 音频编解码技术 包丢失隐藏PLC 图 音频编解码标准 语音编解码标准其它音频编解码标准DTMFTransmittersandReceivers标准回声消除相关标准 音频编解码标准 DTMF的检测和产生 音频编解码标准DTMFTransmittersandReceivers标准 ITU TRecommendationQ 23 Q 24ETSIES201235 1 2 3 音频编解码标准 语音编解码标准其它音频编解码标准DTMFTransmittersandReceivers标准回声抵消相关标准 音频编解码标准回声消除相关标准 ITU TRecommendationG 167 适用于通信终端设备上的声学回声消除ITU TRecommendationG 165ITU TRecommendationG 168 DIGITALNETWORKECHOCANCELLERS 音频编解码技术的发展编解码器的发展趋势 可分级的码率和编码质量编解码效率编解码复杂度 音频编解码技术的发展 PCM编码方式所产生的数据量太大 存储和传输都既不方便也不经济因此需要开发一种新的编码方式 它应该使用较少的数据量 而又不会导致音质的主观听感有明显的下降 这种编码方式被称为 感知型编码 PerceptualCoding 感知型编码技术以心理声学原理为基础 只记录那些能被人的听觉所感知的声音信号 从而达到减少数据量的同时不损害实际听感的目的 它利用了这样一条心理声学原理 较强的声音信号可以掩蔽临近频段中较弱的信号 换言之 如果在某一频段中出现了一个较强的信号 那么该频段中所有低于某一门槛值的信号都将被强信号掩蔽掉 成为人耳不可闻的信号 滤除该弱信号将不会对音质产生不良影响 而且能减少编码后的数据量 所以可以把它们作为噪声信号来对待 感知型编码 PerceptualCoding 音频编解码技术的发展 PCM编码方式所产生的数据量太大 存储和传输都既不方便也不经济因此需要开发一种新的编码方式 它应该使用较少的数据量 而又不会导致音质的主观听感有明显的下降 这种编码方式被称为 感知型编码 PerceptualCoding 感知型编码技术以心理声学原理为基础 只记录那些能被人的听觉所感知的声音信号 从而达到减