音频采样与编码课件

音频信号提取和处理,音频技术的应用,音频的数字化存贮/传输 数字唱片、IP电话、多媒体网页. 音频合成 电子乐器、语音合成 安全防卫 声纹识别、声音欺骗. 语音分析 语义分析、人机交互.,2010-SPRING,2,LIST,2010-SPRING,LIST,3,2010-SPRING,LIST,4,2010-SPRING,LIST,5,声音的属性,物理属性,机械波 时间域：f(t) 频率域：F(),感知属性,响度(Loudness Level) 音调(Pitch) 音色(Timbre),2010-SPRING,LIST,6,声音的强度度量,2010-SPRING,LIST,7,声音的动态范围=20 log(最大音量/最小音量) (dB),响度(Loudness Level),听阈(Threshold of Hearing) 人耳刚可以听到的响度 客观的响度 主观感受的响度,2010-SPRING,LIST,8,dynes = gcm/sec,2010-SPRING,LIST,9,响度与频率有关,等响度曲线,音调和音色,2010-SPRING,LIST,10,音调：声波的基频,音色：基频的谐波,谐波的次数、幅度和相位决定了不同的音色（乐器）,不同音频业务的带宽,主观音调：,掩蔽效应(Masking Effect),2010-SPRING,LIST,11,频域掩蔽,一个强纯音会掩蔽附近频率的弱纯音,（掩蔽效果与两个纯音的频率差有关）,噪声对纯音产生掩蔽,临界带宽(Critical Band),时域掩蔽,时间轴上相近时刻的声音之间的掩蔽效应,超前掩蔽 (Pre-masking) , 滞后掩蔽(Post-masking),音频有损压缩的依据，音频水印技术的依据,2010-SPRING,LIST,12,2010-SPRING,LIST,13,临界带宽（20-16kHz）,数字音频存贮/通信,2010-SPRING,LIST,14,A/D,传感器,声音,电信号,数据压缩,数字信号,数据解压,D/A,数字信号,喇叭,电信号,声音,存贮/传输,音频的采样,2010-SPRING,LIST,15,采样频率：Nyquist采样定理,量化分辨率：音量动态范围,声道：单声道、双声道、多声道,2010-SPRING,LIST,16,2010-SPRING,LIST,17,2010-SPRING,LIST,18,2010-SPRING,LIST,19,音频编码,语音编码的分类,按照压缩后传输所需要的数据速率可以分为： 高速率语音编码，PCM 64kbit/s, 公用电话网 中高速率语音编码，ADPCM, 32kbit/s 公用网 中速率语音编码，GSM RPE/LTP 13kbit/s；VSELP 8kb/s 数字移动通信话音邮件 低速率语音编码，CELP 4.8kb/s, LPC 1.2kb/s 保密话音 极低速率语音编码，速率1.2kbit/s以下,2010-SPRING,21,LIST,波形编码： 脉冲编码调制 自适应增量调制 自适应参分脉冲编码调制 自适应子带编码 自适应预测编码,语音编码的分类,2010-SPRING,22,LIST,语音编码性能,客观评定方法: 信噪比，加权信噪比，平均分段信噪比等 主观评定方法: 平均意见得分（Mean Opinion Score，MOS） 判断韵字测试（ Diagnostic Rhyme Test，DRT） 判断满意度得分（ Diagnostic Acceptability Measure，DAM）,2010-SPRING,23,LIST,平均意见得分（MOS）,MOS得分采用5级评分标准,2010-SPRING,24,LIST,平均意见得分（MOS）,4.0-4.5 高质量数字化语音，达到长途电话网的要求，接近于透明信道的编码，也称为网络质量。 3.5 左右 通信质量，这时能够感到重建话音质量有所下降，但是不妨碍正常的通话，可以满足多数话音通信系统的使用要求。 3.0分以下 合成语音质量，一些声码器合成语音所能达到的质量，一般具有足够高的可懂度，但是自然度以及讲话人的确认方面不是很好。,2010-SPRING,25,LIST,音频脉冲编码(PCM)调制,2010-SPRING,LIST,26,PCM (Pulse Coding Modulation) : 脉冲编码调制,PCM的量化方式,均匀量化与非均匀量化,2010-SPRING,27,LIST,对数非均匀量化,2010-SPRING,LIST,28,c(x)非线性压缩,均匀量化,编码,解码,c-1(x)非线性扩张,发送,接收,2010-SPRING,LIST,29,Consultative Committee for International Telegraph and Telephone 国际电报电话咨询委员会 G.711,A律,律,2010-SPRING,LIST,30,律,A律,CCITT G.711 PCM编码规则,2010-SPRING,LIST,31,8kHz 采样频率 音频带宽 300 3400 Hz A律 13段 或 律15段编码 8位表示每个采样点 数据量 64kb/s,b1 b2 b3 b4 b5 b6 b7 b8,符号位,段号,段内分层,折叠码,2010-SPRING,LIST,32,A律13段折线,2010-SPRING,LIST,33,律15段折线,自适应脉冲编码调制(APCM) Adaptive Pulse Code Modulation,根据输入信号幅度大小来改变量化阶大小 瞬时自适应：量化阶每隔几个样本就改变 音节自适应：量化阶在较长周期内发生变化 前向自适应(forward adaptation) 后向自适应(backward adaptation),2010-SPRING,34,LIST,自适应脉冲编码调制(APCM),前向自适应,后向自适应,2010-SPRING,35,LIST,差分脉冲调制编码（DPCM）,s(n) : 输入信号 sr(n): 重建信号 sp(n) : 预测信号 d(n): 预测误差信号,发送端,接收端,2010-SPRING,36,LIST,ADPCM编码,APCM的自适应特性 提高量化效率 DPCM的差分特性 减小样本数据表达间相关性,2010-SPRING,37,LIST,CCITT G.721 32kb/s ADPCM,实现64kb/s A律或律PCM速率和32kb/s速率的ADPCM之间的相互转换。 话音质量接近于A律或律64kb/s PCM的话音质量，MOS分为4.1，达到网络等级。 采样频率为8KHz，每个样点采用4比特编码。 CCITT G.721 32kb/s ADPCM 主要用来实现对现有的PCM信 道扩容，,2010-SPRING,38,LIST,G.721 32kb/s ADPCM-编码器,2010-SPRING,39,LIST,G.721 32kb/s ADPCM-解码器,2010-SPRING,40,LIST,MP3,Mpeg 1 Audio Layer 3 有损数据压缩,2010-SPRING,LIST,41,音频有损压缩原理,有损压缩等价于添加噪声 添加的噪声不能被听到（丢失不能被听到的声音信息） 充分利用人听觉的遮掩效应(Masking),2010-SPRING,LIST,42,2010-SPRING,LIST,43,Filter Bank,Q,Q,Q,Multiplexer,Psychoacoustic Model,MPEG音频压缩编码器,2010-SPRING,LIST,44,Multiplexer,Q-1,Q-1,Q-1,Demultiplexer,MPEG音频译码器,2010-SPRING,LIST,45,子带编码(Sub-band Coding, SBC),Filter Bank,Quantization & Encoding,Psychoacoustic Model,Frame,不同频率的噪声掩蔽阈值,Signal-to-mask Ratio, SMR,2010-SPRING,LIST,46,Filter Bank,Modified DCT,Quantization,Huffman Encoding,Multiplexer,FFT,Mask Threshold,MP3编码流程,音频数据格式WAV and MP3,wav-mp3-wav,wav 550K,mp3 51K,2010-SPRING,47,LIST,WAV格式,WINDOWS采用的