CH03声音和音频.ppt

CH3声音和音频,声音的概念物理特征频率：次声：020Hz人类可听觉：20Hz20KHz超声：20KHz1GHz远超声：1GHz-幅度：描述瞬间声音的强弱的参数声强：平均幅度,音频的频率分布标准,3.1声音的心理特征,关系响度：声强、声波频率音调：频率、声强音色：频率的复合成份,声音的心理特征,听觉特征响度与声强和频率的关系等响度曲线,声音的心理特征,声音的掩蔽某一大声源会对周围频率的声音产生掩蔽同时屏蔽频域掩蔽,声音的心理特征,声音的掩蔽某一大声源会对周围时间的声音产生掩蔽暂时屏蔽时域掩蔽,声音的心理特征,临界频带在某一频带内的响度是相互作用的音调定位理论Bark(以德国的物理学家GeoryHeinrichBarkhausen)是感知频率的单位。我们用Bark来度量临界频带的比值，一个临界频带具有一个Bark的宽度.,声音的心理特征,声音的相位声波的相位可以表达声源的位置及其变化人类通过两耳听到的声源的相位差判断声源的位置,3.2音频的数字化,数字化过程采样等间隔采样变间隔采样量化量化分辨率8bit16bit量化曲线线性量化非线性量化-uLow,u-Law和A-Law,图中:X为输入Y为输出U-LawA-Law,3.3音频格式和音频编码,PCM脉冲编码调制（PluseCodeModulation）将采样点上的样值用一定长度的二进制表示如：CD质量音频：每样点16bit,每秒44K样点DPCM差分脉冲编码调制将采样点上的样值用与上一点的差值的二进制表示DPCM是建立在音频信号的连续性上的,音频格式和音频编码,ADPCM自适应差分脉冲编码调制基于将采样点上的样值用与上一点的差值的二进制表示根据前面的量化样值调整下一次采样的量化步长查表法确定量化步长效果：相同比特率下的精确量化相同质量下的更少比特,音频格式和音频编码,Delta调制可以看作一位的自适应差分脉冲编码调制样点与前一样点之差为正或0，编码输出0，样点与前一样点之差为负，编码输出1。更高的采样频率来兼顾高频分量采样结构简单：比较器和保持器自适应Delta调制根据前一样点的值来确定步长,音频标准,G.711的帧长为10ms,位速率为64kbps;G.722的帧长为10ms,位速率为64kbps;G.726-32的帧长为10ms,位速率为32kbps;G.728的帧长为2.5ms,位速率为16kbps;G.729的帧长为30ms,位速率为10kbps;G.723的帧长为30ms,位速率为53kbps;ILBC的帧长为30ms,位速率为15.2kbps或13.3kbps;,3.4音乐和MIDI,MIDIMusicalInstrumentDigitalInterfaceMIDI的工作原理硬件接口数据格式（数据流、命令串、控制方式）MIDI的合成引擎MIDI的合成技术FM合成FM是“频率调变”的英文缩写。它运用声音振荡的原理对MIDI进行合成处理。但由于技术本身的局限，效果差。波表合成它是采用一称之为“波表查找”技术来产生MIDI音乐。波表的技术指标（1）音色库容量（2）复音数（3）特殊效果,音乐和MIDI,音乐合成器,音乐和MIDI,PCMIDI音乐,3.5音频数据压缩编码,数据压缩编码器就是在量化误差最小的同时，以压缩的数据率来表示声频信号。频域编码器有两种类型：子带和变换编码器。子带编码器具有出色的时间分辨率，但频率分辨率差；而变换编码器有出色的频率分辨率，但时间分辨率差。,感知编码,所有数据压缩系统的目的就是减低数据率、采样频率和字长，这一目的可以通过降低采样频率来达到。但是，奈奎斯特理论指出，采样频率的降低相应地也会减小声频带宽的高端频率。另一种方法是减少字长，但是这会造成声频信号动态范围的下降，每减少一比特，动态范围减小6dB，因此造成量化噪声的增加。,编码块,子带和变换编码都是针对一定的采样块进行工作的。该采样块必须保持较短长度，以使其处在人耳的瞬态分辨率之内。,子带编码,子带编码是由贝尔实验室于20世纪80年代初首先提出的，并在此后的十年内欧洲对此进行了不间断的研究工作。解码器利用量化的数据来重新构成每个块中的采样，利用一个反向合成滤波器组将子带信号相加来重建宽带的输出信号。,子带编码基本原理,把编码块划分为若干个频率子带由听觉特征对不同的子带进行比特率分配,子带编码原理框图,子带编码示意图,其中，图(a)所示的为24个频带的子带滤波器的输出；图(b)所示的为计算每个子带的平均电平；图(c)所示的为计算每个子带的掩蔽级；图(d)所示的为闻阈之下的子带不进行编码，闻阈之上的频带进行编码；图(e)所示的为根据掩蔽阈之上的峰值电平情况进行比特分配。,变换编码,在变换编码中，时域声频采样块被转换到了频域。编码器可以采用诸如离散傅立叶变换(DFT)方法快速傅立叶变换(FFT)来进行变换，或者采用改进的离散余弦变换(MDCT)来进行变换。时域采样被变换到频域，会产生谱系数。其中的系数数目有时被称为频率箱(Bin)数目，,声频压缩标准,MPEG-1声频压缩标准国际标准化组织(ISO)和国际电工委员会(IEC)组成的活动图像专家组(MPEG)颁布ISO/IEC11172国际标准对以1.5Mbits/s左右数据率进行的数字存储媒体的活动图像和相应声频的编码用来对数字视频和声频信号进行数据率压缩，1992年11月最终定稿，即通常所称的MPEG-1。,MPEG-1声频压缩标准,MPEG-1标准是专门开发用来支持在1.41Mbit/s的CD带宽上进行CD质量重放的声频和视频编码的。MUSICAM(掩蔽型通用子带综合编码和复用)是早期开发的一种成功的感知编码算法，它是由MASCAM派生出来的。,MUSCAM将输入的声频信号分成32个子带，并利用最小听阈和掩蔽创建的编码模型来取得数据压缩。在复杂性和编码延时方面，MUSICAM是相当不错的。,1MPEG-1层,层可以说是MUSICAM标准的简化版本，,MPEG-1层或层的声频编码器和解码器,MPEG-1层层基本上与最初的MUSICAM标准相一致(帧的字头不同)，所以与层相类似，但在设计上较层更复杂精密一些。,MPEG-1层层结合了与MUSICAM和ASPEC一样的基本要素，并且较层和层更加复杂。它可以以非常低的数据率和稍高一点的成本为代价，来得到适度保真度的音质。它的文件就是所说的MP3文件。分配控制算法采用了动态量化，噪声分配迭代环路被用来计算并优化每个子带的最佳量化噪声，这称之为噪声分配，这与比特分配相对应。,心理声学模型MPEG-1标准提供了两个心理声学模型，它们决定了不可闻的最低掩蔽阈。最大信号电平与掩蔽阈间的差值由比特分配器利用来设定量化级。,MPEG-1的特性与性能MPEG-1各层支持采用强度编码的立体声结合编码。MPEG-1声频数据是成帧传送的。,MPEG-1声频层，和比特流的结构,MPEG-Surround(MPEG-环绕声)是MPEG标准的进一步延伸，它利用了通道间冗余的特点，对5.1声道进行编码。MPEG-Surround(MPEG-环绕声)是MPEG标准的进一步延伸，它利用了通道间冗余的特点，对5.1声道进行编码。,MPEG-2声频标准,MEPG-2的声频标准(ISO/IECDIS13818-3)是在原MEPG-1声频标准(ISO/IEC11172-3)的基础上发展起来的。MPEG-2的成功之处就在于它在低比特率情况下对音质的提高和对声音信号空间表现的改善，这其中包括多声道立体声(环绕声)和多语种节目。由于其为保留对MPEG-1的兼容,优势不大,应用很少.,MPEGII音频编码,低采样频率算法为了在低于64kbit/s的低取样频率下能得到高质量质量声音，相对于MPEG-标准，采用了三个新取样频率：16kHz，22.05kHz和24kHz。,多声道/多语种算法它是为了将MPEG-标准与三声道以上的多声道声频及多语种声频相对应而引入的。它的一个特点是与MPEG-标准具有兼容性。(1)多声道格式多声道输入声频信号，共有9种，有7种输出可与之对应。(2)MPEG-的前向/后向兼容性多声道方式具有与MPEG-的后向兼容性，这是非常重要的。,AC-1，AC-2和AC-3,AC-1立体声编码器采用了自适应增量调制及模拟压扩技术，它并不是感知编码器。AC-1编码器可将20kHz带宽的立体声声频信号编码为512kbit/s的比特流(大约为31的压缩)，它应用于电视的卫星中继、FM节目的卫星中继和有线广播业务。AC-2立体声编码器是一种采用了低复杂程度块变换的感知编码器。,AC-2编码器可在256kbit/s的数据率下提供高质量的声音。AC-3算法是AC-2编码格式的一个分支，这种感知编码器可以对左、中、右、左环绕、右环绕和一个重低音声道，即5.1声道进行多声道环绕声格式的编码。另外，AC-3使用了对白电平控制，以便使所有节目和声道的对白重放电平是一致的。,AC-3采用了混合型的后向/前向自适应性比特分配。在AC-3编码器中，512个采样的数据块被采集，并且通过3Hz的高通滤波处理，以消除直流