多媒体计算机技术之数字语音处理技术.ppt

多媒体计算机技术,鲁宏伟luhw,第四讲数字语音处理技术,数字音频压缩技术三维音效语音识别自然语言理解语音合成,数字音频压缩技术,音频压缩技术指的是对原始数字音频信号流（PCM编码）运用适当的数字信号处理技术，在不损失有用信息量，或所引入损失可忽略的条件下，降低（压缩）其码率，也称为压缩编码。它必须具有相应的逆变换，称为解压缩或解码。音频信号在通过一个编解码系统后可能引入大量的噪声和一定的失真。,数字音频压缩技术,音频压缩算法的分类时域压缩算法子带编码MP3音频压缩编码,音频压缩算法的分类,一般来讲，可以将音频压缩技术分为无损（lossless）压缩及有损（lossy）压缩两大类，而按照压缩方案的不同，又可将其划分为时域压缩、变换压缩、子带压缩，以及多种技术相互融合的混合压缩等等。时域压缩（或称为波形编码）子带压缩技术变换压缩技术,数字音频压缩技术,音频压缩算法的分类时域压缩算法子带编码MP3音频压缩编码,时域压缩算法,时域压缩技术一般多用于语音压缩、低码率应用（源信号带宽小）的场合。时域压缩技术主要包括PCM、ADPCM、LPC、CELP，以及在这些技术上发展起来的块压扩技术。脉冲编码调制(PCM)增量调制连续可变斜率增量调制（CVSD）自适应差分脉冲编码调制（ADPCM）数字电路倍增设备自适应差分脉冲编码调制,时域压缩算法,嵌入式自适应差分脉冲编码调制（E-ADPCM）线性预测编码（LPC）残差激励线性预测编码（RELP）码激励线性预测编码（CELP）低时延码激励线性预测编码（LD-CELP）矢量和激励线性预测编码（VSELP）代数码本激励线性预测编码(ACELP)共扼结构代数码激励线性预测编码（CS-ACELP）规则脉冲激励长时预测线性预测编码（RPE-LTP-LPC）,脉冲编码调制,声音数字化有两个步骤：第一步是采样，就是每隔一段时间间隔读一次声音的幅度；第二步是量化，就是把采样得到的声音信号幅度转换成数字值。,量化有好几种方法，但可归纳成两类：一类称为均匀量化，另一类称为非均匀量化。如果采用相等的量化间隔对采样得到的信号作量化，那么这种量化称为均匀量化。均匀量化就是采用相同的“等分尺”来度量采样得到的幅度，也称为线性量化。这种方法称为脉冲编码调制，用PCM表示。,非线性量化,非线性量化的基本想法是，对输入信号进行量化时，大的输入信号采用大的量化间隔，小的输入信号采用小的量化间隔。在非线性量化中，采样输入信号幅度和量化输出数据之间定义了两种对应关系，一种称为m律压(缩)扩(展)算法，另一种称为A律压(缩)扩(展)算法。,m律压(缩)扩(展)算法,m律压扩用在北美和日本等地区的数字电话通信中，按下面的式子确定量化输入和输出的关系：式中：x为输入信号幅度，规格化成-1x1;sgn(x)为x的极性；m为确定压缩量的参数，它反映最大量化间隔和最小量化间隔之比，取100m500。,A律压(缩)扩(展)算法,A律(A-Law)压扩用在欧洲和中国大陆等地区的数字电话通信中，按下面的式子确定量化输入和输出的关系：式中：x为输入信号幅度，规格化成-1x1，sgn(x)为x的极性；A为确定压缩量的参数，它反映最大量化间隔和最小量化间隔之比。,增量调制,增量调制DM(DeltaModulation)是一种预测编码技术。DM是对实际的采样信号与预测的采样信号之差的极性进行编码，将极性变成“0”和“1”这两种可能的取值之一。如果实际的采样信号与预测的采样信号之差的极性为“正”，则用“1”表示；相反则用“0”表示。由于DM编码只须用1比特对信号进行编码，所以DM编码系统又称为“1比特系统”。,DM波形编码的原理图,其中xi表示在i点的编码输出，yi表示输入信号的实际值，yi表示输入信号的预测值。假设采用均匀量化，量化阶的大小为，在开始位置的输入信号y0=0，预测值y0=0，编码输出x01,增量调制的缺点,一是会出现斜率过载，即增量调制器的输出不能保持跟踪输入信号的快速变化二是会产生粒状噪声。反馈回路输出信号的最大变化速率受到量化阶大小的限制，因为量化阶的大小是固定的。解决方法：自适应增量调制。根据输入信号斜率的变化自动调整量化阶的大小，以使斜率过载和粒状噪声都减到最小。许多研究人员研究了各种各样的方法，而且几乎所有的方法基本上都是在检测到斜率过载时开始增大量化阶，而在输入信号的斜率减小时降低量化阶。,自适应差分脉冲编码调制,ADPCM编码的方法是对输入样值进行自适应预测，然后对预测误差进行量化编码。它是一种预测编码的方法。所谓预测编码，是指编码的对象不是原始信号的采样量化值，而是对当前采样值与预测值（根据前若干个采样值采用一定的预测方法产生的输入信号）的差值进行编码。如果采用的预测方法足够准确（差值将接近于零），可以预见，这种编码方法比直接对样本值进行编码可以采用较少的比特数。CCITT的32kbit/s语音编码标准G.721采用ADPCM编码方式，每个语音样值相当于用4bit进行编码。,自适应差分脉冲编码调制,它的核心想法是：利用自适应的思想改变量化阶的大小，即使用小的量化阶(step-size)去编码小的差值，使用大的量化阶去编码大的差值；使用过去的样本值估算下一个输入样本的预测值，使实际样本值和预测值之间的差值总是最小。,数字电路倍增设备自适应差分脉冲编码调制,DCME-ADPCM是CCITTG.723语音编码标准算法这种算法可以在40kbit/s、32kbit/s和24kbit/s三种速率中动态调整，以达到在给定的信道中增加容量的目的,线性预测编码,LPC(LinearPredictiveCoding)语音编码是最基本的低速率语音编码方法，LPC语音编码的基础是语音产生模型，在这个模型中，语音是由激励信号激励一个自适应滤波器（即LPC滤波器）而产生。LPC滤波器的参数是通过线性预测的方法，即用过去的样值预测当前样值提取的。美国联邦标准FS1015的2.4kbitsLPC-10和LPC-10e就是LPC语音编码的典型例子，主要用于电话线上的窄带语音保密通信。,低时延码激励线性预测编码,LD-CELP是CCITTG.728语音编码标准算法，其输出速率为16kbit/s。这种方法在CELP算法的基础上，采用后向自适应线性预测、50阶合成滤波、短激励矢量（5个样值）等改进方法，从而达到高质量和低时延的目的，总的编码时延小于2ms。,代数码本激励线性预测编码,极低速率可视电话标准H.324中语音编码标准是G.723.1，采用5.27kbits和6.3kbits两种速率，其中5.27kbits速率就是以ACELP算法为基础。,共扼结构代数码激励线性预测编码,CS-ACELP编码算法被ITU-T的8kbit/s语音编码标准G.729采用,规则脉冲激励长时预测线性预测编码,这种算法是欧洲900MHz数字蜂窝移动电话的语音编码标准（GSM），也为数字蜂窝系统DCS1800所采用。RPE-LTP-LPC算法是MPE-LPC的改进算法，除了增加长时预测功能外，激励脉冲的位置具有一定的规律。,数字音频压缩技术,音频压缩算法的分类时域压缩算法子带编码MP3音频压缩编码,子带编码,子带编码SBC(subbandcoding)的基本思想是，首先使用一组带通滤波器BPF(band-passfilter)把输入音频信号的频带分成若干个连续的频段，每个频段称为子带。对每个子带中的音频信号采用单独的编码方案去编码。在信道上传送时，将每个子带的代码复合起来。在接收端译码时，将每个子带的代码单独译码，然后把它们组合起来，还原成原来的音频信号。采用对每个子带分别编码的好处有二个。第一，对每个子带信号分别进行自适应控制，量化阶的大小(quantizationstep)可以按照每个子带的能量电平加以调节。具有较高能量电平的子带用大的量化阶去量化，以减少总的量化噪声。第二，可根据每个子带信号在感觉上的重要性，对每个子带分配不同的比特数，用来表示每个样本值。例如，在低频子带中，为了保护音调和共振峰的结构，就要求用较小的量化阶、较多的量化级数，即分配较多的比特数来表示样本值。而话音中的摩擦音和类似噪声的声音，通常出现在高频子带中，对它分配较少的比特数。,子带编码方块图,子带编码,对每个子带分别编码的好处是：可以利用人耳（或人眼）对不同频率信号的感知灵敏度不同的特性，在人的听觉（或视觉）不敏感的频段采用较粗糙的量化，从而达到数据压缩的目的。各个子带的量化噪声都束缚在本子带内，这就可以避免能量较小的频带内的信号被其它频带中量化噪声所掩盖通过频带分裂，各个子带的取样频率可以成倍下降。,数字音频压缩技术,音频压缩算法的分类时域压缩算法子带编码MP3音频压缩编码,MP3音频压缩编码,MP3是一种音频压缩的国际技术标准。MP3格式开始于二十世纪80年代中期，是在德国夫朗和费研究所（FraunhoferInstitute）开始的，研究致力于高质量、低数据率的声音编码。1989年，夫朗和费研究所在德国被获准取得了MP3的专利权，几年后这项技术被提交到国际标准组织(ISO)，整合进入了MPEG-1标准。MP3格式是一个让音乐界产生巨大震动的一个声音格式。MP3的全称是MovingPictureExpertsGroup,AudioLayer3，它所使用的技术是在VCD（MPEG-1）的音频压缩技术上发展出的第三代，而不是MPEG-3。,MP3音频压缩编码,MPEG代表的是MPEG活动影音压缩标准，MPEG音频文件指的是MPEG标准中的声音部分即MPEG音频层。MPEG音频文件根据压缩质量和编码复杂程度的不同可分为三层（MPEGAUDIOLAYER1/2/3分别与MP1、MP2和MP3这三种声音文件相对应）。MPEG音频编码具有很高的压缩率，MP1和MP2的压缩率分别为4:1和6:1-8:1，而MP3的压缩率则高达10:112:1，也就是说一分钟CD音质的音乐未经压缩需要10MB存储空间，而经过MP3压缩编码后只有1MB左右，同时其音质基本保持不失真。,MP3音频压缩编码,音乐信号中有许多冗余成分，其中包括间隔和一些人耳分辨不出的信息（如混杂在较强背景中的弱信号）。MP3为降低声音失真采取了名为“感官编码技术”的编码算法：编码时先对音频文件进行频谱分析，然后用过滤器滤掉噪音，接着通过量化的方式将剩下的每一位打散排列，最后形成具有较高压缩比的MP3文件，并使压缩后的文件在回放时能够达到比较接近原音源的声音效果。虽然它是一种有损压缩，但是它的最大优势是以极小的声音失真换来了较高的压缩比。,音频编码标准,G.711G.722G.723.1G.728G.729音频编码标准比较,G.711,1972年CCITT为电话质量和语音压缩制定了PCM标准G.711。其速率为64kb/s，使用律或A律的非线性量化技术，主要用于公共电话网中。,G.722,1988年CCITT为调幅广播质量的音频信号压缩制定了G.722标准，它使用子带编码(SBC)方案，其滤波器组将输入信号分成高低两个子带信号，然后分别使用ADPCM进行编码。G.722能将224kb/s的调幅广播质量的音频信号压缩为64kb/s，主要用于视听多媒体和会议电视等。G.722的主要目标是保持64kb/s的数据率，而音频信号的质量要明显高于G.711的质量。,G.723.1,1996年ITU-T通过了G.723标准“用于多媒体传输的5.3kb/s或6.3kb/s双速率话音编码”。它采用多脉冲激励最大似然量化(MP-MLQ)算法，此标准可应用于可视电话及IP电话等系统中。,G.728,为了进一步降低压缩的速率，CCITT于1992年制定了G.728标准，使用基于低时延码本激励线性预测编码(LD-CELP)算法，其速率为16kb/s，主要用于公共电话网中。,G.729,ITU-T于1996年3月通过了G.729标准，它使用8kb/s的共轭结构代数码激励线性预测(CS-ACELP)算法，此标准将在无线移动网、数字多路复用系统和计算机通信系统中应用。,音频编码标准比较,第四讲数字语音处理技术,数字音频压缩技术三维音效语音识别自然语言理解语音合成,三维音效,人类的听觉3D音效的分类杜比AC-3DTS,人类的听觉,人耳的基本声音定位原理是IID（InterauralIntensityDifference，两侧声音强度差别）和ITD（InterauralTimeDifference，两侧声音时间延迟差别）。IID指距离音源较近的哪一边耳朵，所收到的声音强度比另一侧高，感到声音更大一些。ITD指方位的不同，使声音到达两耳的时间有差别，人们会觉得声音位于到达时间早些的那一边，IID+ITD的结果是把音源定位到以听者两耳这间连线为轴线的锥体范围之内。,人类的听觉,耳廓（外耳）的作用是滤波器，根据声音的不同角度，加强/减弱音波能量，过滤之后传给大脑，让我们更准确地声源的位置。耳廓的大小有限，因此能够收到的音波范围也有限，通常是20Hz到20KHz，即波长16米到1.6厘米的音波。换言之，低于此范围是次声波，高于此范围是超声波。由于两耳机的距离约为15厘米，当波长大于15厘米时IIT和ITD将会减弱。频率低的声音波长大，因此我们很难判断出低音的位置，却能轻易分辨高音的方位。实际上，耳廓对于声音的定位，是至关重要的一环，没有外耳的人难以判断声音发出的位置。,人类的听觉,人类依靠一种称为HRTF（HeadRelatedTransferFunction，头部关联传输功能）的系统来判断声音发出的位置。每个人的HRTF都不尽相同，还可以进行交换。HRTF的检测非常简单，先在人的耳道内放置两个微型麦克风，再在听者附近放一个音箱，播放确定的信号，同时记录麦克风收到的信号。比较源信号和麦克风的脉冲特性曲线就可以得到其中一个滤波效果。最后于听者附近的所有位置重复上述过程，即可获取完整的HRTF系统。,三维音效,人类的听觉3D音效的分类杜比AC-3DTS,3D音效的分类,3D音效的两个最重要因素是定位和交互。定位即让人们准确地判断出声音的来源，可以通过预选录制声音，再进行特定的解码来实现。实时的定位就是交互，声音并非预选录制好的，而是按照你的控制来决定声音的位置。即时生成的交互式声音对输入设备的要求，比预选录制音轨的放音设备（如：电影）要更强一些。,3D音效的分类,扩展式立体声它使用声音延迟技术对传统的立体声进行额外处理，扩宽了音场的位置，使声音延展到音箱以外的空间，让我们感觉的3D世界更广阔环绕立体声它采用音频压缩技术(如：杜比AC-3)把多通道音源编码成一段程序，再以一组多扬声器系统来进行解码，实现多区域环绕效果。交互式3D音效交互式3D尽量地复制了人耳在真实世界中听到的声音，并使用一定的算法来播放出来，让我们感到整个三维空间的所有地方都可能产生声音，并随听者的移动而做出相应改变。,三维音效,人类的听觉3D音效的分类杜比AC-3DTS,杜比AC-3,为了提高HDTV声音的质量，避免模拟矩阵编码的局限性，提出了双通道的码率提供多通道的编码性能的设想，杜比AC-3就是为了实现这一设想而开发的。杜比AC-3可以把五个独立的全频带和一个超低音通道的信号实行统一编码，成为单一的复合数据流。AC-3的频响为20Hz20kHz0.5dB(-3dB时为3Hz20.3kHz)，超低声道频率范围是20Hz120Hz0.5dB。可支持32kHz、44.1kHz、48kHz三种取样频率。数码率可低至单声道的32kb/s,高到多声道640kb/s，以适应不同需要。,杜比AC-3,AC-3采用基于改良离散余弦变换（MDCT）的自适应变换编码（ATC）算法。ATC算法的一个重要考虑是基于人耳听觉掩蔽效应的临界频带理论，即在临界频带内一个声音对另一个声音信号的掩蔽效应最明显。因此,划分频带的滤波器组要有足够锐利的频率响应，以保证临界频带外的噪声衰减足够大，使时域和频域内的噪声限定在掩蔽门限以下。,三维音效,人类的听觉3D音效的分类杜比AC-3DTS,DTS,DTS是“DigitalTheatreSystem”的缩写，是“数字化影院系统”的意思。从技术上讲，DTS与包括DolbyDigital在内的其它声音处理系统是完全不同的。DolbyDigital是将音效数据存储在电影胶片的齿孔之间，因为空间的限制而必须采用大量的压缩的模式，这样就不得不牺牲部分音质。DTS公司用一种简单的办法解决了这个问题，即把音效数据存储到另外的CD-ROM中，使其与影像数据同步。这样不但空间得到增加，而且数据流量也可以相对变大，更可以将存储音效数据的CD更换，来播放不同的语言版本。,DTS,DTS系统不仅具有AC-3相似功能，更加强了其纵深定位交叉效果。DTS芯片容量为1536kbps，压缩传输比为4:1；而AC-3芯片容量为448kbps，压缩比为10:1。正是由于DTS信息容量的增加，音色更加优美。DTS家庭影院的核心是DTS解码器，它可对DVD，CD的杜比数字解码，输出5.1声道信息，也可以选择DTS方式，输出6声道信息。DTS和杜比数字在音质上有着明显的不同，前者声音力度强劲，声音的上升和切入都很尖锐，音场的透明感清晰可闻，尤其是丰富的低音效果表现得更加激烈火爆。后者在低音方面缺少丰富的力度,第四讲数字语音处理技术,数字音频压缩技术三维音效语音识别自然语言理解语音合成,语音识别技术及应用,语音识别的发展历史语音识别技术语音识别系统的类型语音识别的应用,语音识别的发展历史,语音识别技术的研究工作始于20世纪50年代，当时AT&TBell实验室实现了第一个可识别十个英文数字的语音识别系统Audry系统。60年代，计算机的应用推动了语音识别的发展。70年代，语音识别领域取得了突破。80年代，语音识别研究进一步走向深入，其显著特征是HMM模型和人工神经元网络（ANN）在语音识别中的成功应用。90年代，随着多媒体时代的来临，迫切要求语音识别系统从实验室走向实用。,语音识别技术的发展历史,如图表示了从80年代初以来语音识别技术经历的从孤立词、小词汇量、特定人到大词汇量、非特定人、自然口语识别的发展历程。,语音识别技术及应用,语音识别的发展历史语音识别技术语音识别系统的类型语音识别的应用,语音识别技术,不同的语音识别系统，虽然具体实现细节有所不同，但所采用的基本技术相似，它所涉及的领域包括：信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等等。语音识别技术主要包括特征提取技术、模式匹配准则及模型训练技术三个方面。此外，还涉及到语音识别单元的选取。,特征参数提取技术,语音信号中含有丰富的信息，这些信息称为语音信号的声学特征特征提取是对语音信号进行分析处理，去除对语音识别无关紧要的冗余信息，获得影响语音识别的重要信息由于语音信号的时变特性，特征提取必须在一小段语音信号上进行，也即进行短时分析,常用的一些声学特征,线性预测系数LPC倒谱系数CEPMel倒谱系数MFCC和感知线性预测PLP,模式匹配及模型训练技术,模型训练是指按照一定的准则，从大量已知模式中获取表征该模式本质特征的模型参数，而模式匹配则是根据一定准则，使未知模式与模型库中的某一个模型获得最佳匹配。语音识别所应用的模式匹配和模型训练技术主要有动态时间归正技术（DTW，又称为动态时间弯折技术）、隐马尔可夫模型（HMM）和人工神经元网络（ANN）。,典型语音识别系统的实现过程,语音识别单元的选取,选择识别单元是语音识别研究的第一步语音识别单元有单词（句）、音节和音素三种单词单元广泛应用于中小词汇语音识别系统音节单元多见于汉语语音识别音素单元以前多见于英语语音识别的研究中，但目前中、大词汇量汉语语音识别系统也在越来越多地采用,语音识别技术及应用,语音识别的发展历史语音识别技术语音识别系统的类型语音识别的应用,语音识别系统的类型,语音识别系统有以下几种分类方式：根据对说话人的依赖程度可以分为特定人和非特定人语音识别系统根据对说话人说话方式的要求，可以分为孤立字（词）语音识别系统，连接词语音识别系统以及连续语音识别系统根据词汇量大小，可以分为小词汇量、中等词汇量、大词汇量以及无限词汇量语音识别系统,特定人语音识别系统,特定人的识别系统精明得足以能了解讲话者的语音特点，它从语音签名上就能知道讲话者的身份。只有在讲话者用特定单词组形成的词汇表训练系统后，它才能识别特定人系统的优点是它是可训练的，系统很灵活，可以训练它来识别新词特定人的系统的缺点是由一个用户训练的系统不能被另一用户使用例：手机中使用的语音拨号,非特定人语音识别系统,非持定人识别系统可识别任何用户的语音。它不需要任何来自用户的训练，因为它不依赖于个人的语音签名。为生成非特定人识别系统、大量的用户训练了大词汇表的识别器。在训练系统时，男声和女声、不同的口音和方言，以及带有背景噪音的环境都计入了考虑范围之内以生成参考模板。例：IBMViaVoice,孤立词语音识别系统,孤立词(语音)识别系统，一次只提供一个单一词的识别识别器的第一个任务是进行幅度和噪声归一化，下一步是参数分析可以通过把对应于一个词的大量样本聚集为单一群来获得非特定人孤立单词语音识别器。,连接词语音识别系统,连接词的语音由所说的短语组成，而短语又是由词序列组成识别连接词短语中单词的一种方法是采用词定位技术类似于孤立词语音识别，连接词语音识别用于命令和控制应用,连续语音识别系统,连续语音由在听写中形成段落的完整句子组成连续语音识别系统可以分成下列三部分：第一部分包括数字化、幅度归一化、时间归一化和参数表示另一部分包括分割并把语音段标记成在基于知识或基于规则系统上的符号串最后一部分是设计用于识别词序列而进行语音段匹配,语音识别技术及应用,语音识别的发展历史语音识别技术语音识别系统的类型语音识别的应用,语音识别的应用,语音邮件集成数据库输人和询问应用语音命令和控制应用,第四讲数字语音处理技术,数字音频压缩技术三维音效语音识别自然语言理解语音合成,自然语言理解,自然语言理解就是研究如何能让计算机理解并生成人们日常所使用的(如汉语、英语)语言，使得计算机懂得自然语言的含义，并对人给计算机提出的问题，通过对话的方式，用自然语言进行回答。目的在于建立起一种人与机器之间的密切而友好的关系，使之能进行高度的信息传递与认知活动。用自然语言与计算机进行通信，这是人们长期以来所追求的。,自然语言理解,一个中文文本从形式上看是由汉字（包括标点符号等）组成的一个字符串。由字可组成词，由词可组成词组，由词组可组成句子，进而由一些句子组成段、节、章、篇。无论在上述的各种层次：字（符）、词、词组、句子、段，还是在下一层次向上一层次转变中都存在着歧义和多义现象，即形式上一样的一段字符串，在不同的场景或不同的语境下，可以理解成不同的词串、词组串等，并有不同的意义。自然语言处理的核心技术是语言分析技术，即将句子（数量无限）变换成由词语（数量可控）及其抽象形式（数量有限）构成的用某种数据结构（句法树、复杂特征集或语义网络）表示的内部形式（数量有限）。,自然语言理解,语言分析技术可以分为基于规则与基于统计数据两大类。概率语法通过语料库统计给每条语言规则加上概率值，语言规则便有了“柔性”，不再是“说一不二”、“非此即彼”。概率语法是有机结合这两类技术的较好理论体系。为了完成这种统计，事先必须按照人给出的语言规则加工语料库（至少要加工一部分训练语料），这说明统计方法也需要规则的指导。两者之间的结合和互相利用是必然的趋势。,自然语言理解,语言分析可以划分为词法析、句法分析、语义分析、篇章分析等步骤。现在，词法分析和句法分析相对成熟，语义分析逐渐成为研究重点。对象单元由小到大从句子向篇章发展。实际上只有在篇章的范围内分析，省略、指代和句子的固有歧义等问题才可能解决。如果说自然语言处理技术尚未取得重大突破，其含义就是完整语言分析技术尚未过关。浅层分析技术或者只提取句子中的名词短语，或者只识别句子的谓语中心词及其他组块同谓语中心词的依