(信号与信息处理专业论文)现代语音编解码中的相关技术及其dsp实现.pdf_第1页
(信号与信息处理专业论文)现代语音编解码中的相关技术及其dsp实现.pdf_第2页
(信号与信息处理专业论文)现代语音编解码中的相关技术及其dsp实现.pdf_第3页
(信号与信息处理专业论文)现代语音编解码中的相关技术及其dsp实现.pdf_第4页
(信号与信息处理专业论文)现代语音编解码中的相关技术及其dsp实现.pdf_第5页
已阅读5页,还剩57页未读, 继续免费阅读

(信号与信息处理专业论文)现代语音编解码中的相关技术及其dsp实现.pdf.pdf 免费下载

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

摘要 在近几十年里,语音编码技术在不断发展着。现代语音编解码技术中,除了 单纯的编码解码之外,针对传输媒质、环境等问题,又涌出了一系列与之相关的 技术。 随着数字信号处理技术的发展,d s p 的应用越来越广泛。现在,几乎每个手 持设备里都有一块d s p 芯片。 本文是围绕着现代语音编解码中的相关技术及其d s p 实现展开的。语音在 网络传输中有可能丢帧,丢帧隐藏技术可以对其进行补偿。本文的第二章讨论了 多种丢帧隐藏技术,然后详细描述了g 7 1 1 推荐的丢帧隐藏算法在t m s 3 2 0 c 5 5 x 上的实现情况。在众多语音编码模块中,本文把g 7 2 9 协议的开环基音分析模块 拿出来举例分析,并且介绍了其在5 4 1 6 d s k 板上的优化情况,最后给出优化结 果。语音活动侦测技术( v a d ) 可以节省宝贵的传输带宽资源,有利于减少用户 感觉到的端到端的时延。如果通话中出现长时间的静默会使用户感到不自然。舒 适噪声产生技术( c n g ) 就是发送端在静音期间发送一些分组信息帧,从而生成 使用户感觉舒服一些的背景噪声。本文的第四章就g 7 2 3 1 与g 7 2 9 协议间的 v a d c n g 参数直接转换的可行性进行了讨论,最后给出转换方案及其在c 5 5 x 上的实现情况。 关键词 丢帧隐藏 共轭结构代数码激励线性预测 不连续传输 静音插入描述帧 静音抑制 拖尾延迟保护 舒适噪声产生 a b s t r a c t i nt h e p a s t f e w d e c a d e s ,s p e e c hc o d i n g t e c h n o l o g y h a sb e e n d e v e l o p i n g c o n t i n u o u s l y e x c e p ts i m p l ec o d i n gi nm o d e ms p e e c hc o d i n gt e c h n o l o g y , t h e r ei sa s e r i a lo f t e c h n o l o g yt os o l v e t r a n s m i t t i n gm e d i u m a n d s u r r o u n d i n gp r o b l e m s w i t ht h ed e v e l o p m e n to fd i g i t a ls i g n a lp r o c e s s i n gt e c h n o l o g y , t h ea p p l i c a t i o no f d s pi sm o r em a dm o r ee x t e n s i v e n o w , a l m o s te v e r yh a n d e q u i p m e n th a so n ed s p c h i p t h ec o r r e l a t i v et e c h n o l o g yo fm o d e m s p e e c hc o d i n ga n d i t sd s p i m p l e m e n t a t i o n a r ep r e s e n t e di nt h i sp a p e r i ti s p o s s i b l et h a ts p e e c hf l a m ew i l lb el o s ti nn e t w o r k t r a n s m i t t i n g p a c k e t l o s sc o n c e a l m e n tt e c h n o l o g yc a l l c o m p e n s a t et h a t f i r s t l y , s e v e r a lk i n d so fp a c k e tl o s sc o n c e a l m e n tt e c h n o l o g ya r ed i s c u s s e di nt h i sp a p e r t h e nt h er e a l i z a t i o no fp a c k e tl o s sc o n c e a l m e n ta l g o r i t h mr e c o m m e n d e db yg 7 1 1 o nt m s 3 2 0 c 5 5 xi sd e s c r i b e d s e c o n d l no p e n - l o o pp i t c ha n a l y s i sm o d u l eo fg 7 2 9i s t a k e na sa ne x a m p l e a m o n gm a n ys p e e c hc o d i n g m o d u l e s t h em o d u l e so p t i m i z a t i o n o n5 4 1 6 d s kb o a r di sa l s oi n t r o d u c e da n di t sr e s u l ti sg i v e n ,v o i c ea c t i v i t yd e t e c t i o n ( v a d ) m a y s a v ev a l u a b l er e s o u r c eo ft r a n s m i t t i n gb a n d w i d t h i tw i l lb ei nf a v o ro f r e d u c i n gd e l a y t h a tu s e rf e e l s i fo n ec a l lh a sal o n gt i m es i l e n c e ,i tw i l lm a k eu s e rf e e l n o tw e l l c o m f o r tn o i s eg e n e r a t o r ( c n g ) i st h a ts e n d e rs e n d saf e wf l a m e si ns i l e n t t i m ea n dr e c e i v e rg e n e r a t e sc o m f o r t a b l eb a c k g r o u n dn o i s eu s i n gt h o s ef l a m e s f i n a l l g t h ef e a s i b i l i t yo fv a d c n g p a r a m e t e r sb e i n gt r a n s f o r m e dd i r e c t l yb e t w e e n g 7 2 3 1 a n dg 7 2 9i sd i s c u s s e di nt h i sp a p e r t h et r a n s f o r ms c h e m ea n di t si m p l e m e n t a t i o no n c 5 5 xa r ep r e s e n t e dt o o k e yw o r d s : p a c k e tl o s sc o n c e a l m e n t c o n j u g a t es t r u c t u r e a l g e b r a i cc o d e e x c i t e dl i n e a rp r e d i c t i o n d i s c o n t i n u o u st r a n s m i s s i o n s i l e n c ei n s e g i o nd e s c r i p t o r v o i c e a c t i v i t yd e t e c t i o n h a n g o v e r c o m f o r tn e l s eg e n e r a t o r 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知,除了文中特别加以标注和致谢的地方外,论文中不包含 其他人已经发表或撰写过的研究成果,也不包含为获得东南大学或其它教育机构 的学位或证书而使用过的材料。与我同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 研究生签名:日期:塑幺纠。 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档,可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外,允许论 文被查阅和借阅,可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包 括刊登) 授权东南大学研究生院办理。 研究生签名:盟导师签名:盗亟壶日期:电堡坐 第一章绪论 第一章绪论 1 1 现代语音编解码中的相关技术 当你想和远方的朋友、家人联系时,如果让你选择一种方法,是选择打长途 电话还是写信? 打长途电话费钱,写信路途时间太长,不及时,而且不能表达你 的心声,于是就会想到电子邮件。电子邮件,作为正在迅猛发展的i n t e m e t 的重 要应用,正在改变着人们的生活方式,它既有着长途电话的及时,又有着普通信 函的方便和费用低廉。因此,电子邮件在人们的生活中发挥着越来越重要的作用。 但是,普通的电子邮件又没有电话所具有的功能一语音。俗话说,听话听音,在 电话中,人们可以通过语言,充分地表达人们的感情。语言是最贴近生活的交流 工具,也最能表达人的思想、意图和情感,比通过文字交流更直接、更亲切,即 所谓闻声如见人。因此,如果能够通过电子邮件发送人的声音,既方便,又省钱, 也传达了人的感情,满足了人们的感情需要,这该多好! 顺应这种需求,现在有 了语音电子邮件( v o i c em a i l ) 。语音电子邮件是将语音用一定的标准压缩编码后 用电子邮件进行传输。 现今,欧美、台湾、香港的许多企业都在大陆开设工厂及研发机构。考虑 到国际长途电话的高昂费用,这些企业希望能利用现有的宽带网络,在企业集 团内部实现“零”话费。这时,就需要用到v o l p ( v o i c eo v e r i p ) 技术。与i p p h o n e 不完全相同的是,企业网必须注意安全和互通的问题,因此整个系统得加上防 火墙等其它的一些设备。 现代社会,宽带网络发展迅猛。人们已经不满足于简简单单的语音通信了。 越来越多的人希望在传送语音的同时也传输图像。将成为二十一世纪电话产业 新主流的可视电话( v i d e op h o n e ) 通过h 3 2 3 通讯协议提供相当品质的图像传 输。它适用于所有的i p 网路架构,包括x d s l 、c a b l e 、l a n 等;随着第三代移 动通信标准的成熟,它也将应用到无线领域。v i d e op h o n e 可以更清楚地传情达 意,让人们的沟通没有距离,因此应用十分广泛。远距离教学、视频会议、远 端监控等,都属于v i d e op h o n e 的应用。 以上三种应用都需要用到语音编解码协议。语音编码是利用语音信号的统 计特性,解除语音信号的相关性,去掉冗余的信息,从而降低传输码率,提高 系统传输与存储的有效性。语音编解码协议有很多,如g 7 1 l 、g 7 2 2 、g 7 2 3 1 、 g 7 2 8 、g 7 2 9 等,在i p 网络上的主流应用协议是0 7 2 3 1 和g 7 2 9 。出于原有的 p s t n ( p u b l i cs w i t c h e dt e l e p h o n en e t w o r k ,公共交换电话网) 使用的是g 7 1 1 协议【“,为了能和以前的系统兼容,现在的语音设备通常也必须支持g 7 1 1 协议。 本文所涉及的语音编解码技术,下面将一一介绍。 东南大学硕士论文 第一章绪论 1 g 7 1 1 推荐的丢帧隐藏算法 g 7 1 1 协议本身是不分帧的,它采用a 律或u 律来压缩数据【2 l ,输出的数据 具有6 4 k b p sp c m ( p u l s e c o d em o d u l a t i o n ,脉冲编码调制) 编码方式。在i p 网 络或者无线网络里,通信是基于“帧”交换的。在这样的分组语音通信中,发 送端由于发送容量的限制,或在指定延迟时间内,分组信息帧没有到达接受端 缓冲区,从而造成信息的丢失,即分组通信中常见的丢帧现象。此外,在分组 交换网络中,由于网络拥塞、传输损耗等同样会引起丢帧。g 7 1 1 推荐的丢帧隐 藏( p l c ,p a c k e tl o s sc o n c e a l m e n t ) 算法是在语音分帧之后,对于已经缺失的 语音帧采用基音周期波形重复( p w r ,p i t c hw a v e f o r r nr e p l i c a t i o n ) 的方法使声 音达到连贯、自然【3 1 。 2 g 7 2 9 的开环基音分析模块 i p 电话的相关标准主要是h 3 2 3 协议族。h 3 2 3 协议在1 9 9 6 年被互联网电 信界,包括i n t e l 、m i c r o s o f t 等超过1 0 0 家厂商接受为终端系统的标准。h 3 2 3 协 议提供了基于i p 网络( 包括i n t e r n e t ) 的传送声音、视频和数据的基本标准。g 7 2 9 标准就是其中一个重要的语音压缩编码标准,于1 9 9 5 年提出,并在1 9 9 6 年得到 进一步优化改进。g 7 2 9 语音编码标准是使用共轭结构代数码激励线性预n ( c s a c e l p ,c o n j u g a t es t r u c t u r e - a l g e b r a i cc o d ee x c i t e dl i n e a rp r e d i c t i o n ) 的8 k b p s 的语音编码算法 4 1 。g 7 2 9 可用于各种场合下记录语音的数字监录设备,例如银 行、汽车、飞机、轮船等处的语音记录设备,特别是存储设备容量不够大或是需 要记录长时间、大数据量的情况。在各种需要重点考虑节省信道的通信应用中, 也可以得到广泛应用,例如保密通信、军用特殊信道通信和高成本卫星信道通信 等。另外还包括会议电视、可视电话和移动电话,以及其它无线应用等。( 3 7 2 9 的开环基音分析模块是g 7 2 9 协议的一种重要组成模块,在整个g 7 2 9 协议中算 法复杂度较高。由对它的分析可以对g 7 2 9 的编码有所了解。 3 g 7 2 3 1 与g 7 2 9 协议问的v a d c n g 的参数转换 静音抑制,又称语音活动侦测( v a d ,v o i c ea c t i v i t yd e t e c t i o n ) 。静音抑制 的目的是从声音信号流中识别和消除长时间的静音期,以达到在不降低业务质量 的情况下节省话路资源的作用,它是i p 电话应用的重要组成部分。静音抑制可 以节省宝贵的传输带宽资源,有利于减少用户感觉到的端到端的时延。使用静音 抑制约可节省一半的传输带宽。 在实际使用中,如果出现长时间的静默,会使用户感到很不自然。因此实际 上发送端常常会在静音期间发送一些分组信息帧,从而生成使用户感觉舒服一些 的背景噪声,即所谓的舒适噪声( c o m f o r t n o i s e ) 。c n g ( c o m f o r t n o i s e g e n e r a t o r , 东南大学硕士论文 第一章绪论 舒适噪声产生器) 算法产生的舒适噪声与实际的背景噪声相匹配,并且有尽可能 低的全局传送开销。在编码端,c n g 算法使用v a d 给出的每帧的语音活动性 判决,然后计算在译码端合成人工噪声所需要的参数。 网关是网络中完成将一个基于i p 的网络接入电话网的节点,它可在基于i p 的网络和电话网之间提供双向的,实时的通信接口。网关通常由媒体网关( m g , m e d i a g a t e w a y ) 、媒体网关控制( m g c ) 和信令网关( s g ,s i g n a lg a t e w a y ) 组 成【5 】。其中媒体网关主要负责媒体介质流的映像或转移,即提供不同协议间的转 换,如将i p 域上的i p 流转换为s c n 域上的模拟话音、p c m 语音、g s m 语音等。 媒体网关在语音的码流转换方面普遍采用t a n d e m 方式【5 j ,有时也被称为d t e 方式( d e c o d et h e ne n c o d e ) ,即先解码再编码。这种方式的优点在于流程清晰, 算法成熟,但它也有语音质量受损、运算量大、传输延迟变长的缺陷。近年来, 在多媒体语音编码领域,出现了这样的技术,即在不降低音质的前提下,不产生 合成语音,也没有对合成语音的二次压缩,而是利用两个协议的某种算法共性, 在参数层面直接进行转码。这项技术被称作s m a r tt r a n s c o d i n g 或简称 t m n s c o d i n g 。g 7 2 3 1 与( 3 7 2 9 协议问的v a d c n g 的参数转换就是找到两种协议 v a d c n g 参数的共性,然后对其进行直接转换。 1 2 数字信号处理器与语音编码技术 上述语音编解码协议是以数字信号处理为理论基础的。随着d s p 芯片的问 世及发展,语音编解码协议才有了广泛的应用。 1 2 1 语音编码技术【6 】 语音编码的主要功能就是把语音的采样值编码成少量的比特( 帧) 。而且, 在通信过程产生误码、网络抖动和突发传输时,这种方法必须具有健壮性 ( r o b u s t n e s s ) 。在接收端,语音帧先被解码为采样值,然后再转换成语音波形。 语音编码的目的,是在给定的编码速率下,使得从解码恢复出的重构语音的质量 尽可能高。 语音编码主要可分为两种:波形编码和参数编码。波形编码就是根据语音的 信号波形导出相应的数字编码形式,令在接收端的解码器能恢复出与输入信号波 形相一致的原始语音。波形编码的基本思路是忠实地再现语音的时域波形。为了 降低比特率,波形编码会充分利用相邻抽样点之间的相关性,对差分信号进行编 码。波形编码的方法简单,有较好的合成语音质量。但它的码率高,当码率低于 3 2 k b p s 的时候音质明显降低。著名的波形编码标准有g 7 1 1 ( 6 4 k b p sp c m 脉冲编 码调制) 和g 7 2 6 ( 1 6 2 4 3 2k b p sa d p c m 自适应差分脉冲编码调制) 。 参数编码的原理和设计思想和波形编码完全不同。它根据对人的发声机理的 案南士璺和i + 耠呻 3 第一章绪论 分析,着眼于构造语音生成模型,该模型以一定的精度模拟发声者的声道,接收 端根据该模型还原生成发声者的语音。编码器发送的主要信息是语音生成模型的 参数,相当于语音的主要特征,而并非语音的波形幅值。参数编码器可以有效地 降低编码比特率,目前小于1 6 k b p s 的低比特率语音编码都采用参数编码。 表1 - 1 部分语音编码标准算法的性能【7 1 编码标准 g 7 1 1g 7 2 lg 7 2 8g 7 2 9g 7 2 3 1a m r 公布年代 1 9 7 21 9 8 41 9 9 21 9 9 51 9 9 51 9 9 9 算法名称 p c ma d p c ml d - c e l pc s a c e l p m p m l q a c e l p a c e l p 编码类型波形波形参数参数参数参数 编码编码编码编码编码编码 编码速率( k b s )6 43 21 686 3 5 31 2 2 4 7 5 编码质量( m o s ) 4 _ 34 14 04 03 8 4 0 编码延时( m s ) 0 1 2 50 1 2 50 6 2 51 53 7 52 0 算法复杂度 12 65 02 2 518 7 ,2 0 22 1 2 - 3 7 1 ( m i p s ) 表1 1 列出了较常用的六种语音编码标准的性能。翻看语音编码书籍或者 查阅相关网页都会看到类似的表格。表格里的m o s ( m e a no p i n i o ns c o r e ) 是评 判编码质量的主观意见平均得分。表格里的m i p s 又是什么呢? 即m i l l i o n i n s t r u c t i o n sp e rs e c o n d ,每秒百万条指令。它是数字信号处理器的一种重要 的指标。下面将对数字信号处理器作简要介绍。 1 2 2 数字信号处理器简介【8 】8 d s p 芯片,也称数字信号处理器,是一种特别适合于进行数字信号处理运算 的微处理器,其主要应用是实时快速地实现各种数字信号处理算法。根据数字信 号处理的要求,d s p 芯片一般具有如下主要特点: 1 在一个指令周期内可完成一次乘法和一次加法; 2 修正的哈佛结构( m o d i f i e dh a r v a r da r c h i t e c t u r e ) ,程序和数据空间分开, 可以同时访问指令和数据。以奔腾为代表的通用微处理器,其程序代码和数据共 用一个公共的存储空间,这样的结构称为冯诺依曼结构( v o nn e u m a n n a r c h i t e c t u r e ) 。d s p 芯片则采用了与之完全不同的存储结构; 3 片内具有快速r a m ,通常可通过独立的数据总线在两块中同时访问; 4 具有低开销或无开销循环及跳转的硬件支持: 5 快速的中断处理和硬件i 0 支持; 6 具有在单周期内操作的多个硬件地址产生器; 7 可以并行执行多个操作; 8 支持流水线( p i p e l i n e ) 操作,使取指、译码和执指等操作可以重叠进行。 东南大学硕士论文 第一章绪论 1 2 3 数字信号处理器的发展和分类 世界上第一个单片d s p 芯片是1 9 7 8 年a m i 公司发布的$ 2 8 1 1 ,1 9 7 9 年美 国i n t e l 公司发布的商用可编程器件2 9 2 0 是d s pj :! ;片的一个主要里程碑。目前, 最成功的d s p 芯片当数美国德州仪器公司( t e x a si n s t r u m e n t s ,简称t i ) 的一系 列产品。t i 公司于1 9 8 2 年推出了其第一代d s p 产品t m s 3 2 0 1 0 ,目前已发展到 浮点和定点两大类9 个分支系列产品,分别满足不同的需要。其发展如图1 1 所 示。如今,t i 公司的一系列d s p 产品已经成为当今世界上最有影响的d s p 芯片。 t i 公司也成为世界上最大的d s p 芯片供应商,其d s p 市场份额占全吐界份额近 5 0 。其它公司如朗讯( l u c e n t ) 、m o t o r o l a 、模拟器件公司( a n a l o gd e v i c e s , 简称a d ) 在d s p 芯片市场上也占有一定的份额。 现今流行的通信系统通常会包括一块m c u ( m i c r oc o n t r o lu n i t ) 和一块d s p 芯片。m c u 主要用来控制;d s p 用来做信号处理。出于简化电路的需要,将数 字基带电路功能前移以及将m c u 、d s p 和专用接口芯片集成化,已成当前d s p 芯片的发展趋势。t i 公司2 0 0 1 年推出的基于d s p 的开放式多媒体应用平台 ( o m a p ,o p e nm u l t i m e d i aa p p l i c a t i o n sp l a t f o r m ) 就体现了这种趋势,o m a p 芯片是专为多媒体业务设计的应用平台。 矧i 1t m s 3 2 0 系列的发展 从图1 1 可以看到,总的来说,d s p :出片可分为定点d s pj 出片、浮点d s p 芯片两大类。这是根据d s p 芯片工作得数据格式来分类的。数据以定点格式工 东南大学坝i :论文 第章绪论 作的d s p 芯片称为定点d s p 芯片,如t i 公司的t m s 3 2 0 c 2 0 0 0 系列, t m s 3 2 0 c 5 0 0 0 系列,t m s 3 2 0 c 6 0 0 0 系列中的t m s 3 2 0 c 6 2 x 和t m s 3 2 0 c 6 4 x 等: 数据以浮点格式工作的称为浮点d s p 芯片,如t i 公司的 t m s 3 2 0 c 3 “4 x ,t m s 3 2 0 c 6 0 0 0 系列中的t m s 3 2 0 c 6 7 x 等。 我们现在使用的芯片主要是t i 公司的t m s 3 2 0 c 5 0 0 0 系列和t m s 3 2 0 c 6 0 0 0 系列,其中t m $ 3 2 0 c 5 0 0 0 系列目前包括t m s 3 2 0 c 5 4 x 系列和t m s 3 2 0 c 5 5 x 系 列两大类。这两类芯片软件完全兼容。t m s 3 2 0 c 5 4 x 系列是为实现低功耗、高性 能而专门设计的定点d s p 芯片,主要应用在无线通信等领域。与t m s 3 2 0 c 5 4 x 相比,c 5 5 x 具有更低的功耗和更高的性能。由于语音编码技术较为简单,用定 点的c 5 4 x 就够了,如果系统对功耗有特别的要求,可以采用c 5 5 x 芯片。本文 所涉及的d s p 实现是以c 5 4 x 和c 5 5 x 为实验平台的。 t m s 3 2 0 c 6 0 0 0 系列主要包括t m s 3 2 0 c 6 2 x 、t m s 3 2 0 c 6 7 x ,以及新出的 t m s 3 2 0 c 6 4 x 三类。其中t m s 3 2 0 c 6 2 x 是t i 公司于1 9 9 7 年开发的定点d s p 芯 片,内部集成了多个功能单元,可同时执行8 条指令,其运算能力为2 4 0 0 m i p s , 这种芯片适合于图像处理、无线基站、无线p d a 、组合m o d e m 、g p s 导航等 需要大运算能力的应用场合;t m s 3 2 0 c 6 7 x 是一种浮点d s p 芯片,其运算能力 达到1g f l o p s ( g i g ao ff l o w i n g p o i n to p e r a t i o n sp e rs e c o n d ,每秒十亿次浮点操 作) ,适用于对运算能力和存储量有较高要求的应用场合。t m s 3 2 0 c 6 4 x 是 t m s 3 2 0 c 6 0 0 0 系列中最新的高性能定点d s p 芯片,其软件与t m s 3 2 0 c 6 2 x 完全 兼容。t m s 3 2 0 c 6 4 x 采用v e l o c i t i 2 结构的d s p 核,增强并行的3 2 个通道d m a 控制器具有高效的数据传输引擎,可以提供超过2 g b p s 的持续带宽,它的总体性 能比t m s 3 2 0 c 6 2 x 提高了将近1 0 倍。 1 3 论文的主要工作及内容安排 本文的主要工作是围绕着分组语音通信的丢帧隐藏技术、g 7 2 9 的实时编解 码、g 7 2 3 1 与g 7 2 9 协议间的v a d c n g 的参数转换及它们的d s p 实现做的。 表面上看,这几种技术似乎没有太多联系,但事实上,它们都是当今语音编解码 标准中最常用的。由于这些技术的d s p 实现牵涉到算法的定点化、d s p 芯片的 选择等内容,本文也有阐述。总的来说,除了介绍现代语音编解码的几种技术之 外,将这些技术投入到实际应用之前的一些有关d s p 的研究工作,本文均有所 涉及。 本文的章节安排如下: 第一章绪论。简略介绍了现代语音编解码中的相关技术、语音编码的分类、 数字信号处理器的特点和分类等。 东南大学硕士论文 第一章绪论 第二章首先介绍了g 7 1 l 推荐的丢帧隐藏算法以及其它的丢帧隐藏技术; 然后介绍了d s p 系统的设计过程、算法的定点化、d s p 芯片的选 择、d s p 的集成开发环境c c s :最后说明了g 7 1 1 推荐的丢帧隐藏 算法在t m s 3 2 0 c 5 5 x 上实现的情况。 第三章以开环基音分析模块为例描述了语音编解码的相关模块。介绍了 g 7 2 9 的开环基音分析模块及其在5 4 1 6 d s k 板上的优化情况。 第四章首先介绍了d t x ( d i s c o n t i n u o u st r a n s m i s s i o n ,不连续传输) 、v a d 、 c n g ,然后介绍了g 7 2 3 1 与g 7 2 9 协议的、,a d c n g 的参数转换 的可行性分析及算法研究,v a d c n g 的参数转换在t m s 3 2 0 c 5 5 x 上的实现情况。 东南大学硕士论文 第二章分组语音通信的丢帧隐藏技术 第二章分组语音通信的丢帧隐藏技术 利用分组交换技术同时在网络中传输语音和数据是目前较为活跃的研究领 域。在语音i p 应用中( v o i p ) ,发送端语音信号按固定的时间间隔( 通常为l o m s ) 使用一定的编码算法数字化和分帧,然后通过i p 网络发送到接受端,进行解码 和播放。但i p 网络的延迟和堵塞会造成语音帧的丢失。通常情况下,可以用零 代替丢帧数据。如果丢帧率超过5 ,会严重影响语音质量,就需要一定的丢帧 隐藏技术来重建数据。丢帧隐藏技术有两种:一种是基于接受端的;一种是基于 发送端和接受端的吲。 基于接受端的丢帧隐藏技术有:用舒适噪声或无声信号代替丢失语音帧的数 据;重复接受到的最后一组语音信号;采用丢帧前、后正确接受的数据帧信息进 行模式匹配;利用丢失的前一帧信号进行基音周期的延拓;或利用前几帧数据进 行线性预测以替代丢失的数据。 基于发送端和接受端的丢帧隐藏技术明显较上面方法效果好,但同时复杂 度也相应地提高。一种做法是发送端在数据流中加入冗余量,如相同的语音帧发 送两次,或在发送本帧信号时,外加上一帧信号低码率编码的字符流。也可对语 音帧字符流进行前向纠错( f e c ,f o r w a r d e r r o rc o r r e c t i o n ) 。但这些方法都增加 了信号的带宽和编码延迟。不在语音数据中添加冗余量的丢帧隐藏算法,实际上 是利用语音信号本身的冗余量。一个典型的方法就是交错发送语音帧,通过对接 受帧的插值得到丢失数据。 不同的语音编码标准有其相应的丢帧隐藏技术,以减少因丢帧造成的语音 质量下降。一些基于码激励线性预测( c e l p ,c o d ee x c i t e dl i n e a rp r e d i c t i o n ) 的 语音编码器都内嵌了丢帧隐藏算法,如g 7 2 3 1 ,g 7 2 8 和g 7 2 9 。而另外一些没 有内嵌丢帧隐藏算法的,如采用波形编码技术的g 7 1 1 ,要想改善语音质量就得 增加对丢帧的处理。为此,g 7 1 1 协议附录提供了一种丢帧隐藏算法作为参考, 是由i t u t 的第1 6 研究小组提出,在1 9 9 9 年9 月通过的一种高质量低复杂度 的算法。 2 1i t u 推荐的g 7 1 1 丢帧隐藏算法口儿1 0 1 首先,介绍一下丢帧隐藏算法的数学基础。语音信号中,短时自相关函数 是一个很重要的参数。设s w 0 ) 是一段加窗语音信号,它的非零区间为 ”= 0 ( 一1 ) 。s w 0 ) 的短时自相关函数r 。0 ) 的计算公式“1 是: 东南大学硕士学位论文 第二章分组语音通信的丢帧隐藏技术 r w ( 1 ) n - i 一1 s 。0 b 。0 + f ) = 2 s ( n ) s 。0 + ,) ( 2 1 ) m ”n = 0 理论上,短时自相关函数在基音周期的各个整数倍点上有很大的峰值。只要 找到第一最大峰值点的位置并计算它与f = 0 点间隔,就能估算出基音周期。 丢帧隐藏算法就是在接收端产生合成语音以弥补丢帧损失的数据。i t u 推荐 的g 7 1 1 丢帧隐藏算法采用了基音波形重复的方法。丢失的帧重复上一帧信号一 个基音周期的数据,同时采用了“相位匹配”技术保证了原始信号和合成信号之间 的平滑过渡,减少了因简单重复数据造成的语音失真。由于语音信号是准平稳的 时间序列,尤其对于浊音信号而言,具有一定的准周期性,因此采用丢帧前的语 音数据近似丢帧语音数据是合理的。在理想情况下,合成语音与丢失语音具有相 同的时域和频域特性,可以保证合成语音是自然的。 丢帧隐藏算法的具体做法是:接收到的最新语音数据被保存在基音缓冲区 里,用于估计当前语音信号的基音周期,基音周期由( 2 - 1 ) 短时自相关函数计 算得到。将最近的一个基音周期和它之前的i 4 基音周期数据从基音缓冲区中取 出,用于对丢帧数据的补偿。其中前1 1 4 基音周期数据用于与丢帧前的语音信号 进行重叠相加( o l a ,o v e r l a p a d d ) ,以保证原始信号和补偿信号间的平滑过渡。 补偿数据简单重复取出的基音周期数据,直到全部覆盖了一个信息帧为止,若下 一帧数据没有丢失,则再延拓1 4 基音周期数据与准确接收的数据进行重叠相加, 目的同样是为了保证平滑过渡。重叠相加时可采用三角窗或汉宁窗( 实现时多会 采用三角窗,因为它比汉宁窗简单些) 。若下一帧依然丢失,则多提取一个基音 周期的数据用于补偿,最多可提取3 个基音周期。信息帧丢失越多,合成语音与 实际语音相差就越大。因此,除了第一帧数据外,连续丢失信息帧的数据在补偿 时,要有一定的衰减,补偿的信号以每帧2 0 的速度进行线性衰减,这样若有连 续6 帧信息丢失,则第6 帧补偿信号即为0 。 、墓篾曩器0 ,l 九a k a 严 i ,弋一: 、。管髻施v 扎:l 九! a 严镰一: 图2 1g 7 1 1 丢帧隐藏算法 图2 1 是g 7 1 1 丢帧隐藏算法演示。图e e ;g - - 行显示有两帧语音数据丢失。 输入信号中水平线标识的两段数据用于计算当前语音信号的自相关函数,水平线 东南大学硕士学位论文 第二章分组语音通信的丢帧隐藏技术 下的一段曲线即为自相关函数,最大值所表示的延迟为基音周期,输入信号中从 垂直线到丢帧数据一段即为一个基音周期的数据。第一个斜线表示一个完整基音 周期的前1 4 基音周期数据乘以三角窗的上升段,加上丢帧前的最后1 4 基音周 期数据乘以三角窗的下降段,用以平滑过渡。第二行是一帧数据补偿后的信号。 第三行是全部补偿后的信号。第四行是原始语音信号。由图可见,补偿后的信号 与原始信号基本保持一致。 2 2 其它的丢帧隐藏技术 2 2 1 相似波形重叠相加 当丢失帧的数据长度增加时,仅仅采用重复一个基音周期数据的方法会导致 音质的严重下降。这时,可以采用另一种技术:在实时的条件下调整时域信号波 形,同时不改变信号的基音周期以保持原始语音,丢失帧的数据由前几帧语音数 据通过时域扩展得到( 见图2 2 ) ,这种算法称为“相似波形重叠相加”( w s o l a , w a v e f o r ms i m i l a r i t vo v e r l a pa d d ) 0 2 】 1 3 】。 1 黧鬻i 鼗麟麟l 67 )1 (6l【 8 0 1 0 0 1 2 0 i 【 t 1 鬟阂粼6 7 s 】 o1 04 06 08 01 0 01 2 0 t 【r n s 】 图2 2 采用时域扩展的丢帧隐藏技术 算法中丢帧数据由前三帧准确接受的数据经过时域调整得到。有关w s o l a 算法的详细介绍将在下面说明。首先,解释一下图2 3 、图2 4 中的符号。k 是索 引号。t 。表示第k 个时刻。s 。表示第k 个时刻用来做重叠相加的帧。x 。是吼的起 点。三是s 。的长度。y 。表示输出的重叠相加波形的起点,是固定的。妙是重叠 长度。 图2 3 详细介绍了w s o l a 算法:从接受端解码得到的语音信号不直接送入 最后的输出端,保存在输入缓冲区中,取出时刻的重叠帧屯,重叠放置在y 。位 置上,这样输出端的每一块数据是由两个重叠帧重叠y 长度相加得到,为了保 证数据间的平滑过渡,采用汉宁窗n 对s 。进行加重处理,再与加窗后的上一 东南大学硕= e 学位论文 第二章分组语音通信的丢帧隐藏技术 帧s 。相加得到最后的输出信号q n 。等式如下: g m = w n y - v n - y 女+ 札】 k 式中w 胛 s 0v ”g o ,2 a y 一1 。 输 信号,同 x k 。1x k ( 2 2 ) 蝣眺 名i 1。 。 。瓤z 、 rh j 7一 。, 抓2y k 1y k 图2 3 相似波形重叠相加的丢1 9 贞隐藏算法 k x k 图2 4 起始位置x t 的搜索过程 每一重叠帧s 。的起始位置是通过搜索输入缓冲区信号白相关函数的最大 值得到,计算白相关函数所使用的两段语音数据见图2 4 ,其中数据段s 固定, 另。一个长度为l 的数据段乩的起点在搜索区瓦中变化,自相关函数最大值所对应 东南大学硕士学位论文 第二章分组语音通信的丢帧隐藏技术 的位置即为重叠帧s 。的起始位置。 妙、的长度三和计算自相关函数的数据长度f 等参数的选择对保证重建 语音信号的音质很重要。一般而言,计算自相关函数的数据长度上应至少包含一 个基音周期,以保证准确的合成语音同步,并且、三满足关系式l 1 2 。 2 2 2a n s i 推荐的g 7 1 1 丢帧隐藏算法 a n s i ( a m e r i c a n n a t i o n a ls t a n d a r d si n s t i t u t e ,美国国家标准化组织) 的g 7 1 1 丢帧隐藏算法利用线性预测从前几帧接受信号中估计声道模型和激励信号,以重 建丢失的语音数据。 这种算法估计丢失语音数据的频谱特征,利用线性预测语音产生模型合成丢 失数据。与g 7 2 9 等标准不同的是,它这种基于线性预测的丢帧隐藏算法只在接 受端进行。激励信号通过逆线性预测滤波器得到合成语音。在此标准中,合成语 音包含两参数: 模拟声道模型的线性预测参数; 包含激励信息的残差信号。 这两个丢帧信号的参数的估计是通过对前几帧语音数据进行线性预测分析 得到的。图2 5 是基于线性预测的丢帧隐藏技术的功能框图。 语音缓 的语音 图2 5 基于线性预测的丢帧隐藏技术框图 a n s i 的丢帧隐藏技术并没有利用丢帧后接收的语音数据实现丢帧信息的重 建。因此,在浊音到清音或音素到音素之间的过渡时,这种技术就不能保证语音 数据间平滑变化。一项新的研究就利用丢帧后的数据重建丢帧信息。这种算法是 对基于线性预测丢帧隐藏技术的改进,采用基于相似波形重叠相加( w s o l a ) 的 时域波形调整技术计算丢失帧的激励信号,其它过程基本保持不变,只是参数设 置有所改变,见图2 6 。 东南大学硕士学位论文 第二章分组语音通信的丢帧隐藏技术 图2 6 采用w s o l a 后的丢帧隐藏技术框图 2 2 3 基于c e l p 的丢帧隐藏算法的简单介绍 g 7 2 3 1 1 4 丢帧数据的重建取决于上一帧的信号类型。如果是浊音,则激励信号为上一 帧基音周期的周期激励,但有一定的衰减。如果上一帧是清音帧,则激励信号随 机产生。如果丢失的数据帧超过3 帧,则用静音数据也就是零信号代替。 g 7 2 9 与g 7 2 3 相似,重建丢帧数据需要以下信息:( 1 ) 合成滤波器参数;( 2 ) 自适 应码本和固定码本增益的衰减;( 3 ) 增益预测器的衰减;( 4 ) 激励信号的产生。 合成滤波器参数采用上一帧接收数据的滤波器参数,激励信号的类型取决于 上一帧信号的类型。如果上帧为周期序列( 浊音) ,则本帧激励信号也为周期的, 并且采用上一帧的自适应码本码字,固定码字设为0 。而对于非周期信号( 清音 或噪声) ,本帧激励信号也为非周期的,自适应码字为0 ,固定码字随机产生。 2 2 4 丢帧隐藏算法的动态 在对近期丢帧隐藏算法研究之后,我发现新发表算法的大体框架与上面介绍 的类似,只是在局部做了调整和细化。比如:在发送端和接收端都采用基音波形 重复;或者在接收端加入较复杂的线性预测1 6 】。 2 3g 7 1 1 推荐的丢帧隐藏算法的d s p 实现 2 - 3 1d s p 系统的设计过程 1 7 1 图2 7 所示为一个典型的d s p 系统。图中的输入信号可以有各种各样的形式。 例如,它可以是麦克风输出的语音信号或是电话线来的已调数据信号,可以是编 码后在数字链路上传输或存储在计算机里的摄像机图像信号等。 图2 7 典型的d s p 系统 图2 8 所示是d s p 系统设计的一般过程。 东南大学硕士学位论文 第二章分组语音通信的丢帧隐藏技术 图2 8d s p 系统的设计流程 1 定义系统性能指标 在设计d s p 系统之前,首先必须根据应用系统的目标确定系统的性能指 标、信号处理的要求,通常可用数据流程图、数学运算关系、正式的符号或自然 语言来描述。 2 根据系统的要求进行高级语言模拟 一般来说,为了实现系统的最终目标,需要对输入的信号进行适当的处理, 而处理方法的不同会导致不同的系统性能,要得到最佳的系统性能,就必须在这 一步确定最佳的处理方法,即数字信号处理的算法,因此这一步也称算法模拟或 仿真阶段。例如,语音压缩编码算法就是要在确定的

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论