（通信与信息系统专业论文）avs运动估计算法及可靠性传输算法研究.pdf

a v s 运动估计算法及可靠性传输算法研究摘要人类通过视觉所获得的信息占全部信息的7 0 以上，然而视频数据冗余度非常大，为解决视频数字化后数据量大与数据存储媒体和通信网容量较小的矛盾，同时降低对信道带宽的要求，提高多媒体服务质量，必须对视频信息在传输前进行高效压缩。运动估计作为视频编码系统中的一项关键技术，用来降低视频信息中时间、空间冗余度，其准确度和复杂度对提高编码效率起着非常重要的作用。因此本文第一个重点将研究基于a v s 的视频编码运动估计技术，并提出新的改进算法。经典的运动估计算法，比如三步法、四步法、菱形法和六边形法，在搜索过程中，都要经历搜索模板由大到小、逐次变换的过程，因而对于运动较小的块，浪费了搜索时间；而运动矢量场自适应搜索算法( m a s t ) 对静止块和小运动块的搜索极为高效，而对大、中运动块的搜索却存在不足。本文根据运动矢量场的分布特点，设计出新的搜索模板，对静止块立即停止搜索，对小、中、大运动块运用不同的搜索模板进行改进搜索。通过实验证明，相对于经典算法，新算法在保持搜索精度的情况下，能明显地减少搜索点数，提高搜索效率。另一方面，无线通信网络和互联网的传输信道并不可靠，在视频比特流的传输过程中，信道干扰、网络拥塞和路由选择延迟等问题会导致随机比特错误、突发性差错及分组丢失等误码现象，造成所传视频数据信息丢失，为了改善此种现象，本文重点研究了d v bo v e ri p 的可靠性传输问题。在介绍了p r o m p e gc o d eo fp r a c t i c e # 3 ( c o p # 3 ) 标准的纠错原理后，本文利用r s e 纠错编码对c o p # 3 标准进行了改进，改进后的算法能够有效地应对口网络传输中所出现的随机性和突发性分组丢失。最后通过模拟不同比例的丢包率进行仿真实验，验证了改进算法的有效性和可行性。关键词：a v s ；运动估计；块匹配；分组级前向纠错；r s 纠删码a v s 运动估计算法及可靠性传输算法研究皇置薯宣宣i i i 宣i i i i 嗣宣i 暑i i i i i i 宣i 置暑宣宣i i i i i i 鲁i 皇暑宣i 宣昌| 皇岛高置葺| 一 i i i la b s t r a c tp e o p l eo b t a i na b o u t7 0 o fi n f o r m a t i o nb yv i s u a l h o w e v e r ，v i d e od a t ah a sv e r yl a r g er e d u n d a n c y ，a n dt h ea m o u n t w o u l db ev e r yl a r g ew h e nt h ev i d e oi m f o r m a t i o ni sd i g i t e d w i t l ll i m i t e ds t o r a g ec a p a c i t yo fm e d i ad a t aa n ds m a l lc a p a c i t yo fc o m m u n i c a t i o nn e t w o r k s ，p e o p l eh a v et oc o m p r e s st h ev i d e oi n f o r m a t i o ne f f i c i e n t l yb e f o r et r a n s m i s s i o n t h e r e f o r e ，w ec a ng e th i g h e rm u l t i m e d i as e r v i c eq u a l i t yw i ml o w e rc h a n n e lb a i l d 谢d t l l a sak e yt e c h n o l o g yi nt h ev i d e oc o d i n gs y s t e m ，m o t i o ne s t i m a t i o ni su s e dt or e d u c et i m er e d u n d a n c ya n ds p a c er e d u n d a n c yi nv i d e os e q u e n c e s m o r e o v e r ，i t sa c c u r a c ya n dc o m p l e x i t yi sv e r yi m p o r t a n ti ni m p r o v i n gt h ec o d i n ge f f i c i e n c y t h e r e f o r e ，t h i sa r t i c l er e s e a r c h e dt h em o t i o ne s t i m a t i o nt e c h n o l o g yb a s e do na v sa n dp r o p o s e dan e wa l g o r i t h m s o m ec l a s s i c a lm o t i o ne s t i m a t i o na l g o r i t h m s ，s u c ha st s s ，4 s s ，d sa n dh e x b s ，h a v et of i r s t l yu s et h eb i gs e a r c ht e m p l a t ea n dt h e nt h es m a l ls e a r c ht e m p l a t ei nt h es e a r c hp r o c e s s i o n i tw i l lw a s t el i m e ，i ft h em o t i o ni sc h a r a c t e r i z e dl o w a n dt h ea l g o r i t h mo fm o t i o nv e c t o rf i e l da d a p t i v es e a r c ht e c h n o l o g y ( m v f a s t ) i se x t r e m e l ye f f i c i e n tw h e nt h em o t i o nb l o c ki ss t a t i o n a r yo rl o w , b u tn o ts u f f i c i e n te n o u g hi ft h em o t i o ni sc h a r a c t e r i z e dm e d i u mo rh i g h b a s e do nt h ed i s t r i b u t i o no fm o t i o nv e c t o rf i e l d , t h i sp a p e rd e s i g n e das e to fn e ws e a r c ht e m p l a t e s i ft h em o t i o nb l o c ki ss t a t i o n a r y ，s t o pt h es e a r c hp r o c e s s i o na ss o o na sp o s s i b l e o t h e r w i s e ，b a s e do nt h em o t i o nt y p e ，f o re x a m p l e ，t h em o t i o nt y p ei sc h a r a c t e r i z e dl o w ，m e d i u mo rl l i g l l ，s e l e c td i f f e r e n ts e a r c ht e m p l a t et od ot h es e a r c h t h ee x p e r i m e n t ss h o w e dt h a tc o m p a r e dt ot h ec l a s s i c a la l g o r i t h m s ，t h ei m p r o v e da l g o r i t h mh a sr e d u c e dt h es e a r c hp o i n t so b v i o u s l ya n di m p r o v e dt h es e a r c hp e r f o r m a n c ew h i l em a i n t a i n i n gt h es e a r c ha c c u r a c y f o rt h ew i r e l e s sc o m m u n i c a t i o nn e t w o f ka n dt h ei n t e m e t , t r a n s m i s s i o nc h a n n e li sn o tr e l i a b l e d u r i n gt h et r a n s m i s s i o no ft h ev i d e ob i t s t r e a m ，m a n yi n t e r r u p t i o n sc a nr e s u l ti nr a n d o mb i te r r o r , b u r s te r r o ra n dp a c k e t - l e v e ll o s s ，s u c ha sc h a n n e li n t e r f e r e n c e ，n e t w o r kc o n g e s t i o n , a n dm u t i n gs e l e c t i o nd e l a y t h e r e f o r e ，t h ev i d e oi n f o r m a t i o ni sl o s t t os o l v et h i sp r o b l e m ，t h es e c o n dr e s e a r c hp o i n to ft h i sa r t i c l ef o c u s e do nt h er e l i a b l et r a n s m i s s i o ni nd v bo v e rp a f t e ri n t r o d u c t i n gt h ep r i n c i p l eo fp r o m p e gc o d eo fp r a c t i c e # 3 ( c o p # 3 ) s t a d a n d ,t h i sp a p e ru s e dr s ec o d e st oi m p r o v et h ec o p # 3s t a n d a r d t h ei m p r o v e da l g o r i t h mc a ne f f e c t i v e l yd e a lw i t hr a n d o ma n db u r s tp a c k e tl o s s f i n a l l y ，d i de x p e r i m e n t ss i m u l a t i n g哈尔滨工程大学硕士学位论文p a c k e t sl o s s 谢md i f f e r e n tr a t i oa n dv e r i f i e dt h a tt h ei m p r o v e df l g o f i t h mi sf e a s i b l ea n dm o r ee 伍c i e n t k e yw o r d s ：a v s ；m o t i o ne s t i m a t i o n ；b l o c km a t c h i n g ；p a c k e t - l e v e lf e c ；r se r a s u r ec o d e第1 章绪论1 1 课题研究背景第1 章绪论以因特网为主要特征的数字化信息技术的不断创新和发展，使数字生活方式逐渐成为现代文明的一个重要标志。数字电视系统就是将传统的模拟电视信号，经过数字化处理、传输、存储、接收、记录等技术应用环节后，最终将高质量的电视节目以及用户所定制的视音频信息呈现在用户面前，数字电视系统将为人们带来丰富多彩的影视、资讯、娱乐服务，将是广播电视发展的必然趋势，已成为人们关注的热门话题。视频信息以直观性强、信息量大及便于理解等特点，在信息化时代的发展中有举足轻重的作用。随着多媒体和网络通信技术的发展，视频、图像、计算机视觉、多媒体数据库和计算机网络技术日益融合，使视频处理成为一个多学科的备受关注的领域，遍及国民经济和社会生活的各个方面。视频处理处于多媒体通信的核心地位，而视频信息的巨大数据量成为其存储和传输的瓶颈，因此必须对视频信息进行大幅度的压缩。视频压缩编码就是在保证图像质量的前提下，去除图像中的冗余信息，用尽可能少的数据量来表示图像，以便于视频图像的存储和传输。国际上音视频编解码标准主要有两大系列：i s o 正c j t c l 制定的m p e g 系列标准；i t u 针对多媒体通信制定的h 2 6 x 系列视频编码标准和g 7 系列音频编码标准。当前音视频产业可供选择的信源编码标准有四个：m p e g - 2 、m p e g - 4 、m p e g - 4a v c ( 简称h 2 6 4 ，也称t 、a v c ) 、a v s 。目前，我国在视频编解码技术领域已经具备了较强的基础，但没有掌握核心的技术，相关企业长期受制于国外特有标准、专利和技术。1 9 9 4 年制定的国际m p e g 2 音视频编解码标准专利使用费昂贵，而且其技术也越来越落后。视频编解码正处于更新换代的又一个关键时期，h 2 6 4 标准以其各方面较优的质量在很大程度上超越了原有的m p e g 4 标准，但其专利费用仍然昂贵。我国相关科研部门积极参与制定数字电视标准，提出了具有自主知识产权的第二代数字视音频信源编解码标准a v s( a u d i ov i d e oc o d i n gs t a n d a r d ) ，在视频编解码标准方面做出了大胆的尝试，并取得了可喜的效果。a v s 工作组成立于2 0 0 2 年6 月，当年8 月开始了第一次的工作会议。经过7次a v s 正式工作会议和3 次视频组附加会议，历经一年半的时间，审议了1 8 2 个提案，先后采纳了4 1 项提案【l 川。2 0 0 3 年1 2 月1 9 日，a v s 视频部分定稿。当前，a v s 主要用于高清晰度电视、网络电视、高密度光存储媒体等场景中的视频压缩。哈尔滨工程大学硕士学位论文1 2 课题研究内容以及国内外发展现状1 2 1课题研究内容近1 0 年来，通信、计算机和互联网技术的不断发展与完善为网络视频服务提供了物理上的保证。流媒体技术的逐渐成熟、p 网传输带宽的不断提高、i s d n 网络的不断发展、3 g 移动通信系统数据通信业务的提供、n g n 以及4 g 网络的研究进展，都预示着通信业务发展趋势将是宽带化、多媒体化。随着数字压缩处理技术的飞速发展，编码技术是视频信号处理中最为重要的一部分，视频信号数据量非常大，在保证图像质量的前提下，尽可能地压缩视频图像数据量。运动估计为压缩编码技术的关键技术之一，直接影响到视频数据压缩编码的效率和编码质量。其计算复杂度在整个视频数据压缩编码系统中最大，占整个系统计算量的5 0 以a t 4 - 7 。关于运动估计的研究，目前已经取得了很多相关的成果 8 - 9 。文献 1 0 - 11 】中提出了两状态的全局和本地运动估计，很多高效的运动估计的算法也受到了人们的广泛关注。这些算法可以分为四类：1 ) 斜率技术【1 2 1 ；2 ) 像素递归技术【1 3 】：3 ) 块匹配技术【1 4 】；4 ) 频域技术f 1 5 】。在以上四类中，像素递归技术和块匹配技术在视频编码中应用最为广泛。尤其是块匹配技术非常适合基于离散余弦变换d c t 的视频编码系统。本文将研究基于块匹配的运动估计技术，在学习经典算法的基础上，提出能进一步提高运动估计搜索速度的改进算法。从网络层面看，编码视频流将在各种网络平台上传输，在某些情况下，这些视频流在到达接收端前会经过一些不对称网络，因此编码的视频流必须经过分组形式传送，分组的结构和大小取决于传输协议。在传输过程中，这些分组和封装在内的视频载荷会受到信道差错和延迟干扰，从而造成信息丢失，若视频编码器没能对此作出补救，丢失的分组将会伤害重建图像的质量。因此本课题还将研究数字电视网络与p 网络相互融合时，在可靠性数据传输中所遇到的问题。1 2 2 国外发展现状经过5 0 多年的发展，在国际国内逐渐形成了多个视频标准化组织以及一系列视频编码标准，对视频编解码技术的普及起到至关重要的作用，这些标准融合了各种性能优良的图像编码方法，体现了视频编码的发展水平。1 9 9 4 年由m p e g 和i t u 合作制定的m p e g 2 是第一代视音频编解码标准的代表，也是目前国际上最为通行的视音频标准。m p e g 与i s o 根据各自基本目标应用不同往往做出稍有不同的取舍，有时它们也会开展2第1 草绪论合作，如：联合视频小组( t ) ，该小组定义了h 2 6 4 1 6 】编解码技术，这种技术在m p e g系列中被称为m p e g 4p a r t l 0 或m p e g 4 高级视频编解码( a v c ) 。同样，h 2 6 2 对应m p e g 2 ，而h 2 6 3 基本规范类( b a s e l i n ep r o f i l e ) 技术在原理方面与m p e g - 4 简单类( s i m p l ep r o f i l e ) 编解码技术存在较多重复。表1 1 视频压缩国际标准发展历程标准发布日期标题应用场合v e d i oc o d ef o ra u d i ov i s u a ls e r v i c e sa tp * 6 4 k b i t si s d n ( 综合业务数h 2 6 11 9 9 0 1 2( p * 6 4 k b i “s 的音视频业务编解码)字网) 视频会议p r o g r e s s i v eb i - l e v e li m a g ec o m p r e s s i o n ( 用于二值j b i g1 9 9 1 9传真等图像的累进压缩编码)d i g i t a lc o m p r e s s i o nc o d i n go fc o n t i n u o u s - t o n e s t i l l数字照相、图像视肝e g1 9 9 2 1 0i m a g e ( 连续色调静态图像的数字压缩编码)频编辑等m 口e g c o d i n go f m o v i n gp i c t u r e sa n da s s o c i a t e da u d i of o rv c d 、光盘存储、家1 9 9 2 1 1d i g i t a ls t o r a g em e d i au pt o1 5 m b i t s ( 面向数字存1用视频、视频监控等储的运动图像及其伴音1 5 m b i t s 的编码)数字电视、d v d 、高口e g g e n e r i cc o d i n go fm o v i n gp i c t u r e sa n da s s o c i a t e d1 9 9 4 1 1清晰度电视、卫星电2a u d i oi n f o r m a t i o n ( 运动图像及其伴音的通用编码)视等h 2 6 31 9 9 6 3v i d e oc o d i n gf o rl o wb i tr a t ec o m m u n i c a t i o n ( 低桌面可视电话，移动h 2 6 3 +1 9 9 8 1比特率通信的视频编码)视频等p e g -c o d i n go fa u d i o - v i s u a lo b j e c t s ( 音频视频对象的通i p 网、交互式视频、1 9 9 9 5移动通信、专业视频4用编码)等h 2 6 3 +v i d e oc o d i n gf o rl o wb i tr a t ec o m m u n i c a t i o n ( 低桌面可视电话，移动2 0 0 0 1 l+比特率通信的视频编码)视频等j p e g 2 0j p e g 2 0 0 0i m a g ec o d i n gs y s t e m ( 下一代静态图像数字照相、坤网、移2 0 0 0 1 2动通信、传真、电子0 0编码标准)商务m p e g 4 - 10 a v c ( a d v a n c e dv i d e oc o d e c ) ( 先进视数字视频存储以及h 2 6 42 0 0 3 3i f t v 、数字卫星广频编码)播、手机电视为了实现更好的压缩及获得新的市场机遇，i t u 与m p e g 一直在不断改进压缩技术哈尔滨工程大学硕士学位论文和开发新标准。目前正在开发的标准包括i t u m p e g 联合可扩展视频编码( j o i n ts c a l a b l ev i d e oc o d i n g ) ( 对h 2 6 4 a v c 的修订) 和m p e g 多视角视频编码( m u l t i v i e wv i d e oc o d i n g ) 。另外，为了满足新的应用需求，现有标准也在不断发展。例如，h 2 6 4 定义了一种称为高精度拓展( f i d e l i t yr a n g ee x t e n s i o n s ) 的新模式，以满足新的市场需求，如专业数字编辑、l i d d v d 与无损编码等【l 丌。除了i t u 与i s o 开发的行业标准以外，还出现了几种专用于因特网流媒体应用、广受欢迎的专有解决方案，其中包括r e a ln e t w o r k sr e a lv i d e o ( r v l 0 ) 、m i c r o s o f tw i n d o w sm e d i av i d e o9 ( w m v 9 ) 系列、o n 2v p 6 以及n a n c y 。由于这些格式在内容中得到了广泛应用，因此专有编解码技术可以成为业界标准。2 0 0 3 年9 月，微软公司向电影与电视工程师学会( s m p t e ) 提议在该机构的支持下实现w m v 9 位流与语法的标准化。该提议得到了采纳，现在w m v 9 已经被s m p t e 作为v c 1 实现标准化。表1 1 按时间顺序给出了各种图像压缩编码的国际标准【l 砌。1 2 3 国内发展现状我国于2 0 0 2 年6 月联合国内从事数字音视频编解码技术研发的科研机构和企业成立了“数字音视频编解码技术标准工作组”( 简称a v s 1 9 a 0 t 作组) ，该工作组针对移动多媒体、广播、d v d 等应用制定了具有自主知识产权的数字视音频编解码技术标准，此标准由两个部分组成：针对移动视频应用的a v s m 和针对广播与d v d 的a v s l 0 。其中a v s l 0 视频标准于2 0 0 3 年底完成，具有以下4 个特点：( 1 ) 性能好，在h d t v 视频编码中，编码效率是m p e g 2 的2 倍，而与最新的国际标准h 2 6 4 处于同一水平；( 2 ) 复杂度低，算法的复杂度比h 2 6 4 低；( 3 ) 实现成本低，软件和硬件实现成本都比h 2 6 4 低；( 4 ) 专利授权模式简单，费用明显低于同类标准。a v s 是一套包含系统、视频、音频、媒体版权管理在内的完整标准体系，为数字音视频产业提供更全面的解决方案【l l 】。2 0 1 0 年1 2 月5 日，由北京大学信息科学技术学院高文教授课题组完成的 a v s 高清实时立体视频编码器”通过教育部主持的技术成果鉴定。a v s 高清实时立体视频编码器由北京大学数字视频编解码技术国家工程实验室、广州市数字视频编解码技术国家工程实验室研究开发与产业化中心和国防科技大学计算机学院合作研制。在刚刚闭幕的广州亚运会上，该编码器承担了3 d 电视试验中立体视频编码这一核心任务，通过了国家广播电影电视总局广播电视计量检测中心的产品测试。4第1 章绪论该编码器输出的a v s 立体码流已经在t c l 、康佳、l g 等企业内置a v s 芯片的3 d 一体电视机中流畅播放，通过广州高清视信的a v s 高清机顶盒在三星、海信等企业生产的立体电视机上播放，构建了我国第一套基于a v s 的端到端立体电视播出系统，验证了a v s 高清实时立体视频编码器的可靠性和稳定性，证实了a v s 标准用于3 d 电视系统的可行性和先进性。3 d 编码器是构建立体电视系统的关键设备，a v s3 d 编码器采用我国自主知识产权的a v s 视频编码国家标准，在一台嵌入式设备内实现了高清立体视频的采集、合成、编码和播出，代表了立体电视编码的最新水平。3 d 视频实时编码的计算复杂度很高。在研制过程中，项目组在高效编码优化算法等方面有多项创新，在立体视频拼接预处理与后处理技术、双流水并行算法、多粒度并行算法、快速搜索算法、码率控制技术、快速模式决策、3 d 视频转换生成技术、视频去隔行技术等方面有多项突破或创新。日前，国家广播电影电视总局统一规划，对a v s 编转码器正式招标，在太原、石家庄、长春、兰州、南昌等5 个城市正式开通a v s 地面数字电视的应用。从口t v 到地面数字电视，再到高清光盘的应用、卫星直播【1 2 1 ，以及目前火爆的a v s 3 d 等应用，a v s正在一步一步抢占新的应用高地。1 3 课题完成的工作以及论文的结构安排本课题的主要任务是研究分析运动估计的基本原理和现有的经典运动估计算法，在此基础上针对a v s 标准中运用的运动估计算法进行深入研究，并提出改进算法，提高运动估计算法的性能；另外完成d v b 数据通过i p 网络传输时的分组级前向纠错算法研究，在p r o m p e gc o d eo f p r a t i c e # 3 标准及基础上，运用r s e 编码提出自己的f e c 算法并验证其优越性。第一章绪论，通过资料收集，阅读、学习相关文献，简要介绍课题的研究背景和国内外发展现状。第二章主要介绍视频压缩技术，首先简要介绍视频压缩编码系统的基本结构，然后主要介绍h 2 6 4 标准及a v s 标准的关键技术，并比较这两大标准的技术区别。第三章介绍了运动估计的基本原理，块匹配运动估计技术及其指标，同时对经典运动估计算法的原理进行了比较详细的分析；接着通过分析经典运动估计算法的不足，运用新的十字交叉搜索模板提出改进算法，并详细阐述了改进算法的流程；最后对通过实验验证了新算法的优越性。第四章是对视频流基于口传输时的前向纠错算法研究，首先介绍了基于m 的实时哈尔滨工程大学硕士学位论文视频传输时的数据封装过程，接着阐述了目前常用的基于p r o - m p e gc o d eo fp r a t i c e # 3标准的p 传输过程的纠错原理，然后研究了r s e 码的编译码原理，并运用r s e 编码对纠错算法进行了改进，最后通过分析实验的测试结果，验证了本文所提出改进纠错算法具有更好的纠错性能。结论部分是对全文的总结与概括，根据自己的研究分析和研究成果，归纳了各个算法的优点，也指出了算法当中的不足，最后提出了有待下一步研究的问题。6第2 章视频压缩技术概述第2 章视频压缩技术概述2 1 视频压缩编码概述图2 1 视频编码系统视频编码系统的基本结构如图2 1 所示【2 1 1 。视频编码方法的组成在很大程度上是由视频序列建模所采用的信源模型确定的。视频编码器寻求用信源模型描述视频序列的内容。信源模型能做出图像序列的像素之间在时间和空间上的相关性假设，也可考虑物体形状和运动或照度的影响。在编码器中，首先用信源模型的参数描述数字化的视频序列。如果我们使用像素统计独立的信源模型，那么这种信源模型的参数就是每个像素的亮度和色度的幅度。另一方面，如果我们使用把一个场景描述成几个物体的模型，那么参数就是各个物体的形状、纹理以及运动。接下来一步，把信源模型参数量化成有限的符号集。量化参数取决于比特率与失真间所期望的折中。最后，利用无损编码技术把量化参数映射成二进制码字；这种技术进一步利用了量化参数的统计特性。产生的比特流在通信信道上传输。解码器端反向进行编码器的二进制编码和量化过程，重新得到信源模型的量化参数。然后，解码器的图像合成算法用信源模型的量化参数计算解码视频帧。数字视频数据具有多种相关性，若能去除由相关性所造成的各种冗余，便能实现对原始视频信号的有效压缩。一般来说，数字视频信号中冗余可归为如下几类：( 1 ) 空间冗余作为视频基本元素的数字图像是对模拟视频信号空间采样得到的，因而构成图像的相邻像素之间具有较强的相关性，各像素的数值可由其邻近像素的数值预测出来，每个独立的像素所携带的信息相对较少。像素间的冗余就称为空间冗余或几何冗余。( 2 ) 时间冗余7哈尔滨工程大学硕士学位论文视频信号在本质上是一系列连续的图像，相邻两幅图像之间也存在着很强的相关性，对于静止不动的场景，当前帧和前一帧的图像内容是完全相同的；对于场景中的运动目标，如果知道其运动规律，就可很容易地从前一帧图像推算出它在当前帧中的大致位置，此即视频序列中的时间冗余。( 3 ) 心里视觉冗余多数情况下，视频编码系统的最终接收者是人类视觉系统。根据心里视觉冗余的特点，可采取一些有效的措施来压缩视频的数据量。人类视觉系统对于亮度信息、静止或运动平缓的视频信息敏感，对色度信息、快速运动的物体则相对不敏感，对敏感的信息应采用更多的比特进行表示。( 4 ) 编码冗余由信息论的有关原理可知，为表示图像数据的一个像素点，只要按其信息嫡的大小分配相应比特数即可。然而对于实际图像数据的每个像素，很难得到它的信息嫡，在数字化一幅图像时，对每个像素使用相同的比特数表示，这样必然存在冗余。空间冗余、时间冗余和编码冗余统称为统计冗余，因为它们都决定于图像数据的统计特性。2 2h 2 6 4 标准h 2 6 4 是i t u 的v c e g ( 视频编码专家组) 和i s o i e c 的m p e g ( 活动图像编码专家组) 的联合视频组( j o i n tv i d e ot e a m ，t ) 开发的一个新的数字视频编码标准。2 2 1概述与先前的标准相比较，h 2 6 4 的应用前景更为广泛，使无线通信成为可能，对传统的数字媒体存储技术将产生巨大的影响。h 2 6 4 的主要功能目标如下i( 1 ) 高压缩比，在所有的速率下，比h 2 6 3 节省5 0 的比特率：( 2 ) 采用简洁的设计方式和简单的语法描述，避免过多的选项和配置，尽量利用现有的编码模式：( 3 ) 低时延，针对不同的业务，灵活采用相应的时延限制；( 4 ) 加强对误码以及丢包的处理，增强解码器的差错恢复能力：( 5 ) 在编解码器中采用复杂度可分级设计，在图像质量和编码之间可分级，以适应高、低复杂度的应用；( 6 ) 提高网络适应性，采用“网络友好”的结构和语法，适应碑网络、移动网络的应用瞄】。8第2 章视频压缩技术概述2 2 2h 2 6 4 的结构h 2 6 4 编码器原理图如图2 2 ，在编码过程中，原始视频数据信息进入编码器后，采用帧内编码时，首先选择相应的帧内预测模式进行帧内预测；然后对实际值和预测值之间的差值进行变换、量化、熵编码，编码后的码流经过反量化、反变换之后重构预测残差图像，再与预测值相加得出重构帧，得出的结果经过去块滤波器平滑后送入帧存储器。采用帧间编码时，输入的图像块首先在参考帧中进行运动估计，得到运动矢量；运动估计后的残差图像经整数变换、量化、熵编码后，与运动矢量一起送入信道传输。同时另一路码流以相同的方式重构后，经去块滤波送入帧存储器，作为下一帧编码的参考图像。e当前帧砧参考帧运动估计帧内预测选择帧卜埋参考帧ll2 2 3h 2 6 4 关键技术图2 2h 2 6 4 编码器原理图困园一码流h 2 6 4 标准的主导思想与现有其他的视频编码标准一致，都是基于块的混合编码方法。同时h 2 6 4 运用了大量不同的技术，使得其性能远远优于任何其他的标准。h 2 6 4 采用了一些与h 2 6 3 、m p e g - 4 相类似的编解码方法口3 1 ，如下：( 1 ) 视频图像以像素宏块为单位进行处理，每个视频图像分成1 6 1 6 的像素宏块。( 2 ) 运用时域相关性。连续图像的块之间存在时域相关性，编码时只需编码差值。运动估值和运动补偿都是基于时域相关性的。对于一个像素块，可在已经编好码的前一帧或前几帧图像中搜索相关像素块，获得运动矢量，而在编码端、解码端可运用此运动矢量来预测当前像素块。( 3 ) 运用空域冗余度。运用运动估值后，编码端只需对残差值进行编码，即当前块与其相应的预测块的差进行编码，另外采用变换、量化、扫描输出和熵编码等步骤。( 4 ) 其他技术。h 2 6 4 与其他视频编码方法一样，也采用了块运动矢量以及传统的9蝴、l 鳓袱内。帧一内测r尹哈尔滨工程大学硕士学位论文一i 薯置葺宣暑宣宣i 宣宣i i i 昌i 暑暑暑i 宣暑i i 罩暑i i i j i i i i i i i i ；i i ；i ；宣；i i ；i 宣i 葺i i i 篁i 毫i j 暑置暑暑昌宣暑i i 昌i 暑i ；宣罩4 ：2 ：0 的色度数据与亮度的采样关系，变换块大小的划分，可分级的量化，i 、p 和b 图像类型等。h 2 6 4 加大了预测部分的比重，改善了预测误差，提高了编码效率。采用了一系列先进的编码技术，在同样的码率下，h 2 6 4 压缩视频的图像质量超过了以往的所有编码标准。实验证明，与h 2 6 3 + 、m p e g - 4 简单类相比，在视频质量一样的情况下，h 2 6 4最多能节省5 0 的码率，它所采用的新型编码技术主要包括如下：( 1 ) 采用4 x 4 像素块的整数变换，运算速度块，反变换过程无匹配错误问题；( 2 ) 采用可变块运动估计运动补偿技术，宏块尺寸从1 6 x 1 6 ，1 6 x 8 ，8 1 6 ，8 8 ，8 4 ，4 8 ，4 4 像素块中选，采用尺寸可变块的运动估计，比单独1 6 1 6 宏块的预测方法超过1 5 的编码率；( 3 ) 运动矢量的精度为1 4 或1 8 像素，与整数变换精度的空间预测相比，编码率最高可提高2 0 ；( 4 ) 采用多参考帧进行帧间预测，降低图像的时域相关性。h 2 6 4 通过采用多帧参考和更小的运动预测区等方法，对下一帧进行精确预测，减少传输的数据量。每个亮度宏块被划分为形状不等的区域，以作为运动描述区域。划分方法有1 6 x1 6 、1 6 x8 、8 1 6 、8 8 四种，选用8 x 8 方式时，可进一步划分为8 x 8 、8 x 4 、4 x 8 和4 x 4 共4 个子区域，每个区域包含自己的运动矢量，每个运动矢量和区域信息必须通过编码传输。在选用较大区域时，用于表示运动矢量和区域选取的数据量减小，运动补偿后的残差便会增大：若选用小区域时，残差减小，预测更加精确，可运动矢量和区域选取的数据量增大。由此可知，大区域适合反应帧间同质部分，小区域适合表现帧间细致部分。多参考帧比单独参考帧方法节省5 - - 1 0 的传输码率，且有利于码流的错误恢复；( 5 ) 采用空域帧内预测技术，有效降低了i 帧编码的比特率；以往的标准都是采用帧间预测的方式，只采用帧内( i n t r a ) 编码的图像称为i 图像，在i 图像中，直接把像素块的的数值进行交换，导致i 图像包含了大量的信息，压缩效率自然下降。h 2 6 4 根据相邻像素的左边、上边的像素( 即已编码重建的像素) 进行预测，只对实际值、预测值的差值进行编码，用较少的比特数来表达帧内编码的像素块信息。在h 2 6 4 标准中，有9 种4 x 4 块和4 种1 6 x1 6 块的亮度块帧内预测信息，色度块的4 种8 x 8 块的模式与亮度块的4 种1 6 x1 6 块的模式相同。( 6 ) 采用基于4 x 4 块边界滤波器消除块效应，提高图像的主观质量；重建块时，由于块边界像素值的量化误差形成影响图像质量的“块效应”。为消除块效应，提高解码图像的主管、客观质量，以及为了提供更好的参考图像，引入基于内容的抗块效应滤波1 0第2 犟视频压缩技术概述器。若块边界上两边图像差较小则使用滤波器“平滑”掉差别；若边界上图像特征明显则不进行滤波，达到减弱“块效应的目的，又不会滤掉图像的内容，同时保持主观质量的前提下，使比特率减小5 1 0 。h 2 6 4 标准中是基于4 x 4 边界块的，即对每个宏块的1 6 x1 6 亮度分量，需对其4 条水平边界、4 条垂直边界进行滤波；而对8 8 的色度分量只需对其2 条水平、2 条垂直边界进行滤波。在块边晃上，滤波的强度是和块的编码模式、运动矢量、残差数值相关的，而对于某个单个像素，基于量化系数的门限值可取消对任意单个像素的滤波。( 7 ) 采用u v l c 编码( u n i v e r s a lv a r i a b l el e n g t hc o d i n g ) 和c a b a c ( c o n t e x t - b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) 编码算法，提高约1 0 的编码率：原因是u v l c 所有的符合都采用一张仅从概率统计分布模型得出的码表，虽然简单，但是有它自己的缺点，比如概率分布可能不是很符合实际情况；概率分布是静止的；忽略了符号相关性，没有利用条件相关性；码字需为整数个比特。这些缺点影响了u v l c 在中高码率时的压缩效果，因而使用c a b a c 的熵编码方法，可获得更好的压缩性能。( 8 ) 除了支持传统的图像片类型外，引入s p s i 帧类型，可有效提高码流切换能力，且增强抗误码性能。码流包含s p 片、s i 之后，解码器能在有类似内容但码率不同的码流之间快速切换，并同时支持随机访问和快速回放模式。s p 片用到帧间预测的方法，并通过改变量化值的大小以实现在不同码率的图像流之间转换，而s i 片则是在由于传输错误而无法采用帧间预测的方法时，对s p 片最好的近似的片。s p 帧和s i 帧图像编码主要用于基于服务器的视频流应用中。2 3a v s 标准a v s 以m p e g - 4 、a v c h 2 6 4 框架为起点，制定了适合既定应用中的中国标准。目前，a v s 视频主要研究面向高清晰度电视、高密度光存储媒体等应用中的视频压缩。2 3 1a v s 概述g b t2 0 0 9 0 在信息技术先进音视频编码总的标题下，包括以下九个部分：系统、视频、音频、一致性测试、参考软件、数字版权管理、移动视频、在m 网络上传输a v s 、a v s 文件格式【l i 】。本课题主要研究第二部分视频，此部分于2 0 0 6 年3 月1日起开始实施。a v s 视频与m p e g 标准都采用混合编码框架，结构与h 2 6 4 很接近，包括变换、量化、熵编码、帧内预测、帧间预测、环路滤波等当前主流的技术模块。a v s 的主要创新哈尔滨工程大学硕士学位论文暑i 奄i i i ；i 宣i 昌i i i i i i i i i i i i i i i i i 宣i i 宣宣薯是提出了一批具体的优化技术，在较低的复杂度下实现了与国际标准相当的技术性能，但并未使用国际标准背后的大量复杂的专利【2 1 1 。2 3 2a v s 关键技术特点a v s 视频编码具有特征性的核心技术包括：8 x 8 整数变换、量化、帧内预测、1 4精度像素差值、特殊的帧间预测运动补偿、二维熵编码、环路滤波等。1 变换量化a v s 的8 x 8 变换与量化可在1 6 位处理器上无失配地实现，从而克服h 2 6 4 之前所有失配压缩标准国际标准中采用的8 x 8d c t 变换存在失配的固有问题，而h 2 6 4 所采用的4 x 4 整数变换在高分辨率的视频图像上的去相关性能不及8 x 8 的变换有效。a v s 采用了6 4 级量化，完全适应不同的应用和业务对码率和质量的要求。a v s 采用的8 x 8 变换与量化方案，适合于1 6 位d s p 或其他软件方式的快速实现【2 1 1 。2 帧内预测a v s 的帧内预测技术沿袭了h 2 6 4 帧内预测的思路，用相邻块的像素预测块，采用代表空间或纹理方向的多种预测模式。但a v s 亮度和色度帧内预测都是以8 x 8 块为单位的。亮度块采用5 种预测模式，而色度块采用4 种模式中又有3 种和亮度块的预测模式相同。在编码质量相当的情况下，a v s 采用较少的预测模式，使方案更加简洁、实现的复杂度大为降低。3 帧间预测帧间运动补偿编码是混合编码技术框架中最重要的部分之一。a v s 视频基准档次采用了与h 2 6 4 标准类似的树状结构宏块划分方式。将一个1 6 x 1 6 宏块分成1 6 x 1 6 ，1 6 x 8 ，8 x 1 6 与8 x 8 等4 种方式。在宏块划分方式上，a v s 摒弃了h 2 6 4 中所采用的4 x 8 ，8 x 4和4 x 4 块模式。通过精简宏块划分方式，使其能更好的刻画物体运动，提高运动估计的准确性。较少的块模式，同时也能降低运动矢量和块模式的传输开销，从而提高压缩效率，降低实现的复杂度 2 4 - 2 6 1 。a v s 视频和m p e g - 4 、a v c h 2 6 4 皆采用1 4 像素精度的运动补偿技术。m p e g - 4 、a v c h 2 6 4 采用6 抽头滤波器进行半像素插值并采用双线性滤波器进行1 4 像素插值。而a v s 视频采用了不同的4 抽头滤波器进行半像素插值和1 1 4 像素插值，减少了插值所需要的参考像素点，减小了数据存取带宽需求，同时保持了良好的性能，这在高分辨率视频压缩应用中是非常具有意义的网。多参考帧预测允许当前块从前面几帧图像寻求更好的匹配，而能够提供编码效率。1 2第2 章视频压缩技术概述一般来说，2 3 个参考帧基本上能达到最高的性能，更好的参考图像对性能提升影响甚微，可复杂度却成倍增加。h 2 6 4 最大可采用1 6 个参考帧，并且为了支持灵活的参考图像引用，