（通信与信息系统专业论文）基于h264视频终端关键技术研究及dsp实现.pdf

摘要 随着2 1 世纪的到来，人类进入了一个全新的多媒体时代，视频通信成为人们 的需求趋势。h 2 6 4 是新一代视频编码标准，与之前的标准相比具有更高的压缩比 和更好的视频质量，其技术优势决定其必将在众多领域中得到应用。 然而在实际应用中，h 2 6 4 还面临些问题：i p 网络是“尽力”传输，常常伴 随网络延时和丢包，如何在时变的i p 网络环境下提高视频通信的质量是目前主要 的研究热点之一；另外，h 2 6 4 在编码性能提升的同时也大大增加了运算复杂度， 如何在资源有限的d s p 硬件平台上实现h 2 6 4 实时编码也是实际应用中必须解决 的问题。 论文提出了一种适用于丢包网络环境下的自适应帧内刷新算法，该算法通过 建立一个帧内刷新尺度矩阵来记录当前帧和参考帧宏块之间的依赖关系，利用该 矩阵构造端到端的率失真模型来判决后续帧的宏块编码模式。实验结果表明，该 算法可在编码码率基本不变的情况下大大提高丢包环境下恢复图像的主客观质 量。接下来，论文提出了一种通用的f e c ( f o r w a r d e r r o r c o r r e c t i o n ) 载荷结构， 利用该载荷结构对h 2 6 4 码流进行封装，并实现对h 2 6 4 码流的f e c 不等保护。 实验结果表明，该方法能有效提高丢包环境下的通信视频质量。 最后介绍了t m s 3 2 0 d m 6 4 2d s p 平台的硬件特点和软件编程方法，给出了该 平台下h 2 6 4 编码器的实现过程，并采用数据打包、内联函数、线性汇编、d m a ( 赢接内存访问) 等多种优化手段对编码算法进行优化，优化后的编码器可以实 现c i f ( 3 5 2 x 2 8 8 ) 格式的实时视频编码，与优化前相比图像质量、编码码率基本 不变，可用于实际视频通信终端产品。 关键词： l 2 6 4 ；视频通信；帧内刷新；前向纠错；d s p 优化 a b s t r a c t a b s t r a c t w i 出t h ec o m i n go ft h e2 1 “c e n t u r y ，m a i li se n t e r i n gi n t oad e wm u l t i m e d i aa g e v i d e oc o m m u n i c a t i o ni sb e c o m i n gp e o p l e sn e wd e m a n d i t u - ta n di s oj o i n e dt o e s t a b l i s ha n dr e l e a s ean e wg e n e r a t i o ni n t e r n a t i o n a lv i d e oc o d i n gs t a n d a r d ：h 2 6 4 ，a v c c o m p a r ew i t ht h ef o r m e rs t a n d a r d s ，t h en e wt e c h n i q u eo f f e r sh i g h e rc o m p r e s s i o nr a t i o a n db e t t e rv i d e oq u a l i t y , a n dw i l lb ea p p l i e di nm a n yf i e l d s h o w e v e r , t h e r ea r es t i l ls o m et e c h n i c a lp r o b l e m si nt h ea p p l i c a t i o no fh 2 6 4 s t a n d a r d h o wt oe n s u r ei m a g eq u a l i t yi nv i d e ot r a n s m i s s i o nw i t he r r o r - p r o n en e t w o r k s a n dh o wt or e a l i z er e a l - t i m ei m a g ec o d i n go ne m b e dp l a t f o r ms u c ha sd s pa r eh o t s p o t s w h i c ha r er e s e a r c h e dr e c e n t l y a na d a p t i v ei n t r ar e f r e s hm e t h o df o rr o b u s tt r a n s m i s s i o ni ne r r o r - p r o n en e t w o r k s o fh 2 6 4i sp r o p o s e df i r s ti nt h i sd i s s e r t a t i o n i nt h i sm e t h o d a ni n t r a - r e f r e s hm a t r i xi s c r e a t e dt or e c o r dt h ed e p e n d e n c eb e t w e e nt h em a c r o b l o c k si nt h ec u r r e n tf r a m ea n dt h e r e f e r e n c ef r a m e b a s e do nt h ei n t r a r e f r e s hm a t r i x a ne n d t o e n dr a t ed i s t o r t i o nm o d e i f o re r r o r - p r o n en e t w o r k si sp r o p o s e dt oe s t i m a t et h em o t i o nm o d eo fe a c hm a c r o b l o e k i nt h ef o l l o w i n gf r a m e a se x p e r i m e n t a lr e s u l t ss h o w n ，t h i sm e t h o dc a ni m p r o v et h e d e c o d e dv i d e oq u a l i t yw i t hac o n s t a n tb i tr a t ei ne r r o r - p r o n en e t w o r k s n e x t ，ag e n e r i cf e c ( f o r w a r de r r o rc o r r e c t i o n ) p a y l o a ds t r u c t u r ea r eg i v e ni nt h e p a p e r w i t ht h i sn e ws t r u c t u r e t h et o r n a d oc o d ei su s e dt or e a l i z et h eu n e q u a lp r o t e c t i o n o ft h eh 2 6 4v i d e os t r e a m n l es i m u l a t i o nr e s u l t ss h o wt h a tt h ep r o p o s e dt e c h n i q u ec a l l i m p r o v et h ed e c o d e dv i d e oq u a l i t yg r e a t l yi nc h a n n e l sw i t hh i g hp a c k e tl o s sr a t e a tl a s t ，t h eh a r d w a r es t r u c t u r ea n ds o f t w a r ep r o g r a m m i n gm e t h o d so ft m s 3 2 0 d m 6 4 2a r ei n t r o d u c e di n t h i sp a p e r , a n dt h ei m p l e m e n to fh 2 6 4e n c o d e ro ni ti sa l s o g i v e n 1 1 1 em e t h o d sa r ea d a p t e dt oo p t i m i z et h eh 2 6 4e n c o d e rb a s e do nd s pp l a t f o r m s u c ha sp a c k i n gd a t a , i n t r i n s i c ，l i n e a ra s s e m b l y , a n dd i r e c tm e m o r ya e , c e s $ a c c o r d i n gt o d s po p t i m i z a t i o n , r e a l t i m ee n c o d i n gf o rv i d e os e q u e n c ei nc i ff o r m a ti sr e a l i z e d c o m p a r e dw i t ht h ee n c o d e rw i t h o u to p t i m i z a t i o n , t h ei m a g eq u a l i t ya n db i t - r a t eh a v e l i a l ec h a n g e f u r t h e r m o r e , t h em e t h o d sg a l lb eu s e di np r a c t i c e k e y w o r d ：h 2 6 4 ，v i d e oc o m m u n i c a t i o n , i n t r ar e f r e s h ，f e c ，d s po p t i m i z a t i o n 西安电子科技大学 学位论文创新性声明 秉承学校严谨的学分和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本入承担一切的法律责任。 本人签名： 毪：! ：墨日期! ! ：竺：! ：! ! 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文：学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在一年解密后适用本授权书。 本人签名； 导师签名： 叠：! ：墨 童型 日期一趔尘 日期砷幔二 第一章绪论 第一章绪论 1 1 研究背景 从可视电话、视频会议到d v d 、数字电视，数字化视频技术的应用越来越广泛。 一方面，图像处理的计算设备不断降价，图像数字化和显示设备更加普及和廉价， 使得清晰度更高、实时性更好的数字视频处理技术的出现和应用成为现实；另一 方面，信道传输带宽和存储容量的限制，图像的传输速率、压缩比和回放质量是 必然存在的矛盾。未经压缩的数字视频图像数据量非常大，对数据传输带宽、数 据存储容量有着很高的要求。通常的存储介质和传输带宽难以满足需要。因此， 研究和发展有效的图像压缩编码方法，以数据压缩的形式存储和传输这些数据是 最好的解决途径。通过去除数字视频图像序列的时间冗余( t e m p o r a lr e d u n d a n c y ) 和空间冗余( s p a t i a lr e d u n d a n c y ) ，可以降低码率，利于存储和传递更多信息， 满足更高要求的视频回放，称为视频压缩编码。 1 2 国内外研究现状 视频编码的研究早在二十世纪四十年代已经开始，视频编码技术的实用化与 产业化到二十世纪九十年代才得以实现。近年来，一系列国际视频压缩编码标准 的制定极大地促进了视频压缩编码技术和多媒体通信技术的发展。视频压缩编码 标准的制定工作主要由国际标准化组织( i n t e r n m i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n ， 简称i s o ) 和国际电信联盟( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n ，简称i t u ) 完 成。由i t u 组织制定的标准主要针对实时视频通讯应用，如视频会议和可视电话， 它们以h 2 6 x 命名( 如h 2 6 1 ，h 2 6 2 ，h 2 6 3 和h 2 6 4 ) t h ；i s o 和i e c ( i n t e r n a t i o n a l e l e c t r ot e c h n i c a lc o m m i s s i o n ) 的共同委员会中的m p e g 组织( m o v i n gp i c t u r ee x p e r t g r o u p ) 制定的标准主要针对视频数据的存储、广播电视和视频流的网络传输等应 用，它们以m p e g - x 命名( 如m p e g 1 ，m p e g 一2 ，m p e g 一4 ，m p e g 7 等) 【2 j 。两个 组织也共同制定了一些标准，h 2 6 2 标准等同于m p e g 一2 的视频编码标准，而最新 的h 2 6 4 标准则被纳入m p e g 一4 的第1 0 部分。 事实上，h 2 6 4 标准的开展可追溯1 9 9 6 年。1 9 9 6 年制定h 2 6 3 标准后，i t u t 的视频编码专家组( v c e g , v i d e oc o d i n ge x p e r t sg r o u p ) 开始了两个方面的研究： 一个是短期研究计划，在h 2 6 3 基础上增加选项( 之后产生了h 2 6 3 + 与h 2 6 3 十+ ) ： 另一个是长期研究计划，制定一种新标准以支持低码率的视频通信。长期研究计 划产生了h 2 6 l 标准草案，在压缩效率方面与先期的r r u t 视频压缩标准相比， 具有明显的优越性。2 0 0 1 年，i s o 的m p e g 组织认识到h 2 6 l 潜在的优势，随后 2 基于 l 2 6 4 视频终端的关键技术研究及d s p 实现 i s o 与i t u 开始组建包括来自i s o i e cm p e g 与i t u tv c e g 的联合视频组( t ， j o i n tv i d e ot e a m ) ，j v t 的主要任务就是将h 2 6 l 草案发展为一个国际性标准。经 过两年的努力，在2 0 0 3 年5 月，i t u 和i s o 共同发布了j 制定的新一代视频压 缩编码标准i t u tr e c h 2 6 4 1 i s o i e c1 4 4 9 5 1 0a v c 。在i s o i e c 中该标准命名为 a v c ( a d v a n c e dv i d e oc o d i n g ) ，作为m p e g - 4 标准的第1 0 个选项，而在i t u t 中则正式命名为h 2 6 4 标准。2 0 0 5 年2 月，m p e g 和v c e g 联合把可伸缩性编码 ( s c a l a b l ev i d e oc o d i n g ，s v c ) 作为h 2 6 4 标准f 3 】的修改。并起草了h 2 6 4 标准的 可伸缩性扩展第一草案q2 0 0 6 年1 0 月，h 2 6 4 的第二个版本也已推出。 与现有的m p e g 一2 、m p e g 4 a s p 及h 2 6 3 相比，h 2 6 4 标准具有明显的优越 性。在同等的画质下，h 2 6 4 的编码效率比h 2 6 3 和m p e g - 4 提高了近5 0 。 然而h 2 6 4 标准的高效编码也带来了一些问题： 1 ) 解码器对编码码流的错误变得更加的敏感。如何采用视频抗误码方法来消 除信道误码或丢包对视频码流的影响，提高恢复视频质量，目前成为为国内外共 同研究的一项关键技术。 2 ) h 2 6 4 带来压缩性能明显改善的同时，大大增加了运算复杂度。如何结合 硬件特点对编解码器进行优化，使实时编解码能在功耗、内存受限的嵌入式平台 上实现，也是业界研究的热点之一。 1 3 本文内容和结构安排 论文以华为公司合作项目h 2 6 4 视频在m 网络上传送健壮性技术研究和 杭州信得捷电子有限公司合作项目音频视频压缩编码、传输及嵌入式系统实现 关键技术研究为研究背景，对基于h 2 6 4 的视频传输技术和h 2 6 4 编码器在d s p 平台上的快速实现进行了深入的研究。 论文内容安排如下： 第一章介绍视频编码标准的发展历程，h 2 6 4 编码标准的制定过程、应用中存 在问题，以及本文内容结构安排。 第二章详细介绍h 2 6 4 的基本原理，重点给出与之前的视频编码标准相比较 h 2 6 4 标准的采用的编码新技术，并分析了h 2 6 4 在应用中遇到的问题，是论文后 续研究的理论基础。 第三章介绍基于帧内刷新算法的原理和现有的帧内刷新算法，然后提出一种 具有抗分组丢失能力的h 2 6 4 帧内刷新算法，该算法可在丢包网络环境下明显提 高通信视频质量。 第四章将传统t o r n a d o 码做了实用性改进，并提出一种通用的f e c 保护载荷 结构和独立的f e c 层结构，综合以上方法对h 2 6 4 码流进行f e c 保护，实验结果 第一章绪论 表明该保护算法可大大提高丢包网络环境下的实时视频通信质量。 第五章先介绍t i 公司t m s 3 2 0 d m 6 4 2d s p 平台的特点，然后在该平台上实现 h 2 6 4 编码器的算法移植，接下来重点研究d s p 平台上编码器的优化算法。实验 结果表明，优化后的h 2 6 4 编码器可在图像质量下降不明显的情况下，实现c i f 格式图像的实时编码。 最后总结全文，给出今后的研究方向。 第二章h 2 6 4 标准简介 第二章h 2 6 4 标准简介 h 2 6 4 和以前的视频压缩标准一样，也是d p c m ( d i f f e r e n t i a lp u l s ec o d e m o d u l a t i o n ) 加变换编码的混合编码模式。但作为新一代视频压缩标准，h 2 6 4 在继 承了以往一些视频压缩标准的优点的基础上，在码流组织、编码算法和编码模式 等方面引入了一些新的方法和内容，加强了对各种信道的适应能力，采用“网络 友好”的结构和语法，有利于对误码和丢包的处理，增加了差错恢复能力，能够 很好地适应口和无线网络的应用。本章将详细介绍h 2 6 4 视频编码标准的档次、 编码框架、编码新技术和实际应用中面临的问题等。 2 1h 2 6 4 标准的三个档次 针对不同领域及不同级别的应用要求，h 2 6 4 按算法集的限定被分为了三个档 次( p r o f i l e ) ：b a s d i n e ，m a i n 及e x t e n d e d 。每个版本支持特定的一组编码算法：基本 档次( b a s e l i n e p r o f i l e ) 支持帧内和帧间编码( 用i - s l i c e s 和p s l i c e s ) 和基于内容的自适 应变长熵编码( c a v l c ，c o n t e x t - a d a p t i v ev a r i a b l e - l e n g t hc o d e s ) ：主要档次( m a i n p r o f i l e ) 支持隔行扫描视频，帧间编码还可用b s l i c e s 和预测加权，内容自适应的二 进制算术熵编码( c a b a c ，c o n t e x t b a s e da r i m m e t i cc o d i n g ) ；扩展档次( e x t e n d e d p r o f i l e ) 不支持隔行扫描视频和c a b a c 熵编码，但增加了s p s l i c e s 和s i s l i c e ：模式 来保证速率和质量间的最佳，增加了数据分割技术( d a t a p a r t i t i o n i n g ) 来提高差错恢 复能力【5 】。三个档次之间的关系如图2 1 所示。 扩展档次 f i 臣圃 l 臣团 、 l t t 、 图2 - 1h 2 6 4 的档次划分 6 基于h 2 6 4 视频终端的关键技术研究及d s p 实现 图2 1 中各个档次有各自不同的应用领域。其中，b a s e l i n e p r o f i l e 主要包含了 低复杂度、低延时的技术特征，主要是针对交互式的应用，如视频电话或视频会 议，也考虑到了恶劣环境下的容错性，b a s e l i n e p r o f i l e 的内容基本都被其它更高级 别的p r o f i l e 所包含；m a i n p r o f i l e 是针对更高编码效率的应用，如视频广播和视频 存储；e x t e n d e dp r o f i l e 的设计主要针对流媒体及移动通信中的应用。 2 2h 2 6 4 标准的编码框架 h 2 6 4 a v c 是目前算法复杂度最高、性能最好的基于混合编码框架的视频编码 标准【6 】oh 2 6 4 的编码过程( 图2 ，2 ) 【刀主要分为以下部分： 1 ) 将图像分成子图象块( 宏块) ，以子图象块作为编码单元。 2 ) 当采用帧内模式编码时，对图象块进行变换和量化，消除图象的空间冗余。 帧内模式中还增加了帧内预测模式。 3 ) 当采用帧间模式编码时，对帧间图象采用运动估计和补偿方法，只对图象 序列中的变化部分编码，从而去除时间冗余。 4 ) 变换量化系数最后经重排序和熵编码输出到网络适配层n a l ( n e t w o r k a b s t r a c t i o nl a y e r ) 。 图2 - 2h 2 6 4 编码器基本结构 第二章h 2 6 4 标准简介 2 3h 2 6 4 标准采用的编码新技术 与以前的视频压缩标准h 2 6 1 、h 2 6 3 、m p e g 1 、m p e g 2 、m p e g 4 类似， h 2 6 4 也是采用帧间预测和帧内变换的混合编码方法来消除或减少图像中的信息 冗余。但是，h 2 6 4 采用了许多新技术以提高压缩效率，其主要技术特点包括： _ 4 4 块d c t 整数变换以及相应的量化方法； 灵活的运动补偿：采用1 6 1 6 、1 6 8 、 8 1 6 、8 8 、8 4 、4 8 以及4 x 4 共7 种可变尺寸块，使得运动估计和补偿更加精确： 帧内预测：对亮度4 4 块采用了9 种帧内预测模式，对亮度1 6 1 6 以及 色度8 8 块采用4 种帧内预测模式； 改进的去块效应滤波器( d e b l o c k i n gf i l t e r ) ：滤波器根据块边缘信息的不 同采用不同的滤波权重，因而可以在有效消除块块效应的同时又不会影响 图像的锐度； 增强的熵编码方法u v l c ( u n i v e r s a lv l c ) 、c a v l c ( c o n t e x ta d a p t i v e v l c ) 和c a b a c ： 1 4 像素插值： - 多参考帧； _ 宏块级逐行、隔行自适应编码m b a f f 。 正是采用了这样一些切实有效的技术方法，h 2 6 4 才具有了前所未有的高压缩 效率，在相同的图像质量下所需的码流量更低。在相同的图像质量下，h 2 6 4 与 h 2 6 3 + 和m p e g 一4 标准相比，能节约5 0 的码流。 2 4h 2 6 4 标准在实际应用中面临的问题 随着通信网络的发展，人们已经不单单满足于传统意义上的语音、数据通信， 而是越来越青睐于更为直观的视频通信及各种多媒体业务。同时，人们对视频画 面的质量也越来越挑剔。传统的视频压缩算法，压缩率比较低，现有的网络带宽 无法满足。h 2 6 4 不仅具有优越的压缩性能，而且具有良好的网络亲和性，它已逐 渐成为主流的视频压缩算法，必将在数字电视广播、视频实时通信、网络视频流 媒体传递以及多媒体短信等各个方面发挥重要作用。 实时视频通信是h 2 6 4 一个重要的应用领域。由于2 0 世纪9 0 年代互联网的 迅速发展，人们希望利用口技术传输视频。从目前的研究状况可以看到，在网络 流量不大时，视频电话的质量尚能接受。由于口数据流的突发性，当业务流量大 时，网络会发生拥塞，导致数据分组延迟到达甚至丢失，此时的图像质量是让人 无法接受的。如何最大限度地克服时变信道带来的影响成为制约h 2 6 4 在实际产 品应用的一大技术难点。 基于h 2 6 4 视频终端的关键技术研究及d s p 实现 另一方面，多媒体业务的日益普及，人们不只希望在p c 机上实现实时视频通 信，还希望在诸如网络电话、手持终端等设备上实现实时的视频通信以及视频点 播业务。由于h 2 6 4 标准采用了许多新的编码技术，导致编码复杂度大大提升， 因此对c p u 的处理能力提出了更高的要求。为了使h 2 6 4 标准能够在更多领域内 应用，人们致力于对h 2 6 4 编解码算法基于嵌入式平台进行优化，以满足实时视 频应用的要求。 2 5 小结 本章首先介绍h 2 6 4 视频编码标准的基本原理、档次划分和编码器结构，然 后分析了它与之前的视频编码标准相比采用的主要编码新技术，接下来结合h 2 6 4 的特点分析了其在实际应用中遇到的关键问题。在本论文的后续章节中，将围绕 这些关键问题进行详细研究，并提出一些新的解决方案。 第三章基于h2 6 4 具有抗分组丢失能力的帧内刷新算法 第三章基于h 2 6 4 具有抗分组丢失能力的帧内刷新算法 基于口网络的视频通信中，由于口网络遵循“尽力”传输的原则，会常常发 生延时和丢包，且经过高效编码的h 2 6 4 码流对错误非常地敏感，因此恢复出来 的图像质量有时会让人无法接受。因此，在恶劣网络环境下如何最大限度地克服 网络丢包、时延等带来的影响，提高恢复视频质量是本章研究的重点。目前常用 的算法有：前向纠错【引，多描述编码 9 1 ，交互式防误码扩散【1 0 】，接收端的误码掩盖 技术【l i 】等。在h 2 6 4 编码标准中，也使用了设置参数集、灵活块重排和s p 帧( 切 换预测帧) 等抗误码工具来保证视频通信质量。尽管有多种视频抗分组丢失算法， 但对特定视频数据进行帧内编码的帧内刷新算法，仍然是一种非常简单、有效的 视频抗分组丢失技术。 3 1 帧内刷新的原理 帧内帧( i 帧) 只利用当前帧的图像数据进行编码，而不参考相邻帧数据，在 丢包环境下能够有效的防止误码扩散，从而保证恢复视频主观质量。然而，编码 过多的i 帧会增加编码比特数，不利于带宽受限下的实时视频应用。因此，对一帧 图像中部分数据进行帧内模式编码的帧内刷新方法得到广泛使用。在h ，2 6 4 标准 中，以宏块为单位选择编码模式。帧内帧中的宏块只能选择帧内预测模式，而帧 间帧中的宏块可以选择帧内或帧间编码模式。帧内刷新就是按照一定的规则，在 帧间帧中选取若干个宏块强制按帧内预测模式编码。这样带来的好处是，既在一 定程度上减少了误码扩散，保证了恢复视频主观质量，同时没有过多的增加编码 比特数。 3 2 现有的帧内刷新方法 由于帧内刷新是一种有效抑制误码扩散、提高恢复视频质量的方法，人们致 力于更有效的帧内刷新算发的研究，提出了许多有效的算法。现有的帧内刷新算 法有很多种，主要包括： 随机刷新 在帧内帧中随机的选取一定比例的宏块，强制按照帧内预测模式编码。由于 这种算法对帧内刷新宏块的选择是随机的，它并不能准确找出出错宏块的位置， 因此效率低，可能会对不应当刷新的宏块进行刷新，而忽略一些应当刷新的宏块。 定期刷新 1 0 基于h 2 6 4 视频终端的关键技术研究及d s p 实现 每隔若干帧，从帧间帧中选取一定比例的宏块进行帧内预测编码。这种方法 的问题和随机刷新算法一样，具有盲目性，并不能有效提高丢包环境下的恢复视 频质量。 一 基于感兴趣区域( r o i ) 的刷新算法【1 2 】 首先按照一定的规则将图像划分成不同的区域，找出哪些是感兴趣区域，即 那些人眼比较敏感的区域，对该区域内的宏块优先进行帧内刷新。这样的好处是， 利用了人类的视觉特性，对那些人眼敏感的区域如人物面部采用帧内预测模式编 码，使之更加清晰，而对人眼不十分敏感的背景区域采用帧间预测模式编码，即 使出现一定失真，也不会造成太大影响，从而显著改善了恢复视频的主观质量。 这种算法的问题在于，对感兴趣区域的选择算法过于复杂，不利于实时视频通信 系统的实现。 一基于率失真模型的刷新算法【1 3 】 对每个像素的编码模式进行跟踪和记录，每进行一次帧内预测模式编码，该 像素记录重新设置为o ，每进行一次帧间模式编码，记录加1 ，优先选择那些具有 较大记录值的像素所在宏块进行帧内模式编码。这种算法的好处在于，像素进行 帧间模式编码次数越多，失真的概率越大，因此该算法能有效找到那些更易失真 的宏块。该算法的缺陷在于没有充分考虑分组丢失对编码模式选择的影响，如果 发生分组丢失，即便是刚刚进行帧内刷新过的宏块仍然需要再次刷新。 从以上讨论可以看出，在丢包环境下使用这些帧内刷新算法都存在一定问题， 本章致力研究一种新的帧内刷新算法，来保证抗丢包环境下实时视频通信的质量。 3 3 基于帧内刷新尺度的自适应帧内刷新算法 本节基于h 2 6 4 的算法特点，提出了一种新的自适应帧内刷新算法。首先建 立一个帧内刷新尺度矩阵，该矩阵每个元素对应着图像中的每个宏块，元素值为 各宏块用于后继帧参考区域面积的归一化值：然后结合帧内刷新尺度矩阵和率失 真模型，在丢包环境下提出基于帧内刷新尺度的端到端率失真模型( m e 2 e r d ) ： 接下来，利用h 2 6 4 中s e i ( 补充增强信息) 域实现无需专门反馈信道的信息交互， 提出具有抗分组丢失能力的自适应帧内刷新算法。 3 3 1 帧内刷新尺度矩阵 与目前使用广泛的h 2 6 3 + 标准相比，h 2 6 4 视频编码算法有许多新颖之处。 其中h 2 6 4 采用尺寸可变块编码：1 6 x 1 6 、1 6 8 、8 1 6 、8 8 、8 4 、4 x 8 、4 x 4 ，大大提高宏块运动估值的准确性，从而提高编码效率。另外，h 2 6 4 中帧内 编码是将图像内已编码区域的边缘像素用于待编码区域的空间预测，对亮度信号 第三章基于h2 6 4 具有抗分组丢失能力的帧内刷新算法 1 1 既要做4 4 预测还要做1 6 1 6 预测，这一技术有效提高了帧内预测的编码效率。 在基于块编码的h 2 6 4 中，如果某一位置宏块被后继帧运动补偿时参考的越多， 则该宏块对后继帧图像质量影响越大，特别是在丢包环境下，该宏块的丢失将造 成更为严重的误码扩散。因此，将这些对后继帧影响大的宏块进行帧内模式编码， 可以有效提高丢包环境下的恢复图像质量。 基于上述的讨论，首先计算各个宏块被后继帧运动补偿时参考的区域面积， 并以此来建立帧内刷新尺度矩阵，做为帧内刷新的判决依据。具体计算步骤如下： 第n - i 帧第n 帧 图3 - 1 参考区域面积计算示例 步骤一计算参考帧的宏块坐标 h 2 6 4 的预测帧中编码块的大小和尺寸可变，首先要根据当前帧编码宏块的分 割类型确定可变块的宽高，然后利用该编码块的坐标值和运动矢量得到其参考块 在参考帧中的坐标值，这样就可以计算该编码块的参考块在参考帧各个宏块中的 面积分布。图3 1 以第1 1 _ 帧编码块b k ( 8 1 6 分割模式) 为例计算其在参考帧宏 块中的面积。图中b k 的左上角像素a 坐标为( ，y 。) ，在第n 1 帧的对应位 置a 坐标( 工。，) ，通过块b k 的运动矢量m v a t f ( m v x ，m v y ) 可以计算得到 第n 1 帧的参考块b k 左上角像素b 坐标( 西驴肘) 。如果像素b 属于第n - l 帧的 宏块m b ，则宏块m b 的坐标( 工，y ) 为： ”x 一1 6 , x n l 2 棚匕( 3 1 ) i y = y 一1 6 ， y 耐= y 。4 - 小v y 、7 式中表示整除，h 2 6 4 标准中宏块大小为1 6 1 6 。 步骤二计算参考块在各宏块中的面积分布 d x = ( ，x + 。1 ) x 1 6 - x , 可, (3-2)d ly = + 1 ) 1 6 一肠，一 由式( 3 2 ) 计算得到b ( 确一y 聊d 距宏块m b 右侧和下侧边缘的距离( 以， d y ) 。根据b k 的编码分割类型，得到可变块b k 的宽( w b k ) 和高( k ) ，由 1 2 基于h 2 6 4 视频终端的关键技术研究及d s p 实现 i 吱嘭，( = w k 4 = k ) 同理，可以计算块b k 的剩余部分( 除m 删以外的部分) ，落在m b 相邻宏块 中的像素面积。 根据式( 3 3 ) 得到的计算结果，第n 1 帧宏块m b 被第n 帧中多个宏块做为运动 参考的像素区域总面积s 是： 只，= ( 3 4 ) 式( 3 4 ) 表示第n 帧中有m 个块参考m b 的部分或全部像素进行运动补偿，：。 表示第i 个块在运动补偿时使用第n 1 帧宏块m b 的像素数。通过式( 3 4 ) 可以计算 n 1 帧中各个宏块用于第1 1 帧宏块运动补偿参考的像素面积。 步骤三计算帧内刷新尺度矩阵 由于视频序列连续多个相邻帧之间有较强的时间相关性，因此可以通过连续 跟踪前驱帧来修正步骤二中的像素面积。设第n 帧( 当前编码帧) 的前j 帧为第 n - j 帧，则该宏块被第( n - j + 1 ) 帧中编码块用做参考的区域总面积记做7 。将当 前编码帧的前羁w 帧中m b 。( 坐标为( x ，y ) 的宏块) 的参考区域面积加权求和： s = ，蹋0 - c a ) ，l ( 3 5 ) 式中霹。在宝越大说明m b ，对后继帧编码块的运动补偿影响越大，即在接收端 m b 。解码出错对解码恢复图像质量影响较大，因此可以利用爱，值来调整宏块在 编码时的帧内帧间模式，有效提高丢包环境下的恢复视频质量。式( 3 6 ) 将s ：，进 行归一化处理( 从以像素为单位转换到以宏块为单位) ，得到第1 1 帧中宏块m b 。的 帧内刷新尺度值： a 。n = ，( 1 6 1 6 ) ( 3 - 6 ) 利用式( 3 6 ) 对一帧图像每个宏块都计算a ：得到第n 帧的帧内刷新尺度矩 阵，该矩阵每个元素对应着图像中的每个宏块，元素值为各宏块用于后继帧参考 区域面积的归一化值，用于第n + 1 帧宏块的帧内帧间编码模式判决。由式( 3 6 ) n - j 以看出帧内刷新尺度矩阵给出每个宏块被后继帧宏块参考的重要程度。在编码模 式判决时，对n ：，大的宏块提高其帧内编码的可能性，从而有效减少误码扩散造成 的恢复图像质量下降。 第三章基于h 2 6 4 具有抗分组丢失能力的帧内刷新算法 3 3 2 自适应帧内刷新算法 3 3 2 1 基于帧内刷新尺度的端到端率失真模型 在h 2 6 4 预测帧中，使用率失真优化方法( r d ) 来选择宏块的编码模式，即 将预测误差和信息编码码率结合起来选择编码模式1 4 ： ，o ，( m w x l 。，) = d 艇c ( m b x ，l ，) + a ( m b x l ，) ( 3 - 7 ) 式中l ，表示宏块( x ，y ) 的可选预测模式，分为帧内模式和帧间模式，l a g r a n g i a n 参 数a 的值为0 8 5 2 口尸”肼( q p 是量化因子) ，r i 口和d m 分别表示对应预测模式 下的编码比特数和由量化造成的解码恢复图像失真。在口网络下，考虑分组丢失 的影响，端到端率失真模型( e 2 e r d ) 1 5 】可由式( 3 7 ) 改为： j 。m e ( m b x ”ix 、0 = d r b c ( m b x i 。0 + d e r r ( m b x i ；。3 + a 4r c t m b ”，i x 。0 。砷 式中d 。表示解码端出现丢包时误码扩散造成的图像失真，误码扩散由于编码端 和解码端重构图像缓存内容不匹配，而导致误码在时间域上的扩散，即不仅影响 当前帧，且持续造成后继帧的恢复图像质量下降。由前面的讨论可知，可以采用 帧内刷新技术来降低误码扩散的影响。利用上一节给出的帧内刷新尺度矩阵和式 ( 3 8 ) ，提出基于帧内刷新尺度的端到端率失真模型( m e 2 e r d ) ： j m 。似b ，i ；。= d m ( m s x i 。0 f tm + 卢( 口：l ) + d 腓( 魍，) + 丑+ 胄r 盯( 恤l ，) 式中参数夕( a ，l ) 取值与宏块m b 。的帧内刷新尺度a ：，、帧内或帧间编码 模式l ，、解码端受丢包影响系数( 本文使用网络丢包率) 相关，其具体计算 方法为： ( ，o ，气，) = 1 ，( l je i n t r a ) 1 ( 1 一只。) 2 ， ( y 1 ，x , ye i n t e r ) 使用式( 3 1 0 ) 给出的m e 2 e r d 模型对视频数据进行h 2 6 4 编码时，充分考虑到由 于网络丢包造成误码扩散所带来的恢复图像失真，并对那些造成误码扩散影响较 大的宏块进行帧内编码。这样可以有效地降低误码扩散造成的失真，提高视频量。 由式( 3 9 ) 可知，在实际视频通信系统中，需要实时反馈分组丢失对解码端恢复图 像的影响，下面将利用h 2 6 4 中s e i 域给出无需专门反馈信道的信息交互方式， 来实现自适应帧内刷新。 基于h 2 6 4 视频终端的关键技术研究及d s p 实现 3 3 2 2 基于h 2 6 4 中s e t 域的自适应帧内刷新 h 2 6 4 中定义了补充增强信息( s e i ) 1 6 1 ，它的数据表示区域与视频编码数据 独立。在s e i 域内可以记入有用的自定义信息，这些自定义信息称之为s e i 消息。 图2 给出s e i 扩展消息格式，它包括s e i 类型、s e i 载荷长度和解码端受丢包影响 参数。其中s e i 类型，s e i 载荷长度合称s e i 头信息，余下信息称为s e i 有效载荷。 图中设接收端解码器受丢包影响系数值为5 丢包率( 该参数也可以使用其它评价 值) ，s e i 类型取值定义为0 x 0 a ，表示s e i 消息是反馈解码端的出错信息，s e i 有 效载荷长度为2 个字节。 i 。 1 图3 - 2s e i 扩展消思格式 h 2 6 4 中定义的s e i 域可根据需求存放足够多的用户自定义信息。对于不支持 解析这些用户自定义信息的h 2 6 4 解码器，会自动丢弃s e i 域中的数据。因此， 在s e i 域内记入有用的自定义信息不会影响基于h 2 6 4 视频通信系统的兼容性。 在双向视频通信时，通信系统的各个终端都既有编码器，又有解码器。基于这一 特性，接收端可以将信息记入该终端编码码流的s e i 域中，发往远端。这样既不 占用专门的反馈信道，又能加快信息反馈的速度。 基于s e i 域自适应帧内刷新算法的具体步骤： 1 ) 接收端解码器将分组丢失信息发送给本端编码器。由于h 2 6 4 在m 网络 上传输使用i u l p 协议封装，因此可以利用r t p 包的接收和头信息解析 实时计算网络丢包率，作为解码端受丢包影响系数。 2 ) 将1 ) 中信息在接收端编码器编码为s e i 消息，然后进行网络适配层( n a l ) 的封装，再通过r t p u d p i p 协议封装后发往发送端解码器。 3 ) 发送端解码器解码s e i 消息，将s e i 消息内容通知给本端编码器或者丢弃。 4 ) 发送给本端编码器，如果发送端编码器能够解析s e i 消息，那么根据s e i 消息给出的网络丢包率，可以利用前面提出m e 2 e r d 模型，在发送端编 码当前帧时，对相应宏块进行帧内编码刷新。 由上面的算法步骤可知，h 2 6 4 的s e i 域能够实时给出网络上的丢包状态，这 样使用m e 2 e r d 模型进行h 2 6 4 编码，可以根据丢包率的变化自适应进行帧内刷 新，来提高丢包网络环境下恢复图像的质量，保证实时视频通信的q o s 。 第三章基于h 2 6 4 具有抗分组丢失能力的帧内刷新算法1 5 3 4 实验结果 使用标准图像序列“s t e f a n ”和“f o r e m a n ”各3 0 0 帧( 重复2 0 次) 进行实 验研究，它们是c i f 格式( 3 5 2 2 8 8 ) ，y ：u ：v 是4 ：2 ：0 。实验中设定h 2 6 4 编码器 中量化因子q