（通信与信息系统专业论文）h264avc在无线传输中的容错及错误隐藏技术研究.pdf

摘要 摘要 随着视频编码标准的发展，h 2 6 4 a v c 是目前最新的视频编码标准，其优秀 的编码效率使视频传输码率大大下降，在无线环境中传输视频应用的应用越来越 多。但是无线传输中的高误码和低带宽使传输的视频质量受到影响，因此，本课 题的主要工作就是研究适合于无线视频通信的容错技术。 本文首先对h 2 6 4 几w c 编码标准和其中的容错技术进行介绍，针对无线传输 环境的特点，选择出一些容错技术的组合进行仿真，得出在无线传输环境中的容 错策略和容错工具的特点。然后根据总结的特点提出一种波浪式的灵活宏块排序 方法。使更适合无线传输环境。 然后对解码端的错误隐藏技术进行研究，首先详细分析了h 2 6 4 参考软件j m 中的时空域错误隐藏模块，并对算法进行分析，针对空域错误隐藏中的算法的不 足，参考帧内预测中的预测模式，这里提出了8 种错误隐藏的模式，并根据这8 种模式提出一种改进的基于4 4 块的方向性的空域隐藏技术，实验证明，本文提 出的算法无论在主管还是客观质量上都优于j m 中的算法。 针对时域错误隐藏算法的不足，这里提出一种在复杂纹理穿过时的梯度匹配 算法，根据这种情况的不同提出了一种简单的自适应时域错误隐藏算法，根据周 围纹理的不同采用不同匹配算法。 关键词：h 2 6 4 ，无线视频传输，灵活宏块排序，差错隐藏 a b s t r a c t a b s t r a c t w i t ht h ed e v e l o p m e n to fv i d e oc o d i n gs t a n d a r d h 2 6 4 a v ci st h el a t e s tv i d e o c o d i n gs t a n d a r d ，a n di t se x c e l l e n tc o d i n ge f f i c i e n t l ym a k eas u b s t a n t i a lr e d u c t i o ni n b i t r a t ev i d e ot r a n s m i s s i o n ，i nt h ew i r e l e s st r a n s m i s s i o ne n v i r o n m e n t t h ea p p l i c a t i o no f v i d e oa p p l i c a t i o n si si n c r e a s i n g h o w e v e r ，t r a n s m i s s i o no fv i d e ow i l lb ea f f e c t e di nt h e w i r e l e s st r a n s m i s s i o no fh i g hb i t e r r o ra n dl o w b a n d w i d t h s ot h em a i nw o r ko ft h i s t a s ki st os t u d ys u i t a b l ef a u l t t o l e r a n tt e c h n o l o g i e sf o rw i r e l e s sv i d e oc o m m u n i c a t i o n s t h i sa r t i c l ef i r s t l yi n t r o d u c et h eh 2 6 4 a v cc o d i n gs t a n d a r da n dt h ef a u l t t o l e r a n t t e c h n o l o g yf o rw i r e l e s st r a n s m i s s i o nc h a r a c t e r i s t i c so ft h ee n v i r o n m e n t ，a n dc h o o s e s o m ec o m b i n a t i o no ff a u l t t o l e r a n tt e c h n o l o g yw h i c ha r es i m u l a t et h ee n v i r o n m e n t ， s i m u l a t i o na n dc o m ei nt h ew i r e l e s st r a n s m i s s i o no ff a u l t t o l e r a n te n v i r o n m e n ts t r a t e g y a n dt h ec h a r a c t e r i s t i c so ff a u l t t o l e r a n tt o o l s t h e nm a d eaw a v e 1 i k es o r to ff l e x i b l e a p p r o a c hm a c r o b l o c kw h i c hh a v es u m m e du pt h ec h a r a c t e r i s t i c s a n dm a k ei tm o r e s u i t a b l ef o rw i r e l e s st r a n s m i s s i o n t h e nr e s e a r c ht h ee r r o rc o n c e a l m e n tt e c h n o l o g yo ft h ed e c o d e r f i r s ta n a l y s i st h e e r r o rc o n c e a l m e n tm o d u l eo ft h eh 2 6 4r e f e r e n c es o f t w a r ej md e t a i l e d l y ，a n da l l a n a l y s i sa l g o r i t h mf o re r r o rc o n c e a l m e n ti nt h ea i r s p a c eo ft h ea l g o r i t h m ，r e f e rt ot h e i n t r a - p r e d i c t i o nf o r e c a s t i n gm o d e l ，h e r er a i s e dt h ee i g h tk i n d so fe r r o rc o n c e a l m e n t m o d e ，a n de i g h tk i n d so fp a u e r n sb a s e do nam o d i f i e d4x 4o nt h ed i r e c t i o no ft h e a i r s p a c eb l o c kh i d d e nt e c h n o l o g y ，a n dt h ee x p e r i m e n tp r o v e dt h a tt h ea l g o r i t h m p r o p o s e di nt h i sp a p e ri nt e r m so ft h eq u a l i t yo ft h ec o m p e t e n to ro b j e c t i v ea r eb e a e r t h a nt h ea l g o r i t h mi nj m f o rt i m e d o m a i ne r r o rc o n c e a l m e n ta l g o r i t h m ，w h e r eac o m p l e xt e x t u r eg r a d i e n t t h r o u g ht h em a t c h i n ga l g o r i t h ma tt h et i m e ，a c c o r d i n gt ot h ec i r c u m s t a n c e so ft h e d i f f e r e n tp r o p o s e das i m p l ea d a p t i v ea l g o r i t h mf o rt i m e - d o m a i ne r r o rc o n c e a l m e n t ， a c c o r d i n gt ot h ed i f f e r e n tt e x t u r e sa r o u n dd i f f e r e n tm a t c h i n ga l g o r i t h m k e y w o r d s ：h 2 6 4 ，w i r e l e s sv i d e ot r a n s m i s s i o n ，e r r o rc o n c e a l m e n t ，f m o i l 图目录 图目录 图1 1 视频编码标准的演进2 图1 2 典型视频编码器框图2 图2 1v l c 层和n a l 层结构图7 图2 2h 2 6 4 编码器框图8 图2 3h 2 6 4 解码器结构框图8 图2 - 4h 2 6 4 的7 种运动估计模式一l o 图2 51 6 x 1 6 块亮度帧内预测模式1 l 图2 - 64 x 4 块亮度帧内预测模式1 1 图2 7h 2 6 4 档次l3 图3 1 不采用f m 0 的片划分1 6 图3 2 交织f m o 一1 7 图3 3 交织f m o 丢包主观图17 图3 4 棋盘f m o 1 8 图3 5 棋盘f m o 丢包主观图18 图3 - 6 矩形前景f m o 丢包后主观图1 9 图3 7 环形扫描f m o 主观效果图2 0 图3 8 光栅扫描f m o 主观效果图2 0 图3 - 9 擦式扫描f m o 主观效果图2 0 图3 1 0 无线视频通信系统框图。2 2 图3 11 移动通信视频应用示意图一2 3 图3 1 23 g p p 用户平面协议栈封装过程2 4 图3 1 3 本文系统流程图2 6 图3 1 4f o r e m a n 视频序列在不同容错方案下解码后视频的峰值信噪比走势2 9 图3 15 波浪式f m o 分布图一31 图3 1 61 0 丢包环境下的比较3 2 图3 1 7 在1 0 丢包率下图像比较3 2 图4 1e r ed oi c 中框架一3 5 图4 2 差错隐藏顺序示意图3 6 v 电子科技人学硕十学位论文 图4 3i 帧错误隐藏扫描顺序3 6 图4 43 种掩盖顺序3 7 图4 5 中值内插示意图3 7 图4 6 内插坐标图3 8 图4 7i n t r a l 6 x 1 6 的四种预测模式图例3 9 图4 8i n t r a 4 x 4 的四种预测模式图例4 0 图4 9 新提出的八种基于方向性插值41 图4 1 0 方向性插值空域错误隐藏算法流程图。4 2 图4 1 1 方向性插值空域差错隐藏算法主观性能比较4 4 图4 1 2e r ed op c 中框架4 6 图4 1 3p 帧错误隐藏扫描顺序4 6 图4 1 4c o n c e a l b y t r i a l 0 执行过程4 7 图4 1 5 边界匹配4 8 图4 1 6 处于上边界处的纹理灰度值比较一4 9 图4 1 7 自适应时域错误隐藏算法流程5 0 v 1 表目录 表目录 表3 1m o b i l e i p 位错误模板2 5 表3 2 详细的容错方案2 7 表3 3f o r e m a n 视频测试序列实验结果2 9 表4 1 宏块状态表3 5 表4 - 2i n t r a l 6 1 6 预测模式说明3 9 表4 - 3i n t r a 4 x 4 的预测模式说明4 0 表4 - 4 方向性插值空域差错隐藏算法性能比较结果4 3 v i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他入已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 签名侵凡 日期：加7 年r 月z 7 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：莨r导师签名： 日期：10 0锄 ， 年r ，j 叼e l 第一章绪论 1 1 引言 第一章绪论 随着数字信息技术和网络技术的不断发展和社会的不断进步，人们对与信息 的要求不断提高。人们希望不论身处何地不论任何时间都能够畅通快捷的进行语 音，视频，互动等多种方式的通信。而其中视频通信又由于它的直观性，可靠性 和直观性等优点成为了目前最需要的技术。例如：视频电话，视频电视，远程监 控，远程教学，远程购物等。 随着人们对视频通信业务需求的不断增长，视频通信技术也在不断发展，但 是目前通信网的容量并不能满足图像通信这种在不经过压缩的时候会有很大的比 特流，不论是在存储还是传输时。例如：普通视频序列以2 5 帧秒的速度播放，以 c i f 格式( 图像分辨率为3 5 2 2 8 8 ) ，一秒的不经压缩的这种视频数据量可高达 3 8 m b 。对于如此大的数据量，想要在目前的无线网或者有线网络中存储或者传输 都是不可能的，所以需要对图像信息进行压缩，而视频压缩这种技术也成为目前 数字通信领域中的一个很重要的技术【l 】。 1 2 视频编码原理 为了满足在网络中传输视频信息，国际上两大研究视频编码的组织i s o i e c 和i t u t 不断推出了一些列先进的数字编码标准，分别是针对不同的应用领域。 i t u 组织制定的标准主要有h 2 6 x 系列，这几种标准的制定是为了满足实时通信 的需要，例如电视电话会议和视频电话等。他们主要是侧重于视频图像的压缩效 率，以适合于这种低带宽的情况下传输。而i s o 的m p e g 组织开发的视频编码标 准主要有m p e g x 系列。他们的制定主要是为了满足视频数据的存储及传输如： v c d 和d v d ，网络电视，多媒体视频流传输等等，他们主要是侧重于视频图像的 质量而对压缩码率的要求并不是很高。图1 1 是数字视频编码标准的发展过程： 电子科技大学硕士学位论文 图1 - 1 视频编码标准的发展历史 上图中这些视频编码标准都是由着两大组织针对不同的应用范围而制定的。 不同的视频标准支持不同码率，不同的视频质量要求的应用要求，可以满足各种 不同应用，例如：电话会议、视频电话、视频电子邮件、流媒体传输，网上点播等 服务。虽然上面这些视频编码标准针对不同应用各自特点不同，但是它们在很多 方面还是有许多共同的特点。 去际时| b j i 凡余及 图1 - 2 典型视频编码器框图 从图1 _ 2 1 2 j 中可以看出，一般的视频编码框架都包括三个部分模块，一个是变 换编码加上量化主要负责去除空间冗余，一个是运动估计，运动补偿部分主要负 责去除时间冗余，还有就是熵编码去除码流之间的冗余，这种编码框架也可以称 为混合编码。 上面这种混合编码结构基本上被所有的视频编码标准采用，因为这种框架综 合考虑了在视频图像信息中的各种冗余部分，以及去除这几个部分冗余的方法， 具有普遍性，而一般在视频图像中的冗余主要有以下几个方面【3 7 】： 2 二 一 矗 第一章绪论 1 ) 空间冗余 空间冗余指得是在同一帧的图像中，由于相邻像素之间差别不大，存 在的荣誉性，特别是在同一个对象中或者同一片背景中的像素之间的相关 性很强，所以去除这部分信息可以节省很大一部分码流。 2 ) 时间冗余 对以一个视频序列，一般在很长时间连续帧在时间上都是连续相关 的，除非遇到场景切换时。所以一般前后两帧图像中都基本上包含相同的 内容，只是图像中的一些对象有小范围的移动或变化。例如：新闻联播时， 主持人和背景长时间没有变化，只有嘴部小部分变化所以相近的两帧或者 几帧图像之间都有很强的相关性，去除这部分冗余也可以省去一大部分的 传输码流。 3 ) 统计冗余 统计冗余是在量化后的码流中的符号之间存在的相关性，对于这一部 分的冗余可以用无损的熵编码去除。 在视频编码中由于同时要保证视频压缩效率和视频质量两方面，所以这里也 有有损的视频编码和无损的视频编码两种，无损的编码可以保证不丢失任何信息， 保证质量。而有损编码虽然有一定程度的丢失了部分原始数据，但是它的压缩效 率很高，而只是丢失了部分人眼主观不重视的数据。而在视频编码标准中，一般 都是结合这两种编码的优点，同时使用两者，下面介绍在视频编码标准中的几种 压缩技术 1 ) 预测编码 预测编码是利用前面介绍的空间相关性( 帧内预测编码) 或者相邻帧 中的时间相关性( 帧间预测编码) 来进行预测，分别去除这些时间和空间 上的冗余信息，然后对剩下的预测残差进行量化编码。 2 ) 变换编码 变换编码主要是用来消除图像频域( 变换域) 中间的冗余。 在视频编码标准中基本上采用的是d c t 变换( d i s c r e t ec o s i n e t r a n s f o r m ) ，而最新的编码标准中多采用整数d c t ，这些改进的好处是不 但可以减少运算量，而且还可以增加编码效率。 3 电子科技人学硕士学位论文 3 ) 统计编码 统计编码可以去除信源内部的一些概率分布的不均匀性，视频编码里 主要使用熵编码。 1 3视频编码标准 随着技术的不断发展，视频图像的应用也在不断增加，而视频编码技术做为 关键技术也在飞速发展中，国际上两个开发视频编码标准的组织i t u t 和i s o 也 推除了一系列的视频编码标准，不断提升视频编码的效率以满足不同应用的需求， 按照视频编码标准发布的时间顺序可以分为h 2 6 1 t 8 1 、m p e g l t 9 、m e p g 2 t l o 。1 1 1 、 h 2 6 3 t 1 2 1 、m e p g 4 t 1 3 1 与h 2 6 4 a v c 0 4 - 1 s 】等。 1 4本文结构 本文研究的对象是h 2 6 4 a v c 在无线传输中的质量问题，首先对h 2 6 4 a v c 进行了深入的研究，从h 2 6 4 在无线传输中的容错策略着手，降低h 2 6 4 码流在 无线传输中的错误扩散，增强解码端错误隐藏效果，改善在无线传输中的容错效 果，并使之能应用到实际当中。 本文共分为五章，主要内容如下： 第一章简要分析了视频编码的基本原理和国际上先后制定的一系列编码标 准。 第二章介绍最新的视频编码标准h 2 6 4 。对其中的框架和关键技术分别进行了 详细的介绍。 第三章研究了在无线传输中h 2 6 4 的容错技术。和无线传输信道的特点，并 针对无线仿真信道m o b i l e i p 对几种典型的容错工具进行测试分析，提出适合无线 传输的容错策略。并提出一种波浪式的f m o 模式，使在编码效率和容错性能两方 面达到平衡。 第四章研究了h 2 6 4 解码端差错隐藏技术，首先对仿真平台原有的方案做了 详细分析，然后在空域差错隐藏方面，提出一种方向性插值的差错隐藏算法并进 行实验分析。在时域差错隐藏方面，对原有的技术做了详细分析后，提出了对于 4 第一章绪论 复杂边界的处理方法，结合原来算法，产生一种自适应解决方案。 第五章为全文的总结以及对未来工作的建议和展望。 5 电子科技大学硕+ 学位论文 第二章h 2 6 4 标准的关键技术分析 随着网络技术的发展，和硬件处理器计算能力的提高，一个新的编码效率高， 网络是适应能力强的视频编码标准的需求日益上升。国际电信联盟标准化组织 i t u t 视频编码专家组( v i d e oc o d i n ge x p e r tg r o u p ，v c e g ) 和国际标准化组织 i s o i e c 运动图像专家组( m o t i o np i c t u r ee x p e r tg r o u p ，m p e g ) ，在2 0 0 1 年共同 成立了一个联合视频编码小组( j o i n tv i d e ot e a m ，t ) ，研究出一种新的的低比 特率、高质量的视频编码标准一h 2 6 4 a v c 。由于这一标准是由两个国际标准组织 合作的结果，所以正式名称一般称为h 2 6 4 a v c 。目前最新的h 2 6 4 a v c 标准是 2 0 0 5 年3 月发布的，它共包括3 个部分：h 2 6 4 a v c 的标准正文，h 2 6 4 a v c 标 准的一致性验证以及h 2 6 4 a v c 的标准参考软件。本章主要研究了h 2 6 4 标准的 编解码框架，和其中的一些关键技术的分析。 2 1h 2 6 4 标准的体系结构 2 1 1 体系结构概述 h 2 6 4 结合了前面视频编码的标准的优点，同时也提出了几个不同的技术，改 进了原来视频编码中的许多细节，总体表现出强大的编码效率，一般比h 2 6 3 码 流要节省大约5 0 的比特率【1 6 】。 h 2 6 4 标准在总体上可以分为两层f 1 7 】：如图2 1 ，分别是上面的包含视频编解 码器的视频编码层( v c l ) 负责高效的视频编解码算法，下面一层是网络传输层 ( n a l ) ，负责对不同的网络传输采用不同的打包传送，适应不同的网络应用， 6 第二章h 2 6 4 标准的关键技术分析 视频编码层编码器h 2 6 4 视频编码层 网络抽象层解码器 j 、，、i l i 位n y v in lj x h r 网络抽象层编码器 h 2 6 4 网络抽象层 视频编码层解码器 m a l 编码接口 j n a l 解码接1 ：3 1p m p e g - 2f ef o m l a t h 3 2 0h 3 2 4 mr t p ，i p s y s t e m t c p i p ：x 么二n 无线网络有线网络 图2 1v l c 层和n a l 层结构图 2 1 2网络适配层( n a l ) 网络适配层并不对视频编码做任何工作，它的工作主要是对于h 2 6 4 压缩后 的码流进行打包，使编码数据可以适用于各种不同的网络传输环境，例如实时有 线、无线的因特网服务协议r t p i p ，i s o 的m p 4 的文件格式，适用于视频会话服 务的h 2 6 x 协议等。 2 1 3视频编码层( v c l ) 和所有以前的视频编码标准如h 2 6 1 、h 2 6 3 系列一样，h 2 6 4 也是以基于块 的混合编码方法。首先把一帧图像分为若干宏块，以宏块为单位进行压缩，用帧 内预测去除空间上的相关性冗余，再用帧间预测去除时间上的相关性冗余。h 2 6 4 的v c l 层【1 8 以9 1 虽然与以往视频编码标准在大体上相同，但是它在许多细节上的改 变，使编码效率有了显著提高： 1 ) 图像、帧和场：一幅图像可以以帧模式或场模式来编码，如果采用场模式， 则一帧图像可分为两场，包含全部偶数行的称为顶场：包含全部奇数行的 称为底场。 2 ) 图像分为宏块：每帧图像分成若干个固定大小的宏块，一个1 6 1 6 大小 亮度块和两个8 8 大小的色度块。 7 电子科技大学硕士学位论文 2 2h 2 6 4 视频编解码框架 h 2 6 4 a v c 的编解码流程图如图2 2 和图2 3 ，图中可以看出，这里的整体框 架与以前的视频标准没有太大的改变，但是其中的基本功能模块2 0 1 却有许多改变， 这些小的改变集合在总体上却显现出了很高效率的提升。 图2 - 2h 2 6 4 编码器框图 n a l + 图2 - 3h 2 6 4 解码器结构框图 2 2 1h 2 6 4 编码器 如图2 2 ，输入的图像f n 首先分成宏块为单位，以每个宏块为单位进行压缩。 首先根据模式选择，判断当前宏块是采用帧内压缩还是帧间压缩，如果采用 帧间预测，则预测值p r e d ( p ) 是由参考片中进行运动估计( m e ) 找到匹配块， 再进行运动补偿( m c ) 后得到。这里运动估计的范围可以在前几帧图像和后几帧图 像中寻找，可以提高匹配精度，提高压缩比。 得到的预测值p 和当前的待压缩的宏块相减，可以得到残差值d n ，再经变换， 量化，熵编码，得到的码流，再加上一些宏块和图像的序列信息，比如运动矢量， 预测模式，量化参数等等，得到的码流传到n a l 层经打包后传输或存储。 8 第二章h 2 6 4 标准的关键技术分析 如果是帧内预测，则根据选择的预测模式，由相邻块像素进行预测，再与当 前宏块相减，得到码流，和上面相同步骤进行那个压缩。 同样，下面还有一些列的反向流程，为了得到重建的预测参考图像，用于帧 间预测。 这里还设置了环路滤波器，为了去除在以宏块为单位而压缩的块效应，提高 图像的主观质量。 2 2 2h 2 6 4 解码器 图2 2 所示，h 2 4 6 的编码后的码流，经过与编码相反的过程，首先反熵编码， 反量化，反变换，再经过码流中的一些头信息得到是由帧内编码还是帧间编码， 再根据设定进行不同的解码。最后经过环路滤波器，去除块效应，得到解码图像。 2 3h 2 6 4 视频编码关键技术分析 2 3 1 帧间预测 h 2 6 4 中的运动估计和帧间预测相比以往标准有了很多改进： 1 ) 首先，增加了可以参考多个参考帧口1 也2 1 的运动搜索范围，双向预测帧b 帧也是第一次提出，特别适合于周期运动的视频序列，而在以前的标准如 h 2 6 3 中并没有b 帧【2 3 1 。 2 ) 其次，增加了7 中小分块模式，如图2 4 ，新增加了1 6 1 6 、1 6 8 、8 1 6 、8 8 、8 4 、4 8 和4 4 的分块2 4 1 ，分成小块可以使匹配更加准确， 残差系数更小，提高压缩效率，而h 2 6 3 中最多支持1 6 1 6 和8 x 8 两种 块大小。 9 电子科技大学硕士学位论文 m o d e = l 8 8 目田田 m o d e = 2 8 4 m o d e = 3 4 8 m o d e = 4 4 4 目田田 m o d e = 4m o d e = 5m o d e = 6m o d e = 7 图2 - 4h 2 6 4 的7 种运动估计模式 3 ) 此外，运动矢量可以被更高的空间精度所描述，支持1 4 像素精度【2 5 1 ；而 在h 2 6 3 中，运动矢量最多只有1 2 像素精度，而最新的m p e g 4 模型中， 运动矢量也只有1 4 像素精度。 4 ) 除了以前标准中都有的帧内编码帧i 帧，帧间p 编码帧，和双向预测帧b 帧这三种之外，这里引入了一种新的s p 帧帧问编码帧和s i 帧间编码帧， 这种加入的帧使码流可以灵活的切换，快进，等操作。 5 ) 为了有效地去除由于量化造成的视觉方块效应并提高视频质量，h 2 6 4 运 动补偿上增加了去块滤波器【2 6 1 。 在这里h 2 6 4 在对整像素的运动估计进行改进，增加了1 4 或1 8 像素精度的 运动矢量。增加了搜索的精度，增加了匹配的准确性，提升了编码效率，同时提 供滤波器可以对不同精度的搜索块进行插值，同时对帧间预测的模式也有改进， 提出了7 种不同大小的块分割，使得对于不同的细节部分可以有多个运动矢量， 有利于复杂图像的压缩。 2 3 2 帧内预测 以f j 视频编码中的预测技术主要都是在时间预测上，由于前后两帧在由于在 时间上变化不大，所以去除这种时间冗余可以大幅度减少传输比特，而h 2 6 4 中 则增加了帧内预测编码，这种技术是利用一帧图像中由于位置相邻的几个像素间 变化不大，有很强的相关性，去除这种空间冗余同样可以大幅度的减少传输比特， h 2 6 4 标准中对1 6 1 6 宏块的亮度分量有4 种预测模式( 如图2 5 ) ；对于4 x 4 块的预测模式多达9 种，包括d c 预测和其它8 种方向预测( 如图2 6 ) ；而色度 1 0 第二章h 2 6 4 标准的关键技术分析 分量中的预测模式则采取的是亮度预测中1 6x1 6 块的预测模式【2 7 】： 0 ( 乖直) m 麓“+ 0 ： r 。 v ：勰 ： 毽 二i三霪 鬈 图2 51 6 1 6 块亮度帧内预测模式 黻abcd髟降l g l 塌 iabcd j 幸f垒 盎， 。k lj 皋 蔓国最 矗5 3 ( 对角线左下) 渤abcde l f g 翊 il 葛露 j j岩 鬼k k 迓， 豳譬：( 斑 6 ( 水平向下) 黼ab e黟 露 f 潞l 弼 l a - - kc e - -遗 j- f曹 、k k、卜 - k - - k 义 国讼吨、冷、沲 4 ( 对角线右下) 7 ( 垂直向左) 僦a | bede l 扩 辔 嬲 。l卅b c d 7 塑趋逛售 屈 。ki 习 ；d 妇汝沥蚓 流 。 c _ _ c a a 一 e ? 1 一 m d 。琶1 嚣g l j k 立 k o d h 。 e 5 ( 垂直向右) 取a m 的均值 獬ab cd瑗羹彰 g ，l 瑚 ，王 a、彤 cd 。j 文 八 岔、峨 kq j 汝n 滋成n -d -凶 8 ( 水平向上) 丽暑bcd舷弘影i g t 瑚 i少，矿夕- d j夕- 1 暂竹 kp 气多叩 蘑! a -奠镌 图2 64 x 4 块亮度帧内预测模式 2 3 3 整数变换与量化 量化编码技术也是以前视频标准中都广泛应用的技术，但是这里在h 2 6 4 视 频编码标准中改进了以前的量化技术，这里使用了4 x 4 点的整数空间变换 2 8 - 3 1 】， 如式2 一i 所示。原始采样点为施，正向变换后的矩阵为y 。 i - 1 11 1 - 1 ll y = 二：- 。2i i1 2 2 一l l lj 嘞， 装x23x20x30 x a a l 而l而2 而l恐2 211 i l 1 一l 2f 一1 12l ( 2 - 1 ) l - 21- 1i 2 3 4熵编码 h 2 6 4 a v c 中提供两种熵编码方法。一种基于上下文自适应的可变长编码 p。，。l 电子科技大学硕+ 学位论文 ( c a v l c ) ，另外一种是内容自适应的二进制算数编码( c a b a c ) 3 1 】。c a v l c 编 码，无论符号表述什么类型的数据，编码器都使用统一的变长码表，由于码表是 从概率统计分布模型得出的，并没有考虑编码符号之间的相关性，但是由于码表 固定，所以计算量较小，使用于对实时性要求高的情况。而c a b a c 则采用句法 元素的基本概率模型，并通过内容建模， 的变化，因而能更好地去除符号相关性。 2 4h 2 6 4 视频编码档次划分 使基本概率模型能够适应视频统计特性 但是相对计算量较大，耗时较长。 h 2 6 4 规定了三种档次【1 4 1 ，如图2 7 ，这三个档次分别包含一些不同的编码参 数，并且使用于一些不同的应用环境。 1 ) 基本档次：这里包括的技术有帧内编码和帧间编码，基于上下文的变长编 码熵编码( c a v l c ) 等基本技术，有利于节省编码时间，适合于实时应用的情况， 主要用于视频电话，电话会议等无线传输中的视频应用。 2 ) 主要档次：包括的技术有场模式，帧间预测中的b 帧双向预测帧和利用上 下文的自适应算数编码( c a b a c ) 。主要应用于数字视频信息的存储。 3 ) 扩展档次：包括的技术有码流之间的切换片( s p 片和s i 片) 、数据分割等。 如图2 7 所示h 2 6 4 的三个个档次分别包含了一些不同的编码技术，每一部分 根据不同的应用需要设定了不同的编码参数，选用了不同的编码方式，以适应不 同环境中的各种需要。而本文由于只研究在无线传输环境中应用的抗误码技术， 所以这里只使用基本档次。 1 2 第二章h 2 6 4 标准的关键技术分析 图2 7h 2 6 4 档次 电子科技人学硕十学位论文 第三章h 2 6 4 a v c 在无线传输中的容错策略及改进 在过去的几十年中，无线通信和多媒体视频编码技术都取得了较大的发展， 随着技术的发展，越来越多的多媒体通信业务也在不断出现，视频方面的应用也 越来越多的出现在我们的闩常生活中。在高效率的视频压缩算法，低功耗高计算 量的集成电路，越来越强大的数字信号处理芯片等方面的进展也飞速进行。如今， 在无线通信中传输视频多媒体业务也已经成为当今信息科学与技术的重要课题。 以往的无线网络大部分业务也只是局限于语音服务，而如今，无线通信中的 多媒体数据占据着越来越大的比重，但是由于无线通信环境的高误码，低带宽的 传输环境，对视频编码技术的要求也越来越高。随着移动技术的发展，无线传输 带宽也逐渐增大，给多媒体视频应用也提供了良好的环境。但是多媒体信息信息 的信息量还是比较大。例如：对于可视电话这类低分辨率和图像运动量不大的视 频，要获得满意的图像质量也需要几十k b p s 的带宽。于此同时，目前广泛使用的 第二代通信系统g s m ，通常也只能提供1 0 1 5 k b p s 的带宽，所以只能满足语音方 面的服务。对于视频传输来说是远远不够的，但是，最近随着第三代移动通信技 术的发展，视频传输的带宽问题已经得到了一定得缓解。 3 。1h 。2 6 4 中的容错技术 随着h 2 6 4 a v c 对图像的压缩率的提升，使传输的视频码率越来越低，在无 线传输中的视频应用也越来越广泛，但是由于无线传输环境的高误码使传输的视 频流很容易受到干扰，而且容易随着时间的延伸，误码逐渐扩散，所以在无线传 输环境中，需要加入容错技术，来保证视频传输的质量。而且加入的容错技术要 符合无线环境的特点。 3 1 1容错技术的分类 由于本文主要研究的信源视频方面，所以这旱不包含信道容错技术，而只研 究信源端的容错技术，信源的容错技术主要分为以下三类3 7 】： a ) 编码器端容错，在编码器端加入一些冗余来增加码流的抗误码能力，使用各 1 4 第三章h 2 6 4 a v c 在无线传输中的容错策略及改进 种容错能力强的编码工具。 b ) 解码器端容错，在解码端，根据接收到得正确的信息来估计和恢复出已经丢 失的活着错误的信息。 c ) 编码器和解码器的联合容错，在解码端检测到的错误或丢失休息反馈到编码 端，编码端进行重新处理或者重传等，由编码器根据反馈的信息在编码时根据反 馈信息加入不同的编码工具或使用不同的参数来防止这种情况的误码，但是由于 要加入反馈信道所以增大了信道的带宽，在无线传输这种低带宽的情况下，会产 生延时。 由于篇幅限制，本文讨论的容错技术和容错策略只包括上面前2 种。 3 1 2h 2 6 4 容错技术相关工作 对于h 2 6 4 a v c 在无线网络中的容错技术和传输应用，s t e p h a nw e n g e r 和 t h o m a ss t o c k h a m m e r 做出了众多研究。在文献【3 8 1 中，s t e p h a nw e n g e r 分析了 h 2 6 4 a v c 在基于i p 的网络( 无线网络和和有线网络) 中的应用，同时对各种网络 中的协议和h 2 6 4 a v c 的容错技术进行了分析。在文献【3 3 1 中，t h o m a ss t o c k h a m m e r 详细分析了h 2 6 4 a v c 在无线网络中各种容错工具的使用。 在h 2 6 4 解码端提供了错误隐藏技术是目前应用最广的，效果也是最突出的。 目前在这方面的研究主要是根据图像在时间和空间的相关性来进行对丢失数据的 恢复。 上面介绍的这些文献从几个方面对h 2 6 4 a v c 在传输过程中的让那个错技术 进行了研究和分析，主要是在各种理论上的该进。如果具体考虑无线网络的网络 延时性和终端的计算能力小的实际应用情况，则其中许多复杂的算法都不适与应 用到无线环境中。 3 1 3编码器端的容错技术 在h 2 6 4 a v c 视频编码和解码端也都提供了几种容错工具，但是这些容错方 法由于有些要求带宽，有些过于复杂，有些带入延时等，所以本节选出几种适合 于无线环境加入的容错技术，进行分析【4 4 1 。 3 1 3 1帧内编码块刷新( i n t r ab l o c kr e f r e s h i n g ) 由于帧内编码是只根据当前帧的空间信息进行压缩，所以可以有效的制止随 1s 电子科技人学硕士学位论文 着时间蔓延的错误，从而有良好的容错性能，但是这种编码方式的压缩效率相比 帧间编码要高很多，而在在危险传输环境中，低带宽的情况不允许i 帧的过多出现， 这里针对这些情况，有了两种在一帧图像中加入若干个帧内编码块的方法，这种 方法不但能组织错误在图像中的扩散，同时由于加入了若干个帧内编码块，也不 会太多的增加码率。 h 。2 6 4 中提出了两种帧内刷新块的方法，一种是行刷新模式，这种模式的方法 是对一帧图像中的一行进行帧内编码，另外一种是随机帧内编码模式，这种方法 是在一帧图像中随机选择设定的帧内编码数，这些帧内编码块也是随机的。 3 1 - 3 2片、片组和f m o 一幅图像可以分成一个片或多个片，每片包含一系列的宏块。每个片独立进 行编码解码，不同片的宏块不能应用于本身片中做为预测参考值。所以，片的设 置会限制误码的扩散。如图3 - 4 所示，片0 、片1 和片2 中的宏块独立进行编解码， 相互之间不作为预测参考值。 止n ，l 片1 门厶 图3 一i 不采用f m o 的片划分 f m o 用到片组的概念，每个片组是由宏块到片组映射定义的一系列宏块组成。 宏块到片组的映射内容由图像参数集和片头的一些信息来说明，它包含图像中每 个宏块所属的片组号。每个片组可分成一片或多片，这样片就是同一片组中按顺 序排列的一系列宏块。片组可以按前景、背景分，也可按感兴趣的区域分或按间 隔取，有利于对出现错误或丢失时的掩盖和恢复。 由于解码端的错误隐藏技术需要丢失块的上下左右正确块或已修复块作为参 考，所以突发性的一片错误或集中性的错误不利于解码端的错误恢复。而f m o 技 术刚好解决了这种问题的发生。通过f m o 不同模式可以是突发性的错误分散，避 免其在一个区域积累。f m o 技术可以使不同宏块分配到不同的片中，使宏块不需 要按照顺序扫描打包传送。由于临近的宏块分散到了不同的切片，打乱了顺序， 而且每个片组可以独立解码。这样使在无线的高误码环境中，错误被分散到整个 1 6 第三章h 2 6 “a v c 在无线传输中的容错策喀及改进 图像中。 在使用f m o 时，参数集的参数宏块分配图( m b a m a p ) 表示宏块的空问位置 与片组的映射关系。在j m 中可以有7 种不同的映射方式，这7 中模式的选择取决 于在j m 的配置文件e n p , o d 盯c f g 中的参数d 岫o “p m a p 铆p e 的选择，参数为o 6 分别对应f m o 模式的0 - 6 。接下来我们将分别简单介绍。 1 f m o 模式0 ：交织模式( i n t e r l e