（通信与信息系统专业论文）无线信道下h264视频传输的差错控制研究.pdf

武汉理工大学硕士学位论文 摘要 随着无线通信技术的迅猛发展，无线网络的带宽得到了很大的提高，使得 在移动环境下进行多媒体传输成为可能。视觉作为人类最主要的信息获取方式 决定了视频通信必将成为未来通信业务中的核心。和有线信道相比，无线信道 还存在着误码率商，传输质量差的致命缺陷，从而给在无线信道中进行视频传 输带来了巨大的挑战。 为了节省网络资源，各种视频编码技术对数据中的冗余信息进行了压缩， 大大降低了所需传输的数据量。压缩技术一方面使得视频信息得以通过较少的 数据进行传输；另一方面却因为数据问相关性的降低而加重了传输过程中误码 对视频质量的影响。以至于在视频编码技术中，差错控制和掩藏技术成为了重 要的组成部分。 由于无线信道高误码率和丢包率的固有特性，使得无线环境下数据通信的 可靠性较有线信道更低。这就对无线信道环境下进行视频传输时的差错控制技 术提出了更高的要求。 h 2 6 4 视频编码技术通过更为精确的帧内和帧间预测编码，得到了大大高 于以往视频编码技术的压缩率，使得在低码率下的视频传输成为可能。在差错 控制技术上，h 2 6 4 编码标准除了沿用已经证明成熟有效的方法，还引入了许 多新的技术，如参数集，冗余片以及灵活宏块排序等。 本文的主要研究和工作包括以下几个方面： ( 1 ) 学习了解视频编码及传输系统中的差错控制技术。 ( 2 ) 分析h 2 6 4 视频编码技术中的帧内和帧间预测方式，及预测技术对传 输过程中的误码造成的影响。 ( 3 ) 研究目前h 2 6 4 标准中新引入的差错控制技术，分析各种技术的效果 和实用性。 ( 4 ) 考虑无线环境下网络带宽和终端设备性能的限制，选取对解码器复杂 度和信道条件要求较低的灵活宏块排序技术作为研究对象。提出一种基于显示 模式的优化宏块排序方案。该方案在编码过程中按照图像特征不断对宏块分配 映射表( m b a m a p ) 进行更新，以实现片组随图像特征变化的自适应划分。 ( 5 ) 模拟无线信道传输特性进行仿真测试，比较优化的宏块排序方案与原 有方案在抗误码性能和编码效率上的优劣。 关键字：差错控制，错误隐藏，灵活宏块排序 武汉理工大学硕士学位论文 a b s t r a c t a sw i r e l e s sc o m m u n i c a t i o nt e c h n o l o g y sr a p i dd e v e l o p m e n t t h ew i r e l e s s n e t w o r kb a n d w i d t hh a sb e e ng r e a t l yi m p r o v e d ；m a k i n gt h ew i r e l e s sm o b i l e m u l t i m e d i at r a n s m i s s i o nb e c a m e p o s s i b l e v i s i o n a st h em a i ni n f o r m a t i o n a c q u i s i t i o nw a yo ft h eh u m a n ，d e c i d e dt h ev i d e oc o m m u n i c a t i o nw i l lb e c o m et h e f u t u r eo ft h ec o r ec o m m u n i c a t i o n sb u s i n e s s b u t ，c o m p a r e dt ot h ec a b l ec h a n n e l ， t h e r ei ss t i l lah i g he r r o rr a t e ，p o o r - q u a l i t yt r a n s m i s s i o no ft h ef a t a ld e f e c t si nt h e w i r e l e s sc h a n n e lh a sb r o u g h te n o r m o u sc h a l l e n g et ot h ev i d e ot r a n s m i s s i o n i no r d e rt os a v en e t w o r kr e s o u r c e s ，a l lk i n d so fv i d e oe n c o d i n gt e c h n o l o g i e s c o m p r e s s e di n f o r m a t i o nr e d u n d a n c yg r e a t l yt or e d u c et h ea m o u n to fd a t ar e q u i r e d f o rt r a n s m i s s i o n o nt h eo n eh a n dv i d e oc o m p r e s st e c h n o l o g ym a k el e s sd a t an e e dt o b et r a n s m i t t e d ，o nt h eo t h e rh a n d ，b e c a u s er e d u c et h ec o r r e l a t i o nb e t w e e nt h ed a t a , t h ee f f e c to fe r r o r , w h i c hm a d ei nt r a n s m i s s i o n ，t ot h ev i d e oq u a l i t yi n c r e a s e d s oi n v i d e oe n c o d i n gt e c h n o l o g y , e r r o rc o n t r o la n dh i d et e c h n o l o g yh a sa ni m p o r t a n t p o s s i s i o n a sw i r e l e s sc h a n n e lh i g he r r o rr a t ea n dp a c k e tl o s sr a t eo ft h ei n h e r e n t c h a r a c t e r i s t i c so fw i r e l e s sd a t ac o m m u n i c a t i o n su n d e rt h er e l i a b i l i t yl o w e rt h a nt h e c a b l ec h a n n e l t h i se n v i r o n m e n to ft h ew i r e l e s sc h a n n e lr e q u e s tv i d e oc o d i n g se r r o r c o n t r o lt ob em o r ee f f i c i e n c y h 2 6 4v i d e oe n c o d i n gt e c h n o l o g yt oa c c u r a t e l yp r e d i c tt h ev i d e oi n f o r m a t i o ni n b o t ht h et i m ea n ds p a c ef i e l d ，i t sg e tm u c hh i g h e rc o m p r e s s i o nr a t et h a nt h ep r e v i o u s v i d e oc o d i n gt e c h n o l o g y , a n dm a k e st h el o wr a t eo ft h ev i d e ot r a n s m i s s i o np o s s i b l e i ne r r o rc o n t r o l ，e x c e p tu s ep r o v e de f f e c t i v ea p p r o a c h ，h 2 6 4a d d sm a n yn e w t e c h n o l o g i e s ，s u c h a st h es e to fp a r a m e t e r s ，r e d u n d a n c ys l i c ea n df l e x i b l e m a c r o b l o c ko r d e r i n g t h em a i nr e s e a r c ha n dw o r ko ft h i sp a p e ri n c l u d es e v e r a la s p e c t sa sf o l l o w s ： ( 1 ) s t u d yt h e e r r o rc o n t r o l t e c h n o l o g yo fw i r e l e s s v i d e oe n c o d i n ga n d t r a n s m i s s i o ns y s t e m ： ( 2 ) a n a l y s i si n t r aa n di n t e rp r e d i c t i o np r o c e s so ft h eh 2 6 4v i d e oe n c o d i n g t e c h n o l o g y , a n dw h a te f f e c tw i l lb r i n gt ot h ee r r o rh a p p e n e di nt h ec o m m u n i c a t i o n ( 3 ) s t u d i e st h ec u r r e n te r r o rc o n t r o lt e c h n o l o g yu s e d i nt h eh 2 6 4v i d e o 武汉理工大学硕士学位论文 e n c o d i n gt e c h n o l o g y , a n da n a l y s i st h ee f f e c t i v e n e s sa n dp r a c t i c a l i t yo f t h e m ( 4 ) i nc o n s i d e ro ft h ew i r e l e s se n v i r o n m e n ta n dn e t w o r kb a n d w i d t hi i m i t a t i o n s o ft e r m i n a le q u i p m e n t s ，s e l e c tt h el o wd e c o d e rc o m p l e x i t ya n dc h a n n e lc o n d i t i o n s r e q u i r ef l e x i b l es l i c eo r d e r i n gt e c h n o l o g ya ss t u d yp o i n t s p r o p o s e sa l li m p r o v e d m e t h o db a s e do nf m o s ( f l e x i b l em a c r o b l o c ko r d e r i n g ) e x p l i c i tm o d i nt h ec o d i n g p r o c e s s ，a c c o r d i n gt ot h ec h a r a c t e r i s t i c so ft h ei m a g e sm a c r o b l o c k su p d a t e dt h e m b a m a p ，i no r d e rt oa c h i e v er e d r e s st h es l i c eg r o u pt oa d a p t i v ec h a n g e so ft h e i m a g e ( 5 ) a n a l o gw i r e l e s sc h a n n e lt r a n s m i s s i o nc h a r a c t e r i s t i c so fs i m u l a t i o nt e s t s p r o p o s e sm e t h o d ，a n dc o m p a r ei t sa n t i 。e r r o rp e r f o r m a n c ea n dc o d i n ge f f i c i e n c y w i t ho r i g i n a lm e t h o d k e yw o r d ：e r r o rc o n t r o l ，e r r o rc o n c e a l m e n t ，f m o 1 1 1 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人 已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育机构的 学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已 在论文中作了明确的说明并表示了谢意。 签名：熟垒 签名：熙苴一 日期：z 以乒2 - 关于论文使用授权的说明 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即学校有权保 留、送交论文的复印件，允许论文被查阅和借阅：学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签轹鱼盎聊躲锻日期：丝 武汉理工大学硕士学位论文 第1 章绪论 在人类的日常生活和学习中，视觉是最重要的获取信息的方式。随着通信 技术的迅速发展以及无线网络带宽的不断提高，在移动环境下为用户提供视频 通信业务己成为可能。由于视觉的重要性，视频通信必将成为未来移动通信业 务发展的核心组成部分。 记录视频所需的数据量十分巨大，以传输q c i f 格式的彩色视频图像为例， 分辨率为1 7 6 1 4 4 像素，每个彩色分量8 比特，在帧率为每秒3 0 帧的情况下， 每秒要传递1 m 字节以上的数据，造成网络的巨大负担。因此，对视频图像进行 有效压缩并可靠的传输是实现无线视频通信所必须解决的重点问题。 1 1 视频编码技术发展背景及现状 从1 9 4 8 年o l i v e r 提出p c m 编码理论【1 】以来，视频编码技术经历了6 0 年的快速发展。传统的视频压缩编码以香农的信息论 2 1 为基础，利用各种技术来 去除视频图像数据中的冗余信息，进行视频压缩。根据编码技术所利用冗余类 型的不同，t o r r e s 等人将视频编码分为第一代视频编码和第二代视频编码两个 阶段【3 1 。 第一代视频编码技术以像素或像素块为编码对象，利用的是视频数据的空 间及时间冗余性进行压缩，没有考虑人眼视觉特性在感知上的特点。第一代视 频编码技术主要包括变换编码、预测编码、熵编码等 4 1 。在中等压缩率下，第一 代视频编码技术能提供非常好的图像质量，但在非常低的码率条件下，无法提 供令人满意的质量。 二十世纪八十年代后期，在对人类的视觉生理、心理特性的研究成果基础 上，瑞士学者m k u n t 等人于1 9 8 5 年提出了利用人眼视觉特性的第二代视频 编码思想扣j 。第二代视频编码技术则不再局限于信息论的框架，充分利用人的视 觉特性、心理和信源的各种特征，实现从“波形”编码到“模型 编码的转变， 以期获得更高的压缩比。第二代视频编码技术的主要代表有：基于分割的编码 方法【6 1 、基于模型的编码方法【7 1 和分形编码【8 】等。第二代视频编码技术建立在图 像分析与合成、计算机图形学、计算机视觉等基础上，其中许多新的编码技术 武汉理工大学硕士学位论文 还有待进一步的研究与探索。 随着视频编码技术的不断发展和成熟，各种标准化组织开始将视频编码技 术的研究成果转化成国际标准。当前制定视频编码国际标准的组织主要有两个， 即国际电信联盟( i t u t ) 和国际标准化组织( i s o ) ，他们制订的标准分别针对 不同的应用场合形成两个系列【9 l ，目前主要采用的是第一代视频编码技术： i t u t 制订应用于网络通讯行业的h 2 6 x 系列标准：1 9 9 0 年制订了针对可 视电话和视频会议的视频编解码标准h 2 6 1 i l ，该标准包含的比特率为p 6 4 k b p s ( p = 1 ，2 ，3 0 ) ；1 9 9 5 年制订了面向甚低码率视频应用的编解码标准h 2 6 3 t 】， 并在随后几年中对其进行了多次补充，以提高编码效率，增强编码功能；2 0 0 3 年，和i s o 联合制订了一个视频编码标准，i t u t 组织称其为h 2 6 4 1 1 2 j ，i s o 组 织则将其命名为m p e g 4p a r t1 0a v c 。由于能够提供更高的压缩编码效率，适 应更多的网络应用，h 2 6 4 a v c 是到目前为止最成功的第一代视频编码标准。 i s o 运动图像专家组【l 副( m p e g ) 制订应用于媒体业务的m p e g x 系列标准： 1 9 9 3 年制订了针对1 5 m b s 速率的编码标准m p e g 1 【1 4 】，该标准使得基于 c d r o m 的数字视频以及m p 3 等产品成为可能；1 9 9 5 年与i t u t 联合制订了 m p e g 2 1 1 5 j 标准，该标准是在m p e g 1 标准基础上的进一步扩展和改进，针对数 字视频广播、高清晰度电视以及d v d 应用，i t u t 称其为h 2 6 2 ；1 9 9 2 年，m p e g 专家组决定开发新的适应于极低码率的视音频编码国际标准，即m p e g 4 【l6 1 ，它 更多定义的是一种格式和框架，而不是具体的算法，这样各种多媒体技术如图 像分析与合成、计算机视觉、语音合成等也可以充分应用于编码中；1 9 9 6 年， m p e g 组织提出制订多媒体内容描述接v i ，即m p e g 一7 【1 7 1 , 目标是建立一套视 听特征的量化标准描述符及其结构以及它们之间的关系，称为描述方案；1 9 9 9 年，m p e g 组织进一步提出制订多媒体框架m p e g 2 1 i l 引，考虑如何将现有的不 同协议、标准以及技术结合起来。 国内在视频编码标准的制定方面起步相对较晚，“数字视音频编解码技术标 准化工作组 于2 0 0 2 年6 月正式宣布成立，简称a v s 工作组，负责我国数字视 音频等媒体的压缩、解压缩、处理和表示等编解码技术标准( a v s ) 的制订工作。 在视频编码技术的发展过程中，编码效率得到了极大的提高。近年来，随 着m p e g 4 h 2 6 4 等高效编码技术的成熟，运用于i n t e m e t 网络中流媒体技术得 到了飞速发展。 武汉理工大学硕士学位论文 1 2 流媒体技术 流媒体技术是一种应用于i n t e m e t 网络中音视频传输方式，又称为流式媒体。 流媒体技术的最大特点就是其数据的流式传输方式，音视频数据经特殊的编码方 式分成一个个的数据包在网络上传输。各个包的数据可以相对独立的解码，解码 器仅需在开始时缓冲几秒钟后便可以得到流畅的图像，从而使用户不再需要花费 很长时间将数据全部下载到本地后才能观看。流媒体技术的使用使得网络中视频 传输的实时性得到了极大的提高，因此得到人们的广泛关注，发展十分迅速。 由于流媒体技术的实时性要求，如何高效的对数据进行压缩并打包传输是 其实现的关键。h 2 6 4 a v c 视频编码标准所提供的高压缩率和良好的网络适应性 使得其在流媒体中的应用较其他标准更具优势。 1 3 视频压缩 由于视频数据具有很强的时空间相关性，所以未经处理的视频信号本身存 在着大量的时间和空间冗余信息。无论从存储或传输的角度考虑，对视频数据 进行压缩编码是提高系统效率必不可少的。 编码技术按照压缩数据能否被准确的恢复可以分为两大类：无损编码和有 损编码。无损编码虽然可以无失真的恢复出原始数据，但压缩效率较低。因此， 在现有的视频压缩技术中通常将二者结合使用。主要有预测编码、变换编码和 熵编码。 ( 1 ) 预测编码 预测编码可以在一幅图像内进行( 帧内预测) ，也可以在多幅图像间进行( 帧 间预测) 。基于图像数据的时间和空间冗余性，用相邻的已知像素来预测当前像 素的值，然后对预测误差来进行量化编码。 ( 2 ) 变换编码 变换编码的目的是在变换域中最大限度地去除图像的相关性，主要有正交 变换编码、子带编码和小波变换编码等。正交变换编码将空间相关的像素点映 射到变换域上，使得变换后的系数之间相关性降低；子带编码是将图像分成不 同频段的子带，对不同子带设计不同的编码参数而提高图像质量；小波变换编 码则具有在时域和频域同时具有的良好局部特性，与人眼视觉特性相符的多分 辨率能力，分解系数分布平稳等优点。另外，在预测编码后通常使用d c t 变换 武汉理工大学硕士学位论文 来进一步处理编码数据。 ( 3 ) 熵编码 熵编码是利用信息码字出现概率的分布特征进行压缩的编码方式。对出现 概率大的码字分配小字长，出现概率小的码字分配长字长，寻找概率与码字长 度间的最佳匹配。熵编码是数字通信中十分重要的压缩方式。 视频压缩极大的降低了视频码流的码率，提高了单位码字的信息量，传输 过程中产生的误码在对当前图像质量产生影响的同时还会造成误码扩散，使图 像质量严重劣化。因此，在各种视频编码标准差错控制是十分重要的内容。 1 4 差错控制 在信息传输的过程中，由于各种干扰的存在，错误不可避免会发生。传输 中的误码可以分为两种情况：一种是由信道的物理缺陷而随机产生的，如比特 跳转、插入及删除等随机比特错误，另一种是集中或连续地数据包丢失带来的 突发错误。其中突发错误会比随机比特错误造成更严重的影响。 而在视频信号的传输过程中，目前几乎所有的视频编码标准都采用了运动 估计和变长编码等技术。一旦有误码出现，不仅影响出错数据的解码，还会对 其他相关数据的解码造成影响，形成误码扩散，使视频的质量急剧下降；若是 误码造成了同步码字的丢失更是可能使得解码过程无法正常进行。因此，在进 行视频传输时，如何降低传输过程中产生的错误对视频质量的影响是视频编码 技术中的一个重要部分。 差错控制技术主要有两个研究方向：无损恢复和近似重构。无损恢复主要 采取的技术有：前向纠错( f o r w a r de r r o rc o r r e c t i o n f e c ) 、错误控制编码( e r r o r c o n t r o lc o d i n g e c c ) 和请求重传( a u t o m a t i cr e t r a n s m i s s i o nr e q u e s t a r q ) ： 近似重构则致力于得到与原始信号最接近的结果，即在解码端使得错误部分的 失真最小。 目前的差错技术主要分为三类：预处理差错控制技术、后处理错误隐藏技 术和交互式错误隐藏技术。预处理差错控制技术主要在编码端实现，一般需要 解码端的配合，效果较好；后处理错误隐藏技术只在解码端实现，不会增加信 道开销，通用性强，网络适应性和平台致性好，效果一般；交互式差错控制 技术效果最好，但需要额外的信道支持，且对软硬件要求较高，不适合实时性 要求较高的应用场合。 4 武汉理工大学硕士学位论文 1 5 无线传输系统对视频传输的影响 信息的传递可分为沿导体传播( 有线信道) 和自由空间传播( 无线信道) 两种方式。在有线信道中，导体对电信号的良好导通性能使得传输损耗较小。 而无线信道的多径衰落、时延扩展、噪声和多址干扰等固有特性给传输视频信 息带来了额外的挑战。主要影响有如下几点： ( 1 ) 带宽资源有限 由于视频的播放有严格的实时性要求，使得网络必须为视频传输提供足够 的带宽。而无线网络的信道带宽资源非常有限，为了能在有限的网络带宽中传 输大量的视频数据，必须采用高效的压缩算法，而且需要进行码率控制，使得 编码输出的码率能与信道带宽有效匹配。 ( 2 ) 带宽存在波动 由于多径衰落、时延扩展、噪声和多址干扰等原因，使得移动终端在网络 间移动时，信道带宽会发生剧烈的变化，而这些变化会直接导致接收端图像质 量的剧烈波动，影响人的主观感受。 ( 3 ) 信道误码率高 无线信道具有很大的噪声。无线网络的时变特性与噪声影响使传输的可靠 性大为降低，在无线传输中经常会出现连续的、突发性的传输错误。而高度压 缩后的视频码流存在很强的相关性，因此对传输时所产生的误码非常敏感，一 旦发生了误码，不仅影响该误码数据的恢复，还会影响与之相关的其他数据的 恢复，使恢复出来的信号面目全非，从而影响重建视频的质量。因此，必须设 计可以有效抵抗信道误码的差错控制机制来提高视频传输的可靠性。 ( 4 ) 终端设备性能有限 无线终端设备( 手机、无线p d a 等) 为了追求便携性、低功耗以及低成本， 体积和重量受到很大限制，其处理能力与显示能力与p c 机等有线网络终端设备 相比有很大不足。因此，终端设备处理能力的限制对视频编码算法的复杂度提 出了严格的要求。 1 6 组织结构与工作 全文分五章，内容安排如下： 第l 章为绪论，描述视频编码标准的国内外研究背景及现状，并分析在无 武汉理工大学硕士学位论文 线环境中实现视频传输必须解决的关键问题。 第2 章分析h 2 6 4 a v c 视频编码标准的编解码框架，学习掌握h 2 6 4 a v c 中涉及的各关键技术。 第3 章研究在h 2 6 4 a v c 视频编码标准中有重大改进和新加入的各种差错 控制和错误隐藏技术。分析各种技术对无线环境下视频传输的差错控制效果和 性能。提出一种依据图像特征，及时更新m b a m a p 以适应图像变化的优化宏块 排序方案。 第4 章具体实现优化的宏块排序方案并对其性能进行测试分析。 第5 章对全文进行总结和展望。 6 武汉理工大学硕士学位论文 第2 章h 2 6 4 a v c 视频编码标准及其主要技术 2 1h 2 6 4 a v c 标准 h 2 6 4 是i t u t 视频编码专家组和i s o i e c 移动图像专家组制定的新一代视 频压缩编解码标准方案。国际电信联盟将该系统命名为h 2 6 4 a v c ，国际标准化 组织和国际电工委员会将其称为1 4 4 9 6 1 0 m p e g 4a v c 。该标准在同等图像质 量下的压缩效率比以前的标准提高了2 倍以上，因此，h 2 6 4 被普遍研究和使用 在各种应用场合之中。 2 1 1h 2 6 4 的档次 h 2 6 4 规定了三种档次，分别支持一组特定的编码功能，并支持一类特定的 应用。 ( 1 ) 基本档次：利用i 片和p 支持帧内和帧间编码，支持利用基于上下文 自适应的可变长编码( c o n t e x t - a d a p t i v ev a r i a b l el e n g t hc o d i n g - c a v l c ) 进行 的熵编码。主要应用于视频会议、可视电话、远程医疗、无线通信等实时视频 通信。 ( 2 ) 主要档次：支持隔行视频，采用b 片的帧间编码和采用加权预测的帧 内编码；支持利用基于上下文的自适应二进制算术熵编码( c o n t e x t a d a p t i v e b i n a r ya r i t h m e t i cc o d i n g c a b a c ) 。主要应用于消费电子应用，如数字广播电 视与数字视频存储。 ( 3 ) 扩展档次：支持码流之间有效的切换( s p 和s i 片) 、改进抗误码性能 ( 数据分割) ，但不支持隔行视频和c a b a c 。主要用于流媒体中，如视频点播。 2 1 2h 2 6 4 a v c 编解码过程 h 2 6 4 a v c 中没有明确规定编码器的具体实现方式，而是规定了经过编码后 的比特流的语法和该比特流的解码方法。其编码框架如图2 - 1 所示。其中c 为 当前帧，一，为参考帧，一为重建帧，p 为预测值p r e d 。 7 武汉理工大学硕士学位论文 图2 1h 2 6 4 编码器框架图 h 2 6 4 编码器采用的是变换和预测的混合编码法，输入的帧或场c 以宏块为 单位被编码器处理，一，为参考图像。首先，选择当前编码宏块使用按帧内或帧 间预测编码。如果采用帧内预测编码，其预测值p 是由当前片中相邻已编码宏 块的值预测得到；采用帧间预测编码，预测值p 将由参考图像中像素块经运动 补偿( m o t i o nc o m p e n s a t i o n m c ) 后得出。为了提高预测精度，从而提高压缩 比，实际的参考图像可在过去或未来己编码解码重建和滤波的帧中进行选择。 预测值p 和当前块相减后，产生一个残差块d 。，经块变换、量化后产生一 组量化后的变换系数x ，再经熵编码，与其他解码所需的信息( 如预测模式量化 参数、运动矢量等) 一起组成一个压缩后的码流，经n a l ( 网络自适应层) 供 传输或存储使用。 通过对比特流和语法的限制，标准化了解码部分，解码框架如图2 2 所示。 压缩后的比特流经过熵编码和重排序得到一组量化系数x ，然后经过反量化和反 变换获得和编码端相同的残差值n ，再根据从比特流中解码获得的头信息产生 和编码端相同的预测值p ，将p 和见相加得到未经滤波的重建帧识，最后经过 滤波得到重建帧c 。 图2 - 2h 2 6 4 解码器框架图 8 武汉理工大学硕士学位论文 2 2h 2 6 4 a v c 的主要技术 与先前制定的视频编码标准h 2 6 1 2 3 和m p e g 1 2 4 相比，h 2 6 4 具有更高 的编码效率，良好的网络亲和性等优势，更适合实现实时的视频通信。h 2 6 4 的 显著特点包括：4 4 的整数d c t ( d i s c r e t ec o s i n et r a n s f o r r n ) 变换、更精确的i 帧( i n t r a 帧，帧内预测帧) 预测编码、1 4 像素运动估计、多参考帧【1 9 l 以及p 帧 ( i n t e r 帧，帧间预测帧) 的多种块尺寸运动预测，这些特点使得h 2 6 4 得到比 以往的视频编码技术更高的编码效率。 2 2 1 帧内预测 帧内预测【2 0 - 2 1 1 是h 2 6 4 标准的重要特性之一，先前的视频编码标准中，除 m p e g 4 采用了2 种预测模式进行了简单预测外，都没有采用帧内预测技术，编 码时直接对宏块数据进行变换、量化和熵编码。为了进一步提高压缩率，h 2 6 4 充分利用了图像的空间相关性，引入了高精度的帧内预测模式。预测过程中根 据相邻已编码过的相邻块的信息来预测当前块的信息，并只对预测差值进行变 换编码，以消除空间冗余。因此，在对一给定的宏块编码时，首先可以根据周 围的宏块预测，然后对预测值与实际值的差值进行编码，相对于直接对该帧进 行编码，大大的提高了编码效率。 h 2 6 4 提供了三种帧内预测方式：基于4 x 4 亮度块的帧内预测，基于1 6 x 1 6 亮度块的帧内预测和基于8 x 8 色度块的帧内预测，并且为每一种预测方式提供 多种预测模式。 当帧内编码图像的某个部分具有较多细节，变化相对较大、包含多个不同 对象的区域时，使用基于4 x 4 的块模式对该部分图像进行预测和编码，以提供 足够的预测精度四l 。4 x 4 预测的9 种预测模式如图2 3 ，其中模式2 为d c 预测， 其余8 种模式分别按照各自预测方向进行预测。而在图像变换平缓区域使用图 2 4 所示1 6 x 1 6 亮度块帧内预测方式。由于图像变化平缓，预测模式减少为4 种 垂直预测、水平预测、d c 预测和平面预测。此时预测值和原始值十分接近，可 以节约很多的编码比特数。由于人眼视觉系统对色度变化的敏感性低于亮度变 化，因此只使用8 x 8 色度块由已编码左上方色度像素对宏块色度分量进行预测， 并且两种色度成分常用同一种预测模式。色度块预测时所需预测模式同样只有4 种，类似于帧内1 6 x 1 6 亮度块预测模式，其中d c 为模式0 ，水平为模式l ，垂 9 武汉理工大学硕士学位论文 直为模式2 ，平面为模式3 。 0 ( 垂直) ma b c defg h i _ _ j - _ k l 11 1 1 ，( 下左对角线) ma lbcd efgh l 彩钐 _ _ j _ _ k _ _ 一 l 6 ( 下承平) mabc defg h i _ _ j _ _ k _ _ l 0 ( v e r t i c a l ) 2 2 2 帧间预测 4 ( 下右对角线) ma b c d e fgh i 心 _ _ j 。- k _ 一 l 7 i 左垂直) mabcdefg h l 。j _ j 一 k _ l 2 ( d c ) mab cdefg h l _ _ m w j _ _ ( a d k 1 l ) - 一 l 5 ( 右垂直) mab c defgh i m j _ _ j _ k _ l 8 ( 上水平) mab c defg h l 。 勿 j _ k _ l 图2 34 4 亮度块9 种预测模式 图2 - 41 6 1 6 亮度块4 种预测模式 h ! ，t 7 琵 v 1 。 o a 、1 7 | 。一2? 己 ：；i ：；j 强i 毫囊 帧间预测编码是利用视频序列在时间上的冗余性来进行预测编码的方式。 h 2 6 4 帧间预测对以往视频编码标准中运动补偿技术进行了改进以提高预测效 率和预测精度。主要的改进体现在树状运动补偿、1 4 像素精度插值和多参考帧 运动补偿三种技术上。 ( 1 ) 树状运动补偿 h 2 6 4 标准中对帧间预测时的每个1 6 x 1 6 宏块根据不同的语法，可以按照图 2 5 的划分方式将每个亮度宏块划分成形状不等的区域，作为运动描述区域。 1 6 1 6 宏块的划分方式有1 6 1 6 、1 6 8 、8 1 6 、8 x 8 四种。当选用8 8 方式时， 1 0 屡 一 v 一 武汉理工大学硕士学位论文 可以进一步将8 8 块划分成8 8 、8 x 4 、4 x 8 、和4 x 4 共4 个子区域。而色度块 的水平和垂直分割尺寸均为亮度块的i 2 。 1 6 x 88 x 1 6 0 l 8 x 4 0 l 0i 4 x 8 0l 图2 5 宏块划分方式 每个区域都有自己的运动矢量，并且每个运动矢量和区域选取信息都需通 过编码进行传输。当选用较大区域时，用于表示运动矢量和区域选取的数据量 减小，但运动补偿后的残差会增大。当选用小区域时，残差减小，预测更精确， 但用于表示运动矢量和区域选取的数据量增大。因此，划分方式的选择对编码 器压缩性能有着重大影响。大区域适合反映帧间同质部分，小区域适合表现帧 间的细节部分。 有实验表明【2 3 1 ，采用7 种运动补偿模式与仅采用1 6 1 6 块相比可以节约1 6 的码率。而在节约的码率中，8 0 以上是由于采用了8 x 8 以上的块得到的。小于 8 x 8 的块仅在高码率时候有用，且4 x 4 块带来的增益是最小的。所以，对于高分 辨率的序列而言，采用小尺寸块并不能带来更多的益处。 ( 2 ) 1 4 像素精度插值 h 2 6 4 标准的帧间预测过程达到1 4 像素精度，即对进行帧间编码的宏块的 每个分割区域从参考图像中的某个同样大小的区域来预测，这两个区域间的平 面距离达到1 4 像素精度。 当运动矢量的水平和垂直分量都为整数时，参考图像中的相应像素位置的 采样点是实际存在的，然而当运动矢量的两个分量中存在小数时，参考图像中 武汉理工大学硕士学位论文 相应像素位置的采样值并不存在，这时则需要由该字像素相邻像素值进行插值 计算来得到。 在对亮度块进行插值时，首先以1 2 像素位置周围的整像素为参考值，使用 一个6 抽头滤波器得到1 2 像素位置的子像素采样值。再对1 4 像素位置使用其 相邻的1 2 像素值和整像素值为参考，采用双线性插值的方法得到。 通过插值计算进行子像素运动补偿能得到比整像素运动补偿更佳的压缩性 能，但缺点是增加了编解码器的复杂度和运动矢量的编码比特数。 ( 3 ) 多参考帧运动补偿 h 2 6 4 允许编码器在已经编码的图像中选取一幅或多幅图像来作为运动补 偿的参考图像。这使得编码器可以在更多的参考图像中寻找最佳匹配块，在很 多场景的周期变换和镜头在两个场景中交替切换的情况下十分有效。 多参考帧运动补偿的使用要求编码器和解码器各自在缓冲区中存储编解码 当前帧所需的参考帧，需要更多的存储空间。这一方面加大了参考帧的管理难 度：另一方面增加了解码端运动估计的复杂度及对内存的需求。 2 2 3 运动估计算法 将活动图像分成若干块或宏块，并设法搜索出每个块或宏块在邻近帧图像 中的位置，并得出两者之间的空间位置的相对偏移量。得到的相对偏移量就是 通常所指的运动矢量( m o t i o nv e c t o r m y ) ，得到运动矢量的过程称为运动估计。 虽然运动估计只是帧间预测的一部分，但由于编码时帧间处理的数据在视 频中占绝大多数，使得运动估计的运算量在整个h 2 6 4 编码过程中占据了相当大 的比重。快速而准确的运动估计算法对减少编码端运算量是极为必要的。 2 2 3 1 块匹配准则 h 2 6 4 标准中使用块匹配法来进行运动估计。计算编码帧中每一块与参考帧 中扫描范围内相同大小的各块的误差，把具有最小误差的块作为当前块的预测 块，并把两块的相对位移定义为该块的位移矢量即运动矢量。解码端只需接受 运动矢量和残差数据，通过参考帧进行运动补偿就可以完全恢复出当前块。而 运动估计的越准确，补偿的残差就越小，编码的效率就越高，解码出来的图像 质量越好。 在块匹配过程中常用的匹配准则1 2 4 】有三种：最小绝对差( m i n i m u ma b s o l u t e d i f f e r e n c e m a d ) 、最小均方误差( m e a ns q u a r ee r r o r m s e ) 和归一化互相关函 1 2 武汉理工大学硕士学位论文 数( n o r m a l i z e dc r o s sc o r r e l a t i o nf u n c t i o n n c c f ) 。若以( f ，歹) 表示位移矢量，五 和石一。分别为当前帧和上一帧中像素的灰度值，m n 为宏块的大小，三种匹配 准则的计算式为： ( 1 ) 最小绝对差 m a d ( f ，胪赤善善l 以( m 川一以_ l ( 聊“州) i 2 计算式( 2 1 ) 中m a d 值，若在某一个运动矢量( 乇，矗) 下使得m a d ( i o ，五) 达到最 小，则该运动矢量对应点为要找的最优匹配点。 ( 2 ) 最小均方误差 m s e ( “) = 丽1 刍m 善n 阢( m ，刀) 一六一，( 脚+ 咖+ 川2 ( 2 2 ) 式( 2 2 ) 9 ，同样选取使得m s e 值取最小的点为最优匹配点。 ( 3 ) 归一化互相关函数 。m _ l ( 州川) 脚( ，舻i 了掣蓠百_ 1 q 。3 i 2 ( 坍， ) il 六一。2 ( 聊+ f ，刀+ ) l 式( 2 3 ) 中，选取使得n c c f 值取最大的点为最优匹配点。 在运动估计中，匹配准则对匹配的精度影响不是很大，由于m a d 准则不需 作乘法运算，实现简单、方便，所以使用最多。由于m n 为定值，可以使用绝 对误差值( s u mo f a b s o l u t ed i f f e r e n c e s a d ) 代替m a d 。s a d 定义如( 2 4 ) 所示。 mn s a d ( i ，- ，) = i a ( m ，n ) - a 一。( 朋+ f ，以+ 州( 2 - 4 ) 2 2 3 2 搜索算法 ( 1 ) 全搜索法( f u l ls e a r c hm e t h o d f s ) 全搜索法也叫穷尽搜索法，对搜索范围内所有可能的候选位置计算s a d 值， 从中找出最小s a d ，其对应偏移量即为所求运动矢量。这种算法计算量最大， 难以实时处理，但精度最高，且简单、可靠，找到的即为全局最优点。 ( 2 ) 三步搜索法( t h r e es t e ps e a r c h t s s ) 武汉理工大学硕士学位论文 t s s 由z k o g a 等人提出，由于具有简单、健壮、性能良好的特点，为人 们所重视。若最大搜索步长为7 ，搜索精度取为1 个像素，其各步所分配的步长 为4 、2 、l ，总共分为三步，因而得名三步法。在整个搜索过程中采用了由粗到 细的搜索模式，使用统一的搜索模版( s e a r c hp a t t e r n ) ，由初始运动矢量所确定 的搜索窗口的中心开始，每一步按一定的步长取周围8 个点进行匹配计算。例 如采用的初始搜索步长为4 ，跟踪其中的最小误差点，进入下一步搜索，整个搜 索过程最多只需做2 5 个点的匹配运算，读取数据比较规则，易于硬件实现。 t s s 算法的缺点是第一步的搜索步长过大，搜索步数为l 0 9 2 ( w + 1 ) ，最大搜 索点数为l + 8 1 0 9 2 ( w + 1 ) ，其中w 表示最大搜索步长，当w 7 时，搜索步数将 超过3 步，容易引起误导，从而对小运动效率较低。 ( 3 ) 新三步搜索法( n o v e lt h r e es t e ps e a r c h - n t s s ) n t s s