（计算机应用技术专业论文）错误隐藏技术研究及其在嵌入式视频监控中的应用.pdf

江苏大学硕士学位论文 摘要 随着社会的发展，城市交通日益复杂，交通拥挤问题越来越成为城市发展面临 的难题。交通视频监控系统由于其在缓解交通拥挤，提高交通效率方面作用显著， 越来越受到人们的重视。如何提高交通视频监控的效率，成为交通视频监控系统的 重要问题。一个好的交通视频监控系统，不仅要提供高质量的监控视频，而且还要 为监控人员提供多功能友好的交互界面，这样才能保证交通监控的准确、高效。为 了提供高质量的视频，论文在分析基于h 2 6 4 视频错误隐藏算法的基础上，结合交 通视频的特性，提出了一种有效的改进后的错误隐藏算法，并将该算法应用到所开 发的嵌入式视频监控系统中，提高了视频在监控端的质量，同时系统提供了数据存 储和查询功能，进一步方便了监控人员进行监控。论文的主要工作如下： 对基于h 2 6 4 的错误隐藏技术进行了深入分析，在此基础上，针对交通视频的 特性，提出了一种改进的视频错误隐藏算法。该算法引入了宏块前景背景判别机制， 并根据错误宏块的位置，分别采用不同的隐藏策略。基于j m l 0 2 的验证表明，该 算法对于交通监控视频具有较好的错误隐藏效果和运行效率。 针对传统交通监控系统中存在的不足，设计了一种基于b s 模式下的嵌入式视 频监控系统的新的实现方案。通过构建嵌入式流媒体服务器完成了视频的采集、处 理、存储和传输；并搭建嵌入式w e b 服务器实现了对远程视频的实时监控。 在此基础上，实现了基于b s 模式的嵌入式视频监控原型系统，试用表明该系 统具有较好的视频监控的效果。 关键词：h 2 6 4 ，错误隐藏，嵌入式，视频监控，8 s 江苏大学硕士学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to fs o c i e t y , t h ec i t yt r a 伍cb e c o m e sm o r ei n t e n s e ，a n dt h e p r o b l e mo ft r a f f i cj a mb e c o m e sas e r i o u sp r o b l e m p e o p l ep a ym o r ea n dm o r ea t t e n t i o n o nt r a f f i cv i d e os u r v e i l l a n c es y s t e m , b e c a u s ei th a sag o o de f f e c to ni m p r o v i n gt r a 伍c e f f i c i e n c y i tb e c o m e sap r o b l e ma b o u th o wt oi m p r o v et h ee f f i c i e n c yo ft r a f f i cv i d e o s u r v e i l l a n c e ag o o dt r a m cv i d e os u r v e i l l a n c es y s t e mi sn o to n l ys u p p l yh i 曲q u a l i t y s u r v e i l l a n c ev i d e o ，b u ta l s og i v eaf r i e n d l yi n t e r f a c ew i t hm a n yf u n c t i o nt op e o p l e t h u s ， t h es u r v e i l l a n c es y s t e mi sa b l et ob ee x a c ta n de f f e c t i no r d e rt os u p p l yh i g hq u a l i t y v i d e o ，t h i sp a p e ra n a l y s e st h ev i d e oe r r o rc o n c e a l m e n ta l g o r i t h mb a s e do nh 2 6 4 ， c o n s i d e r st h ec h a r a c t e ro ft r a 伍cv i d e oa n dp r e s e n t sa ne f f i c i e n te r r o rc o n c e a l m e n t a l g o r i t h mf o rh 2 6 4 m o r e o v e r , t h ei m p r o v e da l g o r i t h mh a sb e e nu s e di nt h ed e v e l o p e d e m b e d d e dv i d e os u r v e i l l a n c es y s t e m , w h i c hi m p r o v e sv i d e oq u a l i t y , a tt h es a m et i m e ，t h e s u r v e i l l a n c es y s t e mw h i c hh a ss t o r a g ea n de n q u i r yf u n c t i o ni sc o n v e n i e n tt op e o p l e t h e m a i nw o r ko f t h ep a p e ri sa sf o l l o w s ： t h i sp a p e ra n a l y s e st h ee r r o rc o n c e a l m e n ta l g o r i t h mf o rh 2 6 4d e e p l y , t h e nt a k e s g o o da d v a n t a g eo ft h ec h a r a c t e ro ft r a f f i cv i d e oa n dp r e s e n t sa ni m p r o v e dv i d e oe r r o r c o n c e a l m e n ta l g o r i t h m t h e a l g o r i t h m i n t r o d u c e sm a c r ob l o c k f o r e g r o u n da n d b a c k g r o u n dc h e c k i n gm e c h a n i s m , a n da d o p t sd i f f e r e n t e r r o rc o n c e a l m e n ts t r a t e g y d e p e n d i n go nt h ep o s i t i o no f t h ee r r o rm a c r ob l o c k t h ee x p e r i m e n t so n tm o d e l ( v e r s i o n10 2s h o wt h ei m p r o v e da l g o r i t h mh a sab e t t e re r r o rc o n c e a l m e n te f f e c t i na l l u s i o nt ot h es h o r t a g eo ft h et r a d i t i o n a lt r a 伍cv i d e os u r v e i l l a n c es y s t e m ，t h e p a p e rd e s i g n san e w m e t h o do fs u r v e i l l a n c es y s t e mf o rv i d e ob a s e do nb s t h es y s t e m c o m p l e t e sv i d e oc a p t u r i n g ，c o m p r e s s i o n , s t o r a g e ，t r a n s m i s s i o nb yb u i l d i n ge m b e d d e d s t r e a mm e d i as e r v e r ；o n l i sc o n d i t i o n , t h er e a l t i m es u r v e i l l a n c ef o rr e m o t ev i d e oi s r e a l i z e db yb u i l d i n ge m b e d d e dw e bs e r v e r b a s e do nt h i s ，t h ep a p e rr e a l i z e st h ee m b e d d e dv i d e os u r v e i l l a n c ep r o t o t y p es y s t e m b a s e do nb sw h i c hh a sag o o dm o n i t i o ne f f e c ti nt h ee x p e r i m e n t s k e yw o r d s ：h 2 6 4 ，e r r o rc o n c e a l m e n t , e m b e d d e d , v i d e os u r v e i l l a n c e ，b s i l 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保 留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权江苏大学可以将本学位论文的全部内容或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 保密口，在年解密后适用本授权书。 不保密 学位论文作者签名：片劾鲁指尊教师签名： 加口g 年j 月2 芗日 p 。孑年f2 ，月z 7 日 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容以 外，本论文不包含任何其他个人或集体已经发表或撰写过的作品 成果。对本文的研究做出重要贡献的个人和集体，均己在文中以 明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：劣务乏 e t 期：z 。2 年f 2 月z 多 江苏大学硕士学位论文 1 1 研究背景及意义 第1 章绪论 近年来，随着人们对道路交通问题的重视，交通视频监控系统已经开始广泛地 应用到各级交通路口。视频的质量越高，监控就越有效。作为新一代的视频压缩编 码标准，h 2 6 4 不仅具有优异的压缩性能，而且具有良好的网络亲和性，因此被广 泛地应用于如视频监控系统、远程教育系统等各个领域口1 。然而，h 2 6 4 的高压缩率 也减少了它的抗干扰能力。在一个数据包中存储了多于一帧的压缩数据，一旦数据 包在传输过程中发生错误，整个帧的图像将被彻底的丢失，以后几帧图像将不会被 很好的解码，从而造成视频质量严重下降乜1 。由于网络自身的不稳定性，在视频监 控系统中出现监控视频质量下降的情况也就无法避免，给监控工作带来了不便。 为了使监控系统既能满足视频的高压缩效率又能最大限度的提高视频的网络 耐抗力不影响监控质量，在采用h 2 6 4 作为视频编码标准的同时，在解码器端改善 视频的容错能力，即改进h 2 6 4 错误隐藏技术有着非常重大的意义。通过改进错误 隐藏技术，监控端在网络条件不理想的状态下，也能得到良好的监控视频，方便了 监控人员对视频进行准确的分析，提高了工作效率。 1 2 国内外研究现状 1 2 1 错误隐藏算法 最早期的错误隐藏技术主要在视频信号的空域睁1 0 1 、时域卜1 7 1 、频域n 胡以及变换 域u 羽等方面进行，这些错误隐藏技术主要是利用视频信号固有的相关性，其处理方 法一般都不太复杂，因此在错误隐藏技术领域应用最广泛。但是视频信号固有的相 关性为基础的技术存在很大局限性，其主要原因是根据传输差错发生程度及视频序 列内容特性的变化，其处理效果会有很大差异n 9 1 。因此，国内外很多学者对错误隐 藏算法都进行了深入研究。 通过对国内外学者提出的算法进行分析，可得目前的错误隐藏技术主要可分为 三类：预处理错误隐藏技术、后处理错误隐藏技术和交互式错误隐藏技术。 预处理错误隐藏技术主要在编码端实现，具有灵活、多样的优点。如s u n g d a e c h o a 伽- 2 别等人从对编码数据进行分级或分级嵌入处理的思想入手，采用添加冗余的 手段实现对重要数据的保护，从而在错误隐藏过程中取得了很好的效果；蒋洁 江苏大学硕士学位论文 等人提出了基于数据嵌入的错误隐藏算法，在编码端提取能够用于错误隐藏的特征 数据，用奇偶嵌入法，通过宏块交织的方式将数据嵌入到下一帧中，给解码端的解 码提供了丰富的信息，因此也改善了错误隐藏的效果。虽然这些算法取得了一定的 效果，但是，这些预处理错误隐藏技术都是在编码比特流中加入了一定量的冗余， 从而会造成传输码率下降，传输带宽增加等问题。 后处理错误隐藏技术是接收端在收到被损坏的图像后，利用已经收到的正确图 像的信息来尽力恢复损坏的图像。如d o n g h y u n gk i m 乜町等人提出了一种根据受损宏 块的大小选择错误隐藏的模型的算法，在一定程度上提高了宏块恢复的质量； o l i v i a 瞄1 等人提出了一种基于空间方向插值的可变时域错误隐藏算法，增加了恢复 后宏块与周围宏块之间的平滑度；张建龙哺1 等人提出了基于双域的错误隐藏算法， 充分利用时域和空域的信息冗余，取得了较好的效果。以上算法在一定范围内对恢 复受损视频有着一定的效果，但是，没有一种算法是面向交通视频的，由于它们没 有充分利用交通视频的特性进行算法改进，因此对恢复交通视频效果并不明显。 交互式错误隐藏技术是在接收端利用反向信道把出错的信息传送给发送端，发 送端则对出错的信息进行重发，并且根据情况采用一定的控制策略以减小继续出错 的风险。如刘志强n 1 等人通过借助数字水印技术，将改进的迫偶标识法应用到h 2 6 4 编解码系统，用来错误检测和定位，改善了错误隐藏效果。交互式错误隐藏算法的 效果虽然比较好，但是需要额外的信道支持，对软硬件都有较高的要求，因此只适 合于对实时性要求不高的应用中。 由于后处理错误隐藏技术只在解码端实现，不需要编码端任何额外支持，也不 会增加信道开销，通用性强，具有广泛的网络适应性和平台移植性，因此，本文 重点研究后处理错误隐藏算法。除了上文所述的目前出现的后处理错误隐藏算法没 有专门面向交通视频的不足以外，后处理错误隐藏算法还有以下几个问题：空域方 面，采用的加权插值算法虽然简单易于实现，但是仅对于平滑的图像有一定的效果； 时域方面，最大的问题是错误宏块的运动矢量的计算和选择，可以采用错误宏块四 周宏块的运动矢量作为其运动矢量，也可以采用参考帧中对应宏块的运动矢量作为 其运动矢量，但是到底哪个运动矢量最为贴切，参考帧如何选择，都是需要解决的 问题。本文针对交通视频的特性，提出了一种新的有效的错误隐藏算法。 传统的模拟闭路电视监控系统有很多局限性：传输距离有限、无法联网，且模 拟视频信号数据的存储会耗费大量的存储介质，查询取证时十分烦琐噙1 。针对以上 种种不足，广大学者对视频监控系统进行了广泛研究。随着计算机网络技术和嵌入 2 江苏大学硕士学位论文 式技术的发展，基于i p 网络的视频传输以及嵌入式模式的监控系统渐渐成为视频监 控系统的主流汹3 。这种模式的监控系统把从摄像头采集的视频经过压缩后，通过网 络协议栈打包发送到网络上，监控人员可以通过网络进行监控，基本上不受距离限 制，无须重新布线，便于安装维护。如：孙江波3 提出了基于嵌入式l i n u x 的视频 监控系统设计，在处理器为$ 3 c 2 4 1 0 的a r m 9 平台上实现了视频监控；张素文口1 1 等 人提出了可用于远程视频监控的嵌入式视频图像传输的方案，取得了一定的实用效 果；郑均辉2 1 等人提出了基于嵌入式技术的网络视频监控系统的实现方案，可用于 城市交通等领域。但是以上方案在处理视频压缩时，孙江波采用的是m j p e g 压缩， 张素文、郑均辉等人采用的是m p e g - 4 标准进行压缩，这些压缩算法虽然能取得一 定的压缩效果，但是和h 2 6 4 压缩标准相比，h 2 6 4 标准压缩率更高，在网络传输中 所需的带宽更少，不仅节约了存储空间，而且适合在低带宽等条件下传输视频，因 此更适合在实时监控系统中应用，。 为了进一步完善视频监控系统，穆战松泓1 等人提出了基于h 2 6 4 的远程数字视 频监控系统；冯苗1 等人提出了嵌入式网络视频监控系统的设计与实现。这些系统 采用h 2 6 4 标准对视频进行压缩，使得监控人员在低带宽的条件下也能取得比较好 的视频。然而，这些系统所实现的h 2 6 4 压缩标准都是采用专门的压缩芯片，从而 大大增加了系统开发的成本。此外，很多学者都忽略了一个问题就是h 2 6 4 压缩标 准的双面性，高压缩比带来了许多好处，但是当网络严重异常的情况下，就会发生 丢包现象，这样对于采用高压缩比的h 2 6 4 标准来说，一个包存储了多帧数据，传 输到监控端的视频质量必定会下降很多，因此，对于h 2 6 4 视频标准，监控系统无 论是采用硬件压缩实现还是软件压缩实现，为了提高视频的监控质量，还需要在视 频监控端的解码器上提高视频的容错能力，即改进h 2 6 4 的错误隐藏技术。 通过以上分析，为了解决视频监控系统中存在的问题，本文设计了一种新的基 于b s 模式的嵌入式视频监控系统，改变了传统的c s 模式，不需要安装任何软件 并且保证了只要在有网络的环境下，就能随时对视频进行监控；采集后的视频经过 嵌入式流媒体服务器处理后再进行存储和传输，不需要大量的存储介质、保证了视 频的质量还提高了系统的实时性；系统利用c g i 技术在监控端设计了专门用于视 频监控的友好界面，交互性强。此外，鉴于监控视频的重要性，系统采用一种新的 存储视频方法，在两个地方提供存储视频功能：一个是通过实现编码后的视频边存 储边实时传送的功能，在前端上安装硬盘，存储编码后的视频，相对于目前监控系 统采用的在监控端存储未经压缩的视频节省了大量的存储介质；另一个在监控端， 系统提供保存视频功能，监控人员可根据需要选择性的保存重要的视频信息，而无 需保存所有传来的视频。采用这种方法后，不仅保证了重要的视频不丢失，节省了 存储介质，在前端存储的编码后视频还方便监控人员随时查看历史记录。为了确保 江苏大学硕士学位论文 视频监控的质量，尽量恢复由于网络传输的不稳定性而对交通视频产生的不良后 果。同时，本文还将改进的错误隐藏算法应用于视频监控系统监控端的解码器中以 提高视频的质量。 1 3 本文主要研究内容与章节安排 1 3 1 主要研究内容 本文的主要研究目标是研究基于h 2 6 4 错误隐藏技术及其嵌入式视频监控系 统中的应用开发。主要研究内容包括： 1 基于h 2 6 4 的错误隐藏技术的研究 通过研究h 2 6 4 编码标准和分析现有的错误隐藏技术的基础上，提出了一种针 对交通视频特性而改进的错误隐藏算法，在网络发生丢包的情况下，提高了视频恢 复的质量。 2 基于b s 的嵌入式视频监控系统的设计与实现 对传统视频监控系统中出现的一些问题进行分析，比较现有的视频监控系统进 行改进，在保证低成本低环境需求的前提下，尽最大可能提高了视频监控系统的效 果。 3 错误隐藏技术在嵌入式视频监控中的应用开发 将改进后的视频错误隐藏技术应用到嵌入式视频监控系统中，提高监控视频的 质量，便于监控人员更加准确地分析视频。 1 3 2 论文章节安排 本论文各章内容安排如下： 第一章首先简单介绍了视频错误隐藏技术以及视频监控系统的发展，引出了本 文的研究课题，然后详细调研了关于视频错误隐藏技术与视频监控系统方面的研究 现状和发展，最后介绍了本文的研究内容及论文组织。 第二章简单介绍了h 2 6 4 编解码标准的发展历程、基本框架以及关键技术，然 后详细介绍了基于h 2 6 4 的视频错误隐藏技术。 第三章首先介绍了错误隐藏的目的，然后针对交通视频的特性提出了一种新的 有效的错误隐藏算法。 第四章首先详细的介绍了嵌入式视频监控系统的体系结构，然后对构成系统的 每个模块做了进一步的阐述，最后将改进后的错误隐藏算法应用到该视频监控系统 的监控端，提高了视频监控的质量。 4 江苏大学硕士学位论文 第五章总结了本文的主要研究内容，指出了现有的错误隐藏算法和视频监控系 统的缺陷和存在的问题，最后对今后错误隐藏算法和视频监控系统的进一步完善提 出了展望。 江苏大学硕士学位论文 第2 章h 2 6 4 编解码标准与错误隐藏技术 2 1h 2 6 4 的发展历程 视频压缩的国际标准主要有由i t u t 制定的h 2 6 1 、h 2 6 2 、h 2 6 3 、h 2 6 4 和由 m p e g $ 1 j 定的m p e g - 1 、i 咿e g - 2 、m p e p 4 ，其中h 2 6 2 m p e g - 2 和h 2 6 4 脚e g 一4a v c 由 i t u t 与m p e g 联合制定。 i t u - t 的视频专家组( v c e g ) 的工作目标是维护i t u - t 己制订的视频编码标准， 同时建立能被应用于广泛的会话或非会话业务的新标准。早在1 9 9 5 年，完成h 2 6 3 标准的最初版本之后，v c e g 就将未来的工作划分为长期和短期两个目标。其短期目 标是对h 2 6 3 的功能及应用范围进行扩充，因此最终制订了h 2 6 3 + 标准，其长期目 标是针对低比特率的视频通信制订出新一代的标准。 1 9 9 8 年1 月，v c e g 向全世界征集视频编解码方案。 1 9 9 8 年1 1 月，v c e g 形成了第一份正式的评价文献。 1 9 9 9 年8 月，v c e g 完成了h 2 6 4 的第一个草案一一h 2 6 l ，及其测试模型t 儿一l 。 该草案较之i t u _ t 以前的标准取得了显著的视频压缩效果，从而展现了其广阔的发 展前景。 2 0 0 1 年7 月，运动图像专家组( m p e g ) 认为新的编码方式较之m p e g 一4 现有标准有 很大的优势，有必要吸收最新成果完善m p e g - 4 。为此，m p e g 与v c e g 组成联合视频小 组( c j v t ) 共同进行h 2 6 4 标准的制订，其主要任务就是将h 2 6 l 所形成的视频压缩模 型发展成为国际标准。 2 0 0 2 年5 月，j v t 形成委员会草案c d ( c o m m i t t e ed r a f t ) 。 2 0 0 2 年7 月，j v t 形成了最终委员会草案f c d ( f i n a lc o m m i t t e ed r a f t ) 。 2 0 0 2 年1 2 月，j v t 形成了最终国际标准草案f d i s ( f i n a ld r a f ti n t e r n a t i o n a l s t a n d a r d ) 。 2 0 0 3 年3 月，h 2 6 4 标准正式颁布。i t u - t 的视频专家组( v c e g ) 的工作目标是维 护i t u t 己制订的视频编码标准，同时建立能被应用于广泛的会话或非会话业务的 新标准。早在1 9 9 5 年，完成h 2 6 3 标准的最初版本之后，v c e g 就将未来的工作划分 为长期和短期两个目标。其短期目标是对h 2 6 3 的功能及应用范围进行扩充，因此 最终制订了h 2 6 3 + 标准，其长期目标是针对低比特率的视频通信制订出新一代的标 准。 6 江苏大学硕士学位论文 2 2 1 档次和等级 目前，h 2 6 4 标准滔1 共定义了四个档次( p r o f i l e ) 和1 6 个等级( 1 e v e l ) 。基本 档次( b a s e l i n ep r o f i l e ) 的目标是使编码复杂度最小，在大部分网络环境和条件下 可以提供高度的鲁棒性和灵活性，主要应用于可视电话、视频会议和无线通信等； 主档次( m a i np r o f i l e ) 更多强调的是压缩编码效率，主要应用于广播电视和视频存 储；扩展档次( e x t e n d e dp r o f i l e ) 则将基本档次的鲁棒性与高编码效率、网络传输 的鲁棒性等结合起来，为网络流媒体之类的应用提供了有效的支持，基本档次是该 档次的一个子集；高档次3 5 侧( h i g hp r o f i l e ) 增a n t 对高保真视频应用的支持， 因此可应用于数字视频广播。主档次是该档次的一个子集。 而等级则定义了编码器的性能。每个等级都限制了一些参数的取值范围，这些 参数包括采样率、图像尺寸、编码比特率以及内存要求等等。 尽管各个档次有所差别，但将档次与等级相结合，h 2 6 4 的应用就非常灵活和 广泛了。h 2 6 4 可以支持包括图像尺寸从1 7 6 x 1 4 4 到4 0 9 6 x 2 3 0 4 ，采样比例从4 ：2 ：0 到4 ：4 ：4 ，采样样值位深从8 b i t s 样值位深到1 2 b i t s 样值位深的所有应用。 2 2 2 码流结构 h 2 6 4 标准采用了与以前标准类似的编码层次结构。具体结构为： 视频序列 图 像 ( 片组) 片 宏块( 子宏块) 块 像素”) 。与以前标准不同的是，在h 2 6 4 中 序列参数集( s p s ，s e q u e n c ep a r a m e t e rs e t ) 和图像参数集( p p s ，p i c t u r ep a r a m e t e r s e t ) 可以异步传输，每个片可以独立解码。而由于h 2 6 4 采用了树状运动补偿，因 此，宏块可以继续划分为子宏块。 视频序列层以s p s 语法开始，序列由多个图像数据组成。s p s 包含了视频序列 的参数集标识、档次、等级、参考图像数量、图像尺寸等信息。每个序列中的图像 都使用同一个s p s 的参数。根据情况，编码器也可以在一个序列范围内启用新的 s p s 。 图像层以p p s 语法开始，图像数据由多个片数据组成。p p s 包括了s p s 标识、 p p s 标识、熵编码模式、图像初始量化参数等信息。每幅图像的编码过程都使用同 一个p p s 的参数。根据情况，编码器也可以在一个图像范围内启用新的p p s 。 片层是以片头语法开始，片数据由多个宏块数据组成。片头包括片的起始宏块 号、片类型、p p s 标识、图像号等信息。根据传输的需要，片有时候被组织成片组 来提高码流的抗差错能力。 7 江苏大学硕士学位论文 宏块层根据不同的采样比例由不同个数的色度块( 8 x 8 ) 和亮度块( 1 6 x 1 6 ) 组成， 包括宏块类型、编码模式、预测模式、运动矢量、残差数据等信息。其中残差数据 是宏块数。 因为h 2 6 4 是以片为最大的语法单元，所以在h 2 6 4 标准中没有i 图像、p 图 像和b 图像的概念，而代之以i 片、p 片和b 片，另外h 2 6 4 还引入了两个片：s p ( s w i t c hp ) 和s i ( s w i t c hi ) 。h 2 6 4 与以前标准包含宏块情况如表2 - 1 所示。 表2 - 1h 2 6 4 与以前标准包含宏块情况对比 宏块类型以前标准 h 2 6 4 i 图像p 图像b 图像i 片p 片b 片 s i 片 s p 片 i 宏块 ynnyyyyy p 宏块 n y nn y n ny b 宏块 nnynnynn s i 宏块 nnn y n 2 2 3h 2 6 4 编码解码 h 2 6 4 并不明确地规定一个编解码器如何实现，而是规定了一个编了码的视频 比特流的句法，和该比特流的解码方法旧。勰1 ，各个厂商的编码器和解码器在此框架 下应能够互通，在实现上具有较大灵活性，而且有利于相互竞争。 h 2 6 4 编码器和解码器的功能组成分别见图2 - i ，2 - 2 ： 图2 1h 2 6 4 编码器 8 江苏大学硕士学位论丈 图2 - 2i i 2 6 4 解码器 从上述二图可见，h 2 6 4 和基于以前的标准( 如h 2 6 1 、h 2 6 3 、m p e g - 1 、m p e g - 4 ) 中的编解码器功能块的组成并没有什么区别，主要的不同在于各功能块的细节。由 于视频内容时刻在变化，有时空间细节很多，有时大面积的平坦。这种内容的多变 性就必须采用相应的自适应的技术措施；由于信道在环境恶劣下也是多变的，例如 互联网，有时畅通，有时不畅，有时阻塞，又如无线网络，有时发生严重衰落，有 时衰耗很小，这就要求采取相应的自适应方法来对抗这种信道畸变带来的不良影 响。这两方面的多变带来了自适应压缩技术的复杂性。h 2 6 4 就是利用实现的复杂 性获得压缩性能的明显改善。由于大规模集成电路技术和工艺的迅猛进步，这种技 术今天已完全具备了实现的可能性。 2 2 3 1i t 2 8 4 编码器 编码器采用的仍是变换和预测的混合编码法，如图2 - 1 所示，输入的帧或场e 以 宏块为单位被编码器处理。首先，按帧内或帧间预测编码的方法进行处理。 如果采用帧内预测编码，其预测值p r e d ( 图2 - 1 中用尸表示) 是由当前片中前面 已编码的参考图像经运动补偿( m c ) 后得出，其中参考图像用一，表示。为了提高预 测精度，从而提高压缩比，实际的参考图像可在过去或未来( 指显示次序上) 已编码 解码重建和滤波的帧中进行选择。 预测值p r i e d 和当前块相减后，产生一个残差块见，经块变换、量化后产生一 组量化后的变换系数x ，再经熵编码，与解码所需的一些边信息( 如预测模式量化 参数、运动矢量等) 一起组成一个压缩后的码流，经n a l ( 网络自适应层) 供传输和存 储用。 正如上述，为了提供进一步预测用的参考图像，编码器必须有重建图像的功能。 因此必须使残差图像经反量化、反变换后得到的成与预测值尸相加，得到z 一( 未 9 江苏大学硕士学位论文 经滤波的帧) 。为了去除编码解码环路中产生的噪声，为了提高参考帧的图像质量， 从而提高压缩图像性能，设置了一个环路滤波器，滤波后的输出即重建图像可用 作参考图像。 简单介绍下h 2 6 4 中关于i 、p 、b 帧的编码过程： i 帧编码的基本流程为： ( 1 ) 进行帧内预测，决定所采用的帧内预测模式； ( 2 ) 像素值减去预测值，得到残差； ( 3 ) 对残差进行变换和量化； ( 4 ) 变长编码和算术编码； ( 5 ) 重构图像并滤波，得到的图像作为其它帧的参考帧。 p 帧和b 帧编码的基本流程为： ( 1 ) 进行运动估计，计算采用帧间编码模式的率失真函数值，p 帧只参考前面 的帧，b 帧可参考后面的帧； ( 2 ) 进行帧内预测，选取率失真函数值最小的帧内模式与帧间模式比较，确定 采用哪种编码模式； ( 3 ) 计算实际值和预测值的差值； ( 4 ) 对残差进行变换和量化； ( 5 ) 熵编码，如果是帧间编码模式，编码运动矢量。 2 2 3 2i l 2 6 4 解码器 由图2 - 1 可知，由编码器的n a l 输出一个压缩后的h 2 6 4 压缩比特流。由图 2 - 2 可知，经熵解码得到量化后的一组变换系数x ，再经反量化、反变换，得到残 差或。利用从该比特流中解码出的头信息，解码器就产生一个预测块p r e d ，它和 编码器中的原始p r e d 是相同的。当该解码器产生的p r e d 与残差或相加后，就产 生识，再经滤波后，最后就得到滤波后的，这个e 就是最后的解码输出图像。 2 3h 2 6 4 中的主要关键技术 h 2 6 4 标准在以前标准的基础上做了很多改进，这些细节部分改进的综合效果 带来了解码性能的重大提升。h 2 6 4 的关键技术包括：分层结构、整数d c t 变换、 c a b a c 熵编码、帧内预测编码、帧间预测编码、环内去块滤波、s p s i 码流切换以 及差错控制技术。在上述这些关键技术中，我们主要论述帧内预测编码、帧间预测 编码和差错控制技术，因为这些技术与下文要讨论的后处理错误隐藏有着密切的关 1 0 江苏大学硕士学位论文 系。 2 3 1 帧内预测编码 视频序列空间冗余的存在为帧内预测编码提供了可能性。在以前的视频编码标 准中，除m p e g - 4 采用了2 种预测模式外，其余标准都没有采用帧内预测，而是直 接对帧内编码模式的宏块进行变换、量化和熵编码。为了提高压缩率，降低帧内编 码比特数，h 2 6 4 将帧内预测纳入标准规定的范畴。 h 2 6 4 针对不同的块尺寸分别采用了不同的预测模式。对于亮度4 x 4 块共有9 种预测模式( 如图2 - 3 所示) ，8 x 8 块预测模式与4 x 4 块的预测模式相同；亮度1 6 x 1 6 块采用了4 种预测模式( 如图2 - 4 所示) ；色度8 x 8 块采用了与亮度1 6 x 1 6 块相同的 4 种预测模式，仅仅模式编号有差异( 模式0 与模式2 互换) 。在编码时，编码器根 据不同的块尺寸和块内图像的复杂度选择最佳的预测模式，因此使h 2 6 4 预测编码 的效果得到大大提高。 0 ( 垂直) ab c d ebl g h l 1r 1r 1r 1r 3 ( 下左对角线) ma b c d ek | g h l i ，。，。 、夕 j，。，。 k0，。，。， l0 。z 6 ( 水平向下) ma b c de k | g k l i1 j1 。 kl lll 1 ( 水平)2 ( d c ) m ab cdet fl g h l - l i r l j r k l m ai c d ei fi g h i 。、 3 j。、 。、。i k、。 l3 7 ( 垂直向左) 图2 34 x 4 块的9 种预测模式 ma b c d ebl g h i j 们e n k l 5 ( 垂直向右) ma b c de i f j g | h l i| j | | |) k| l、 、l j 8 ( 水平向上) ma b cde b l g h 月 j i j ， j k 月 l， 江苏大学硕士学位论文 o ( 垂直)1 ( 水平) 3 ( 平面) 图2 - 41 6 x 1 6 块的4 种预测模式 帧内预测编码的基本过程是：亮度块尺寸为4 x 4 或者8 x 8 ，则编码器首先通过 当前待编码块的上边和左边相邻块的预测模式得到一个当前块最可能采用的预测 模式，同时以这两个相邻块的未滤波重构块为参考，分别采用9 种预测模式计算出 当前块的9 个预测块。然后用当前待编码宏块与每种预测块相减并计算绝对误差和 ( s a e ，s u mo fa b s o l u t ee r r o r s ) ，再选取s a e 值最小的预测模式与当前块最可能 采用的预测模式相比较，最后将比较结果编入码流。对于块尺寸为1 6 x 1 6 和8 x 8 的 亮度和色度块，分别采用4 种预测模式计算出4 个预测块，编码器直接选取s a e 最 小的预测模式编入码流并传输。 2 3 2 帧间预测编码 视频序列时间冗余的存在为帧间预测编码提供了可能性。h 2 6 4 在继承以前标 准运动的基础上进行了改进和创新，主要包括树状运动补偿、四分之一像素精度插 值和多参考图像运动补偿三种技术。通过这三项技术的采用，其预测效率和精度得 到显著提高。 2 3 2 1 树状运动补偿 在以前的标准中，m p e g - 2 只采用了1 种尺寸的运动补偿块，即1 6 x 1 6 。m p e g 一4 采用了两种，即1 6 x 1 6 ，8 x 8 。h 2 6 4 为了更有效地进行帧间运动补偿，宏块的亮度 运动补偿块共采用了7 种尺寸：1 6 x 1 6 ，1 6 x 8 ，8 x 1 6 ，8 x 8 ，8 x 4 ，4 x 8 ，4 x 4 。其中， 前4 种尺寸为宏块的分割方式，后4 种尺寸为亚宏块的分割方式( 如图2 5 所示) 。 1 2 江苏大学硕士学位论文 0 l ol ol 23 4 4 ol 23 图2 - 5 运动补偿块分割尺寸 色度运动补偿块在水平和垂直方向上的分辨率是亮度块的一半，即每个色度块 可以采用与亮度块相同的分割方式，只是分割尺寸在水平和垂直方向上都是亮度块 的一半。这种将宏块分割为可变尺寸子块进行运动补偿的方法就称为树状运动补 偿，它使得每个宏块具有多种运动补偿块组合。 每个宏块或亚宏块分割尺寸都有一个独立的运动补偿，并且每个运动矢量和分 裂方式的选择都需要进行编码和传输。选择大的分割尺寸( 宏块分割) 意味着可以用 较少的比特去表示运动矢量和分割类型，但在图像细节丰富的区域，图像残差具有 较大能量。而当选择小的分割尺寸( 亚宏块分割) ，虽然运动补偿以后的残差信号能 量较小，但却需要更多的比特去表示运动矢量和分割类型。因此，分割尺寸的选择 对于压缩性能具有重要的影响。通常，图像中的平滑区域适合采用大的分割尺寸， 而在细节丰富区域则应该采用小的分割尺寸。图2 - 6 所示为一个没有经过运动补偿 的残差帧。h 2 6 4 编码器为该帧的每个部分选择了最佳的分割尺寸，使传输信息量 最小，并将选择的分割加到残差帧上。在帧内图像变化小的区域，即图像平坦区域 ( 残差显示为灰色) ，采用了1 6 x 1 6 块分割。而在图像复杂区域( 残差显示为黑色或 者白色) ，选择了更小的分割尺寸。 崮2 _ 6 未经过延动补偿的蛙差帧 实验结果表明”与仅采用1 6 x i 6 块相比，采用全部的7 种运动补偿块模式 可以节约1 6 的码率。而在订约的码率中，8 0 以上是山于采用8 x 8 以上的块尺寸 得到的。另外，小于8 x 8 的块尺寸仪在高码率的时候有用，4 x 4 块尺寸带来的p s n 8 增益是最小的。冈此，对于高分辨率的序列米说，采用小尺寸的块投太多的益处。 2 3 2 2 分戴精度像赫值 在帧间预测过程中，需要帧间编码宏块的每个分割都要从参考图像中某个同样 大小的区域进行预测。这两个面积的平面距离即运动矢量具有分之像素精度 ( 对于色度分量为八分之一像素精度) 。亮度和色度在子像素位置的采样值在参考图 像中并不存在，田此必须利用该子像素相邻的像素值进行内插得到。例立图27 所 示，当前帧的一个4 x 4 分割块( 黑色点) 在从时间上相邻的参考图像中进行预测时， 如果运动矢量的水平和垂直分量都是整数，那么参考块的相应像素( 捉色点) 就实际 存在，卣接可以扶得并参与预测。而只要运动矢量的两个分量中之一是小数值，则 需要参与预测的参考采样值( 出色点) 在参考图像l l 并不存存，必须通过该参考位置 邻近的采样值( 白色点) 内插产生，然后再参与肖前分割块的预测操作。 在亮度分量的预测过程中，首先咀1 2 像素位镗周围的整像素为参考值，通过 一个6 抽头f i r 滤波器得到该1 2 像素位胃的子像素采样值。也就足说，每个1 2 像索位置的采样值是其6 个相邻整像素采样的加权和。当所有的1 2 像素采样得到 后，每个四分之一采样值再以其相邻的1 2 像素和整像素为参考，采j h 双线性的方 法得到。 江苏大学硕士学位论文 oooooo o o o o o o o o ooooo o ( a ) 当前帧中的4 4 块 oo oo oo oo ， ogoooo oo oooo ( b ) 参考块：v e c t o r ( 1 ，1 ) 薹鬻 图2 7 四分之一像素运动补偿 子像素运动补偿能提供比整像素运动补偿更显著的压缩性能，但同时复杂度也 增加了。h 2 6 4 标准缺省的运动补偿精度是四分之一，八分之一精度为可选。采用 八分之一精度时，插值滤波器的阶数比较高，因此八分之一精度会造成编解码器计 算复杂度的大幅增加。另外，运动矢量编码所需的比特数也很多，运动矢量编码所 需的开销也要翻倍。 实验结果表明n 8 1 ，八分之一精度所带来的编码增益的提高不足以弥补运算复杂 度带来的开销，尤其对于q c i f 格式( 1 7 6 x 1 4 4 ) 的序列更是如此。但是八分之一精度 可以提高编码视频的重现精度，因此，对于数码影院这类需要高画质的视频应用来 说，八分之一精度可以带来很大的好处。 2 3 2 3 多参考图像运动补偿 与仅采用前一幅图像作为参考图像相比，h 2 6 4 允许编码器在已经编码的一组 图像中选取一幅或者多幅图像来作为参考图像进行运动补偿，这样编码器可以在更 多的图像中进行最佳块的匹配。这在很多自然场景的周期变换以及镜头在两个场景 中交替转换的情况下尤其有效。例如，对于鸟类飞翔的视频序列，由于翅膀的扇动 具有周期性，因而采用多参考图像的运动估计方式就有机会选择时间间隔为一个或 者接近一个周期的图像作为更有效的参考。因此，这种多参考图像机制可以为当前 编码宏块或宏块分割搜索到更好的匹配。 如图2 - 8 所示，当前帧中的3 个宏块的最佳参考宏块分别位于三个不同的参考 图像中。很显然，这比只在前一帧参考图像中匹配三个宏块得到的估计精度更高。 多参考图像运动补偿预测要求编码器和解码器都要在各自的多帧图像缓冲区 中存储编码当前帧所用到的参考图像。解码器根据语法流中指定的内存管理控制操 作标志管理自己的多帧图像缓冲区。除了该缓冲区被设置为一帧图像的存储容量， 否则缓冲区中的每个参考图像的索引号都必须被编码传送。另一方面，由于具有多 个参考图像，需要更多的空间来存储参考图像，这也给参考图像的管理增加了难度， 而且编解码器对内存的需要以及编码端运动估计的复杂度也都会大大增加。 江苏大学硕士学位论文