（通信与信息系统专业论文）h264视频传输中的自适应错误隐藏技术.pdf

论文题目：h 2 6 4 视频传输中的自适应错误隐藏技术 学科专业：通信与信息系统 学位申请人：史鑫达 指导教师姓名：王沛副教授 论文类型：c 应用研究 摘要 i - i 2 6 4 是由国际标准化组织i t u - t 于2 0 0 3 年3 月提出的新一代视频压缩标准。相比 以前的标准h 2 6 3 和m p e g 一4 ，h 2 6 4 具有更大的编码效率，并且在相同码率条件下具有更 高的信噪比。正是由于这些巨大优势，h 2 6 4 视频标准得到了越来越广泛的应用，研究 h 2 6 4 标准及其改进显得尤为重要。视频传输过程中可能出现各种传输错误，造成数据的 丢失。但由于视频数据固有的海量数据特性，视频解码器不能制作得过于复杂。针对视频 数据的错误恢复必须通过纠错编码的方式进行。无论是视频编码层，还是网络提取层( n a l ) 的错误恢复都会造成编码效率的降低和视频解码时间的增加。视频错误隐藏作为一类仪针 对视频主观效果的处理方法，不需要对视频帧序列进行纠错编码。因此错误隐藏对解码器 的总计算量影响不大，但对视频主观效果的提升却非常明显，具有广泛的应用价值。 本文围绕h 2 6 4 视频错误隐藏的处理，系统阐述了视频错误隐藏的帧内错误隐藏与 帧间错误隐藏。并在此基础上，提出关于帧内的自适应错误隐藏，与关于帧间的后处理， 分块，变形算法。本论文主要的创新点有： 1 提出关于帧内的自适应错误隐藏算法。它能够在不明显增加计算复杂度的状况 下，明显提高帧内视频效果。 2 提出关于帧间的自适应错误隐藏后处理算法。它对快速运动的视频具有良好的去 边缘特性。后处理算法能够根据运动矢量自适应调整处理操作。 3 提出关于帧间的自适应分块错误隐藏算法。它能根据实际视频情况决定分块，是 其它基于分块处理的入口函数，并能够达到计算复杂度与主观效果的最优匹配。 4 提出关于帧间的自适应变形错误隐藏算法。它是针对未来h 2 6 4 及新标准发展方 向提出的新算法。论文对算法的主要部分，即快速运动搜索算法进行了优化处理工作，提 出了一种新的快速搜索算法。 5 对以上各算法进行了总结，提出了可以联合使用以上四种算法的自适应处理方案。 实验结果表明该自适应算法能有效提升主观视频效果。 关键词：h 2 6 4 ，错误隐藏技术，自适应算法，j m ，运动矢量 t i t l e ：t h ea d a p t i v ee r r o rc o n c e a l m e n tt e c h n i q u eo fh 2 6 4o fv i d e ot r a n s m i s s i o n m a j o r ：c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m s a p p l i c a n t ：s h ix i n d a t u t o r ：w a n gp e i a s s o c i a t ep r o f e s s o r a b s t r a c t h 2 6 4i sp u tf o r w a r db yt h ei t u tf o rt e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o ri nm a r c h 2 0 0 3a san e wg e n e r a t i o no fv i d e oc o m p r e s s i o ns t a n d a r d s c o m p a r e dt ot h ep r e v i o u ss t a n d a r d h 2 6 3a n dm p e g 一4 ，h 2 6 4e n c o d i n gi so fg r e a t e re f f i c i e n c y i fa tt h es a m eb i t - r a t ec o n d i t i o n s ， h 2 6 4h a st h eh i g h e rs i g n a lt on o i s er a t i o b e c a u s eo fh a v i n gg r e a ta d v a n t a g e s h 2 6 4v i d e o s t a n d a r dh a sb e e nm o r ea n dm o r ew i d e l yu s e d r e s e a r c h i n gh 2 6 4s t a n d a r da n dh o wt o i m p r o v ei t i sm u c hm o r ei m p o r t a n t e r r o r sm a yo c c u rw h e nv i d e oi s b e i n gt r a n s m i t t i n g ， r e s u l t i n gi nd a t al o s t h o w e v e r , f o rf e a t u r e so fl a r g ea m o u n t so fd a t ai si n h e r e n ti nv i d e od a t a v i d e od e c o d e rc a nn o tb em a d et o oc o m p l i c a t e d i 刃 ee r r o rr e c o v e r yf o rv i d e od a t ac a no n l yb e h a n d l e db yt h ew a yo fe r r o r c o r r e c t i n gc o d e s u s i n ge r r o rr e c o v e r yw i l lr e s u l ti nl o w e rc o d i n g e f f i c i e n c ya n dv i d e od e c o d i n gt i m ei n c r e a s e sw h e t h e ri nt h ev i d e oe n c o d i n gl a y e ro rn e t w o r k a b s t r a c t i o nl a y e r ( n a l ) v i d e oe r r o rc o n c e a l m e n ta sac l a s so fm e t h o d so n l yt oi m p r o v et h e s u b j e c t i v ee f f e c t so fv i d e o ，d o e sn o tr e q u i r ee r r o r - c o r r e c t i n gc o d e sf o rf r a m es e q u e n c e s s o ， e r r o rc o n c e a l m e n to nt h ed e c o d e rh a v el i t t l ee f f e c to nt h eo v e r a l lc o m p u t a t i o n w h i l et h e s u b j e c t i v ee f f e c t so fv i d e oi m p r o v e d t h e r e f o r e ，e r r o rc o n c e a l m e n th a v eaw i d er a n g eo f a p p l i c a t i o n s t h i sp a p e ri sa b o u tt h ee r r o rc o n c e a l m e n tp r o c e s s i n go fh 2 6 4s e q u e n c e i n t r a f l a m ee r r o r c o n c e a l m e n ta n di n t e r f r a m ee r r o rc o n c e a l m e n ti si n c l u d e d b e s i d et h e s e a d a p t i v em e t h o d so n i n t r a f r a m ee r r o rc o n c e a l m e n t ，a n dp o s t p r o c e s s i n g ，s u b b l o c k ，d e f o r m a t i o no fi n t e r - f r a m ee r r o r c o n c e a l m e n ta r ep r o p o s e d t h em a i ni n n o v a t i v ep o i n t so f t h i sp a p e ra r e ： 1 p r o p o s i n gaa d a p t i v ei n t r a f r a m ee r r o rc o n c e a l m e n ta l g o r i t h m i tc a l ls i g n i f i c a n t l y i m p r o v et h es u b j e c t i v ee f f e c t so fi n t r a - f r a m ew h i l et h ec o m p u t a t i o n a lc o m p l e x i t yi n c r e a s e da 1 i t t l e 2 p r o p o s i n gaa d a p t i v ep o s t p r o c e s s i n ga l g o r i t h mo fi n t e r - f r a m ee r r o rc o n c e a l m e n t f o r v i d e oo ff a s t - m o v i n gi th a ss o u n dd e b l o c k i n gp r o p e r t i e s p o s t - p r o c e s s i n ga l g o r i t h mc a nt a k e v i d e op r o c e s s i n go p e r a t i o n sa d a p t i v e l ya c c o r d i n gt om o t i o nv e c t o r s 3 p r o p o s i n gaa d a p t i v ei n t e r - f r a m ee r r o rc o n c e a l m e n ta l g o r i t h mb a s e do nb l o c k i n g i t c o u l dd e c i d ei ft ob l o c ko rn o td e p e n d i n go nt h ev i d e ot om a k i n gc o m p u t a t i o n a lc o m p l e x i t y m a t c hw i t ht h es u b j e c t i v ee f f e c t s ，a n di st h ee n t r yf u n c t i o no fo t h e rp r o c e s s i o n sb a s e do n b l o c k i n g 4 p r o p o s i n gaa d a p t i v ei n t e r - f r a m ee r r o rc o n c e a l m e n ta l g o r i t h mb a s e do nd e f o r m a t i o n i ti s an e wm e t h o da c c o r d i n gt ot h ed e v e l o p m e n td i r e c t i o no fh 2 6 4a n dt h en e ws t a n d a r d si nf u t u r e f a s tm o t i o ns e a r c ha l g o r i t h mi st h em a i np a r to ft h ea l g o r i t h m 功ep a p e rp r o p o s e dan e wf a s t s e a r c ha l g o r i t h m 5 t h ea l g o r i t h mo fa b o v ea r es u m m a r i z e d n l e nt h ep a p e rp u tf o r w a r dan e wp r o g r a m u s i n gt h et l l ef o u rk i n d so fa l g o r i t h m sa b o v e e x p e r i m e n t ss h o wt h a tt h ea d a p t i v ea l g o r i t h mc a n e f f e c t i v e l yi m p r o v et h es u b j e c t i v ee f f e c t so fv i d e o k e yw o r d s ：h 2 6 4 ，e r r o rc o n c e a l m e n tt e c h n o l o g y , a d a p t i v ea l g o r i t h m ，j m ，m o t i o nv e c t o r 论文独创性声明 本论文是我个人在导师指导下进行的研究工作及取得的研究 成果。论文中除了特别加以标注和致谢的地方外，不包含其他人 或机构已经发表或撰写过的研究成果。其他同志对本研究的启发 和所做的贡献均已在论文中做了明确的声明并表示了谢意。 作者签名：吏铙述闩期：卅矿i 刀 论文使用授权声明 本人完全了解上海师范大学有关保留、使用学位论文的规定， 即：学校有权保留送交论文的复印件，允许论文被查阅和借阅； 学校可以公布论文的全部或部分内容，可以采用影印、缩印或其 它手段保存论文。保密的论文在解密后遵守此规定。 作者签名：出笼选导师签名：同期：训o f ，p 上海师范大学硕士学位论文 第一章绪论 1 1h 2 6 4 a v c 简介 第一章绪论 随着视频应用技术的进步，h 2 6 4 a v c 作为新一代视频压缩技术0 , 2 , 3 】，以其压缩比高， 网络亲和性好的特点得到了广泛的运用。了解h 2 6 4 a v c 对研究已经成熟的m p e g ， m p e g 一2 ，m p e g - 4 和h 2 6 3 ，以及今后可能得到实现并应用的m p e g 一7 ，m p e g 2 1 具有 重要的意义。 h 2 6 4 由国际电联i t u t 的视频编码专家组( v c e g ) 和国际标准化组织( i s o i e c ) 的活 动图像专家组共同成立的联合视频小组( j v t ) 共同制定，并于2 0 0 3 年3 月公布。h 2 6 4 也 称m p e g 4 的第1 0 部分，即高级视频编码( a v c ) 。h 2 6 4 的优势在于具有高数据压缩比。 在同图像质量条件下，h 2 6 4 的压缩倍数可以达到1 0 0 1 5 0 倍，压缩比是m p e g 2 的2 倍 以上，m p e g - 4 的1 5 2 倍。 相对于过去的标准，h 2 6 4 采用m c d c t 结构，即运动补偿加变换编码的混合( h y b r i d ) 结构，增添类d c t 整数变换、c a v l c 和c a b a c 等新技术，特别是采用4 x 4 宏块和1 4 像素运动矢量的计算，因而具有高压缩比、高视频质量、高运算复杂度的三大特点。 在系统层面上，h 2 6 4 提出了视频编码层( v i d e oc o d i n gl a y e lv c l ) 和网络提取层 ( n e t w o r ka b s t r a c t i o nl a y e r , n a l ) 的概念性分割。前者是根据视频内容进行核心压缩的部 分，后者是通过特定类型网络进行递送的表述，这样的结构便于信息的封装和对信息进行 更好的优先级控制。 i i 1h 2 6 4 a v c 的主要技术 h 2 6 4 并没有规定编解码器的实现，而是规定了一个编码后的视频比特流的句法和该 比特流的解码方法。这样实现时有较大的灵活性并能够使不同厂商生产的编解码器互通。 h 2 6 4 a v c 的编解码流程包括5 个部分：帧间和帧内预i 9 8 l j ( e s t i m a t i o n ) 、变换( t r a n s f o r m ) 和反变换、量化( q u a n t i z a t i o n ) 和反量化、环路滤波( l o o pf i l t e r ) 、熵编碣j ( e n t r o p yc o d i n g ) 。 编解码的功能组成如图( 1 1 ) 和图( 1 2 ) 所示。 第一章绪论 上海师范大学硕士! 学位论文 f 。，、：，、“ x 1 q重捧序墒壕鹤 耸蔚 7 厂下y 7 妊 7一己一卜 母旺1 ￥ i 一 冈。i 。j、i ，。i | 。 l 雠f l ! 广i 1 | 叮i 图1 1h 2 6 4 编码器 图1 2h 2 6 4 解码器 ( 1 ) 帧内预测和帧间预测编码 帧内编码利用图像的空间冗余编码。相邻宏块通常含有相似属性，在对给定宏块编码 时，若先根据周围的宏块预测，然后对预测值与实际值的差值进行编码。相对于直接对该 帧编码，可以大大减小码率。 帧间预测编码利用连续帧中的时间冗余来进行运动估计和补偿。h 2 6 4 的帧间预测编 码相对以前的标准具有4 项新技术：( a ) 不同大小和形状的宏块分割( b ) 高精度的亚像素运动 补偿( c ) 多帧预测( d ) 去块滤波器 ( 2 ) 变换和反变换 h 2 6 4 使用基于4 x 4 像素块的类似于d c t 的变换，即以整数为基础的空间变换。与浮 点运算相比，整数d c t 变换虽然会引起一些额外的误差，但所引起的量化误差影响并不 大，却大大地减少运算量和复杂度，有利于硬件移植。 ( 3 ) 量化和反量化 h 2 6 4 中可选3 2 种不同的量化步长，并以1 2 5 的复合率递进。 ( 4 ) 环路滤波 基于块的视频编码可能造成方块效应，h 2 6 4 自适应环路滤波能有效分辨图像的真实 2 上海师范人学硕士学位论文 第一章绪论 边界和方块效应形成的假边界，从而可以分别进行处理。滤波时能根据样点位置和需要， 最多使用边界左右各4 个像素，自适应地进行不同强度的滤波处理。 ( 5 ) 熵编码 h 2 6 4 中采用了两种不同的熵编码方法：基于上下文自适应的可变长编码( c a v l c ) 和 基于上下文的自适应二进制算术编码( c a b a c ) 。 h 2 6 4 早期采用统一的可变长编码( u v l c ) ，后又提出c a v l c ，进一步提高了编码的 效率和质量。h 2 6 4 提供了可选的c a b a c ，使编码和解码都能使用所有句法元素( 变换系 数、运动矢量) 的概率模型。由于c a v l c 需要根据已编码句法元素的情况动态调整码表， 在计算量允许时采用c a b a c 可以有效提高编码效率。 1 1 2h 2 6 4 a v c 的应用 由于h 2 6 4 高压缩比、高视频质量、高运算复杂度的特点，应用h 2 6 4 的视频编解码 器必须使用较强计算能力的芯片。幸运的是，目前许多公司制成了能够实时，高清( 1 0 8 0 p ) 的h 2 6 4 编解码器。如w & wc o m m u n i c a t i o n s 的t a o s 系列a s i c s 和t id s p 的d a v i n c i 系列，如t m s 3 2 0 d m 6 4 x 等。但这些高性能芯片目前的售价依然昂贵。 h 2 6 4 的目标应用涵盖了目前大部分的视频服务，如有线电视远程监控、交互媒体、 数字电视、视频会议、视频点播、流媒体服务等。目前，h 2 6 4 已经能够满足视频会议的 需要，提供高质量，对信道要求较低的实时视频服务。为解决不同应用中网络传输的差异， h 2 6 4 又定义了视频编码层( v c l ：v i d e oc o d i n gl a y e r ) 和网络提取层( n a l ：n e t w o r k a b s t r a c t i o nl a y e r ) 分别处理视频内容表示和以网络所要求的恰当方式对数据进行打包和 传送。同时，为满足特定应用的需要，h 2 6 4 又规定了三种档次，以支持对应的编码功能。 即： ( 1 ) 基本层次( b a s e l i n ep r o f i l e ) ：该层次使用了h 2 6 4 除b s l i c e s ，c a b a c 以及交织编 码模式外的所有特性。主要用于低时延的实时应用场合，如可视电话、会议电视、无线通 信等。 ( 2 ) 主要层次( m a i np r o f i l e ) ：包含b a s e l i n ep r o f i l e 的所有特性，并包括了b s l i c e s ， c a b a c 以及交织编码模式。主要针对时延要求不高，而对压缩率和质量要求较高的场合， 用于数字广播电视和数字视频存储等。 ( 3 ) 扩展层次( p r o f i l ex ) ：支持所有b a s e l i n ep r o f i l e 的特性并支持码流之间有效的切换 和改进误码性能，但不支持c a b a c 以及隔行视频。该层次主要针对流媒体应用。 针对i p 和无线环境，h 2 6 4 包含了用于差错消除的工具，便于压缩视频在误码、丢包 多发环境中传输。 3 第一章绪论 上海师范大学硕士学位论文 为了防止传输差错，h 2 6 4 流中的时间同步通过帧内图像刷新来完成，空间同步由条 结构编码( s l i c es t r u c t u r e dc o d i n g ) 支持。为便于误码以后的再同步，在一幅图像的视频数据 中还提供了一定的重同步点。并且，帧内宏块刷新和多参考宏块允许编码器在决定宏块模 式的时候同时考虑编码效率和传输信道的特性。 h 2 6 4 利用量化步长的改变和数据分割的方法来应对信道码率的变化。数据分割是指 在编码器中生成具有不同优先级的视频数据以支持网络中的服务质量q o s 。如采用基于 语法的数据分割( s y n t a x b a s e dd a t ap a r t i t i o n i n g ) 将每帧数据按重要性分成几部分，在缓冲区 溢出时可以丢弃不太重要的信息。采用类似的时间数据分害- i j ( t e m p o r a ld a t ap a r t i t i o n i n g ) ， 通过在p 帧和b 帧中使用多个参考帧来完成。这在视频传输过程中很常见。 1 1 3h 2 6 4 a v c 的常用代码 ( 1 ) j m h 2 6 4 的官方测试源码，由德国h h i 研究所负责开发。特点是实现了h 2 6 4 的所有特性， 学术研究的算法都是在j m 基础上实现并和j m 进行比较。程序结构复杂，只考虑引入各 种新特性以提高编码性能，但忽视了编码复杂度。经j m 编码的视频序列不能满足实时性 要求和实际使用。 ( 2 ) x 2 6 4 网上自由组织开发的兼容h 2 6 4 标准码流的编码器。它注重实用。在不明显降低编码 性能的前提下尽量降低编码的计算复杂度，x 2 6 4 编码放弃了h 2 6 4 中一些对编码性能贡献 微小但计算复杂度较高的新特性，如多参考帧、帧间预测中不必要的块模式、c a b a c 等。 ( 3 ) t 2 6 4 中国视频编码自由组织联合开发的h 2 6 4 编解码器。编码器编码输出标准的h 2 6 4 码 流，解码器只能解t 2 6 4 编码器生成的码流。t 2 6 4 吸收了j m 、x 2 6 4 、x v i d 的优点。 f 4 ) f f m p e gl i b a v c o d e c ，i n t e li p ps i m p l ep l a y e r 等 1 2 视频错误隐藏技术简介 视频错误隐藏技术不同于视频错误恢复。视频错误恢复是通过在视频比特流中加入 冗余数据，利用加入数据与原视频数据的关系检测和纠正错误。 视频错误隐藏技术是在解码端的处理工作，它在不增加传输带宽的基础上能够显著 提高图像质量，其目标在于尽量提高图像质量的本身而不在于图像的完美恢复。事实上， 视频流信息本身的大量冗余使得丢失少量的图像数据并不会对人类接收视频信息造成任 4 上海师范大学硕士学位论文 第一章绪论 何影响，这是由人眼视觉暂留，分辨精度和人脑模糊记忆的特质决定的。但如果不进行错 误隐藏，视频信息出错很容易被人眼所察觉，这对于某些视频应用，如视频会议，数字视 频等是有害和不可容忍的。 视频源信息与单幅图像数据，音频数据等的主要差别在于数据量的巨大。为了视频存 储和传输的需要，视频压缩是必须的。视频信息冗余在压缩时被大量去除，解码时必须加 以还原。而这些冗余的还原是与压缩后的视频源相关的。错误的采样点在解码时可能解出 数倍的错误解码信息。事实上，压缩后的视频源往往采用预测编码和可变长编码( v l c ) ， 一旦出现错误，往往造成同一帧或后续帧其他值出现错误。视频源和网络环境是复杂的， 编解码器因为实际需要，如实时性要求等，所以不可能过于复杂。因而，若需要数据流对 传输错误具有抗干扰性，必须在流中添加冗余数据。利用冗余数据与有效数据的关系，才 有可能检测并修正错误。 冗余数据会增加码率，在很多运用中，添加冗余数据是有限制的。视频错误隐藏并不 需要增加额外的比特率，仅少量增加了解码器的复杂度。正是这一优势，错误隐藏具有巨 大的应用前景和研究价值。 1 2 1 视频错误隐藏的依据 视频图像的一帧中宏块与宏块之间具有空间相似性，帧与帧之间具有时间相似性。这 是自然图像的特点决定的，图像的能量集中在低频分量。如果相邻像素的相似性过小，这 和现实场景就有较大的差距，人们将很难理解这样的视频序列而认为是噪音信号。事实上， 大部分能被人理解的视频都满足平滑性的假设，即图像相邻空间或时间的像素是平滑过渡 的。即使是图像中少量的真实边界，也只是在边界处出现像素值的跳变。对于采样点较少 的视频序列，图像平滑性并不明显，图像的清晰度和可理解性也会大打折扣。 视频图像的第二个特点是像素统计量的连续性。像素统计量是实际图像的部分统计 结果，必然也满足平滑性【4 1 。 平滑性是错误隐藏的基本依据。以平滑性为基础，利用相似性，分形及粒子特性，和 边缘纹理的连续性进行错误隐藏，符合人类视觉的特点，是合理的。大部分的研究都是基 于上述特性完成的。 h 2 6 4 作为基于块的视频编码方法，其错误隐藏方法和对图像进行错误隐臧的方法有 很大的不同。图像的错误隐藏往往不能确定出错位置而必须首先判断出错的像素位置。而 基于块的方法可以通过解码分析码流结构很容易找到哪个宏块出现错误，哪些帧未被使 用。如果某个宏块出错，则出错宏块将整个宏块以出错形式标记出来，而不是某几个单独 的像素。这对错误隐藏的处理带来了很大的便利。 5 第一章绪论 上海师范火学硕士学位论文 1 2 2 视频错误隐藏的流程 以j m l 6 2 源代码为例，错误隐藏模块位于一帧解码完成以后的后续工作部分。其中后 续工作包括去块效应，错误隐藏，后处理三部分。 错误隐藏首先通过调用e r c m a r k c u r r s e g m e n t o k 和e r c m a r k c u r r s e g m e n t l o s t 两个函数标 记宏块是否出错，然后分析该帧为f s i 帧还是p s p 帧来调用帧内错误隐藏或帧间错误隐 藏。f s i 帧是直接编码的一帧图像，p s p 帧是根据i s i 帧或其他p s p 帧用运动估计方式进 行编码的一帧图像。调用函数在j m 中表达为e r c c o n c e a l i n t r a f r a m e 和 e r c c o n c e a l i n t e r f r a m e 。e r c c o n c e a l i n t r a f r a m e 作为帧内错误隐藏函数，它主要采用了空域 的错误隐藏方法，即通过一帧内临近位置模块来模拟覆盖出错宏块；而 e r c c o n c e a l i n t e r f r a m e 贝, t 主要通过时域的错误隐藏方法，即通过相邻帧内临近时间位置模 块来模拟覆盖出错宏块。如图( 1 3 ) 所示。 具体处理过程和相关算法会在论文后续章节提出的算法部分进行介绍。 对于非分块的视频编码方法的错误隐藏，出错信息可能出现在一帧图像的任何位置， 只能采用图像分割和粒子追踪的方式。 正是由于分块编码方式的易实现性，目前的大多数视频编码方式都是基于块的。视频 错误隐藏多指基于块的错误隐藏。 论文本节后续部分及后续章节所说的错误隐藏均指基于块的错误隐藏。 6 图1 3h 2 6 4 错误隐藏流程 上海师范大学硕士学位论文 第一章绪论 1 2 3 视频错误隐藏的分类 对于不同的错误隐藏算法，有很多相关资料可供查阅。一种典型的分类方法是：按照 使用方法或参数的不同，错误隐藏算法可以归纳为根据平滑性7 1 ，统计关联【1 5 2 0 ，边缘 连续性【2 1 之6 】和分形与粒子行为【2 7 ，2 8 2 9 】而得出的算法四类。 而根据是否使用空域或时域信息又可分为，空域错误隐藏【3 0 , 3 1 , 3 2 , 3 3 , 3 4 】，时域错误隐藏 【3 5 舢1 和混合类【4 5 4 9 1 ( h y b r i d ) 错误隐藏。其他基于水印等嵌入信息的错误隐藏m 5 u 严格说来 属于错误恢复算法。 1 2 4 自适应错误隐藏的流程与要求 自适应错误隐藏算法是一类特殊的视频错误隐藏算法。它能够根据视频流信息和实际 需要自动调节应使用何种错误隐藏算法处理差错信息。因此，自适应算法必须包括两个部 分：( a ) 根据视频流信息和实际需要变化的控制算法，这些算法负责选择何种已知算法进 行错误隐藏；( b ) 处理同一类问题的几种不同的错误隐藏算法，这些算法或是在运算复杂 度，或是在处理效果质量上具有优势。 自适应错误隐藏的流程如图( 1 - 4 ) 所示。 图1 4 自适应错误隐藏流程 判断自适应错误隐藏的好坏在于控制算法的复杂度和选取的算法是否具有代表性，能 否提高视频主观效果。对于控制算法部分，目前还没有相关文献对自适应算法可能用到的 控制算法进行总结。但大多数已知文献都是以计算复杂度和处理效果质量作为被控制参量 的。算法的设计目标是根据视频流和实际情况生成关于计算复杂度和处理效果质量的关系 7 第一章绪论上海师范人学硕士学位论文 函数，满足某些条件的关系函数采用不同的错误隐藏算法。 1 3 论文研究意义和组织结构 目前，提高运动图像的错误隐藏能力已经引起各国学者的广泛关注，其原因在于如 果充分提高的视频质量对视频应用有非常大的好处，也有利于视频的传播和使用。 视频的纠错会带来额外的码率损失和增加计算复杂度，而且解码器的特点也要求纠 错不能过于复杂。在无法大幅度提高视频纠错能力的情况下，研究视频的错误隐藏能力有 着极其重要的作用。同时研究错误隐藏能力，也是对海量信息的处理挖掘工作，对研究其 他数据关系也有一定的借鉴作用。 本篇论文的研究目的在于较为全面研究j m 视频错误隐藏的特点及应用，以及在这些 特点及应用的基础上针对视频错误隐藏的不同方面提出四种不同的自适应处理方式。并对 其中的三种可能得到应用的方式进行了算法级的实验。 四种自适应处理方式虽均为视频错误隐藏的新算法但各有侧重。第二章提出算法主 要针对帧内视频错误隐藏场合，可以获得对帧内错误更好的主观效果。第三章提出算法针 对帧白j 视频错误隐藏的边缘特点，可以获得对帧间错误更好的主观效果。第四章提出算法 适用运动复杂，需要分块处理的场合，易于硬件实现。第五章所提算法是针对未来h 2 6 4 发展和m p e g 7 ，m p e g 2 1 等新理论可能发展方向采用的帧间视频错误隐藏方法。论文 结构见图( 1 5 ) 。 图1 5 论文结构框架图 第一章作为绪论，介绍h 2 6 4 ，错误隐藏和自适应错误隐藏等基本知识。第二章至第 五章分别介绍了自适应错误隐藏的四个方面，即帧内错误隐藏，帧间错误隐藏后处理，帧 间分块错误隐藏和基于运动搜索的变形错误隐藏。对前三个部分均提出了一种具有一定创 8 上海师范大学硕士学位论文第一章绪论 新意义的自适应算法。对基于运动搜索的变形错误隐藏，由于计算量大，而且与h 2 6 4 的分块设计思想有冲突，并未提供实验结果，但提出了设计的总体构架和方案。在未来的 m p e g 一7 和m p e g 一2 1 标准中这或许有一定的实现意义，也是对未来的研究方向的展望。 第六章为总结与展望，先横向对比了各算法的优缺点，并纵向联合使用各算法得到相关的 实验数据。最后提出自适应错误隐藏算法的总体架构与展望。 9 第二章帧内自适应错误隐藏 上海师范大学硕士学位论文 2 1 引言 第二章帧内自适应错误隐藏 帧内错误隐藏在空域进行，指使用帧的其他已知宏块对出错宏块进行估计，判断， 并给出出错宏块的值，从而达到对出错宏块进行错误隐藏的目的。 设出错宏块为c ，在某帧图像f 。中。l 、r 、u 、d 分别为与c 邻近的4 个宏块。如 图( 2 1 ) 所示。 图2 - 1 帧内错误隐藏示意图 根据平滑性的假设，c 与4 个邻近宏块的邻近像素值接近。因此可以通过4 个邻近宏 块的像素值估计c 的像素值。 以j m l 6 2 的帧内错误隐藏为例，代码位于解码部分l d e c o d s r c 文件夹中的e r cd oi e 。 代码首先判断出错宏块邻近的4 个宏块是否可用。将几个可用宏块对出错宏块中的像素点 进行内插得到出错宏块的估计值。用该估计值替代原有的出错宏块，并标记该宏块已完成 错误隐藏。 宏块内插过程如图( 2 2 ) 所示： c 为1 6 1 6 出错宏块，x 为c 中某个像素值，位置为( 聊，甩) 。假定c 邻近的4 个宏块 均可用来进行错误隐藏。x 的值可以按以下公式( 2 1 ) 求出： x = ( 口+ ( 1 6 一聊) + 6 唪( 1 6 - n ) + c 宰m + d 水n ) 3 2( 2 1 ) 其中a , b ，c , d 为邻近宏块中与x 同一行，同一列的最近像素值。 l o 上海师范大学硕士学位论文 第一二章帧内自适应错误隐藏 图2 - 2 帧内错误隐藏示意图 若邻近某宏块，不妨设a 所在的宏块不可用，则删除项a * ( 1 6 肌) ，除数减( 1 6 加) 。即 公式( 2 2 ) ： x = ( b ( 1 6 - n ) + c 研+ d n ) ( 1 6 + 所) 2 2 研究现状 ( 2 - 2 ) j m 对i s i 帧采用空间错误隐藏，其提供的算法是内插算法的一种，该算法的特点是 复杂度低。只需要邻近宏块做简单的几次加法和乘法即可满足算法的要求，但容易造成模 糊效应。即被修复的宏块只是简单的平滑处理，许多细节和边缘信息将被丢失，从而造成 很大的失真。实现效果会变得非常差，从效果图像中可以看到明显的块状模糊。 根据空间平滑性的判断，yw a n g 和w z h u 5 , 6 】分别提出了使用丢失宏块邻近的一像素 宽的像素值进行不同的插值( 等差或拉普拉斯) 来实现错误隐藏。其他插值方式，如双线 形插值等也能得到类似的处理效果。用空间像素插值的方法实现非常简单，但由于只利用 了一像素宽的像素值，单帧图像的像素没能得到充分利用。视频序列的不同，得到的最终 效果也不完全相同。 j w p a r k 9 提出丢失宏块只插值邻近周围宏块的一像素宽的像素。对完成插值后的该 宏块做d c t 处理，对8x8 宏块，保留低频的2 8 个分量，将高频部分的其它量置0 。它起到 了图像平滑的效果，其实是相应于插值进行的类似处理。w m l 锄【8 】提出的方法减少了 一个临近宏块的使用，提高了计算速度，但降低了实际生成效果。s s h e m a m i t l o 】用邻近 宏块的线形组合来先重建一像素宽的像素值。这样保留了部分纹理和细节特性，但同时也 带来了菱形效应等不应有的效果。而其他一些算法【1 2 , 1 4 , 1 5 贝, 1 j 添加了权值的使用，根据不同 的邻近宏块使用不同的权值。 在其他一些文献【1 5 , 1 6 , 1 7 , 1 8 1 中，统计的不同概念被运用于错误隐藏中。包括最大后验概 率( m a p ) ，自动回归过程( a r ) ，w - g m l o s ( g e n e r a l i z e dm a x i m u ml i k e l i h o o do r d e r e d 第二章帧内自适应错误隐藏 上海师范火学硕七学位论文 s t a t i s t i c s ) 广义最大似然有序统计，m m s e 最小均方差等。这些概念的引入，使得图像的更 多统计信息被引用至出错宏块的重建。但计算量的增加，与统计方法的采用与出错图像本 身特性是否一致这不确定性使得相关应用无法得到全面的实现。 p o c s ( p r o j e c t i o no n t oc o n v e xs e t s ) 凸集掩膜，如图( 2 3 ) 所示，利用包括某像素值在内 的3 * 3 单元的9 个像素值分别乘九宫图对应的值然后做平均，可以得到该像素的平滑结果。 它能够提高周围宏块纹理和细节的提取，但由于迭代，其计算量增加巨大。同时阈值的选 取具有理论不确定性。h s u l l 2 2 j 运用了类似的方法，不过它的判断变成范数计算的有限次 迭代。这类考虑纹理特性的方法对纹理方向判断的要求很高，如果视频纹理不清晰或阈值 难以选取最佳值，迭代计算复杂是这类方法的不足之处。然而在恢复效果上纹理细节会得 到很好的恢复效果，但对部分特殊图像的恢复效果会有一定程度的失真。 - 1 2 1 00o 121 1o- 1 2o2 1o- l l 鳘i2 - 3p o c s 凸集掩膜示意图 总之，有关空域进行错误隐藏的算法有许多。但基本都包含在上述的几类之中。插值 和变换域计算简单但容易有模糊效应，应用广泛。使用统计概念则应考虑是否与图像特性 匹配的问题，但结构清晰，易于实现。而p o c s 等基于细节，边缘的方法计算量复杂，同 时对少量特殊图像对有一定程度的失真。 2 3 自适应算法基本原理 本算法主要分为被控函数和控制函数二个部分。控制函数是根据被控函数特点决定 的。本节首先介绍被控函数，然后介绍控制函数。 2 3 1 被控算法部分 j m 原算法做为算法1 。特点是计算简单，但主观效果失真明显。 y u es h i 3 0 1 在图像与信号处理会议中提出了一种快速的基于边缘的错误隐藏方法。这 种方法利用边缘的方向性判断来进行插值，但由于只是利用了丢失宏块邻近的两个宏块， 而不是四个。虽然提高了效率，但实际有效信息的使用率却很低，对某些复杂的图像效果 很不理想。 1 2 上海师范大学硕士学位论文 第二章帧内自适应错误隐藏 参考这一方法，本节将采用了一种新的错误隐藏算法做为算法2 。该算法必须满足失 真较小的要求。显然迭代方式是一种比较好的选择。 ( a ) 首先求解丢失宏块内某点的纹理方向。如图( 2 - 4 ) 所示。已知像素a o ，a 1 ，a 2 ，a 3 ， b ，像素值为x o ，x l ，x 2 ，x 3 ，x b o a 3a 2a i b 舢 图2 - 4 像素b 与已知四像素位置关系 则b 点处的纹理方向口，为： a r r = f ( m i n 0 硒一x o l ，l 知一x t i ，i 一x z l ，i 始一x ，i ) ) ( 2 - 3 ) f 为m i n 0 x b - x o l ，i 始一l ，f 硒一x z l ，i 忍一x ，i ) 的函数。即：若阢一x o l 为最, j 、值，则口俨o ； 同理，若阢一蜀i 为最小值，则a r t = 1 ；若阢一为i 为最小值，则a r t = 2若阢一x 3 i 为最小值， 则a r r = 3 ；若其中有两个值同为最小值，则a r t = 4 。 ( b ) 然后求解未知像素的值。根据实际图像邻近像素平滑过度的假设，由邻近三个像 素可以得到一个未知像素的值。方法如下：如图( 2 5 ) ，a l ，a 2 ，a 3 为未知像素邻近的 三个像素，像素值为局，局，为。在a l ，a 2 ，a 3 处的纹理方向为右下，右，下，则这 三个纹理方向的像素加权值为l o ，0 ，l 。 a ia 2a 3 b 图2 - 5 未知像素与已知二像素位置关系 纹理方向的加权值是由未知像素与已知像素的位置关系得到。如果已知像素的纹理 方向与未知像素和该已知像素连线平行，则该已知像素的像素值应具有很强的参考意 义。同理，若已知像素的纹理方向与未知像素和该已知像素连线垂直，则该已知像素 的像素值不具有参考意义。若已知像素的纹理方向与未知像素和该已知像素连线相差 4 5 度，则该已知像素的像素值应具有较弱的参考意义。它们的加权值分别定义为1 0 ， 1 3 第一二章帧内白适应错误隐藏 上海师范大学硕士学位论文 o ， lo 这样，纹理方向像素加权值e 定义为： e=c(