（电路与系统专业论文）基于h264的错误隐藏技术研究.pdf

d i s s e r t a t i o nf o rm a s t e rd e g r e eo fs c i e n c e u n i v i d ： s t u d e n ti d ： 1 0 2 6 9 5 1 0 7 1 2 0 2 0 5 l e a s tc h i n an o r m a lu n i v e r sit y t h er ese a r c ho fe r r o rc o n c e a l m e n t t ec h n olo g yb a sedo nh 26 4 d e p a r t m e n t ： 曼! 金鱼主! q 垒i 璺鱼i 金翌鱼金垒旦鱼! 金鱼b 翌q ! q g y m a j o r ： g 坚! 鱼垡i 主苎垒旦鱼墨y 曼主金匹墨 r e s e a r c hd i r e c t i o n ：工n f o r m a t i o nd e t e c t i o na n d a d v i s o r ： ! 翌至q ! 里垒主i q 卫! q 曼金墨墨i 坠g 墨y 墨主金里 旦! q 至金星墨q ! 玺鱼金旦星兰鱼金卫星g m a s t e rc a n d id a t e ：! 墅星2 r u 垒丝 m a y 2 0 1 0 工作及取得的研究成果。除文中已经注明引用的内容外，本论文不包含其他个人 已经发表或撰写过的研究成果。对本文的研究做出重要贡献的个人和集体，均已 在文中作了明确说明并表示谢意。 作者签名： 扬焦日期：2 o i d 年夕月1 9 日 作者签名： 堑堑 日期：d 年岁月 日 华东师范大学学位论文著作权使用声明 基于h 2 6 4 的错误隐藏技术研究系本人在华东师范大学攻读学位期间在 导师指导下完成的硕士博士( 请勾选) 学位论文，本论文的研究成果归华东师 范大学所有。本人同意华东师范大学根据相关规定保留和使用此学位论文，并向 主管部门和相关机构如国家图书馆、中信所和“知网”送交学位论文的印刷版和 电子版；允许学位论文进入华东师范大学图书馆及数据库被查阅、借阅；同意学 校将学位论文加入全国博士、硕士学位论文共建单位数据库进行检索，将学位论 文的标题和摘要汇编出版，采用影印、缩印或者其它方式合理复制学位论文。 本学位论文属于( 请勾选) () 1 经华东师范大学相关部门审查核定的“内部”或“涉密”学位论文 ，于年月日解密，解密后适用上述授权。 ( ) 2 不保密，适用上述授权。 导师签名本人签名垄垒 z d o 年奎月p 日 “涉密”学位论文应是已经华东师范大学学位评定委员会办公室或保密委员会审定 过的学位论文( 需附获批的华东师范大学研究生申请学位论文“涉密”审批表方 为有效) ，未经上述部门审定的学位论文均为公开学位论文。此声明栏不填写的，默认 为公开学位论文，均适用上述授权) 。 盟硕士学位论文答辩委员会成员名单 姓名职称单位备注 黄昶副教授华东师范大学主席 蔡家麟副教授华东师范大学 蒋传纪副教授华东师范大学 摘要 随着互联网和无线移动通信技术的快速发展，视频通信逐渐成为网络通信的 主要业务。为了提高编码效率，节省网络带宽，新的视频编码标准不断地被提出。 ，但经过压缩的视频流对信道噪声极为敏感，传输过程中的误码和丢包，将导致解 码端出现不能解码的宏块，降低视频的播放质量。因此，视频差错控制技术逐渐 成为研究热点，受到越来越广泛的关注。 本文主要研究解码端的空域错误隐藏算法，针对现有算法的缺点，本文提出 了一种基于边缘连续性的相交块匹配空域错误隐藏算法，在算法复杂度不高的情 况下，实现了更好的错误隐藏性能，适用于实时通信系统。 本文首先介绍了h 2 6 4 视频编码标准的背景，接着分析了h 2 6 4 视频编解 码原理与实现，包括宏块预测、离散余弦变化、熵编码、视频包的传输，然后 详细地分析了各种差错控制技术，包括编码端的差错控制技术、解码端的错误 隐藏技术，以及编解码端联合差错控制技术。 最后研究分析了现有的空域错误隐藏算法，h 2 6 4 标准中采用的是双线性错 误隐藏，该方法简单易实现，但恢复出来的图像边界模糊。基于马尔可夫随机 场的方法，是以静止图像为数据模型的，它固有的局限性是视频图像不可能是 静止信号。方向插值空域错误隐藏算法用较低的计算复杂度提高了性能，但它 依赖于边界检测算法的准确度。快速有效空域错误隐藏算法，简单易实现，对 包含线性边缘的图像，有较好的隐藏效果，但对其他包含曲线边缘的图像，会 造成边缘断裂，本文在该算法的基础上，提出一种基于边缘连续性的相交块匹 配空域错误隐藏算法，并与双线性插值算法和快速匹配空域错误隐藏算法的性 能进行分析比较，证明了该算法有效。 关键词：h 2 6 4 视频编码错误隐藏 a b s t r a c t w i t ht h ef a s td e v e l o p m e n to f i n t e r n e ta n dw i r e l e s st e l e c o m m u n i c a t i o n t e c h n o l o g y ，v i d e ot e l e c o m m u n i c a t i o ng r a d u a l l yb e c a m et h em a i nb u s s i n e s s o ft e l e c o m m u n i c a t i o n i no r d e rt oi n c r e a s et h ee f f i c i e n c eo fc o d i n g ，a n d s a v et h ew i d t ho ft h e n e t ，n e w v i d e o c o d i n g s t a n d a r dw a s p r o p o s e d h o w e v e r ，t h ec o d e db i ts t r e a mi sv u l n e r a b l et ot h ec h a n n e l i m p a i r m e n t t h ep a c k e tl o s ea n db i te r r o ri nt h ec h a n n e lw i l lr e d u c et h e q u a lit yo fv id e oo nd e c o d e r s ot h ev id e oe r r o rc o n t r o lt e c h n o l o g yb e c o m e t h ef o c u so fr e s e a r c h w ef o c u s e do n s p a ti a l e r r o rc o n c e a l m e n to n d e c o d e r ，p r o p o s e d a i n t e r s e c t i o nf a s tm a t c h i n gs p a t i o n a le r r o rc o n c e a l m e n ta l g o r i t h mb a s e d o ne d g ec o n t i n u i t y i tc a np r o v i d eb e t t e rq u a l i t yo fe r r o rc o n c e a l m e n t a n da l s oe n s u r el o wc o m p l e x i t y ，i ss u i t a l ef o rr e a l t i m et e l e c o m m u n i c a t i o n s y s t e m s w ei n t r o d u c e dt h eb a c kg r o u n do fh 2 6 4c o d i n gs t a n d a r da tf i r s t ，t h e n a n a l y s et h et h e o r ya n dr e a li z a t i o no fc o d i n ga n dd e c o d i n gi nh 2 6 4c o d i n g s t a n d a r d ，i n c l u d i n gm a c r o b l o c kp r e d i c t i o n ，d c t ，e n t r o yc o d i n g ，p a c k e t t r a n s m i s s i o n f u r t h e r ，a n a l y s e dt h ed e t a i l o fs e v e r a le r r o rc o n t r o l t e c h n o l o g y ，i n c l u d i n gt h ee r r o rc o n t r o lt e c h n o l o g yi nc o d e r ，t h ee r r o r c o n c e a l m e n ti nd e c o d e r 。a n d t h ee r r o rc o n t r o lt e c h n o l o g yc o m b i n e dw i t h c o d e ra n dd e c o d e r f i n a l l yw es t u d i e dt h ef o r m e rs p a t i o n a le r r o rc o n c e a l m e n ta l g o r i t h m s ，t h e b i l i n e ri n t e r p 0 1 a t i o ni nh 2 6 4c o d i n gs t a n d a r di ss i m p l e ，b u ti tm a k e t h er e c o v e r e di m a g ee d g eb l u r r e d t h ea p p r o a c hb a s e do nm a r k o vr a n d o m f i e l du s es t a t i s t i c a lm o d e lw i t ht h ea s s u m p t i o nt h a tt h ei m a g e si s s t a t i o n a r y ，b u t h a st h e1 i m i t a t i o nt h a tv i d e oi sn o ts t a t i o n a r y s i g n a l t h ed i r e c i o ni n t e r p o l a t i o na l g o r i t h ma q u i r e st h eb e t t e rq u a l i t y w i t hl o wc o m p l e x i t y ，b u ti td e p e n do nt h ea c c u r a c yo ft h ee d g ed e t e c t i o n a l g o r i t h m t h e f a s te f f i c i e n t s p a t i o n a l e r r o rc o n c e a l m e n t i s s i m p l e h o w e v e r ，i tw o r k sw e l lo n l yi nt h ei m a g ew i t hl i n e re d g e i tc a u s e i n c o n t i n u o u se d g ei nt h ei m a g ew i t hc u r v i n ge d g e s o ，w ep r o p o s e da i n t e r s e c t i o nf a s tm a t c h i n gs p a t i o n a le r r o rc o n c e a l m e n ta l g o r i t h mb a s e d o ne d g ec o n t i n u i t ya n dp r o v e dt h ea v a i l a b i l i t yo ft h i sa l g o r i t h mu n d e r t h ec o m p a r eo fq u a l i t yw i t ho t h e ra l g o r i t h m s k e yw o r d s ：h 2 6 4v i d e oc o d i n ge r r o rc o n c e a l m e n t 目录 第一章绪论i 1 1h 2 6 4 编解码标准的背景1 1 2 课题研究意义1 1 3 国内外研究情况2 1 4 论文的研究内容与安排2 第二章h 2 6 4 视频编解码标准4 2 1h 2 6 4 编解码系统结构及综述4 2 2 视频编码器5 2 3h 2 6 4 编码技术5 2 4 视频包的传输1 2 2 5 解码流程13 2 6 本章小结1 9 第三章错误控制技术2 0 3 1 错误控制技术概述2 0 3 2 错误控制技术分析2 0 3 3 本章小结2 9 第四章空域错误隐藏算法及实现3 0 4 1 现有空域错误隐藏算法3 0 4 2 相交快速匹配错误隐藏算法3 4 4 3 本章小结3 9 第五章总结4 0 参考文献4 1 研究生期间发表的论文4 4 致谢4 5 华东师范大学硕士学位论文 第一章绪论 1 1h 2 6 4 编解码标准的背景 随着现代通信技术的迅速发展，通过互联网和移动通信网络传输视频信息 变得越来越流行。由于视频信息的高数据量和传输网络带宽的有限性，各种高效 率的视频编解码标准相继提出；如h 2 6 1 、h 2 6 3 等，由“国际电联( i t u t ) 制 定；如m p e g 一1 、m p e g - 2 、m p e g - 4 等，由“国际标准化组织( i s 0 ) ”制定。而h 2 6 4 ， 是由上述两个组织的专家组成的联合视频组( j v t ) 制定的新数字视频编码标准。 h 2 6 4 作为最新制定的标准，与其它现有的视频编码标准相比，有如下优点： ( 1 ) 低码率，和m p e g 一2 、m p e g 一4 等压缩技术相比，在同等视频图像质量情况下， 经h 2 6 4 技术压缩后的数据量只有m p e g - 2 的1 8 ，m p e g - 4 的1 3 。 ( 2 ) 图像质量高，h 2 6 4 能提供连续、流畅的高质量视频图像( d v d 质量) 。 ( 3 ) 容错能力强，h 2 6 4 在编码端采用了数据分割、帧内编码等容错技术，这 些技术在以前的标准中也有，但h 2 6 4 标准对其进行了改进，而且获得了更好的 差错控制效果，同时，h 2 6 4 标准中还提出了参数集、灵活的宏块次序等新的容 错技术。在解码端提供了错误隐藏技术，能解决不稳定网络环境下发生丢包等错 误的问题。 ( 4 ) 网络适应性强，h 2 6 4 提供了网络适配层，使得h 2 6 4 文件能顺利地在不同 网络环境中传输( 如互联网，c d m a ，g p r s 等) 。 1 2 课题研究意义 由于h 2 6 4 的高压缩率，传输过程中每个视频包所包含的信息是非常丰富 的，一旦发生丢包或误码，对视频质量的影响非常大，也就是说，h 2 6 4 本身高 压缩效率的特性导致比特流对网络信道极为敏感。而由于各种传输信道的问题， 丢包和误码是难以避免的，一个比特信息的丢失就能导致整个块图像数据不能正 确解码，甚至错误还可能扩散到其它图像帧中，因此必须采用一些误码控制技术 来减轻丢包或误码对重建视频质量的影响。h 2 6 4 标准中有三种类型的宏块，i 宏块，p 宏块，和b 宏块，i 宏块采用的是帧内编码，p 宏块采用的是前向帧间 预测编码，b 宏块采用的是双向帧间预测编码，i 宏块的错误可能影响以后p 宏 块和b 宏块编码的准确性，b 宏块的错误基本上不会扩散到其它宏块，p 宏块的 错误可以由前面帧的相应位置宏块的运动矢量补偿来实现错误恢复，i 宏块的错 误影响是最大的，而且只能利用图像的空间相关性来进行错误隐藏。而h 2 6 4 标 华东师范大学硕士学位论文 准提供的错误隐藏技术，即双线性插值算法，只有在平滑的或规则的块中，才能 表现出良好的性能，对于不规则的高细节的块，它恢复的图像比较模糊。这就使 得寻找更为有效的错误隐藏技术成为必需。 1 3 国内外研究情况 对于传输中的视频丢包问题，通常有两种主要的解决方式，基于编码端的 纠错技术和基于解码端的错误隐藏技术。基于编码端的纠错技术，是在视频编码 时，加入冗余信息，防止丢包，由于冗余信息也占用带宽，这就降低了传输效率。 基于解码端的错误隐藏技术，不需要额外信息的加入，同时也能减轻丢包对视频 质量的影响。解码端的错误隐藏有两种方式，空域错误隐藏技术和时域错误隐藏 技术。 时域错误隐藏技术主要用于帧间图像变化缓慢的场合，根据错误块前面帧相 应位置块的运动矢量，来估计错误块的运动矢量，进行运动补偿，从而恢复错误 块的信息。 空域错误隐藏主要包括块匹配和数据内插，如简单的像素平均权重内插【1 】， 这方法实现简单且能用于实时通信，但只有在平滑的或规则的块中，才能表现出 良好的性能，对于不规则的高细节的块，它们恢复的图像比较模糊。在h 2 6 4 中， 错误宏块是根据周围无错误宏块或已隐藏过的宏块用双线性内插进行重建的 【2 】，这方法也是实现简单但会导致图像模糊。方向内插【3 】和p o c s 4 胄匕重_ 建边 界或细节信息，但是这些方法都是基于几何分析的，存在一个主要的缺点是，当 错误块所包含的边界超过一条时，几何分析的可靠性大大降低。基于马尔可夫随 机场的方法 5 用的数据模型，假设图像是静止的，它固有的局限性是因为图像 不可能是静止信号。种新的用方向判定和帧内预测的空域错误隐藏算法【6 】用 较低的计算复杂度提高了性能，但它依赖于边缘检测算法的准确度。快速有效空 域错误隐藏算法 7 】，简单易实现，对包含线性边缘的图像，有较好的隐藏效果， 但对其他曲线边缘的图像，会造成边缘断裂。 因此，怎样更进一步提高视频图像重建质量并减少计算复杂度是一个非常紧 迫的技术问题。 1 4 论文的研究内容与安排 本论文主要研究空域错误隐藏算法，目标是寻找一种更优的空域错误隐藏 算法，能进一步地提高视频恢复质量，并降低计算复杂度。 2 华东师范大学硕士学位论文 本论文的研究内容包括： ， ( 1 ) h 2 6 4 视频编码标准研究，掌握编解码原理、方法，及j m 测试模型的 调试。 、 ( 2 ) 研究解码端的错误隐藏技术，研究经典算法和当前最新算法，总结它 们的优点和不足。 ( 3 ) 提出一种改进的空域错误隐藏算法，并在j m 测试模型中实现，将实验 结果与以前的算法进行分析比较。 本文的结构如下： 本文首先介绍了h 2 6 4 视频编码标准的背景。第二章介绍了h 2 6 4 视频编 码的系统框架和编解码原理与实现，包括宏块预测、离散余弦变化、熵编码、 视频包的传输。 第三章详细地分析了各种差错控制技术，从编码端的差错控制技术，到解 码端的错误隐藏技术，以及编解码端联合差错控制技术。包括数据分割、帧内 编码、参数集、灵活宏块次序、冗余片等先进的容错技术。 第四章针对现有空域错误隐藏算法缺点，论文提出了一种基于边缘连续性 的相交块匹配空域错误隐藏算法，并与双线性插值算法和快速匹配空域错误隐 藏算法的性能进行了分析比较。 第五章总结了全文的主要研究内容，并且指出本文的不足与对未来的展望。 3 华东师范大学硕士学位论文 第二章h 2 6 4 视频编解码标准 2 1 h 2 6 4 编解码系统结构及综述 噪声一 图2 - 1 编解码系统结构 编码过程 8 ，由于视频信号的时间相关性，可先将视频进行预测编码，传 输的信号就只是残差值，数据量大大地小于实际的视频数据，可以节约传输的网 络带宽，接着进行离散余弦变换，变换后的数据含0 较多，可以进一步的减小传 输数据量，再进行量化，然后进行熵编码，数据转换成二进制码流。 解码过程即编码的逆过程，先将接收到的二进制比特流，进行熵解码，获 得一系列量化系数x ，再对这些系数进行反量化和反变换，得到残差数据，然后 利用从二进制码流中解码得到的头信息，创建一个预测块并与残差数据求和，得 到图像块数据。 视频编码图像可由一场或一帧来产生，一般，视频帧可分成两种：连续视 频帧或隔行视频帧。在电视中，为减少大面积闪烁现像，对每个视频帧进行隔行 扫描，分为项场和底场。这样场内相邻行之间的时间相关性较强，而帧内相邻行 之间空间相关性强，所以对活动量较小的视频或静止图像采用帧编码方式比较合 适，活动量较大的运动图像则采用场编码方式更合适。 一个视频图像由若干个宏块组成，每个宏块由一个1 6 1 6 亮度像素块和一 个8 8 c b 和一个8 8 c r 色度像素块组成。宏块分为3 种，i 宏块，p 宏块，和b 宏块；每个图像中，若干宏块排列成片的形式。片组是一个编码图像中若干宏块 的一个子集，它可包含一个或若干个片。片分为5 种，i 片，p 片，b 片，s i 片， s p 片。i 片只包含i 宏块，p 片可以包含p 宏块和i 宏块，而b 片可包含b 宏块 和i 宏块。i 宏块参考当前片中已解码的像素进行帧内预测( 不能参考其它片中 的已解码像素进行帧内预测) 。p 宏块参考前面片已编码图像进行帧间预测。b 宏块利用双向参考图像( 当前和未来的已编码的图像帧) 进行帧间预测。 h 2 6 4 标准规定了三种档次，每个档次分别支持一组特定的编码功能，及 支持一类特定的应用。 4 华东师范大学硕士学位论文 基本档次，利用i 片和p 片支持帧内编码和帧间编码，支持基于上下文的 自适应变长编码。主要用于无线通信、会议电视、可视电话等实时视频通信领域。 主要档次，支持隔行扫描的视频，采用b 片的帧间编码和采用加权预测的 帧内编码；支持基于上下文的自适应算术编码。主要用于数字视频存储和数字广 播电视等领域。 扩展档次，支持码流之间有效的切换( s p 片和s i 片) 、改进误码性能( 数 据分割) ，但不支持基于上下文的自适应算术编码和隔行扫描的视频。 2 2 视频编码器 h 2 6 4 编码器采用的是变换与预测的混合编码法 8 】，如图1 所示： 图2 2h 2 6 4 编码器 静，。 图中输入帧f n 以宏块为单位被编码器处理。编码器原理为： 首先，按帧内或帧间预测编码的方法进行处理。如果采用帧内预测编码， 其预测值p r e d 是由当前片中前面已编码的参考图像经运动补偿后得出，其中参 考图像用f n - 1 表示。预测值p r e d 和当前块相减后，产生一个残差块d n ，经 块变换、量化后产生一组量化后的变换系数x ，再经熵编码，与解码所需的一些 信息( 如预测模式量化参数、运动矢量等) 一起组成一个压缩后的码流，经n a l ( 网络适配层) 进行传输。 由编码器的n a l 输出一个压缩后的h 2 6 4 压缩比特流。经熵解码得到量化 后的一组变换系数x ，再经反量化、反变换，得到残差d n 。利用从该比特流中 解出的头信息，解码器就产生一个预测块p r e d ，它和编码器中的原始p r e d 是 相同的。当该解码器产生的p r e d 与残差d n 相加后，就产生u f n ，再经滤波后， 最后就得到滤波后的f n ，这个f n 就是最后的解码输出图像。 2 3h 2 6 4 编码技术 华东师范大学硕士学位论文 2 3 1 宏块预测 一个视频图像可以编码成一个或者更多个片，每片包含整数个宏块，即每 片至少包含一个宏块。总之，一个图像中每片的宏块数不一定固定。 设片可以使编码片间相互独立，从而限制误码的扩散。某片的预测不能以 其它片中的宏块为参考图像，这样某一片中的预测误差就不会传播到其它片中 去。 如果每幅图像仅取一个片，则该图像中所有的宏块都按光栅扫描次序编码。 如果每幅图像取多个片，可采用灵活宏块次序( f m o ) ，通过设置宏块次序映射 表，来任意地将宏块分配给不同的片，片中的宏块按照扫描顺序被编码，每个 片独立传输。若某个片在传输过程中丢失，能利用其他片中已正确接收的相关 宏块，来进行有效的错误隐藏。由于在解码器中各个片被独立解码，从而有效 地抑制了错误的蔓延，提高了解码的容错力。使用灵活宏块次序的代价是，它 导致了较低的编码效率。 2 3 1 1 帧间预测 为了提高预测精度，h 2 6 4 编码器可从一组前面或后面已编码图像中选出 一个或两个与当前最匹配的图像作为帧间编码的参考图像。 h 2 6 4 帧间预测是利用已编码视频帧和基于块的运动补偿的预测模式。每个 宏块可以有4 种分割方式：一个1 6 1 6 ，两个1 6 8 ，两个8 1 6 ，四个8 * 8 。相应 地，运动补偿也有四种。而8 * 8 模式的每个子宏块还可以有四种分割方式：一个 8 * 8 ，两个4 * 8 ，两个8 * 4 和四个4 * 4 。 田田田 图2 3 宏块及子宏块分割 每个分割块或分割子块都有一个独立的运动矢量，每个运动矢量都应该编 码并传输，同时，分割的方式也必须编入压缩比特流中。如果选择较大的分割尺 6 华东师范大学硕士学位论文 寸，如1 6 1 6 ，1 6 8 ，8 1 6 ，意味着只需要传输少量的运动矢量和分割类型等信 息，但是对于高细节区域将需要更多的运动补偿。如果选择小尺寸的分割块，如 8 * 4 ，4 * 4 等，运动补偿较少，但需要更多的比特流来传输运动矢量和分割方式 等信息。总之，大尺寸适用于平坦区域，小尺寸适用于高细节区域。 帧间编码宏块的每个分块或子宏块都以参考图像的同样大小区域进行预 测。这两个区域的位移，即为运动矢量；对于亮度分量，其精度为1 4 像素；对 于色度分量，其精度为1 8 像素。若运动矢量的值不为整数，即子像素的亮度和 色度在参考帧中不存在，则有必要利用内插算法从邻近编码像素来产生。 2 3 1 2 帧内预测 帧内预测不是在时间域上，而是在空间域上进行的预测编码算法，可以消 除相邻块之间的空间冗余度，取得更为有效的压缩。在帧内预测模式中，预测块 p 是基于已编码重建块和当前块形成的。4 * 4 亮度子块有9 种可选预测模式，独 立预测每一个4 * 4 亮度子块，编码器通常选择使用p 块和编码块之间差异最小的 预测模式。 m j k l 模式0 帧内预测 mab c d l j k l 7 mabcd 4 一al i l + j 一b f - j k 。一o - i ，t t 七。d 舟 1 i y 模式1 帧内预测 熊 华东师范大学硕士学位论文 ma，b，c p吲，尸l ，9 7 j ，爿1 蓝 ， i a6 ，j 7gy黟 h ， ( 7 y ，k ，v v砖 一q，p ， 模式3 帧内预测 m、a &a、d 、 t 矿 ， ? 占 、 j 蕾。a t 叠 、 0 、b 、tjg 、t 詹 k i i j i k、t 、l 、e!tt 、 、 l订n硇、bj 、茂 模式5 帧内预测 盛暑悬，暑届 ma，b e d r 要lpgh ，j， ， ，ji la ，b 。c ，d f | j |t| i j| h。轼， i 9 f k ，| x |f |r 长，f h ， 。孓 夺 、矗676 模式7 帧内预测 模式2 帧内预测 模式4 帧内预测 、m ： a - ：p 、sd 、 ：j ： ：譬：套 、a 、b 、 、l ：毒： i 、 、e - i： f ： 、母、 ：k 、 0式4 - 9 b ) p 伍l ，= x 扩ix 材= x 村，( 后，) ( f ，) ) = 尸伍l ，= x ，lx 盯= x m ( 七，) 叩)蛩。 。 式4 - 1 0 则称x 是以7 7 为邻域系统的马尔可夫随机场 3 1 。这里x 、x 。，分别表示随机 场和随机变量的一个实现。 如果我们把图像理解为定义在矩阵点阵上的随机过程，则上式很好地描述 了像素之间的空间依赖性，即一个像素可以由周围的像素确定。事实表明，图像 像素的这种空间依赖性总是存在的。因此可以使用马尔可夫随机场对图像建模。 假设当前帧图像为矩阵x ，接收到的受损图像为矩阵y ，它们都是离散参数的随 机场，而x 和y 分别表示随机场的一种取值。假设x 具有一个先验分布，则x 的最大后验估计曼就是指，在给定受损图像y 的条件下，得到估计圣的概率最大， 用公式表示为： 龛= a r g m a x p ( x = xiy = y ) 式4 1 1 。 j ，= d x 根据贝因斯公式，p ( y = y ) 与x 无关，在求最大值时可以忽略，于是有： 华东师范大学硕士学位论文 圣= a r g m a x p o = yix = x ) e ( x = x ) 耐户防 式4 1 2 = a r g m a x l o g p ( y = yix = x ) + l o g p ( x = x ) x y = d x 因为接收到的图像y 除了损坏部分，其余都跟原图像x 相同，损坏部分被 当作没有接收到来处理，于是有： p c 】，= yix = x ，= 三；二妻 公式可简化为 曼= a r g m a x l o g p ( x = x ) x y = d x 假设x 的先验分布为马尔可夫随机场，则其分布函数具有如下形式 眦叫= 三e 冲 一萎嘶) ) 假设丢失块的大小为m * n ，通常可以把势能函数写成 萎嘶，= 善善驷p ( 掣 船- 6 对宏块中任一像素x ，的最大后验估计可以由下式得出： x i , j = a r g 哮善i + 1 否j + ! 矽3p ，( 掣 印7 y 和6 的选择对图像边缘的重建极为重要，声的乘积越小，对边缘的损害 越小。马尔可夫随机场方法既可以反映图像的随机性，又可以反映图像的潜在结 构，这样就可以有效地描述图像的性质；采用统计决策和估计理论，主要是贝因斯 理论，可以将图像的先验知识转化为先验分布模型，采用最大后验估计可以得到 图像标号的分布，数学推导出的参数具有明确的物理含义。 4 2 相交快速匹配错误隐藏算法 4 2 1 快速匹配错误隐藏算法 y u es h i 的文章中提出了快速匹配错误隐藏算法 7 。快速匹配算法利用错 误块邻块的平移求解，它不需要大量耗时的计算，比如像边缘检测和运动矢量预 测；它能明显地加快了解码端错误隐藏的实现，这种特性对实时系统特别有用。 华东师范大学硕士学位论文 l z d l nl nl n l 珏 r h r 图4 - 6 匹配标准 假设c 块是损坏块，大小为n 水n ；l 和r 分别代表c 的左、右邻块，相 应的，h l 代表l 块中与c 相邻的子块，h r 代表r 块中与c 相邻的子块，则 h l = l ( i ，j ) | 1 i n ，n 2 + 1 j n ) “式4 1 8 h r = r ( i ，j ) i1 i n ，1 j n 2 式4 1 9 匹配位置以图中的粗黑边为基准，可表述为： s ( j 日z ， 限) = 0 m l o f n ，n 2 ) 一1 - i r o f n ，1 川式4 2 0 在对h l ，h r 以图中黑粗边为轴垂直移动的过程中，h l ，h r 从上部或底部得 到新的元素值，移动前后h l ，h r 值变化的关系为： n h l ( i ) = h l ( i 1 ) ，n h r ( i ) = h r ( i 干1 ) ，式4 2 l h l = n h l ，h r = n h r ， 例如，如果h l 上移一个像素，h r 同时下移一个像素，则h l 的底端新元素来自 h l 的底端，h r 的顶端的新元素来自h r 的顶端； ： 然后，匹配准则就是在移动过程中查找最小值s ，其可表述为： ( h l ，h r ) - a r g 茄 匹配好的h l 和h r 块被用来构成图中丢失宏块c ，即h l 当做c 的左子块， h r 当做c 的右子块。相应的，c 块也可以通过其上邻块和下邻块的平移得到。 当前错误隐藏算法必须利用到丢失宏块的4 个邻块，即左邻块，右邻块， 上邻块，下邻块。假定相邻宏块是被分散传输，这样丢失宏块的四个邻块被认为 是可用的。 首先，将左邻块和右邻块通过平移匹配机制得出错误隐藏块c l r ，及相应的 匹配最小值sl r ；然后通过上邻块和下邻块平移匹配机制得出错误隐藏块c t b ， 及相应的匹配最小值st b ；然后，求两次匹配的最小值l d i n ( sl r ，st b ) ，则可 以判断出最终的匹配最小值及其平移方向，这样，经快速匹配后，若选择的是左 右邻块，错误块c 用c l r 作填充；若选择的是上下邻块，错误块c 用c t b 作填充。 3 5 华东师范大学硕士学位论文 4 。2 2 相交快速匹配错误隐藏算法 a ) 隐藏前示意图b ) 隐藏后示意图 图4 7 快速有效算法效果分析图 根据上述快速匹配算法，如果丢失块是块是图示的中间块，穿越丢失块的图 像边缘不是直线，则错误隐藏后的图像将出现如图所示的边缘断裂，为了解决这 个问题，本文提出了下面的算法。 对于n n 的错误块m b ，假设存在4 个邻块，分别是l m b , r m b ，t m b ， b m b 。首先，设l m b 的右半块为h l ，r m b 的左半块为h r ，将h l ，h r 在竖 直方向上，以相反方向平移，如h l 向上平移一个像素，则h r 向下平移一个像 素；h l 上移一个像素后，其最下边的新的一行像素由初始时最下边的像素填充； h r 下移一个像素后，其最上边的新的一行像素由初始时最上边的像素填充；取 h l 最右边的一列像素，取h r 最左边的一列像素，求同一水平方向上的两列像 素的差值，记为d ；将h l 上移n 2 个元素，求得n 2 个d 值，下移n 2 个元素， 求得n 2 个d 值；找出其中最小值的d 值，记为d ) 【；同理，求出水平平移时的 最小值d y ，取d ) 【和d y 中较小的一个，得出快速匹配的平移方向。 3 6 华东师范大学硕士学位论文 瑚i b 田口田 曰 图4 8 受损块及4 个邻块 然后，根据上面所求出的平移方向，进行相交匹配，若由上所求出的平移方向为 竖直方向，则以l m b ，r m b 为基准，若所求出的平移方向为水平方向，则以t m b ， b m b 为基准，进行相交匹配，得出错误隐藏块的值，具体方法如下： a ) 将l m b 的右半块h l 填充到错误块的左半块，我们称其为h l l ，然后将h l 填充到错误块的右半块，称其为h l r ；同理，将r m b 的左半块h r 填充到错误 块的右半块，称其h r r , 将h r 填充到错误块的左半块，称其h i u ； 园围 图4 9 替换块预选择 b ) 取h l 的最右一列元素，h l l 的最左一列元素，令h l 不动，将h l l 进行竖 直方向的平移，上下各平移n 2 个元素，求两列元素的最小差值d ，则差值d 最 小的时的h l l 的数据即为h l 填充的错误块左半块的数据； c ) 得出h l 填充的错误块的左半块的h l l 数据后，取h l l 的最右边- - n 元素， h l r 最左边- - n 元素，令h l l 不动，h l r 进行竖直方向的平移，同理依据b ) ，得 出差值最小时的h l r , 即为h l 填充的错误块的右半块h l r 。 d ) 同理，我们求出h r 填充的差值最小时的错误块的左半块h r l ，右半块h r r 。 由上所得出的两个候选替换块，我们称其为m b l ，m b r 。 瓶b l 啊b r 团田 图4 1 0 候选替换块 3 7 华东师范大学硕士学位论文 现在分别取m b l ，m b r 的第0 列元素，求两者的差值d ，依次类推，求出o n - 1 时的n 个差值d x ( o x n 1 ) 。求出差值最小的d 值d m i n ，则d m i n 所在的列 的位置，即为m b l 和m b r 的交点所在位置m i r a 由此，我们可以得出最终的 m b 块的数据，即由m b l 的o 到m i n 列元素和m b r 的m i n 到n 列元素组成。 哺b 图4 1 1 替换块 4 2 3 实验结果及性能分析 实验在h 2 6 4 协议的测试模型j m 8 6 中进行，我们用每秒3 0 帧的视频，图像 大小为1 7 6 1 4 4 像素，视频序列由1 6 1 6 的宏块组成，设丢包率为1 由于人 眼对亮度比较敏感，所以实验结果主要以y 分量的p s n r 为指标，与其它算法 的结果进行比较 图4 1 2 ( a )图4 - 1 2 ( b ) 图4 1 2 ( c ) 图4 1 2 ( d ) 图4 1 2 显示主观结果，图4 1 2 ( a ) 为丢包后的图像，图4 - 1 2 ( b ) 为双线性插 算法隐藏后的图像，图4 1 2 ( c ) 为快速有效空域错误隐藏算法 7 】隐藏后的图像 图4 - 1 2 ( d ) 为本文算法隐藏后的图像 3 8 华东师范大学硕士学位论文 。表4 1 显示客观结果， 双线性插值算法块匹配算法本文算法 p s n r2 6 6 3 9 32 7 5 1 3 7 2 8 3 7 9 8 解码时间( s ) 0 0 10 0 30 0 4 表4 1 虽然双线性插值算法显示了很好的客观性能，但在主观上，它产生了图像模 糊，特别在图像边界处，这种算法在平坦区域中能表现出较好的性能快速有效 空域错误隐藏算法，能较好的恢复直线边缘，而本文的算法既能很好地恢复直线 边缘，也能很好的恢复非直线边缘，且p s n r 比双线性插值算法提高了1 7 4 4 0 5 d b ，+ 比快速有效空域错误隐藏算法提高了0 6 6 1 d b 4 3 本章小结 本章分析了几种有代表性的空域错误隐藏算法，如双线性插值算法、方向 0 0 插值算法、凸集投影算法、马尔可夫随机场算法，并在快速匹配算法的基础上，、 提出了基于边缘连续性的改进的块匹配错误隐藏算法，在j m 测试模型中调试， 得到性能评价指标，与其它算法的结果进行比较，证明了该算法有效。二j 3 9 华东师范大学硕士学位论文 第五章总结 视频通信逐渐成为网络通信的主流，视频电话、视频会议等实时视频通信系 统的兴起，尽管新的视频编码技术相继出台，并在编码端采用了更加有效的容错 技术，但是由于传输信道的干扰，视频丢包与误码总是不可避免的存在，因此， 解码端的视频错误隐藏技术是必不可少的。 由于视频信号的平滑性，视频图像存在着空间相关性和时间相关性，因此， 根据这些相关性，在解码端利用已经接收到并且正确解码的视频图像信息，对受 损的视频图像进行错误隐藏是可行的。本文主要研究解码端的空域错误隐藏算 法，针对现有算法的缺点，提出了一种基于边缘连续性的相交块匹配空域错误隐 藏算法，在算法复杂度不高的情况下，实现了更好的错误隐藏性能，适用于实时 通信系统。 本文首先介绍了h 2 6 4 视频编码标准的优缺点，接着分析了h 2 6 4 视频编 解码原理与实现，包括宏块预测、离散余弦变化、熵编码、视频包的传输，然 后详细地分析了各种差错控制技术，从编码端的差错控制技术，到解码端的错 误隐藏技术，以及编解码端联合差错控制技术，包括数据分分割、帧内编码、 参数集、灵活宏块次序、冗余片等先进的容错技术；最后分析了几种有代表性 的空域错误隐藏算法，如双线性插值算法、方向插值算法、凸集投影算法、马 尔可夫随机场算法，针对现有空域错误隐藏算法的缺点，在快速匹配算法的基 础上，提出了基于边缘连续性的改进的块匹配错误隐藏算法，在j m 测试模型中 调试，得到性能评价指标，与其它算法的结果进行比较，证明了该算法有效。 本文主要研究解码端的错误隐藏技术，由于理论与实践水平有限，虽然取 得了一些成绩，但仍存在着一些不足，需要在今后的工作中进一步研究、完善： 1 结合视频图像信号的空间和时间相关性，提出空域时域相结合的错误隐 藏算法，实现更好的隐藏效果。 2 自适应错误隐藏算法选择，根据视频图像特征自动地选择不同的算法， 实现更高效的隐藏效果。 【1