（光学工程专业论文）基于图像修描的差错掩盖方法研究.pdf

硕士论文基于图像修描的差错掩盖方法研究 摘要 差错掩盖技术能够有效地恢复视频传输中的受损图像，它在图像通信应用中具有 重要的作用和地位。修描技术能够对受损图像进行有效的修补，本文采用此方法对传 输中的受损图像进行修复，它可以在人们无法察觉的情况下修复出原图像。本文的主 要研究内容如下： 首先，简要介绍了现有的差错掩盖技术和图像修描方法。 然后，提出了对不同的丢失图像块采用不同的差错掩盖方法。在实际处理中，如 果丢失图像块是平滑块，采用双线性插值法；如果丢失图像块是纹理块，采用空间相 似原则；如果丢失图像块是边缘块，采用基于样本块的图像修描方法。本文对基于样 本块的修描方法进行了深入的探讨，并对该方法的应用进行了拓展，把它应用于干涉 图的处理，测试结果表明此方法可以达到比较好的效果。 最后，对总体方案进行了测试，实验结果表明对传输过程中的丢失块具有较好的 重建效果。 关键字：差错掩盖块分类图像修描基于样本块的修描 璺主堡苎 墨三望堡竺苎塑茎堕垄苎塑鳖翌窒 a b s t r a c t e r r o rc o n c e a l m e n tt a k e s 觚i m p o r t a n tr o l ei ni m a g et r a n s m i s s i o n , w h i c hh a sa g r e a t p o t e n t i a li nc o n s t r u c t i n gd a m a g e di m a g e si nv i d e oc o m m u n i c a d o mi i lt h i sd i s q u i s i t i o n , i m a g ei n p a i 埘n gi su s e dt or e p a i ri m a g e sw h i c hw a sd a m a g e di nt h et r a n s m i s s i o n t h i s m e t h o dc a nc o n s t r u c tt h eb l o c k - l o s ti m a g ei n 肌u n d e t e c t a b l ef o r m t h em a i nw o r k so f t h i s d i s q u i s i t i o na r es u m m a r i z e da sf o l l o w s ： f i r s t , ab r i e fi n t r o d u c t i o no fe r r o rc o n c e a l m e n ta n di m a g ei n p a i n t i n gt e c h n i q u ei s 萄v e i l s e c o n d , d i f f e r e n tl o s tb l o c k sn e e du s ed i f f e r e n tc i t e rc o n c e a l m e n tm e t h o di sp r o p o s e d i np r o c e s s i n g ，i ft h ee l t o rb l o c k sa r eu n i f o r mb l o c k s ，b i l i n e a ri n t e r p o l a t i o ni su s e d ；i ft h e g l t o l b l o c k sa r et c x r t r eb l o c k s ，s p a t i a ls i m i l a r i t yp r i n c i p l e si su s e d ；i ft h eb l o c k sa r ce d g e b l o c k s ，e x e m p l a r - b a s e di m a g eh p a i 堍i su s e d i nt h i sd i s q u i s i t i o n , e x e m p l a r - b a s e d i m a g ei n p 训n gi sf o c u so n , t h e nt h ea p p l i c a t i o no ft h i sm e t h o di se x p a n d e d , a n dt h i s m e t h o di su s e dt op r o l o n g a t et h ef r a m eo fi n t e r f e r e n c e p a t t e r n s ，t h er e s u l t so ft h e e x p e r i m e n t ss h o wt h a tt h i sm e t h o dc a na c h i e v eac o m p a r a t i v eg o o de f f e c t f i n a l l y , t h ee x p e r i m e n t ss h o wt h a tt h ew h o l em e t h o dh a sag o o dp e r f o r m a n c eo n e r r o rc o n c e a l m e n tf o rt h ed a m a g e di m a g e sw h i c hl o s eb l o c k si ni m a g et r a n s m i s s i o n k e y w o r d s ：e r r o rc o n c e a l m e n t b l o c kc l a s s i f i c a t i o n i m a g ei n p a i n t i n g e x e m p l a r - b a s e di n p a i n t i n g 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名：鲨望。曲6 年苦月z 8 目 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名：卿3 年6 月谚日 硕士论文 基于图像修描的差错掩盖方法研究 论 随着电子技术和计算机的不断普及和提高，多媒体技术的飞速发展，信息在我们 的工作、学习和生活中发挥着越来越重要的作用，而对于人类来说，最主要、最直接 的信息就是图像信息。图像在形成、传输和记录的过程中，由于受多种因素的影响， 图形的质量会有所下降，典型的表现为图像模糊、失真和有噪声等，这将大大影响人 类对图像信息的认知。因此，图像复原有着重要的理论和实际意义。 受益于现代科学技术飞速发展，图像复原技术已有相当的发展【1 1 。这几年，图像 修描技术迅速发展。图像修描技术属于图像复原的研究领域，是图像处理的一个小的 分支，它是一项古老的艺术创造，早在文艺复兴时期，人们就开始修复中世纪的一些 艺术品，他们的目的就是想通过填补一些裂缝来使中世纪的一些图画翻新。也是现在 大家研究的热门课题之一，用它恢复的图像对于那些不知道原始图像的观察者来说， 是不可能觉察出有什么不同的。修描图像就是用不显眼的方式来处理图画、照片或影 片，包括使受损的图像恢复、移走或取代照片中被选择的物体等等。图像修描技术就 是要重新创造艺术品中丢失的或损坏的部分，而使他们更清晰，并且成为一个整体。 今天，数字的修描技术正在得到广泛的应用，其趋势就是要实现自动的检测并且 能去除图片或影片中的划痕和污迹。而目前的一些图像处理软件可以达到近似的效果， 但是通常都是一个复杂的手工的过程。随着计算机技术的发展，怎样能够在数字图像 的基础上实现半自动或者全自动的图像修补。成为图像复原研究领域的一个重要的课 题。 本篇论文主要研究的是在接收端对受损图像进行修复，在这里我们要研究两个方 面的内容：图像块分类和针对不同丢失图像块的特性采用不同的修描方案。其难点是 如何实现边缘块的修补，本课题采用的是图像修描技术1 2 j 。 1 , 1 国内外发展现状 自从有了图像，也就有了对破损的图像进行修补的技术。所谓修补是指利用待修 补区的邻域信息或动态图像的前后帧信息来估算待修补区内缺损信息的过程。其主要 目的是对破损的图像进行修复，以构造人眼主观系统可以接受的图像。图像修补技术 盛行于文艺复兴时代，其广泛的实用价值引起了众多学者的关注，人们从理论和实践 两方面对图像修补技术进行了深入探讨。 数字修描技术有着广泛的应用前景。在数字修描技术领域中，主要有三类工作。 第一类是对受损影片的处理；第二类是纹理合成技术；第三类是去除障碍物。 一 利用数字技术进行图像还原的概念最早是由c h a r t 和s h e n 提出的图像润饰模型， 目的是为了解决艺术品的修复问题1 3 l 。与以往研究的重点不同，图像修描技术的重点 ， i 颂士论文 基于图像修描的差错掩盖方 盘研究 不是在改善图像的质量，去除干扰和模糊，而是在恢复图像的信息以及移除多余物体 等方面。b c r t a l m i o 等人1 5 l 最先把图像修描技术引到数字图像处理领域，并根据艺术家 实际的修补方法提出了一个有效的算法，并在后来提出了一个改进的修补模型，将图 像的纹理信息和结构信息同时平滑的延伸到待修补区域内。 k o k a r a m 等人用运动估计法和自动递归模型来填充影片中相邻帧的丢失块 6 1 1 7 。 他的基本思想是从相邻帧中拷贝正确的像素填充破损块。但这种方法不适用于静止的 图像和场景，而且也不适用于被填充区域跨越几个帧的情况。 h i r a n i 和t o t s u k a 将空域和频域中的信息结合【8 】，用选定的纹理信息来填充特定 的区域。这是一项非常简单的技术，却能产生难以置信的效果。但是，这种方法主要 处理纹理信息很少涉及结构信息，因此使用者需要自己选择用来填充待修补区域的纹 理。而当被修描的图像包含多种不同的结构信息时，用户就必须进行大量的分割图像 工作，再来寻找相应的取代区域。在这个时候，就需要花费非常多的时间，而且要不 厌其烦的进行参数的选择。另一些纹理合成方法，如e f t o s 和l e u n g 等人的方法可以 重新创造一个预选择纹理来填充待修补区域 9 1 。 去除障碍物，这种方法最早是在文献【8 】中提及。作者为了阐述图像分割，提出了 去除障碍物的方法。m a s n o u 和m o r e l 在此基础上进行了拓剧1 2 j ，提出了一个用于去 除障碍物的通用变分公式。但是这个方法是要求被填充区域拥有相同的拓扑结构，例 如，如果有洞就不能用这种方法。 1 2 本课题的提出 由上节分析可知，各种图像修补技术都有自己的优缺点，表1 1 是各种方案的优 缺点分析。 表1 1 各种图像修补技术优缺点分析 特点 优点 缺点 修 高爪 帧间技术修复视频序列不能修复静止的图 像和场景 纹理合成单一纹理信息修复修复含有结构信息 效果好 的图像效果差 去除障碍物可以去除障碍物，应要求苛刻 用前景广泛 2 硕士论文 基于图像修描的差错掩盖方法研究 由表1 1 可知，要较好的填充一幅图像，就要求这种修补技术既可以较好的填充 纹理信息，又要能够对结构信息能进行较好的修补。本课题就是在分析这些方法的基 础上，决定对不同的丢失图像块采用不同的修补方案。如果丢失图像块是平滑块，采 用双线性插值法；如果丢失图像块是纹理块，采用空闻相似原则；如果丢失图像块是 边缘块，采用基于样本块的图像修描方法。 基于样本块的图像修描算法的基本思想就是根据修描区域周围沿着等照度线方 向平滑地向前传播扩散信息。用户只需指出待修描的区域，剩下的工作可根据算法在 几分钟内自动完成。且被修描的图像非常清楚，看不出有人为的色彩添加。这种结果 可作为最终的修复结果或为人工修复提供一个最初的指引方向。因此，从工作量上来 说减少了整个修复时间。 1 3 主要工作及研究意义 本文所做的工作是研究二维平面上的受损图像修复问题。在第二章中，简要介绍 了当今流行的差错控制方法，并对各个方法进行比较。在第三章中，简要介绍了图像 修描技术的研究现状与发展趋势，讨论了几种图像修描方案，分析了各个方案的优缺 点。在第四章中，详细的阐述了本文对破损图像进行修复所采用的方案。首先把图像 进行块分类：平滑块、纹理块和边缘块；然后，根据不同丢失图像块的特性，采用不 同的修补技术对破损图像进行修复：如果丢失图像块是平滑块，采用双线性插值法； 如果丢失图像块是纹理块，采用图像块匹配；如果丢失图像块是边缘块，采用基于样 本块的图像修描方法。详细论述了系统的设计思想以及核心算法的实现，展示了系统 的运行效果，并对修描结果进行了比较和分析。还拓展了基于样本块图像修描方法的 应用，把它用于处理干涉图上，并对结果进行分析和评述。在第五章中，总结了本文 的研究工作，并展望了未来的发展方向。 本课题具有非常重要的研究意义：能完善目前图像修补技术机制，提高图像修补 的质量；它的研究成果可应用于印刷、考古、艺术、军事、政治、科研、影视业、广 告业等许多领域，能改善人的视觉效果，丰富人们的精神生活，降低生产成本，减少 工作量，提高经济效益，促进社会的飞速发展。 硕士论文 基于图像修描的差错掩盖方法研究 2 差错控制方法 随着第三代移动通信系统和口网络的迅速发展，实时视频通信正逐步成为通信 的主要业务之一。但移动信道具有易错、时变和带限的特点，以及因多径反射和衰落 引入大量的随机误码和突发误码，使得移动信道的误码率比有线信道大。同时由于带 宽的限制，视频信息在传输前必须进行高效的压缩编码，目前大多数的视频编码标准 所采用的时间和空间预测，使得编码的视频流对信道差错更加脆弱。为了减轻信道差 错对解码质量的影响，必须结合实际应用信道的传输特性，采用有效的差错处理机制， 因此差错控制技术便成为视频通信的关键技术【1 5 1 。 2 1 传输差错分类 传输差错可粗略地分为两类：随机比特错误和删除错误。随机比特错误是由物理 信道的不完善引起的，它导致比特反转、插入和删除。随机比特错误的影响取决于编 码方法和受影响的信息内容，从可忽略到不可忍受。当采用固定长度编码时，随机比 特错误将只影响一个码字，引起的损害一般是可接受的。但如果采用变长编码，随机 比特错误可能使编码信息失去同步，从而导致许多后续比特不可解码，直到下一个同 步码字出现为止。在一些情况下，由于没有方法决定解码信息相应的空间和时间位置， 甚至当获得下一个同步后，解码信息仍然不可用。另一方面，删除错误可能由包交换 网络中的包丢失、存储媒体中由于物理缺陷导致的突发性差错或者短时间的系统故障 所引起。变长编码v l c 比特流中的随机比特差错也可引起删除错误，由于单个比特 差错可导致许多后续比特不可解码，从而使之不可用。由于连续的比特段被丢失或破 坏，删除错误的影响比随机比特错误更具有破坏性。 、 2 2 差错控制 近年来，经过广大科技术工作者的共同努力，提出了许多应用于视频通信系统中 的比较成熟的差错控制与错误恢复技术，其分类方法各不相同，本文按照编解码器在 其中所扮演的角色，将其分为三大类。一类是前向差错控制技术，即基于编码器的差 错弹性技术，在这类技术中，编码器扮演了主要角色；另一类是后向错误隐藏技术， 即基于解码器的零冗余差错隐藏技术在这类技术中，解码器完成了错误隐藏任务，而 不需要依赖于编码器的附加信息，主要通过空间和时间平滑技术；第三类是交互错误 隐藏技术，即基于编解码的交互式差错隐藏在这类技术中，需要编码器和解码器协 调工作，尽可能使传输错误的影响更小 。 2 2 1 前向差错控制 在这一节中，我们所描述的差错控制方法，均是编码器在其中扮演了主要的角色。 4 硕士论文 基于图像修描的差错掩盖方法研究 当传输信道为非无损信道时，在解码器端，主要有两种原因所引起的失真。第一种是 在波形变换过程中因量化噪声所引起的失真；第二种是由于传输错误所引入的失真。 在给定可用带宽与信道特征以后，一个最佳的源编码器和传输编码器应该被设计为使 因量化噪声和传输错误所引起的联合失真最小。 传统编码器的设计目标是尽最大可能去除冗余信息，以达到最大的压缩比。在实 际应用中，由于信源与信道环境总是不断变化的，如果以此作为编码器设计的唯一准 则，势必造成解码器不易恢复误码。基于编码器的差错弹性技术可以有效地改善这个 问题，通过在信源或信道编码器码中添加一定的冗余信息，提高视频流对信道差错的 鲁棒性。其设计目标是以最少的冗余信息产生最好的抗误码效果。很多方式可以在视 频流中引入冗余使得视频流的抗误码能力增强或给解码器的差错隐藏提供有用的信 息来增强隐藏效果。 2 2 1 1 编码的差错控制 这类技术中最典型的是前向纠错编码f e c 、分层编码l c 和多描述编码m d c 。 前向纠错是最常用的差错控制机制，是相当成熟的一项检错纠错技术，它己在数 据通信中广泛采用。前向纠错是指在源编码器中，在有效数据后加入一些专用的检错 纠错码字，以实现在解码器端的检错与纠错，通过增加冗余的办法来提高传输数据对 信道误码的抗击能力，提高信道传输的可靠性。通过前向纠错，接受端可以发现甚是 有可能恢复受损或丢失的信息，如果丢失的信息可以在一定程度熵恢复，那么就可以 降低传输差错对重建视频的影响。它实际上是属于信道编码的范畴，目前有许多用于 前向纠错的编码技术，主要包括分组码、卷积码以及级联码等结构形式。但是前向纠 错会对信道的其他传输特性造成一定的影响，如流量、时延和抖动等【1 8 1 。 分层编码是指将视频信号分成一个基本层和一个或几个增强层，其中基本层包含 视频信号的基本信息，通过它可以恢复出可接受但质量较低的视频信号，增强层包含 视频信号的细节信息，它可以逐步提高视频的恢复质量。为了抵抗信道干扰，在传输 过程中分层码流必须具有不等差错防护u e p 的特性，基本层码流应该受到最高级别 的保护，例如，分配更多的带宽，用更强的前向纠错码，对增强层应用不是很强的差 错控制机制。 多描述编码将同一个视频信号编码成多个相关的子流( 称为描述) ，具有同等重 要性，并且分别在独立的信道上传输。任何一个单独的描述必须提供一个基本级别的 视频质量，多个描述一起提供改善的视频质量。多描述编码相对于分层编码的一个优 点是它不需要网络提供可靠的子信道，缺点是编码效率低【1 7 1 。 在分层编码和多描述编码中，信源编码器和信道编码器之间在高层上交互作用。 信源一信道的交互作用也可以发生在较低的层上，也就是说，在信源编码器中设计的 量化器和熵编码器与在信道编码器中设计的前向纠错和调制方式之间交互。虽然这种 5 硕士论文 基于雹像修描的差错掩盖方法研究 类型的方法传统上称为信源和信道联合编码，但广义上，分层编码和多描述编码也可 认为属于此种类型。 众所周知，视频编码器输出的码流对重建质量的影响是不同的。在编码中，也采 用了不等错误保护机制：例如，对于h 2 6 3 和m p e g - 4 等基于d c t + 运动补偿技术的 编码器来说，码流中的运动和量化信息远比纹理信息重要。一旦码流中的重要信息发 生了错误，必将造成视频重建质量的严重下降。因此，在传输时就需要根据所传输信 息的重要性程度来决定对各部分采取不等的保护措施，这就是不等错误保护机制的基 本思想。若将分层编码和不等错误保护机制相结合可以提供一种良好的抗误码机制。 显然，不等错误保护机制克服了传统的信道编码给予所有数据相等的保护，只能通过 提高整体码流性能来保证重要数据无差错传输的缺点，可以更有效地利用网络资源， 提高传输地可靠性。 2 2 1 2 容错预测 差错对感觉视频质量的一个影响是由于编码使用了时间预测和空间预测，一旦有 差错发生，该差错会从时间和空间上迅速累积，引起视觉损伤。为了限制这种时空累 积，必须采用合适的差错控制技术。针对这个问题，w a n g 等提出了增强视频通信系 统稳健性的方法，其中最典型的代表是i n t r a 更新和独立分段编码。 ( 1 ) i n i r a 更新 该技术是以规则的时间间隔发送i n i r a 帧来刷新场景。改进后的自适应i n t r a 更新a 吸是以i n n 队模式发送预定数目的运动宏块，每帧发送1 次。由于a i r 在更 新规则的间隔上更新视频场景中最活跃的部分，比i n i r a 更新获得更稳定的视频质 量。对于i n t r a 帧编码宏块的数量和位置的确定，目前所知最好的是全局率失真优 化方法。 ( 2 ) 独立分段编码 该技术将视频数据分成多个段，仅在同一段内部进行时间和空间预测，即独立的 段预测。 2 2 1 3 容错编码 差错对感觉视频质量最具破坏性的影响是导致解码端的同步丢失。快速恢复同步 的差错弹性技术中最典型的代表是差错弹性的熵编码e r e c 和可逆变长编码r l v c 。 ( 1 ) 熵编码 该技术以定长的时间间隔在视频流中插入同步码。通过精心设计，即使变长码有 小幅的波动，解码器也容易识别同步码与视频数据流的相似段。同步码后面通常紧跟 着头信息，当解码器一发现同步码就开始适当解码。如果检测到变长码中有误码，同 步总在下一个时隙开始时恢复。该方法的引入降低了编码效率，但能使解码器更快地 6 硕士论文基于图像修描的差错掩盖方法研究 获得同步。 ( 2 ) 双向解码和可逆变长编码 双向解码是使解码器能对视频流双向解码，来恢复全部或部分在前向解码中扔掉 的比特流，减少有用数据的丢失。双向解码还有助于解码器找到差错或者提供更多的 有关差错位置的信息。为了使解码器能反向解码，在编码流中需采用可逆变长编码。 就视频编码而言，可逆变长编码可以获得极好的编码效果和易于实现的码字结构。图 2 1 为可逆变长码的双向解码。 不能被解码 图2 1 可逆变长的双向编码 2 2 2 后向差错控制 下面我们将介绍的方法，称为解码器后向错误隐藏，它为一种后验差错控制机制， 在这类技术中，是基于解码器来完成的，解码器从先前接收到的无差错信息中提取有 用信息，来颇为近似地恢复丢失或出错数据，而不过多的依赖于编码器的额外信息。 与数据文件对传输误码的要求不同，视频业务可以容忍一定程度的误码，但对时 延十分敏感，即要求实时传输。视频信息在空域和时域都有很强的相关性，在以人眼 为最终信宿的视频应用中，对于传输中的误码，不必像数据传输那样追求绝对的无损 恢复，而可以通过寻找一些相关数据来代替误码数据，实现误码隐藏。即利用人眼的 差错遮蔽特性，恢复出入眼可以接受的视频图像。之所以使用“隐藏”二字，是因为 误码隐藏并未真正消除传输中的误码，而是尽可能弥补误码带来的视觉损伤。该隐藏 技术完全是基于解码器的，没有改变采用的传输技术，而且对视频流也没有引入任何 冗余，因此称为零冗余差错隐藏技术。 现在的问题是视频解码器必须首先检测出传输码流中是否存在误码，如果存在， 还要精确地确定出误码位置；然后利用差错控制技术即误码隐藏技术将误码地损害降 低到最低限度。因此差错隐藏的第一步是误码检测。 2 2 2 1 误码检测 一般来说，误码检测可在两个层面上进行，即传输解码层和视频解码层。所谓传 7 硕士论文 基于图像修描的差错掩盖方法研究 输解码层，是指在信道解码环节检测传输误码；所谓视频解码层，是指在视频解码环 节检测传输误码。 传输层差错检测可靠性高，容易实现，其代价是要牺牲一定网络带宽。利用视频 信号本身属性及码流语法结构进行误码检测，不会增加额外的传输负担。解码端差错 检测不需要分配额外的比特，但可靠性低，实现复杂。所以在实际系统中，这些方法 并不冲突，要根据需要和使用场合相互结合使用。 2 2 2 2 误码隐藏 解码端的误码隐藏是在传输过程中已经发生误码的情况下，对受损数据进行恢复 或者估计，属于一种后处理技术。基于解码器的差错隐藏是指在解码端利用先前接收 的无差错视频信息来对差错信息进行恢复或估计，使这些差错信息在视觉上尽量不被 察觉出来。如果编码方法采用的是基于块的视频压缩编码，要恢复一个损坏的块，需 要在受损宏块中进行三种信息的估计： ( 1 ) 纹理信息，包括原始图像块或者预测误差块中的像素值或者d c t 值系数值； ( 2 ) 运动信息，包括p 模式或b 模式编码得到的运动矢量m v ： ( 3 ) 宏块的编码模式信息。 众所周知，自然场景图像主要包括低频分量，也就是说，除了带有边缘的区域， 其他时间和空间相邻像素的颜色值变化平滑。在恢复受损的纹理信息时主要利用的就 是图像视频信号的这种平滑的特性，常采用的恢复方法是时空域插值法。运动矢量 场也具有这种平滑特性，因此也场采用这种时空域插值恢复方法。即可以用插值的 方法对纹理信息和运动信息进行恢复。对于编码模式信息来说，则采用启发式的方法， 下面分布介绍这几种信息的恢复方法。 ( 1 ) 纹理信息的恢复 如前所述，受损的纹理恢复主要利用图像视频的平滑特性，现在主要采用的方 法包括运动补偿时域预测、空域插值、最大平滑时空域插值、凸集投影法和空一频 域插值等【1 ”。 1 ) 运动补偿时域预测 这是一种利用视频信号在时域存在的相关性恢复纹理信息的技术。差错的时间隐 藏法：该方法是基于运动补偿的时间预测，利用受损块的运动信息对图像进行恢复。 具体可分两种情况。无运动补偿的时间隐藏方法；如果视频图像在时间上具有很 强的相关性，就可以用前一解压帧中对应的图像块代替当前受损的图像块。这种方法 简单有效，特别是针对相对静止的图像序列。有运动补偿的时间隐藏方法：该方法根 据受损图像块的运动矢量，用前一解压帧经过运动补偿后的图像块代替当前受损的图 像块。这种方法的恢复性取决于可以利用的运动矢量和运动的剧烈程度。当视频中存 在剧烈运动时，会出现非常明显的马赛克块。运动矢量被正确传输时，使用运动补偿 8 硕士论文 基于图像修描的差错掩盖方法研究 块代替同样位置的图像块，可以有效弥补上述缺点。而如果运动矢量也在传输中丢失 或受损，则需要使用上面介绍的运动矢量恢复技术首先将运动矢量估计出来，这种估 计的运动矢量带来的误差必将影响误码恢复的结果。 事实上，在m p e g - 2 标准中，即使采用帧内编码模式的图像块，也允许传输相应 的运动矢量，其目的就是为了有效恢复受损图像块。据研究，在丢包率达1 0 时，使 用基于运动补偿的误码隐藏技术，m p e g - 2 重建图像的质量大绣可以提高i d b 。这种 方法的局限性在于必须保证运动矢量的正确传输。 2 ) 空域插值 另一种简单的纹理恢复方法，是利用相邻正确接收块中的像素对受损块中的像素 进行插值。在传输时，通常处于同一行的所有块或者宏块的码流放在同一个数据包中， 这样恢复时可用的相邻数据块位于受损块的上面或者下面。由于这些块中绝大部分像 素都远离受损的样值点，因此往往只采用相邻块中的边界像素进行插值。除了对单个 像素进行插值外，一个简单的方法是估计受损块的直流系数，然后将受损块用估计的 直流值取代。直流值可以利用相邻块的平均直流值估计得到。为了方便空域插值，可 以采用交织的打包机制，这样一个数据包丢失只会影响隔行的视频数据。 此外，差错空间隐藏方法还有最大平滑时一空域差值、基于凸集投影空间插值等。 ( 2 ) 编码模式的恢复和运动矢量的恢复 估计受损宏块编码模式的一个方法是收集相邻宏块编码模式的统计特性，并从中 选择最有可能的编码模式。一种简单有效的恢复编码模式的方法是假定受损宏块是帧 内编码i n n 模式，仅采用空间插值对其进行恢复。 同样基于视频信号的平滑属性，运动矢量也可以用类似的插值方法加以恢复。常 用的运动矢量恢复方法有1 2 2 ； 1 ) 最直接和简单的方法是假定丢失的运动矢量为零矢量，对运动量较小的视频 序列，可以取得很好的隐藏效果； 2 ) 用前一帧中相应图像块的运动矢量来代替丢失的运动矢量； 3 ) 用从空间相邻的图像块中所得运动矢量的平均值来代替丢失的运动矢量； 4 ) 用从空间相邻的图像块中所得运动矢量的中值来代替丢失的运动矢量； 5 ) 重新估计等。 以上几种方法主要都是用来恢复图像的低频信息，反映出图像的平滑特征。而基 于人眼特性，人眼对边缘信息特别敏感，为了达到视觉上的隐藏效果，我们必须对边 缘信息进行较好的隐藏。 2 2 3 交互式差错控制 前文所述的差错隐藏都是在编码端或者解码端单独进行的。如果能建立反馈信 9 硕士论文 基于图像修描的差错掩盖方法研究 道，则可以进行交互式的差错隐藏，即编码器根据解码器提供的反馈信息对编码参数 或编码方法作相应调整，使得解码端的差错隐藏实现更加容易而且更加充分。下面介 绍几种交互式的抗误码技术【1 9 2 1 1 2 2 3 1 选择性编码 如果编码器不使用预测编码方法，那么可能无需采用误码隐藏技术，因此误码的 影响将局限于当前一帧图像，而单帧图像中的瑕疵很容易被后续帧掩盖过去。但是由 于相邻帧之间的信息冗余度非常高，帧间预测方法又无法弃之不用，因此，如果解码 器能够提供受损图像块的位置信息，编码器可以立即采用帧内编码模式对相应位置的 图像块编码，这样误码对图像造成的损害可以有效地控制在有限的几帧之内。但是这 种简单使用帧内编码方式的策略，将明显降低压缩效率。 2 2 3 2 自适应编码 自适应编码常用于实时视频传输中，其基本思想是编码端根据接收端的反馈信息 估计发送速率，然后调整编码器的编码参数或者改变编码帧率生成适当的视频码流， 使得码流的速率与信道的带宽匹配。m p e g - 4 和h 2 6 3 都允许在编码过程中通过跳帧 改变编码帧率，与调整量化参数相结合可以具有很好的网络状况适应能力。 2 2 3 3 自适应传输 前面介绍的是信源编码器的自适应编码方式的选择，本节介绍自适应的传输方法 选择。首先要假设传输控制器可以从传输目标获得及时有效的反馈信息，从而可以及 时知道那些重要信息发生了误传。 为了利用重发数据，解码器往往要暂停工作，知道接收到重传数据才继续处理后 面的数据，这样会造成画面冻结。这里介绍一种技术来克服这种时延。 解码器发现视频数据受损时，它向编码器发出重传请求后，用某种误码隐藏技术 恢复受损图像块，然后继续解码过程，整个过程并不等待重传数据的到达。解码器需 要记录下受损的像素和相关编码信息，受损像素是指由于误码扩散而受到影响的所有 像素，既包括当前帧中的像素，又包括后续帧中的像素。重传数据一到，受损像素将 被纠正过来，就像没有发生过传输误码一样。 2 3 本章小节 本章首先简介了信号在传输中差错的分类，然后分成三大类对目前在视频通信中 运用较为成熟的差错控制与错误隐藏技术进行了简要的介绍，并对它们的性能进行了 评价。有些是利用在源编码器对比特流进行编码阶段，故意增加一些冗余来提高比特 流的抗误码能力，如各种前向差错控制技术；有些是利用比特流的语法特点以及一些 必要的变换来隐藏己发生的差错，如解码器错误隐藏技术；而有些则是靠编解码器的 协同工作来完成差错恢复。这些技术各有各的适用范围，有些适合在突发错误多发的 i o 硕士论文基于图像修描的差错掩盖方法研究 信道中运用，而有些则适合在持续差错信道中应用。 而在实际应用中，这些技术都不是孤立的，很多时候他们都可以联合使用，以得 到更好的差错控制性能。 由于信道的特性和系统的配置不同，差错隐藏技术在不同环境下的隐藏效果不 同。因此，未来的差错控制技术，需要解决的主要问题是：建立更多的信道模型以利 于自适应调整信源信道编码；选择有效的信息反馈以解决实时交互式视频通信的延时 问题；降低编码算法的复杂度以利于高误码环境下的实时视频传输；把编码算法、传 输协议、调制方式和差错隐藏一起设计到视频压缩和传输过程中以利于系统级的优化 和设计。这些问题的解决将为实时视频通信业务的发展注入活力。 硕士论文 基于图像修描的差错掩盖方法研究 3 图像修描方法 3 1 简价- 图像复原是图像处理的一个重要应用方面，图像修描技术属于图像复原的研究领 域，是图像处理的一个小的分支，它是一项古老的艺术创造，也是现在大家研究的热 门课题之一，用它恢复的图像对于那些不知道原始图像的观察者来说，是不可能觉察 出有什么不同的。图像修描这一术语来自于古代艺术品的修复，早在文艺复兴时期， 人们就开始修复一些中世纪的艺术品。由于年岁久远或者遭受破坏等各种因素，图像 出现了破损，人们通过填补裂缝来势起画面恢复原貌，这一工作就称之为“润泽”或 者。修描”。修描图像就是用不显眼的方式来处理图画、照片或影片，包括使受损的 图像恢复、移走或取代照片中被选择的物体等等。图像修描技术就是要重新创造艺术 品中丢失的或损坏的部分，而使他们更清晰，并且成为一个整体。 今天，数字的图像修描技术正在得到广泛的应用，其趋势就是要实现自动的检测 并且能去除图片或影片中的划痕和污迹。而目前的一些图像处理软件可以达到近似的 效果，但是通常都是一个复杂的手工的过程。因此对艺术品迫切需要一种能自动真实 恢复原创者创意图的修复办法。利用数字技术进行图像还原的概念最早是由c h a r t 和 s h c a 提出的图像修描模型，目的是为了解决艺术品的修复问题。与以往研究的重点 不同，图像修描技术的重点不在于改善图像的质量，去除干扰和模糊，而是在恢复图 像的信息以及移除多余物体等方面。b e r t a l m i o 等人最先把图像修描引入到数字图像 处理，并根据艺术家实际的修补方法提出了一个有效的算法，并在后来提出了一个改 进的修补模型，将图像的灰度和结构信息同时平滑的延伸到待修补区域内。此后，图 像修描在图像处理、视觉分析以及影视业上都得到了广泛的应用。具体的例子包括： 数字图像以及旧胶卷上擦痕的清除，文字的抹去和图片上多余物体的剔除等等。随着 计算机技术的发展，怎样能够在数字图像的基础上实现半自动或者全自动的图像修 补，成为图像复原研究领域的一个重要的课题。 图像修描涉及到的技术很多，包括非线性过滤方法，贝叶斯方法、小波变换、光 谱变换、偏微分方程以及基于知识的人工智能等等。图像润饰借鉴了艺术家修复艺术 品的部分工作原理：修复区域周围的结构信息不断向内填充；轮廓线从区域边界自然 向内扩展：修复区域内的不同部分由轮廓线隔离，颜色和边界周围相配。当扩散达到 稳定状态的时候，意味着扩散己非常平滑。修复区域不断缩小，最终消失。图3 1 ( a ) 和图3 1 ( b ) 表明一个被涂抹的照片，经图像修描算法修复的复原过程。从图中可以看 出，涂抹部分( 红或白色部分) 被不断填进周围信息部分，逐渐缩小直至最终消失。 硕士论文 基于图像修描的差错掩盖方法研究 3 2 几种图像修描方法 以往相关研究的基本着眼点都在于利用缺损部分周围的图像信息来填充缺损区 域，其中比较经典的图像润饰和纹理合成算法。仅仅适用于包含纯结构或纯纹理的图 像，而对既包含线性结构又包含复杂纹理的人多数图像，算法的效果就不太理想。 ( a ) 示例i ( ”示例2 图3 1图像修描算法的实现过程 为了解决这个问题，近来学者们进行了许多有益的探索。其中比较重要的有：针 1 3 颈士论文 基于图像修描的差错掩盖方法研究 对图像不同的特质，综合利用不同的技术。b e r t a l m i o 等人提出了将图像分解为结构 和纹理部分，分别应用图像修描技术和纹理合成技术，而后将两部分合并得到新生成 图像的技术【4 j ；a n a tl e v i n 等人针对传统图像修描算法主要依赖局部图像信息的缺陷， 在统计图像的全局特征基础上，提出了一个更为通用的图像修描算法川；c r i m i n i s i 等 人提出了融纹理合成和润饰技术为一体的基于样本的修复技术1 1 2 】。本文将针对以上具 有代表性的研究工作，进行具体的分析和探讨，并给出自己的方法。 3 2 1 基于偏微分方程的图像修描 以下是b c r t a l m i o 设计的经典的图像修描算法【4 】：设q 为要填充的区域，a q 为区 域的边界，图像润饰算法的基本思想是将区域q 周围的信息( 梯度方向和灰度值) 以 等照度线( i s o p h o t c ，由灰度值相同的像素点构成的线) 方向透过边界平滑地扩散进 去( 参见图3 2 ) 。 图3 2 从源区域向待填充区域扩散信息 设，代表图像像素值，利用偏微分方程表示如下： l ：l 塑 国 娶：v ( ) v - ， o t ( 3 1 ) ( 3 2 ) 在这里，和j 表示输出像素和原像素，v 、和v 1 分别表示梯度、拉普拉斯算 子和正交梯度( 一a ，和一a ，为等辐透线方向) 。当瓦o l = o ，即v ( ，) 或者v 1 ，= o ，算 法达到稳定状态，意味着沿等照度线法线方向扩散的“平滑度”是一个常量。当填充 区域较大的时候，采用多分辨率模型可加速填充过程。事实证明，图像润饰技术适合 修复图像的结构部分，修复的图像结构明显，并且颜色自然，没有人工痕迹。但用该 1 4 硕士论文 基于图像修描的差错掩盖方法研究 算法填充较大区域时，容易引起模糊。 该算法可推广到彩色图片上，将彩色图片看做简单的3 幅单色图片的叠加，每幅 单色图片都可应用图像润饰算法，而后再合并即得到新生成图像。 但是这种方法对图像的结构信息修补效果不是很理想，随后b e r t a l m i o 等人提出 了将图像分解为结构和纹理部分，分别应用润饰和纹理合成技术，而后将两部分合并 得到新生成图像的技术。 此算法包括图像分解、图像润饰和纹理合成这三个主要技术，其创新之处在于将 现有的三种技术图像分解、图像润饰和纹理合成结合起来使用。利用图像分解技术使 得图像中的结构和纹理可以通过不同的方式重建，这样就允许有针对性地使用图像所 适合的填充算法，而不是先前不论图像复杂与否，仅仅使用其中的一种算法。同以前 单纯的图像润饰或纹理合成算法相比，算法实施效果有了一定进展，但仍有可改进的 地方：纹理合成模型中的匹配窗形状不应仅仅局限于方形，其算法效率有待提高，如 何将重构后的子图更好地合并还需进步的研究。 3 2 2 基于整体变分的图像修描 在章节3 2 1 中，b e r t a l m i o 等采用基于偏微分方程p d e 的修补算法，通过将待 修补区邻域信息沿等光照线方向扩散来填补待修补区，该算法可同时填补多个包含不 同结构和背景的区域，并且对待修补区的拓扑关系没有限制。受到b c r t a l m i o 等工作 的启发，c h a r t 等提出了将整体变分模型用于图像修补 3 j 。整体变分算法是一种较好 的异向扩散算法，该算法可以在保持边缘的同时达到去噪的目的，采用该模型可进行 图像修补。 “为原图像，基于t v 模型的图像修补基本公式如下所示： 厂一 、 旃，i 芒婴| - 0( 3 3 ) l 刚，j 。 v u 代表“的梯度，v u = 4 1 , 1 ；+ “：，其中u ，和甜，分别为“在x ( 水平方向) 和y ( 垂直方向) 方向上的偏导。b 为图像待修补区，是为了使i v “l 在零点可微所采用 的较小的正数( 可取小于o 0 0 1 ) 。 这种方法对恢复待修补区域为长条形空白区域效果较好，下面对这种方案进行具 体研究，以待修补区域为长条形空白区域为例。 图3 3 所示为长条形待修补区示意图，其中b 为待修补区，彳为b 的邻域，甜为b 内的任一待修补像素。 为使图像修补后的效果逼真，在修补过程中还应顾及图像纹理的自然过渡。即在 修补过程中不能仅仅考虑待修补像素四邻域的信息，而应合理地利用待修补像素邻域 更多像素的信息，本文中采用了八邻域。如图3 4 所示，假设u 为待修补点，根据邻 1 5 硕士论文 基于留像修描的差错掩盖方法研究 域像素与待修补点方向的不同，各邻域像素在修补中所起的作用也不同。图3 4 中， 口2 - 、a 。、口i ：和口，：对修补水平方向和垂直方向纹理的作用较大，而邻域中其余像素 对修补斜向纹理作用较大。为了达到这个目的，可采用半点格式法来求解梯度。半点 格式是顾及八邻域的梯度求解算法，即考虑了待修补像素邻域八个方向上的信息，这 对恢复待修补区纹理的逼真性起到了很好的作用。 如图3 5 所示， u p 、d o w n 、绝后和r i g h t 点分别代表点口1 2 、口3 2 、口2 l 和4 2 3 到点 村的中点，这四个中间点的梯度值分别为： l v u ”| = ( 口1 2 - u ) 2 + ( ( q i q 3 ) 2 ) 2 ( 3 4 ) 几 1 。- _ _ _ _ 。_ _ _ - _ _ _ _ _ _ _ - _ _ _ _ _ _ _ _ _ _ - 。_ 。_ _ _ _ _ _ _ _ _ _ _ - - _ _ 。_ 。一 i v u r 神ti - 亡( 口2 3 一甜) 2 + ( ( 口旷a 3 3 ) 2 ) 2 ( 3 5 ) 1 ，- - - - - - - - - - - - - - - 一 i v 出柳l _ ( 口3 2 - u ) 2 - i - ( ( 口3 3 一i ) 2 ) 2 ( 3 6 ) 仃 i v u 蛳l = 亡( 口：，一“) 2 + ( ( 口，。- a 。) 2 ) 2 ( 3 7 ) 其中，h 为相邻两节点的间距，在这里，我们取h - - - 1 。 在本节中主要研究了t v 模型在图像待修补区为长条状空白区域的图像修补方 法，因本算法只对待修补区根据邻域像素的信息进行填补，不修改待修补区邻域的像 素值本身，从而使t v 用于图像修补的算法更加简单。但这样做的不足之处是可能会 造成待修补区与其邻域之间的过渡不很自然，而且适用范围比较窄。针对t v 模型的 缺点，c h a n 和s h e n 提出的基于曲率扩散的c d d 修补模型 4 1 ，能对较大破损区域进 行修补，但是造成了一定程度的模糊。 工l 图3 3 长条形待修补区 1 6 硕士论文 基于图像修描的差错掩盖方法研究 3 2 3 基于水平集的图像修描 水平集方法主要是从界面传播等研究领域中逐步发展起来的。它是处理封闭运动 界面随时间演