（通信与信息系统专业论文）无线信道下基于块的图像修复技术的研究.pdf

复旦大学工学硕士学位论文 摘要 随着移动通信技术的发展，高数据速率传输为现代通信技术提出了很高的要 求。同时由于无线信道固有特性的约束，难以避免信道误码传输。在有限的带宽 资源前提下，如何提高信道利用率就成为了一个比较热门的问题。与此同时，随 着半导体技术的发展，计算能力变得越来越廉价。以计算量为代价换取高的频带 利用率成为移动通信技术的发展趋势。 多媒体通信又是大数据量通信的主要内容，然而如果采用误码重传请求 ( a r q ) 或者纠错编码( e c c ) 等方法解决误码传输的问题，都将导致大量珍贵 频带资源的浪费。多媒体信息( 图像) 本身存在着较大量的数据冗余，因此研究 人员利用这些冗余及图像其他残留的部分信息，针对图像中丢失或受损部分进行 填充和修正，就可以实现图像的复原或接近原图像的视觉效果，避免重传信息或 者冗余编码，进而提高无线信道的频带利用率。 本文针对无线信道下受损图像块修复算法展开了研究和论述。论文通过对纹 理合成图像修复算法的优化，引入权威系数及梯度控制约束修复方向，使得该算 法可以应用于复杂图像的修复：进而将图像修复技术与j p e g 图像压缩技术结合 到一起，利用对图像块粗糙度的研究对可修复区域进行人为丢弃，并重排图像块 进行二次压缩，提高压缩率，由此进一步提高信道利用卒。另外图像修复技术还 可与其他技术相结合，比如文本提取与去除，物体移除等等，使得其在图形图像 处理等诸多领域都有非常广泛的应用。 关键词：无线信道；图像修复；纹理合成；权威系数；j p e g 图像压缩；压缩率； 文本提取：图理论聚类； 中图分类号：t n 9 1 9 8 h i 复1 5 1 大学工学硕士学位论文 a b s t r a c t w i t l lt h ed e v e l o p m e n to ft h em o b i l ec o m m u n i c a t i o n , c o m m u n i c a t i n gw i t hh i g h d a t ar a t eh a sa l r e a d yb e e nad e m a n d i n gp a r to f t h em o d e r nc o m m u n i c a t i o nt e c h n o l o g y s i n c et h ei n h e r e n tr e s t r i c t i o no ft h er a d i oc h a n n e l ，d i s t o r t i o nd u r i n gt r a n s m i s s i o ni s u n a v o i d a b l e s ot h ep r o m o t i o no fc h a n n e le f f e c t w i t yo nt h ep r e m i s eo fl i m i t e d f r e q u e n c y r e s o u r c ec o m e st ob eah o tt o p i cn o w a d a y s a si tk n o w nt oa l l ，t h a n k st ot h e a d v a n c eo ft h es e m i c o n d u c t o rt e c h n o l o g y , t h ec o s to nc o m p u t a t i o ni sg e t t i n gc h e a p e r a n dc h e a p e rw h i c hm a k e si tt h et r e n dt h a tu t l h z l n gh i 曲c h a n n e le f f e c t i v i t ya tt h e e x p e n s eo f m o r ec o m p u t a t a o n a lc o m p l e x i t y m u l t i m e d i ac o m n m n i c a t l o nm a i n l yt r a n s m i t sl a r g eq u a n t i t yo fd a t a , b u ti tn u g h t l e a d st o r e g r e t t a b l ew a s t eo ff r e q u e n c yr e s o u r c e t oa l l e v i a t et h et r a n s m i s s i o n d i s t o r t m nb ym e a n so fa r qo re c c ，e t c m u l t i - m e d i am e s s a g e s ，e s p e c i a l l yi m a g e s ， u s u a l l yh a v eh e a v yd a t ar e d u n d a n c y t h u sr e s e a r c h e sa r eu n d e r w a yt ot a k ea d v a n t a g e o ft h er e d u n d a n c ya n dt h es u r v i v i n gi n f o r m a t i o nt or e s t o r et h ed a m a g e di m a g e s ， w h i c hr e a l i z e st h em p a i n t l n ga n dr e v i v e st h ev i s u a le f f e c t t h i sw a y , r e t r a n s m i s s i o n s a r en ol o n g e rn e e d e da n dt h ef r e q u e n c ye f f e c t i v i t yi su p g r a d e dc o n s e q u e n t l y t h i sp a p e rd i s c u s s e st h ea l g o r i t h mo fi m a g ei n p a m t i n g b ym e a n so f o p t i m i z i n g t h ew a ya b o u tt e x t u r es y n t h e s i s ，t h ev e r ya n t h m e t i cc a l lb eu s e di nc o m p l i c a t e d i n p a i n t m gc a s e s w h e nd e l i b e r a t e l yd i s c a r d ss o m ec o a r s ep a r ti nt h ei m a g e ，h i g h e r c o m p r e s s i b i l i t y c o u l db ei m p l e m e n t e di nt h ef i e l do fd a t ac o m p r e s s i o n l e s s i n f o r m a u o nm e a n sl o w e rc h a n n e lo c c u p a n c ya n dh i g h e re f f e c t i v i t y b e s i d e s ，i m a g e i n p a i n t i n gi ss i g n i f i c a t i v ew h i l ea d d i n gi tt oo t h e rt e c h n o l o g i e sl i k et e x te x t r a c t i o na n d r e m o v a l ，a n ds oo n k e yw o r d s ： r a d i oc h a n n e l ；i m a g ei n p a i n t i n g ；t e x t u r es y n t h e s i s ；a u t h o r i t y c o e f f i c m n t ；j p e g ；c o m p r e s s i o nr a t i o ；t e x te x t r a c t i o n ；g r a p h - t h e o r e t i c a lc l u s t e r i n g c l cn u m b e r ：t n 9 1 98 1 v 9 8 t 复旦大学工学硕十学位论文 1 1 课题背景 第一章引言 移动通信是现代通信系统的重要组成部分。它集中了无线通信和有线通信 的最新技术成就。目前移动通信已完成从模拟通信到数字通信阶段的发展，并 且正朝着个人通信这一更高阶段发展。 个人通信中，高数据速率传输为现代移动通信技术提出了很高的要求，同 时无线信道固有的特陛，如多径衰落等等使得信道误码率很难得到降低，那么 在有限的带宽资源前提下，如何提高信道利用率就成为了一个比较热门的问题。 与此同时，随着半导体技术的发展，计算能力变得越来越廉价。这为数字信号 处理技术在移动通信系统中的广泛运用铺平了道路。以计算量为代价换取高的 频带利用率成为移动通信技术的发展趋势。数字信号处理技术必将在移动通信 领域发挥越来越重要的作用，计算能力的增加将成为移动通信技术发展的重要 推动力量。 多媒体通信又是大数据量通信的主要内容，然而如果采用误码重传请求 ( a r q ) 或者纠错编码( e c c ) 等方法解决误码传输的问题，都将导致大量珍 贵频带资源的浪费。多媒体信息( 图像) 本身存在着较大量的数据冗余，因此 研究人员利用这些冗余及图像其他残留的部分信息，针对图像中丢失或受损部 分进行填充和修正，就可以实现图像的复原或接近原图像的视觉效果，避免重 传信息或者冗余编码，进而提高无线信道的频带利用率。 对在无线信道传输的信息来说，突发丢失数据报的情况比较多。相应的在 传输图像信息的时候，可以应用隔行扫描的方法传输图像信息，这样就避免了 大面积图像区域的整体破坏，缩小或者说分散可能得受损区域，尽量多的保留 受损区域周围可靠的信息。这样，只要图像修复算法具有较强的处理能力，较 为完整的修复图像就成为一种可能。而且在信道条件较好的环境下，我们还可 以将图像修复技术与信息压缩技术结合到一起，利用算法对可修复区域进行二 次压缩，提高压缩率，也可以因此提高信道利用率。另外图像修复技术还可与 其他技术相结合，比如文本提取与去除等等，使得其在图形图像处理等诸多领 域都有非常广泛的应用。因此，对无线信道图像修复技术的研究是非常有意义 的。 复旦大学工学硕士学位论文 1 2 本文结构 本文包括七个章节，各章节的内容安排如下： 第一章是论文的引言部分，简要介绍了基于无线信道下图像修复技术的研 究背景，阐明了论文的主要工作和内容组织结构。 第二章介绍了论文中涉及到的主要知识体系。包括无线信道的特点，j p e g 压缩编码的理论，文字检测与提取的方法，以及介绍图像复原和图像增强两个 图像修复的相关处理内容，最后介绍了评定图像质量常用的量化标准p s n r 。 第三章主要介绍了图像修复算法的发展和现状。详细的介绍了基于偏微分 方程等当今研究比较广泛的四种图像修复方法，并分析各个方法的局限性，为 后文对现有算法进行优化作铺垫。 第四章对纹理合成修复算法进行了优化，引入自定义权威系数，结合受损 区域周围图像块变化趋势，约束纹理合成修复方向，最终完成图像修复。并通 过实验结果，证明该修复算法可以获得良好的图像视觉效果。 第五章通过对块状缺损图像修复技术的研究应用优化的纹理合成算法，引 入图像块粗糙度进行分类，人为的丢弃符合设定条件的图像块。将图像修复算 法引入j p e g 压缩编码算法中，实现了图像的二次压缩，提高图像得压缩率。 第六章通过对文字定位技术的研究，将它与图像修复技术紧密结合，应用 于文字标签的去除。在连通域分析和灰度聚类等方法联合应用下，可以较好的 提取并去除文本信息。 第七章是论文的结论部分，总结了论文的工作，并提出了关于将来研究工 作的一些设想。 复旦大学工学硕士学位论文 2 1 无线信道特点 第二章知识预备 与有线环境相比，无线环境具有b d p 值大( 带宽与双向传输延迟时间的乘 积) ，误码率高，信道不对称及移动频繁等特性，其丢包率远远高于有线网络。 数据包丢失的原因可能是由于网络拥塞，也可能是因为链路传输错误或移动终 端进入小区切换，因此在进行传输多媒体等大数据量的业务时，数据往往会出 现缺失或者错误。 2 1 1 误码丢包 在无线网络环境下，由于信号衰减，随机的气候条件，复杂的地理因素及 各种有意无意的干扰等，使无线网上的比特出错率是有线网的几十倍或更多， 报文丢失的主要原因是突发性比特错误引起的包受损而丢弃。传输中的报文经 物理层首先到达数据链路层。一般来说，绝大多数受损的数据帧在链路层会被 检测出来并丢弃。然而，也存在个别未被检测出来的受损报文，它们被传至上 层协议。若受损伤的数据包传到了i p 层，就要看是数据的哪一部分出现差错。 由于该层的校验和只保证i p 首部的正确性而对数据部分的有效载荷不起作用， 且i n t e m e t 中的路由器也只检查i p 首部的校验和，因此i p 首部受伤的数据包在第 一个路由器处就会被丢弃。t c p 层的校验和覆盖了t c p 头部、有效载荷、i p 源地 址和目的地址以及t c p 报文段的长度，所以它能够检测出绝大多数已损伤的数 据包。t c p 对校验和出错的数据包无能为力，只能丢弃。显然，传输受损的 数据会艘费宝贵的网络资源。 有些链路层协议对检测出的受损数据包能够进行有限的本地修复以纠正错 误，常用的链路层差错控制系统包括自动重复请求( a r q ) 和前向错误纠正 ( f e c ) 。但这需要添加足够的冗余信息，既浪费了带宽，又加大了时延。所以， 有的研究工作者认为在不知道应用性质的情况下，链路层所做的差错控制有一 定的盲目性，并建议取消链路层的差错检验功能。 2 1 2 拥塞丢包 与有线链路相比，无线链路的带宽相对较小，传输速度慢，通常是数据流 传输中的瓶颈链路。当数据包从“高速”有线因特网进入“低速”无线链路时， 复旦大学工学硕士学位论文 常常破缓存在无线接入因特网的最后一跳路由器处。“” 1 多个输入数据流共享同一个输出端口，数据包在这个端口处会进行排 队。如果没有足够的存储空间可供使用，数据包就会丢弃。在无线链路的入口， 最后一跳路由器需要将有限的存储空间分配给每个用户。因此，这一共享的存 储空间也更容易成为缓存队列中的“瓶颈”，导致拥塞丢包的产生。 2 如果路由器的c p u 在执行排队缓存，更新路由表等功能时，处理速度 跟不上高速链路，也会发生拥塞。随着网络负载的增加，该处也更容易因系统 资源匹配失衡而导致网络拥塞。 3 由于无线链路相对有线链路带宽资源不足，面对高速数据流的输入，在 低速的无线链路处就会形成带宽瓶颈，当其满足不了通过它的所有源端带宽要 求时，网络就会发生拥塞。 2 1 3 移动丢包 异质网络传输控制体系结构在无线通信系统中，移动切换是必然要面对的 重要问题。当主机不断移动时，它可能离开了原i p 地址标识的那个区域，从而 无法连接到网络中。这时，由源端发出的数据包会因网络链路的中断而被迫丢 弃。目前i e t f 推荐使用移动i p 协议来解决移动主机的越区切换问题。当移动主 机跨越相邻小区时，在移动主机的本地子网上设立代理来中转发往移动主机的 数据包，移动主机到达新的子网时必须向其本地代理注册以通知其自己当前所 在的位置。这种中转方式增加了本地代理及其邻近网络的负担和传输时延，但 在一定程度上减少了移动丢包的产生。而对于移动频繁的用户，在切换过程中， 可能还会因为不断变动的移动节点在数据包到达之前已离开了先前的子网，但 暂时未能与新的子网建立联系而造成数据包的丢失。此外，由于无线链路的误 码性能是时变的，终端的移动性将持续改变传输链路上的衰落和干扰，这也会 大大增加数据包在越区切换时被丢失的概率。“ 2 2j p e g 编码原理 2 2 1j p e g 概述 国际电话电报咨询委员会( c c i t t ) 和国际标准化组织( i s o ) 联合制定了 彩色静止图像压缩编码的国际标准，简称j p e g 。 1 j p e g 适用范围 复旦大学工学硕士学位论文 适用范围为亮度和色度有连续层次变化的黑白或彩色数字静止图像。可用 r g b 。y u v 和c m y k 等多种形式的分量表达，不适用于二值图像( 包括文字图 像) 。 2 性能 对于符合国际无线电咨询委员会的c c i r6 0 1 建议所规定的y c r c b4 2 ：2 格 式的彩色标准图像( 合计每像素1 6 b i t ) ，经过专家组主观测试，得到如下结论： 当压缩后平均数据率为每像素0 1 5 b i t 时，解码所得的图像“可识别“；每像素 02 5 b l t 时，解码所的图像为“有用“；每像素o 7 5 b i t 时，“极好“；每像素1 5 b i t 时，“与原图像无法区别“。采用无失真的算法，平均可以达到2 ：l 的压缩比 率。 3 操作模式 顺序模式是指编解码时，都按自左至右和自上而下的扫描顺序，逐个对各 图像子块进行处理，解码所得结果是最终的图像质量。渐现模式是按照上述顺 序处理各图像子块的过程中，每次只是利用其中的部分信息，而整幅图像需要 经过几次扫描过程和相应的编解码才能处理完毕，解码所得图像逐渐由粗到精 细，由模糊变清晰。最后一种操作模式成为层次模式，原是图像经过几次低通 滤波和亚抽样，构成图像幅度尺寸递减的信源子图像序列。在编码时，首先对 最小尺寸子图像按顺序模型进行处理，输出编码结果，随后进行下一级编码， 对编码段对前面各级的编码结果进行本地解码，并对所得到的图像实行内插扩 展，求出它的同尺寸信源子图像的差，再对差值图像进行顺序模式的编码处理。 按照这种方式逐级进行下去，直到与原是图像有相同的图像幅度为止。在解码 部分可以获得逐级由小变大的图像。 2 2 2j p e g 编码的简单流程：( 解码为其逆过程) 图2 - 1j p e g 编码过程示意图 1 将r g b 的影像转换成y 、u 、v 三个c o m p o n e n t s ( y 分量代表了亮度 复旦大学工学硕士学位论文 信息，u 、v 分量代表了色差信息) 2 将每一个c o m p o n e n t 切成8 x 8 的方块 3 对每一个小方块做d i s c r e t ec o s i n et r a n s f o r m ( d c t ) 4 把d c t 的系数根据q u a n t i z a t i o nt a b l e 除以他相对的q u a n t i z a t i o nv a l u e 5 把d c t 的第一个系数( d c 值) 用p r e d i c t i v ec o d i n g 加上e n t r o p yc o d i n g ( 可以是用h u f f m a nc o d i n g 或是a r i t h m e t i cc o d i n g ) 加以编码 6 把d c t 其它的系数( a c 值) 用r u nl e n g t hc o d i n g 及e n t r o p yc o d i n g ( 可以是用h u f f m a n c o d i n g 或是a r i t h m e t i cc o d i n g ) 加以编码 2 2 3 程序框架与算法说明 1 编码( 压缩) j p e g 的图像压缩原理是利用了空间领域转换为频率领域的概念，因为人 类的眼睛对高频的部份较不敏感，因此，这个部份就可以用大幅压缩、较粗略 的方式来处理，以达到让文件更小的目的。下图为压缩流程。 冈 i _ j 图2 - 2 压缩流程图 a 色彩变换与数据提取 计算机屏幕显示使用的是r g b 色彩系统，它是通过颜色相加来产生其它颜 色的。在j p e g 中，我们使用的加色合成法与r g b 不同，称为y c r c b 其中y 表示 颜色的亮度，c r c b 是色调。图像压缩的第一步是从图像数据中取得基本单位 m c u ，再把r g b 数据转换成y c r c b 数据，两者关系如下： y = 0 2 9 9 x r + 0 5 8 7 x g + 0 11 4 x b ( 亮度) c b = 0 1 6 8 7 r 0 3 3 1 3 x g + 0 5x b + 1 2 8 c r = 0 5x r 0 4 1 8 7 x g 00 8 1 3 x b + 1 2 8 人类眼睛对于图像的亮度变化敏感，而对于颜色的变化迟钝，也就是说， y 成分的数据是比较重要的，而其他成分相对不重要，可以只取其部分数据处 理，以增加压缩的比例，这样过程称为部分数据取样。目前，j p e g 采用多为 y u v 4 2 2 y u v 4 1 1 这样在尚未编码的时候w 、，已经取得了5 0 的压缩，而4 2 2 暑 复旦大学工学斫士学位论文 也获得3 3 的压缩。而这种压缩对图像的质量带来的影像比较小。 b 离散余弦变换d c t d c t 是一种空间变换，由于计算量和像素之间关系的数量以及现行的技术 要求，在j p e g 中d c t 以8 x 8 的像块为单位进行，生成的是8 x 8 的d c t 系数 数据块d c t 交换的最大特点是对于一般的图像都能够将像块的能量集中于少 数低频d c t 系数上，即生成8 x 8 d c t 系数块中，仅左上角的少量低频系数数值 较大，其余系数的数值很小，这样就可能只编码和传输少数系数而不严重影响 图像质量。 d c t 不能直接对图像产生压缩作用，但对图像的能量具有很好的集中效果， 为压缩打下了基础。二维d c t 变换公式如下： 嘶，漯i ：肛。， c ( “，v ) = 口( “) 口( v ) 萎n - i 萎n - i 厂( 工，y ) c 。s ；! ：! ：i ；笋 c 。s l ( 2 y 2 + 1 ) w r ( 2 1 ) j ；0y - o l 川 jl j c 量化器( q 因子的应用) 量化是针对d c t 变换系数进行的，量化过程就是以某个量化步长去除d c t 系数。量化步长的大小称为量化精度，量化步长越小，量化精度就越细，包含 的信息越多，但所需的传输频带越高。不同的d c t 变换系数对人类视觉感应的 重要性是不同的，因此编码器根据视觉感应准则，对一个8 x 8 的d c t 变换块中 的6 4 个d c t 变换系数采用不同的量化精度，以保证尽可能多地包含特定的d c t 空间频率信息，又使量化精度不超过需要。d c t 变换系数中，低频系数对视觉 感应的重要性较高，因此分配的量化精度较细：高频系数对视觉感应的重要性 较低，分配的量化精度较粗，通常情况下，一个d c t 变换块中的大多数高频系 数量化后都会变为零。通常j p e g 采用如下的量化表： 1 7 1 82 44 79 9 9 9 9 99 9 1 8 2 12 6 6 6 9 9 9 9 9 99 9 2 42 6 5 6 9 99 ，99 99 9 4 7 6 6 9 99 99 99 9 9 99 9 9 9 9 99 9 9 99 99 9 9 99 9 9 9 9 9 9 99 99 9奎99 9 9 9 p99 9 9 9 9 9 9 99争9 9 9争99 争9 争窖99 争9 争9 争 1 毒1 11 01 若“4 05 16 1 1 21 2 1 41 9 2 蓐5 8 6 0 5 5 1 4 t ：1 62 吗4 06 9，6 l d i t 7 2 22 95 18 06 2 1 82 23 r 75 6 6 81 0 91 0 3” “3 55 5“2 t1 0 41 139 2 4 9“7 81 0 31 2 11 2 01 0 1 7 2 9 2 争59 搴 1 2 1 0 0 1 0 39 9 图2 3 亮度量化值表和色度量化值表 复旦大学工学硕士学位论文 通常采用改变量化步长的办法调节压缩比，步长增大，则量化为0 的系数 增加，压缩比提高。用q 因子调节量化步长十分的方便。关于q 因子对于整个 图像的影响，将在程序结果分析中给出。 d 之型扫描与游程编码 d c t 变换产生的是一8 x 8 的二维数组，为进行传输，还须将其转换为一维 排列方式。有两种二维到一维的转换方式，或称扫描方式：之型扫描亿i g z a g ) 和交替扫描，其中之型扫描是最常用的一种。由于经量化后，大多数非零d c t 系数集中于8 x 8 二维矩阵的左上角，即低频分量区，之型扫描后，这些非零d c t 系数就集中于一维排列数组的前部，后面跟着长串的量化为零的d c t 系数，这 些就为游程编码创造了条件。 游程编码中，只有非零系数被编码。一个非零系数的编码由两部分组成： 前一部分表示非零系数前的连续零系数的数量( 称为游程) ，后一部分是那个非 零系数。这样就把之型扫描的优点体现出来了，因为之型扫描在大多数情况下 出现连零的机会比较多，游程编码的效率就比较高。当一维序列中的后部剩余 的d c t 系数都为零时，只要用一个“块结束”标志( e o b ) 来指示，就可结束这 一8 x 8 变换块的编码，产生的压缩效果是非常明显的。示意图如下： 图2 - 4 d c t 系数说明 图2 - 5 d c t 系数量化表 e 熵编码 量化仅生成了d c t 系数的一种有效的离散表示，实际传输前，还须对其进 复旦大学工学硕士学位论文 行比特流编码，产生用于传输的数字比特流。简单的编码方法是采用定长码， 即每个量化值以同样数目的比特表示，但这种方法的效率较低。而采用熵编码 可以提高编码效率。熵编码是基于编码信号的统计特性，使得平均比特率下降。 游程和非零系数既可独立的，也可联合的作熵编码。熵编码中使用较多的一种 是霍夫曼编码。霍夫曼编码中，在确定了所有编码信号的概率后生产一个码表， 对经常发生的大概率信号分配较少的比特表示，对不常发生的小概率信号分配 较多的比特表示，使得整个码流的平均长度趋于最短。哈夫曼编码举例如下： 日“ s 7s t 1 0 0 0 0 0 0 0 t0 0 t 00 0 1 11 0 01 0 11 1 图2 - 6 哈夫曼编码算法说明 实现流程如下： 图2 7j - p e g 编码流程图 自晾 原本哈夫曼编码法是必须扫描原始数据两次，第一次统计出各个数据的出 现概率，第二次再依照各个数据出现的概率予以编码，而其编码原则是将出现 频率高的数据以位数目较少的码字表示。由于编制哈夫曼码表非常麻烦，所以 j p e g 提供了一些哈夫曼表格，省去了我们对原始数据作出现频率的统计。这些 哈夫曼表格是经过许多图像测试的平均结果，可以放心的使用。哈夫曼解码过 复旦大学工学硕士学位论文 程是哈夫曼编码过程的逆过程，编码解码过程与量化逆量化过程一样，必须使 用同一个码表。5 们 2 解码( 解压缩) 解压缩的过程实际上就是压缩过程的逆过程，根据相关的逆运算，实现压 缩图像从频率域到空间域的恢复。流程如下： 匝蓝囱崮 图2 8 解压缩流程图 其中哈夫曼表以及量化表必须与编码压缩时候使用的相同，这样才能译出 正确的码字。然后做d c t 的逆变换，公式如下： 删= d 中鬻 协：， 然后根据y u v 与r g b 的关系，恢复显示器输出所需要的色彩相加合成模 式。 r = y + 1 4 0 2x ( c r - 1 2 8 ) g = y o 3 4 4 1 4 ( c b 一1 2 8 ) 0 7 1 4 1 4 ( c f - 1 2 8 ) b = y + 1 7 7 2x ( c b - 1 2 8 ) 完成了整个解压缩的过程。 下面简单叙述一下针对一个数据单元的图片的解码算法：在整个图片解码 的开始，需要先初始化d c 系数值为0 。 i ) 先解码d c ： a ) 取得一个d c 系数表的h u f f m a n 码 b ) h u f f m a n 解码，看看后面的数据位数n c ) 取得n 位，计算前后差分值d l 行 d 1 d c + = d x f f e ) 在向量中写入d c 值：”v e e t o r 0 = d c ” 2 ) 解码6 3 个a c ： a ) 取得一个a c 系数表的h u f f m a n 码 b ) h u f f m a n 解码，得到前面o 数量，以及数值 c ) 取得n 位( 组号) 计算a c 复旦大学工学硕士学位论文 d ) 写入相应数量的o e ) 接下来写入a c 3 ) 上一步我们得到了6 4 个矢量下面我们还需要做一些解码工作： a ) 反量化6 4 个矢量：”f o r ( i = o ；i = 6 3 ；i 十+ ) v e c t o r i x = q u a n t i ”( 注意防止溢 出1 b ) 重排列6 4 个矢量到8 x 8 的块中 c ) 对8 x 8 的块作i d c t 变化，并对8 x 8 块的( y c b ，c o 重复上面的操 作( h u f f m a n 解码，步骤1 ) ，2 ) ，3 ) ) d ) 将所有的8 b i t 数加上1 2 8 e ) 转换y c b c r 到r g b 2 3 文字检测和抽取 文字检测和抽取是文字识别( o c r ) 的前期处理工作。随着多媒体信息中 文字内容识别技术的发展，研究人员对文字检测和抽取方法进行了广泛的研究， 较为常用的几种方法介绍如下。 2 3 1 基于边缘的方法 基于边缘的方法是通过寻找垂直边缘来检测文字。因为文字笔划丰富，且 使得文字所在图像区域的边缘非常丰富，所以该方法首先检测出图像的边缘， 然后通过平滑滤波或形态学膨胀的方法来将边缘连接成为文字块，再使用一些 启发式规则来对文字块进行进一步筛选。文献 7 就先用一个3 x 3 的水平差分过 滤器来获得垂直边界，然后用平滑过滤器来使分离的文字部分相连，并排除多 余碎片，再利用一些文字行的特征( 如大于7 0 个像素、4 5 以上的填满率、 横纵比率大于0 7 5 等) 来查找文字区域。虽然基于边缘的方法可以达到快速检 测文字的效果，但该方法不能适应图像背景的复杂变化，检测错误率较高。 2 3 2 基于纹理的方法 基于纹理的方法是利用纹理特征去决定一个像素点或像素块是否属于文字。 由于字符通常由许多较细笔划组成，因此存在笔划的区域通常也是全图纹理较丰 富的区域，实现对纹理的寻找即可以寻找到字符的区域。w u 等人提出了一种基 - t - k - m e a n s 的算法8 9 1 去识别文字像素，该方法在3 个标度下使用了9 个高斯二阶导 数。基于纹理的方法虽能检测复杂背景下的文字，但其计算非常耗时，并且文字 一 复旦大学工学砸士学位论文 精确定位的稳定陛也不好“”。基于纹理的方法虽具有一定的通用性，但这类方 法对于文本的字体和风格比较敏感，存在着定位不准和算法复杂度高的缺点，而 且为了提取纹理信息，有时必须通过对全图迸行微分运算来寻找微分结果较大的 区域。由于对全图进行微分运算需消耗一定的资源，因此该方法的效率比较低。 在利用纹理信息进行分割的时候，还需注意防止全图高频噪声的干扰，否则将严 重影响分割算法的灵敏度。 2 3 3 基于区域的方法 基于区域的方法是把字符作为满足特定启发式规则的单色区域来检测。假设 每个字符的像素都有相似的颜色，那么用图像分割的方法或颜色聚类的方法或 连通区域分析技术即可把字符从背景中分割出来，然后再使用一些简单的启发式 规则，如区域的尺寸和长宽比或者基线等来对分割得到的区域进行进一步筛选即 可得到字符。在文献 1 1 中的文字定位算法就是基于连通区域的分析，需要文字 或其背景是单色的。基于区域的方法不仅能识别人工的字幕，也能分割出图像背 景中的文字。然而，由于图像和视频帧中文字并不总是单色的，故这种方法对于 复杂背景图像和视频来说，其鲁棒性较差。由此可见， 基于区域的方法虽然具 有很高的处理速度和定位精度，但是其只适用于二值图像，而不适用于彩色和灰 度图像。 2 。3 4 基于学习的方法 视频字幕的定位不能只考虑字幕本身固有特征，还应该考虑利用一种学习机 制去处理这些多变因素。事实上，视频字幕定位就是构造一个学习机，使之能实 现两类模式分类，即在视频中对字幕与非字幕进行分类，但由于现有视频字幕定 位分类技术只考虑到特征提取因素，而没有考虑分类机制和如何保证不产生过学 习问题，因此只有分别考虑这两个因素的分类机制，才能在适宜样本数目的前提 下，取得最好分类效果。庄越挺等提出一种使用s v m 机制来自动定位提取视频 字幕的方案“，即首先对每幅视频图像按照n x n 大小切分成若干图像予块，然 后把每个子块分别人工训练标注为字幕和非字幕两类，并通过提取图像的子块特 征向量来训练s v m 分类器。对于测试图像，则首先将其切分成予块，然后应用 训练好的s v m 分类器对其进行判断，最后通过后期处理进行去噪和合成，即可 得到字幕提取结果。基于学习的方法作为一种智能识别方法，虽在相当程度上解 决了许多传统方法遇到的困难，但由于其需要事先通过选取样本来对分类学习机 进行训练，所以训练样本集与测试样本集的相似程度就决定了该方法的最终识别 复旦大学工学谛i 士学位论文 效果。 ， 2 4 图像修复与图像复原和图像增强 图像修复技术试图利用图像内部的某种相关性最大程度的重建或者复原损 伤的图像。他是不同于图像复原与图像增强的一种图像处理技术。 图像复原技术是一个客观的过程，利用图像退化现象的某种先验知识，把 退化模型化，采用相反的过程进行处理，以便复原原来的图像。图像复原方法 通常都会涉及到设立一个最佳的准则，他将产生预期结果的最佳估计。对比而 言，图像增强技术基本上是一个探索性的过程，为了人类视觉系统的生理接受 特点而设计的一种改善图像的方法。比如，图像增强技术被认为是一种对比度 的拉伸，因为它主要基于提供给观看者喜好接受的图像，而通过去模糊函数去 除图像模糊则认为是图像复原技术。” 图像修复与图像增强虽然都是面对问题的技术，都是一个主观的过程，但 是两者也存在着区别。后者目的是增强图像的某一些特征，使其更适合于特定 的应用。图像修复的最终目的是得到一个与原图最相似的处理后图像。 2 。5 图像质量的评定标准 当图像为视觉解释丽进行处理时，由观察者最后判断特定方法的效果。图 像质量的视觉评价是一个高度主观的过程，因此定义一个“理想图像”标准， 通过这个标准去比较方法的性能。评价图像修复算法的好坏，其一可以从处理 好的图片与原图在视觉效果上直观的比较，也可以用量化的方式统计处理后图 像与原图所有的像素灰度值偏差值，然而量化的评价也存在着一些问题。 信号噪声比( s n r ) 作为重建图像和原始图像的质量评估的度量。基本的 想法是通过对一个参数的计算反映出重建图像的质量，数值比较高的重建图像 就判断为比较好的图像。而事实上，传统的s n r 度量方式不能等同于人类对于 物体的感知。因此有很多研究者致力于寻找一种可感知的度量方法，不过到目 前为止我们仍旧使用s n r 作为度量方式，就是因为它比较容易计算，也就是说 高的度量值，并不是总意味着好的图像质量。 目前，我们计算峰值信号重建图像度量方法称为p s n r 。假设我们给定一 个源图像f ( i ，j ) ，包含n x n 个像素，重建图像为f ( i ，j ) ，f 为源图像经过编码 后解码重建的图像。误差阵仅仅计算灰度值。所以像素数值f ( i ，j ) 在0 2 5 5 之 间。 首先我们通过m s e 计算均方差： 复旦大学工学硕士学位论文 m s e = s u m ( f ( i - j ) f o , j ) ) 2 ( 2 3 ) 刷 r m s e ：厢( 2 - 4 ) 气s p s n r = 2 0 l o g l 。盏( 2 - 5 ) 典型的p s n r 数值在2 0 到4 0 之间，经常保留2 位小数。事实上这个数值 没有什么大的意义。但是在两个不同的重建图像比较的时候，却可以作为相同 的质量度量。 本章小节 本章介绍了论文中涉及到的主要知识体系。无线信道的特点，使得图像修 复技术在多媒体通信中有着广阔的应用领域。依靠无线终端的修复能力，就能 够有效的弥补图像的受损信息，提高无线信道的利用率。而了解j p e g 压缩编 码的理论，以及文字检测与提取的方法，能够将修复理论和图像压缩以及字幕 去除等领域联系在一起，可以显著的扩大理论应用范围。然后介绍图像复原和 图像增强两个图像修复的相关处理内容，并对三者之间的联系和区别进行了简 单的阐述。最后介绍了评定图像质量常用的量化标准p s n r 的定义。 复旦大学工学硕士学位论文 第三章图像修复技术的发展 图像修复技术是指针对图像中遗失或者损坏的部分，利用未被损坏的图像 信息，按照一定的规则填补，使修复后的图像接近或达到原图的视觉效果。这 一工作就称之为“l n p a i n t i n g ”( 修复，润饰) “”。图像损坏有很多种形式，一 幅完整的图像可能由于磨损而散布着各类微小的损害，也可能由于保存不当使 图像表层受到损害，或者由于其它原因造成大面积的缺损。在这些情况下，图 像修复者就需要通过专业判断，采取最恰当的方法恢复图像的原始状态，同时 保证图像达到最理想的艺术效果。 图像修复技术是伴随着图像技术的发展而进步的。图像修复技术可以追溯 到古代文明时期，东方的画工往往担负着庙宇殿堂壁画和装饰的修葺和维护； 西方文艺复兴时代，艺术家在修补中世纪画作裂缝的时候，常常通过修复赋予 古老画作以文艺复兴时期的艺术生命力。“这样的修复工作，目的并不在于完 全复原原始画像与图形的面貌，而是通过修复使得作品被损坏或者丢失的部分 能更连贯、有序，使得修复部分能够和残留部分更和谐的成为一个整体。 文物作品的修复需要专业的工作者具备一定的艺术修养才能完成，而且往 往需要耗费大量的时间和精力。然而随着数字化的发展，利用数字手段，现今 图像修复已成为数字图像处理、视觉分析及电影制作业中非常重要的领域。在 文物保护、影视特技制作、虚拟现实、多余物体剔除( 如视频图像中删除部分人 物、文字、小标题等) 等方面有着重大的应用价值。此外，图像修复技术还可以 应用于视频点播，对网络传输中丢弃或者损坏的视频信息进行修复以改善观看 质量。 其实在有些情况，对于修复者来说是无法知道原始图像的面貌，这样图像 修复的结果是否能够反映作者的本来意图或者内容就是无法确定的。从数学的 角度来看，图像修复就是一个病态问题，因为没有足够的信息可以保证能唯一 正确地恢复被损坏部分。因此，人们从视觉心理学的角度进行分析，提出了各 种假设限定来解决这个问题。 当前的图像修复技术研究领域主要存在着以下几种修复算法：b e r t a l m l o 等人提出的基于高阶偏微分方程的算法p d e ( p a r t i a ld i f f e r e n t i a l e q u a t i o n s ) “。”；e f r o s 等人提出的基于纹理生成( t e x t u r es y n t h e s i s ) 的修复 方法；m a s n o u 等人使用等照度线( 1 e v e l - l i n e sb a s e dd i s o c c l u s i o n ) 修复 图像的方法2 2 矧；应用径向基函数r b f ( r a d i a lb a s i sf u n c t i o n ) “、z 踟以及c h a n 等人提出了基于t v ( t o t a lv a r i a - t i o n ) 模型“4 的修复方案等等。在下文中 一一详细介绍各种修复算法。 复旦大学工学硕士学位论文 3 1 详细介绍各个方法 3 1 1 基于高阶偏微分方程的算法( p o e ) 基于高阶偏微分的图像修复算法基于以下的思考：整幅图像决定了需要填 充的丢失部分的图像信息；丢失部分的图像边缘按照灰度等照度线的转播向待 修补区域延伸；丢失部分的不同区域按照该边缘灰度等照度线不同填充与之相 适应的灰度像素。 在该算法中，采用迭代的算法一步步处理图像，这样更接近手工的图像修 复技术。令，( f ，_ ，) 代表图像灰度值，( ，_ ，帕代表经过n 次迭代处理后得到的像 素灰度值；h m l ( i ，n ) = 厶( i ，) 代表经过修补后的图像输出。通常也可以用下 式表示该迭代过程： ，( f ，j ) = ，”( ，j ) + a t l t ( i ，) ( 3 1 ) 这里n 代表运算迭代的次数，出代表迭代的速率，f ( i ，力代表，”( f ，j ) 迭代 后的变化。所有的这些迭代运算都是在待填充区域内部进行的。从上面的算法 分析，要从丢失图像的边缘向丢失块内部平滑等照度线的传播。”( f ，) 代表图 像信息的传输方向如图3 - 1 ，也就是说： r ( z ，_ ，) = a l t ( , ，) n ”( f 力 ( 3 2 ) 图3 - 1 信息传播方向与边界法线方向示意图 这里砑”( f ，) 代表图像信息变化的度量。利用这个公式，o - - j p a x 寸r ( f ，) 值 进行估计，从而得到，”( ，力。根据上面的公式我们可以看出，c ( i ，- ，) 的数值决 定了在传输方向上图像的平滑程度，因此可以将其定义为离散的拉普拉斯算子， 复旦大学工学研士学位论文 如下： 4 ( i ，_ ，) = 兑( f ，_ ，) + 名( f ，j ) ( 3 3