（电路与系统专业论文）离焦图像清晰区域分割方法研究.pdf

摘要 摘要 本文主要讨论了离焦模糊图像清晰区域的分割及应用。本文首先从光学成像 原理上分析了离焦模糊的形成原因，并建立了基于区域的离焦模糊模型。由于图 像离焦模糊主要反映在图像边缘特征上，所以本文在经典“s o b e l ”边缘提取方法 的基础上，提出了基于边缘最大梯度的边缘细化方法。接着，本文先是使用边缘 最大梯度和过渡区宽度这两个特征对图像的细节区域进行分类：再依据就近原则， 使用竞争型神经网络对图像的平坦区域进行分类；然后根据图像的锐利分布情况 和地域性原则，实现了图像的清晰区域分割和排序。最后，本文把清晰区域分割 方法应用到图像复原领域，实现了基于区域的图像复原；又应用到多焦点图像融 合领域，提出了一种新的融合规则，实现了多焦点图像间的融合，得到了非常理 想的融合效果。 关键字：离焦模糊边缘提取清晰区域分割图像复原多焦点图像融合 a b s t r a c t t h ec l e a rr e g i o ns e g m e n t a t i o no fo u t o f - f o c u sd e g r a d e di m a g ea n di t sa p p l i c a t i o n s a r em a i n l vd i s c q s s e di nt h i sp a p e r a tf i r s t ，t h ec a u s eo fo u t o f - f o c u sb r u ri si n t r o d u c e d ， a n dar e g l o r t s b a s e do u t o f - f o c u sd e g r a d e dm o d e li se s t a b l i s h e di nt h i sp a p e r b e c a u s e o u t o f ：f o c u sb l u ri sc l o s e l yr e l a t e dt oe d g ec h a r a c t e r s ，an o v e lm a x i m u mg r a d i e n tb a s e d e d g et h i n n i n gm e t h o d i sp r e s e n t e da f t e rd e t e c t i n gi m a g ee d g e s u s i n gs o b e lo p e r a t o r t h e nam a x i m u mg r a d i e n ta n dt h ew i d t ho ft r a n s i t i o nr e g i o nb a s e dd e t a i l a r e a c l a s s i f i c a t i o nm e t h o da n dap r i n c i p l eo fp r o x i m i t y - b a s e df i a ta r e ac l a s s i f i c a t i o nm e t h o d b yu s i n gc o m p e t e da r t i f i c i a l n e u r a ln e t w o r ka l ep r o p o s e di nt h i sp a p e r n e x tt h e a l g o r i t h mo fc l e a rr e g i o n ss e g m e n t a t i o nb a s e do ns h a r p n e s sd i s t r i b u t i o n a n d r e g i o n p r i n c i p l e i sg i v e n a tl a s t ，t h ec l e a rr e g i o ns e g m e n t a t i o n sa p p l i c a t i o n si no t h e rl m a g ep r o c e s s i n g f i e l d sa r ed i s c u s s e d ar e g i o n s b a s e di m a g er e s t o r a t i o na l g o r i t h ma n d an e wm u l t i _ f o c u s i m a g e sf u s i o na l g o r i t h ma r ep r e s e n t e d i d e a l i nt h i sp a p e r t h ee x p e r i m e n tr e s u l t sa r ev e r y k e y w o r d s ：o u t - o f - f o c u s b l u r e d g e e x t r a c t i o nc l e a rr e g i o ns e g m e n t a t i o n i m a g er e s t o r a t i o n m u l t i f o c u si m a g e sf u s i o n 学位论文创新性声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名： 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在一年解密后适用本授权书。 本人签名： 导师签名： 日期：缈彳， 日期：垒竺么至 第一章绪论 第一章绪论 1 1 离焦图像清晰区域分割的意义 照相机是使用摄像镜头和胶片或其它感光板把景物拍摄下来的摄影器材。它 的发明经历了漫长的岁月。 中国对光和影像的研究，有着十分悠久的历史。早在公元前四百多年，中国 的墨经一书就详细记载了光的直线前进、光的反射，以及平面镜、凹面镜、 凸面镜的成像现象。到了宋代，在沈括所著的梦溪笔谈( 1 0 3 1 至1 0 9 5 年) 一书 中，还详细叙述了“小孔成像匣”的原理。 在1 6 世纪文艺复兴时期，欧洲出现了供绘画用的“成像暗箱 。一直到1 8 3 9 年8 月1 9 同法国画家达盖尔公布了他发明的“达盖尔银版摄影术”，于是世界上 诞生了第一台可携式木箱照相机。 自从第一台照相机问世以，柬，照相机性能就不断发展，由木箱式到会属式， 再到彩色照片，胶卷和闪光灯等许多拍摄技术的发明和改进，使得照相机的拍摄 效果更好，使用更加方便。尤其是同本的小西六摄影公司生产出世界上第一台自 动调焦照相机一柯尼卡c 3 5 a 型1 3 5 照相机，自动调焦相机的发明使得拍摄不再需 要很高的专业知识，大大普及了相机的使用。 现如今，人们工作和生活中广泛使用的数码照相机就是自动调焦照相机。数 码相机是通过发射红外线接触到相机i j i 面的景物，然后反射回相机，相机再根据 红外线反射的时问算出距离，然后自己调节焦距。其实我们平常所说的“焦点 就是说一张相片上最清楚的地方，也就是说我们能够在相片上看到的完全清楚的 区域。虽然相机的性能越来越好，但是人们经常会发现拍摄出来的相片中远 处的景物比较模糊，这是因为远处的景物距离相机的焦点比较远，我们把这种 模糊称之为离焦模糊。 离焦模糊指的是由于景物目标不在焦点位置上所引起的成像模糊，并且随着 景物与焦点的距离越来越大，所成的像也会逐渐模糊加剧。离焦模糊现象是光学 成像系统自身原理造成的。因为相机的镜头是一个凸透镜，当点光源发出的光线 经过透镜时，其中经过凸透镜中心的光线会直线传播，而穿过凸透镜其它位置的 光线都会发生一定的折射。这样在光线穿过凸透镜后，会聚焦于一点，如果这个 时候的感光板正好处在聚焦点的位置上，那么在感光板上就会看到一个清晰的点， 此时，我们称景物目标处于焦点位置。如果景物目标不在焦点位置上，那么此时 穿过透镜的光线在感光板的位置处可能还未会聚或已经发散，这样景物目标所成 的像就是模糊的。由于光学自身原理的限制，使得所有的光学相机都不得不面对 2离焦图像清晰区域分割方法研究 这一问题。 当我们要处理一幅离焦模糊图像时，如果对图像中的焦点区域感兴趣，为了 突出图像中的焦点目标，或简化图像处理过程的工作量，就需要对图像的清晰区 域进行提取，这属于“感兴趣目标提取【卜3 】的范畴：如果对图像中的模糊区域感 兴趣，要对图像进行“图像复原【4 卅 或者“多聚焦图像融合【7 】，这就需要对图像 的模糊区域进行提取和排序。所以对离焦模糊图像清晰区域分割研究作为其它图 像处理的前期工作，具有十分重要的作用，分割质量的好坏直接影响到对图像的 后续处理。 1 2 本文主要工作 本文主要讨论了离焦模糊图像清晰区域的分割及应用。 首先本文从光学成像原理上丌始探讨和分析离焦模糊的形成原因；并在原有 的离焦模糊模型的基础上，建立了基于区域的离焦模糊模型：还分析了图像离焦 模糊与图像边缘的关系，找出了反映图像离焦模糊程度的两个特征。 其次本文探讨了图像清晰区域的分割方法。因为图像的模糊主要体现在图像 的边缘细节信息上，所以本文在经典“s o b e l ”边缘提取方法的基础上，提出了基 于“边缘最大梯度”的边缘细化方法；接着使用由边缘提取获得的“边缘最大梯 度 和“过渡区宽度 这两个特征对图像的细节区域进行分类；再依据“就近原 则”，使用竞争型神经网络对图像的平坦区域进行分类；然后根据图像的锐利分布 情况和“地域性原则 ，实现了对图像的清晰区域分割和排序。 最后本文介绍了图像清晰区域分割方法在其它图像处理领域的应用。在“图 像复原”领域，本文在清晰区域分割的基础上，通过对各区域模糊程度的量化和 评估，在找到了“逆离焦p s f 的近似模板情况下，实现了基于区域的图像复原， 取得了很好的恢复效果。在“多聚焦图像融合 领域，本文同样在清晰区域分割 的基础上，提出了一种“细节区域按照锐利程度取大，平坦区域依据距离加 权求和 的融合规则，实现了多聚焦图像的融合，得到了非常理想的融合效果。 1 3 本文章节安排 第一章绪论主要介绍了课题研究的意义和本文完成的主要工作。 第二章从光学原理上分析了离焦模糊形成的原因，并建立了基于区域的离焦 模糊模型，还找出了反映图像离焦模糊程度的两个特征。 第三章在分别对图像的细节区域和平坦区域分类的基础上，依据图像锐利分 布和“地域性原则 ，实现了对图像的清晰区域分割和排序。 第四章的工作是把清晰区域分割方法应用到图像复原领域，实现了基于区域 第一章绪论 的图像复原；应用到多聚焦图像融合领域，得到了非常理想的融合结果。 第五章为总结，总结了本文所做的研究工作和创新点，并列举了研究工作的 不足之处，对今后的努力方向做出了展望。 第二章离焦模糊原理介绍5 第二章离焦模糊原理介绍 本章首先从光学成像原理上开始探讨和分析离焦模糊的形成原因。然后在原 有的离焦模糊模型的基础上，建立了基于区域的离焦模糊模型。最后分析了图像 离焦模糊与图像边缘的关系，并找出了反映图像离焦模糊程度的两个特征。 2 1 离焦模糊形成原因 2 1 1 凸透镜成像情况分析 照相机的镜头实际上就是一个凸透镜，它是符合凸透镜成像原理的。凸透镜 是通过光线的折射来成像的。它依据景物目标离透镜的距离与透镜的一倍和 二倍焦距的关系，分为三种情况。 “ 2 f ，2 f ， ( a ) 物距大于2 倍焦距的成像 2 f “ f ，v 2 f ( b ) 物距处于1 倍和2 倍焦距之间的成像 中轴线 ，中轴线 6 离焦图像清晰区域分割方法研究 像b 1 ， r ) 如式( 2 3 ) 所示，点扩展函数是一个圆盘，其中圆盘上的每个点的值都是 1 ( x r 2 ) ，r 为模糊光斑的半径，它同样满足式( 2 2 ) 。 第二章离焦模糊原理介宝“ 9 2 2 3 基于区域的离焦模糊模型 由上文分析得出，点光源被模糊的情况越严重，在感光板上所形成的模糊光 斑就越大，即圆盘直径越大，所以可以通过测量点扩展函数中的圆盘半径来评估 图像退化程度色 在一般的光学相片中，往往是各种模糊因子共同造成了图像的退化。所以在 这里，我们假设造成图像退化的主要因素是离焦模糊，而其它退化类型的模糊在 本文中忽略不计，这样我们仅仅需要考虑离焦退化类型就可以了。 由上文分析可得，景物目标距离焦点面越远，被退化模糊的就越严重。在同 一张相片中，由于景物距离焦点面的远近不同而被模糊的程度也不同。为了更精 确地描述图像的退化程度，本文把一幅图像，按照景物与焦点面的距离不同划分 为n 个不同的区域，而认定每个区域内的景物与焦点面的距离是近似相同的，即被 模糊的程度是相同的。公式描述为： g ( x ，”2 h 。( x ，”f l ( x ，y ) + h ：( x ，y ) q f 2 ( x ，y 卜+ h 。( x ，y ) f n ( x ，y ) 式( 2 4 ) 其中f ( x ，y ) = f i ( x ，y ) + e ( x ，y ) + + f n ( x ，y ) 如公式( 2 4 ) 所示，原始图像厂依据与焦点面的距离不同，分为c ，f 2 f n ，n 个不同的区域，每个区域都有属于自己特定形状的离焦点扩展函数h 。，h ：h 。， 原始图像的每个区域与对应的离焦点扩展函数相卷积，形成了退化图像g 。 2 3 反映离焦模糊程度的特征 2 3 1 离焦模糊与边缘的关系 在一幅图像中，依据图像的灰度变化情况，可以分为灰度无变化的区域，即 平坦区域；灰度有变化的区域，即细节区域。 对于平坦区域来说，无论离焦模糊程度多么严重，平坦区域都不会有所改变； 而对于细节区域来说，离焦模糊程度越严重，细节区域的内容变化越大。所以， 我们在判断“这块区域模糊与否 时，主要是针对细节区域进行研究的。细节区 域在图像中，指的就是边缘和纹理区域，而纹理也可看作“密集的边缘 ，所以对 离焦模糊的问题研究，最终着眼点在图像边缘的处理上。 2 3 2 离焦模糊程度的表现特征 由于离焦点扩展函数的模板，每个模板的最小半径间隔为“1 ，所以离焦点 扩展的模板直径( 包含中心点) 是以“3 ，5 ，7 ，9 ，1 1 一这样的顺序，最小间隔为 “2 一递增的。选取从“1 到“1 0 为半径的离焦点扩展函数模板分别对含有单 离焦型像清晰区域分霸方法研究 边边缘的1 2 8 ) c 1 2 8 图像模糊化实验 ( a ) 单边边缘线灰应为l ，背景为0( b ) 左捌被直径5 的p s f 模糊 蚓2 4 单边边缘的幽像离焦模糊化结果 由于图像过多，这旱只选取图像被半径为“2 ”，直径为5 ( 包含中心点) 的离焦点扩展函数模板模糊后的情况。如图2 4 所示，图( a ) 是一幅单边边缘图，整 幅图像的背景全黑为0 ，在图像的正中央有一条边缘扶度为“l ”的边缘线i 图 ( b ) 是同( a ) 被直径为5 的离焦点扩展函数模糊化后的结果从图中可以看出，边缘 亮度不如图( a ) 那么明亮且边缘线的宽度明显加宽。 l 边缘最大梯度 表2 l 单边盐缘削被不同n 径的离傅p s f 模栅化的昂人梯度 p s f 半衽l 1 i 2 【3 45 i 67891 0 培大拂鹰10 c 0 9 0 l0 2 7 0 4 l0 15 9 0 l0 1 1 1 2 lo0 8 2 8 l0 0 0 4 6 lo0 5 2 0 lo0 4 3 2 lo 1 3 b 6 lo 1 4 如表2 l 所示，原始的单边边缘图，边缘位置处，扶度变化是从0 到1 ， 晟大梯度为“1 ”，经过不同半径的离焦p s f 模蝴化后，求出的最大梯度值。由宴 验可以发现边缘区域随着被模糊程度的加重边缘最大梯度逐渐下降，尤其在离 焦点扩展函数半径较小，离焦模蝴较轻时有着明显的下降。 2 过渡区宽度 图24 ( 0 被不同半径的离焦点扩展函数模糊后，在原有的单边边缘线位寅都会 出现一个过渡带，我们称之为“过渡区”0 3 - t 4 i 。 过渡区概念的展早提出是在2 0 世纪3 0 年代由js w e s z k a 及r o s e n f e l d 【1 1 于1 9 7 9 年首次将过渡区提取技术应用于图像分割。图像过渡区是介于背景和目标之间的 区域，是一个特殊的区域，它既有边界的特点，将不同的区域( 目标和背景) 分开； 也有区域的特点，其自身有宽度，面积不为零，过渡区在空间上位于目标和背景 之间，其中像素的灰度也在对应的目标和背景之间。 由实验得出，随着离焦模糊程度的加重，单边边缘经过模糊化后形成的过渡 区宽度逐渐加大，且恰好等于相应的离焦点扩展函数直径，这一现象是与“图像 被模板卷积”后的理论分析结果相一致的。 第二章离焦模糊原理介绍 + 经过实验观察，我们发现含有一条单边锐利边缘的原始图像经过离焦点扩展 模板模糊化后，主要有两个特征发生了变化：一个是边缘所在区域的最大梯度有 着明显的下降：另一个是边缘的形状由单像素宽变为了有一定宽度的过渡区。 在实际图像中，图像不仅仅含有一条单边边缘，边缘的情况是由图像中的实 际内容来决定的，在不知道图像内容的情况下，边缘的分布情况是繁杂和无序的。 当两条边缘靠得比较近时，经过离焦模糊化后，边缘梯度不再随着模糊程度的加 重，而呈现逐降的趋势：模糊区域也会相互重叠合并，这样就会令过渡区的宽度 加宽，此时过渡区宽度不再随着模糊程度加重而变宽，也不再等于离焦点扩展函 数模板的直径。为了使离焦模糊的这两个表现特征生效，就要求图像的纹理不能 太密，可是图像的纹理情况并不能事先得知，这就限定了工作中所处理的图像必 须是轻微模糊的图像，尽可能地减少模糊区域的重叠。所以，本文假设要处理的 所有离焦模糊图像都是轻微模糊图像。 第= 章清晰区域的分割和排序 第三章清晰区域的分割和排序 因为图像的模糊主要体现在图像的边缘细节信息上，所以在这一章，首先在 经典“s o b e l ”边缘提取方法的基础上，提出了基于“边缘最大梯度”的边缘细化 方法。然后，使用由边缘提取获得的“边缘最大梯度和“过渡区宽度”这两个 细节特征对图像的细节区域进行分类。接着依据“就近原则，使用竞争型神经网 络对图像的平坦区域进行分类。最后根据图像的锐利分布情况和“地域性原则 ， 完成了对图像的清晰区域分割和排序。 3 1 离焦图像的边缘提取 由上一章可以得出，图像的模糊主要指的就是边缘的模糊，且图像离焦模糊 的两个特征都是与边缘有关，所以本节首先讨论离焦图像的边缘提取问题。 边缘是图像特征的一种，是区域厌度发生突变的地方，是图像中不确定性最 大的地方，也是图像信息最集中的地方。边缘是图像分割的重要基础，也是纹理 分析和图像识别的重要参考。图像的边缘对人类的视觉系统具有重要意义，它是 人类判别物体的重要依据，是图像的最基本特征之一。 3 1 1 现有的边缘提取方法 现有的图像边缘提取方法【1 6 1 可以大致分为两类：一类是经典的边缘提取方法， 如：梯度微分法、拉普拉斯高斯算子法、直方图法【1 7 】等；第二类则是以小波变换、 数学形态学、神经网络【1 8 】，熵等一些新理论为代表的边缘提取方法。 1 经典的图像边缘提取方法 ( 1 ) 微分算子法【1 6 】 边缘的检测可借助空域微分算子通过卷积完成，导数算子具有突出灰度变化 的作用，对图像运用导数算子，灰度变化较大的点处算得的值较高，因此可将这 些导数值作为相应点的边界强度，通过设置阈值的方法，提取边缘点集。 阶导数要至与要是最简单的导数算子，一个连续函数厂( z ，j ，) 在位置( 工，y ) 处 方向导数l g 的最大值是 蚓悃2 饼l j 枘， 取得最大值的方向口为 1 4离焦图像清晰区域分割方法研究 口= t a n l 礴 砂 苟 o x 式( 3 - 2 ) 利用梯度算子来检测边缘是一种很好的方法，它不仅具有位移不变性，还具 有各向同性。在实际中，对于一幅数字图像进行边缘提取，微分算子的方法是经 常使用的，如常用的“p r e w i t t ，“r o b e r t s 和“s o b e l ”算子。 ( 2 ) 拉普拉斯高斯算法【2 2 】 拉普拉斯高斯( l o g ) 算法是一种二阶微分边缘检测方法。它通过寻找图像 狄度值中二阶微分中的零交叉点柬检测边缘点。其原理是：灰度缓变形成的边缘 经过微分算子形成一个单峰函数，峰值位置对应边缘点；对单峰函数进行微分， 则峰值处的微分值为0 ，峰值两侧符号相反，而原先的极值点对应二阶微分中的零 交叉点，通过检测零交叉点即可将图像的边缘提取出来。在实际中，为了去除噪 声影响，首先要用高斯函数对图像进行滤波，然后对滤波后的图像求二阶导数。 l o g 算子被认为是微分法中利用平滑二阶微分检测图像边缘最成功的一种算子。 ( 3 ) c a n n y 算法【2 3 2 5 1 由于图像边缘和噪声在频率域中都是高频分量，简单的微分提取运算同样会 增加图像中的噪声，所以一般在微分运算之前应采取适当的平滑滤波，减少噪声 的影响。c a n n y 算法运用严格的数学方法对此问题进行了分析，其算法的实质是用 一个准高斯函数作平滑运算，然后以带有方向的一阶微分定位导数最大值。c a n n y 算子边缘检测是一种比较实用的边缘检测算子，具有很好的边缘检测性能。c a n n y 边缘检测法利用高斯函数的一阶微分，它能在噪声抑制和边缘检测之间取得较好 的平衡。 2 近几年的新方法 ( 1 ) 基于“小波”的边缘提取方法【2 6 2 7 】 小波变换良好的时频局部特性非常适合于图像处理。小波变换能够把信号或 图像分解成交织在一起的多种尺度成分，并对大小不同的尺度成分采用相应粗细 的时域或空域取样步长，从而能够不断地聚焦到对象的任意微小细节。小波变换 天生具有的多尺度特性，正好可以用于图像的边缘提取。 通过小波变换多尺度提取图像边缘是一种非常有效的方法。由于小波变换具 有的多尺度特性，图像的每个尺度的小波变换都提供了一定的边缘信息。当尺度 小时，图像的边缘细节信息较为丰富，边缘定位精度较高，但易受到噪声的干扰； 大尺度时，图像的边缘稳定，抗噪性能好，但定位精度差。 ( 2 ) 基于“形态学的边缘提取方法【2 8 刎 数学形态学是一种非线性的滤波方法，它以严格的数学理论和几何学为基础， 第二章清晰区域的分割和排序 着重研究图像的几何结构及相互关系。数学形态学对图像的处理是基于填放结构 元素的概念，结构元素的选择和图像的某种信息有密切的关系，构造不同的结构 元素可完成不同的图像分析，并得到不同的结果。数学形态学首先被用来处理二 值图像，后来也被用来处理灰度图像，其最大的特点是能将复杂的形状进行分解， 并将有意义的形状分量从无用的信息中提取出来。 3 1 2 本文中边缘提取方法选择 因为对图像中各区域的离焦模糊程度的判断依赖于图像的边缘信息，所以在 进行边缘提取的工作时，要保证图像的边缘信息尽量完备，真实。由于提取后的 边缘信息不能失真，我们在选取边缘提取方法时，就不能选用需要滤波器进行滤 波的方法，小波方法和形态学方法等。 在本文中，使用了微分算法中的s o b e l 3 0 3 1 】算子。s o b e l 算子与p r e w i t t ，r o b e r t s 这两种微分算子相比，考虑了“距离”信息，它依据与中心像素点的“距离远近 乘以相应的权值。在中心像素点的“上 ，“下”，“左 ，“右”四个位置上的点， 与中心点只有一个单位的距离，所以乘以较大的权值：在对角线位置上的点与中 心点的距离是2 个单位，所以乘以较小的权值。 。 s o b e l 算子是一个梯度算子，它分别从水平和垂直方向对图像求解导数来提取 图像的水平和垂直边缘，梯度v f 可以用g ，和g 。代表梯度的水平和垂直方向，公式 如下： v = 阱 c a f 0 x 可 砂 式( 3 - 3 ) 由于直接求图像的g 。，g ，非常困难，所以通常采用它的近似计算，通过分别 从水平和垂直方向上卷积水平和垂直模板【2 1 】来实现求导的过程。 1 0 1 l2 3 2o2 4 s 6 - 1 0 1 8 9 - 12 - l i2 3 o 0o 56 12l 7 i9 ( a ) s o b e l 算子的水平模板( b ) s o b e l 算子的垂直模板 图3 1s o b e l 算子的模板 1 6离焦图像清晰区域分割方法研究 如图3 1 所示，图( a ) 是s o b e l 算子的水平模板，图( b ) 是s o b e l 算子的垂直模板， 每个方框右下角的数字是方框的标号。我们可以看到，s o b e l 算子的模板，把处在 正负对角线位置上的点也通过加权计算在内。用z f 代表位置i 处( f = l ，2 ，9 ) 的灰 度，则水平梯度g 。和垂直梯度g 。为： g 。= ( z 3 + 2 2 6 + 知) 一( z i + 2 2 4 + z 7 ) 式( 3 - 4 ) g ，= ( z 7 + 2 2 8 + z 0 一( 毛+ 2 2 2 + 毛) 式( 3 5 ) 若按照公式( 3 1 ) 来求解图像的最终梯度，则计算量比较大。为了简化计算， 最终梯度取水平和垂直方向梯度上的较大者。图像f ( x ，y ) 在位置( 工，y ) 的梯度 v ( x ，”定义为下： v ( x ，y ) = m a x ( g x ，g y )式( 3 - 6 ) 公式( 3 - 6 ) q h ，v ( x ，y ) 取( x ，y ) 位置上水平方向g x 和垂直方向g y 的梯度较大 者。 3 1 3 噪音及阈值选择 1 阈值选取准则 基于梯度的边缘检测过程中，需要确定一个阈值，即是设定一个门限丁，当 s ( x ，y ) t 时，则处在( z ，j ，) 位置上的点为边缘点。边缘检测中的阈值选取问题一 直是边缘检测的难点。阈值到底取多少，是依据图像边缘提取的具体需要来确定 的，并没有一个统一的标准。 在本文的工作中，要对一幅图像内不同退化程度的区域进行分割，需要处理 许多被弱化的边缘。所以阈值选取时，一定要足够低才能保证能够抽取出弱边缘。 但是另一方面，如果阈值选择过低，会把图像中的噪音误判成边缘信息，也抽取 出来，噪音则会对将来的工作造成一定的干扰。所以阈值的选取还要足够大，可 尽量把噪音摒弃。如果图像中的一些边缘被极度弱化，这些边缘的锐利程度甚至 低于噪音的强度，这时候要想去除噪音，则不可避免地也会滤掉弱边缘，这时阈 值选取时，首选滤除大量噪音，在滤除大部分噪音的基础上，抽取尽可能多的边 缘信息。 2 噪音分析【3 2 】 由图像退化模型结构决定，我们这里指的噪音全部是加性噪音。噪音的类型 有各种各样，在没有特殊声明图像受某种噪音干扰时，且噪音并不是很强的情况 下，我们一般把图像的噪音形式定义为高斯白噪音。高斯白噪音的均值为“0 ， 因为考虑的是噪音不很强的情况，所以假设高斯白噪音的方差较小。我们在这里 仅考虑高斯白噪音和脉冲噪音。 第三章消晰区域的分割自l 排序 霾 幽32 黑背景加噪音剀 如图32 所示，在背景全黑的图像上加上均值为0 ，方差为“01 ”的高斯 白噪音。 3 滤除高斯自噪音 传统的避免噪音十扰的方法是在图像边缘检测前，对图像进行低通滤波或者 均值滤波。但是该方法不仅会滤掉一些我们需要的弱边缘，而且会改变原有边缘 的梯度特性，这显然是不适合本文工作的。在工作中，要求寻找一个合适的梯度 阈值，柬尽可能地滤除噪音和保留边缘信息。在本文中，在噪音不是根强的情况 下，可先求出整幅图的最大梯度，然后选取最大梯度的“1 1 0 i 5 ”作为阈值。 4 滤除脉冲噪音 脉冲噪音是一些冲激噪音在图像上留下柬的嚷音点，它们普遍具有的特征是 扶度比较强，与周围区域形成了较强烈对比，而且往往都是一些孤立的点。依据 脉冲噪音的特性在滤除了高斯白噪音后，只要进一步对图像去除孤立点，就可 以得到去噪的边缘图。 5 实验结果 现在用聚焦在前方钟表处的钟表图来进行实验。 图33 聚焦在前方钟表址的图像 离焦削像清晰区域分割方法研究 a ) 阕值偏低的让缘酗( b ) 鲥值台适的边缘i 兰i 创34 不同刚值情况f 得到的边缘幽 如图3 3 与图3 4 所示，图33 中前方的钟表比较清晰，而后方的钟表比较模糊 m 34 中的( a ) ，( b ) 两幅图都保留了比较详尽的边缘信息。但图( a ) 的边缘闽值过低 存在了大量的噪音点，图( b ) 选择了合适的阈值，滤除掉了绝大部分噪音。 3 14 基于最大梯度的边缘细化法则 l 基于边缘最大梯度的边缘细化 由上节的实验结果可以看出，边缘初步提取后，边缘所在的位置不是以边缘 线的形式存在而是一个个的过渡区尤其是图像的模糊区域。这就要求继续对 边缘进行边缘细化处理3 “。 边缘细化是在保持原图像拓扑结构的基础上，抽出一个单像素宽的骨架过程， 边缘细化是边缘提取的重要个环节，也是边缘提取的一个难点。常用的边缘细 化法则都是要求保持边缘连贯性的，所以要考虑到边缘的走势即方向性，这往往 加大了工作量。在本文工作中，对边缘的连贯性要求不高，重点是通过边缘反映 图像的模糊程度，所以本文提出了基于最大梯度的边缘细化法则。 在本文中，对边缘细化处理时，是分别从水平和垂直方向上进行的。这里先 介绍水平方向上的细化方法。 ( 1 ) 在用s o b e l 算子提取出水平边缘图后，若是单像素宽的边缘直接保留。 ( 2 ) 对于过渡区，依据从左到右的原则，对每一个过渡区，分别求出每个过渡 区中每一行中的最大水平梯度值，并记录下它的位置和数值。 ( 3 ) 依然是从左到右统计每个过渡区中每一行中边缘点的数目，即过渡区的 水平宽度。 ( 4 ) 除了过渡区每行中最大水平梯度点所在位置外，过渡区的其它点归0 化，这样每一个过渡区的每一行只保留了一个最大水平梯度点。 ( 5 ) 把最大水平梯度矩阵的每一个非零点位置另外赋予该位置相应的过渡区 水平宽度，得到过渡区水平宽度矩阵。 第二章清晰医域的分割和排序 垂直方向的细化方法与水平方向的细化方法类似，方向是“从上到下” 依然用上文中的聚焦在前方钟表处的图像来实验。 ( a ) 水平s o b e l 边缘剧( b ) 年直s o b e l 边缘幽 扣) 水平边缘细化圄q ) 乖直边缘细化酗 圈35 水平和乖直方向= i ：i f 缘细化幽 如图3 5 所示，图( a ) 和图( b ) 是经过s o b e l 算子提耿出来的水平和垂直边缘图， 经过本文介绍的水平和垂直细化处理后得到的边缘细化囤( c ) 和圈d ) 。这里为了读 者便于观察，对细化图进行了二值化处理。 2 区域清晰程度的决定因素 我们在判断一个“区域有多清晰”时，并不需要综合考虑区域内的所有边缘， 只要关注区域内的最锐利边缘，即个区域内的最锐利边缘决定该区域的清晰程 度。 3 备方向边缘细化图合并 我们把水平细化边缘图和垂直细化边缘图相加，对于同时既是水平细化边缘 点又是垂直细化边缘点的像素点，按照梯度值耿大过渡区宽度取小的原则，得 到最终的细化边缘图。 离焦幽像清晰区域分割方法研究 幽36 基于最 梯度边缘细化幽 如图36 所示，基于“逆水桶理论”得到的最终边缘细化二值图 3 2 基于边缘最大梯度和过渡区宽度的细节区域分类 第二章已经阐述了，图像模糊化时，改变了图像的边缘最大梯度和过渡区宽 度特征。通过上一节本文介绍的边缘提取方法，得到了图像的边缘最大梯度矩阵 和过渡区宽度矩阵。在这一节，将基于边缘最大梯度特征和过渡区宽度特征对图 像的细节区域做进一步的处理。 321 边缘最大梯度特征规范和等级化 在上节中得到的边缘最大梯度矩阵与过渡区宽度矩阵相比还不够规范，为了 更好地对这两个特征进行分折和比较，需要首先对边缘摄大梯度进行等级化和规 范化处理。 1 绝对值化及归一化处理 因为要对图像的边缘锐利程度进行分析和比较，首先需要对梯度进行绝对值 处理，其次还需要一个统一的标准，所以要对边缘的最大梯度进行归一化处理。 理论上的最大梯度的情况如下： 00l 0 0 l 0 0 i s 。00 000 ， l11 ( 时理想最大梯度水平示意圈理想揖大梯度垂直示意闰 圈37 理想最大梯度的水平和垂直示意闰 第三章清晰瞬域的分割和排序 如图3 7 所示，理想最大梯度情况发生在扶度从0 到“1 ”的时候，这时候 依据s o b e l 算子的计算公式( 3 - 4 ) ，( 3 - 5 l 和( 3 - 6 ) 可以得出最大值为4 。s o b e l 算子为 了防止模板卷积后超出图像敏度范围，往往在模板前要乘一个系数，m a t l a b 工 具中默认的系数是“i 8 ”，所以得到的理论晟大梯度差为“05 ”。所以归一化公式 为： ， v ( i ，j ) = i v ( i ，j ) l o5 式( 3 - 7 ) 2 梯度等级化处理 为了更规范化地对边缘虽大梯度进行分类，需要对整个区问的梯度范围进行 分级。每一个边缘点的梯度值隶属于一个等级，同一等缴内的边缘点梯度被认定 为是相同的。 梯度范围内区间等级分得越细致，处理起束更加精确，但同时加重了工作负 担。在本文中，除了平坦区域是等级0 外，还分了2 0 个等级，每个等级问的差值 为“00 5 ”。 继续用上文的聚焦在前方钟表处的图像做实验。 ( a ) 等级1 的边缘最大梯度图国) 等级2 的边缘昂太梯度酗 ( 0 等级3 的边缘是大梯度图( d ) 等级4 的边缘最大梯度蹦 离焦酗像清晰r 域分* 0 方法研究 ( e ) 等级5 的j i 缘最大梯度瞰 o 等级6 的边缘晟人梯度幽 g ) 等级7 的边缘蛀人梯度剖( h ) 等级8 的边缘昂 梯度幽 凹3 8 边缘最人梯度的等级倒 如图3 8 所示，因为聚焦在前方钟表处豹图像，归一化后的最大梯度为o3 9 8 0 ， 等级化后是04 0 ，所以梯度总共可以分为8 个等级，等级1 的边缘点的锐利程度 最低，随着等级加大，边缘点的锐利程度遥级增大，等级8 的边缘点最锐利。 322 细节区域分类 人眼观察景物的清晰与否时，一般都是基于区域的，即人们常说的“这一块 比较清晰”。所以需要进一步把区域也等级化处理。 l 区域块尺寸选择 区域块尺寸的选择要符合人眼的视觉习惯，不能取得太小，在视觉上无法形 成区域的概念，叉要尽量取小达到精确描述。在本文中，对于5 1 2 x 5 1 2 的图像 选取了1 6 n 1 6 的小方块。 2 区域内最锐利边缘点的定义 依据上文介绍，个区域块的清晰锐利等级是由这个区域块内最锐利的边 缘柬决定的。 “最锐利”这个词指的是能给人造成晟太的视觉冲激。所以“区域内最锐利 边缘点”这个概念是依赖于人们的视觉习惯的，并不存在“惟一的定义”。本文中， 第三章清晰区域的分害0 和排序 从最大梯度边缘和过渡区宽度两个特征入手，给出如下定义： 区域最锐利边缘点某个区域内所有最大梯度的边缘点中，过渡区宽度最小的边 缘点就是该区域的最锐利边缘点。 3 基于边缘最大梯度的初步区域分类 ( a ) 单边边缘灰度为1( b ) 单边边缘灰度为0 5 皿1 ( c ) 图( a ) 被直径为7 的只妒模糊( d ) 图( b ) 被直径为5 的咫f 模糊 图3 9 不同单边边缘图被不同的p 铲模糊化 如图3 9 所示，图( a ) 和图( b ) 都是1 2 8 x 1 2 8 的含单边边缘的黑背景图，其中图( a ) 的单边边缘扶度为l ，被直径为7 的离焦点扩展函数模糊；图( b ) 的单边边缘灰度为 0 5 ，被直径为5 的离焦点扩展函数模糊。由图( c ) ，( d ) 我们可以看出，虽然图( c ) 比图( d ) 的过渡区宽度要宽，但是图( c ) 的过渡带的最大梯度要大于图( d ) ，即图( c ) 的 灰度变化剧烈程度更大，给人造成的视觉冲激也更大，这比较符合人们的视觉观 察习惯。所以可以得出结论“图( c ) 要比图( d ) 更加清晰 。 由实验得出“锐利程度”的一个判断标准，“梯度标准。“梯度标准 就是对 图像中的边缘点的锐利程度排序时，依据边缘点的梯度等级进行判断。 依据“梯度标准 对上文的聚焦在前方钟表处的图像进行初步细节区域划分。 离焦削像清晰r 域分* 4 方法研究 ( 曲锐利等级7 的区域酗m ) 锐利等级8 的区域图 酗3 l o 透域的锐利等级圉 睡黑h 卜n 葶一一卜一 第三章 肯晰区域的分割和排序 如图3l o 所示类似于梯度等级图，是8 个等级逐渐加大的区域锐利等级图 各相同等级的区域块之间，认为梯度等级是相同的。 4 基于过渡区宽度的二次细节区域分类 ( a ) 过渡区宽度为7 的过渡匠( 砷过渡区宽度为3 的过渡区 幽3 1 l 不同宽度的过渡只酗 如图31 1 ( a ) ，( b ) 所示，两幅圄中的过渡区的虽大梯度完全相同，但是图( a ) 的 过渡区宽度要大于图( b ) 的过渡区宽度。依据人们的视觉习惯，可以得出结论“图( b ) 要比图( a ) 更加清晰”。 由上面实验得出“锐利程度”的又一个判断标准，“过渡区宽度标准”。“过渡 区宽度标准”就是对图像中的边缘点的锐利程度排序时，依据边缘点的过渡区宽 度等级进行判断。它是对图像的细节区域在完成基于梯度大小的划分后，进行的 二次分类。 对上文已经使用“梯度标准”划分好的区域，按照“过渡区宽度标准”做进 一步的分类。 由于本文中所解决的离焦图像都属于“弱模糊图像”，过渡区重叠的情况不会 太多，即大部分的过渡区宽度不会太大，所以本文中只考虑过渡区宽度为 “1 2 ，3 ，4 ，5 ，6 ，7 8 ，9 ，1 0 ”的情况。这样一束，由于上文中按照“梯度标准”已经把图 像划分成8 个等级，现在每一个等级又进一步分成1 0 个小等级，这样理论上，把 图像总共精细划分成了8 0 个等级。 为了节省篇幅，这里仅展示梯度等级为“1 ”的区域被二次分类后的结果。 ( a j 过渡区宽度为j 0 【b ，过渡谜宽度为9 离焦图像消晰区域分割方法研究 过竣区宽度为2( j ) 过渡鹾宽度为1 图31 2 过渡区宽度等级削 _习 第二章清晰r 域的分割和排序 如图3 1 2 所示，基于最大梯度分类得到的等级为1 的结果被二次划分成1 0 个 小等级。从图( a ) 到图( j ) ，过渡区宽度逐级减小，锐利程度逐级增大。图( j ) 就是原 先等级1 中的最锐利的区域。 先使用“梯度准则 对图像细节区域进行一次分类，然后再使用“过渡区宽 度准则”对每一级进行二次分类，最终得到各级的分类结果。 3 3 基于神经网络的平坦区域分类 3 3 1 平坦区域的分类准则 在上文中，已经通过“梯度准则”和“过渡区宽度准则”对图像的细节区域 进行了分类。由第二章的内容可以知道，单独从图像中拿出一块平坦区域研究它 是“清晰”还是“模糊”，没有任何意义。 人们在观察一幅图像时，主要是关注细节区域。平坦区域含有信息量很少， 无论是从人们的视觉习惯上还是从图像处理的需求上，都没有必要把平坦区域单 独分裂出来作为一类。所以入们在观察和处理图像时，往往都是把平坦区域作为 细节区域的附庸，划归到细节区域的每类结果中。 在判定平坦区域的归属时，人们习惯上是依据“距离 来判断的，即通过计 算平坦区域的像素点与细节区域的各个等级的分类结果的“欧几旱得距离”，与哪 个分类结果的“距离”最短，则该像素点被划归到哪一类，本文形象称之为“就 近原则”。 3 3 2 选择神经网络的原因 人工神经网络【3 5 , 3 6 ( a r t i f i c i a ln e u r a ln e t w o r k ，a n n ) ，也称为神经网络( n e u r a l n e t w o r k s ，n n ) ，是从生物学神经系统的信号传递而抽象发展成的- - i - j 学科，是人 工智能的一个分支。它作为种新颖的智能建模技术，于8 0 年代中期开始引起国 际国内广大科技人员的广泛重视。 神经网络系统是由大量简单的处理单元( 即神经元) 广泛连接而成的复杂网 络系统。它反映了人脑功能的许多基本特性，是对它的某种简化、抽象和模拟。 人工神经网络之所以取得巨大发展，是因为它具有以下特点： 1 神经网络具有分布式存储信息的特点。神经网络是用大量神经元之间的联 结及对各联结权值的分布来表示特定的信息，因此即使当局部的网络受损时，仍 具有恢复原来信息的优点。 2 神经网络对信息处理具有并行的特点。每个神经元都可以根据接收到的信 息作独立的运算和处理，然后将结果传输出去，体现了一种并行处理的概念。 2 8 离焦图像清晰区域分割方法研究 3 神经网络对信息的处理具有自组织、自学习的特点。神经网络中各神经元 之间的联结强度用权值的大小来表示，这种权值可以事先给定，也可以适应周围 环境而不断变化，这种过程称为神经元的学习过程。 j 下是因为神经网络的这三大特点，使得神经网络在图像分类问题解决中，有 ， 着不可比拟的优势，所以本文采取了神经网络对平坦区域分类。 3 3 3 选择竞争型神经网络的原因 1 神经网络的学习方式【3 5 j 按照学习方式的不同，神经网络被分为了两种，一种称为有导师的学习，也 称为监督学习；另一种是无导师的学习，也称为自主学习。 有导师学习：在这种学习方式下，学习过程需要监督，监督的作用由训练数 据本身来完成，即训练数据不但要包括输入数据，还要包含在特定条下的期望输 出，学习的目的是使网络的实际输出接近于网络的期望输出。在学习过程中，网 络将期望输出和实际输出进行比较，如果其误差满足要求，就可以认为学习目的 己经达到，否则就需要不断调整