（电路与系统专业论文）显微图像自动拼接与融合技术研究.pdf

四川大学硕士学位论文显微图像自动拼接与融台技术研究 显微图像自动拼接与融合技术研究 电路与系统专业 研究生夏薇指导教师罗代升 摘要：目前，显微图像分析已广泛应用于材料检测、细胞组织、石油地质等各 领域。显微图像的获取是通过摄像装置将显微镜下的光信息转换为数字图像信 息送入计算机内，而摄像机的视域范围小于显微镜的视域范围，一个视场的图 像信息往往不能反映样本的全部信息。为了反映整个样本的全貌，需要进行多 视场显微图像采集和处理，获得全样本的大幅图像。因此图像拼接的研究具有 重要的理论意义和应用价值。显微成像时，往往由于样本本身表面不平整，或 样本薄片磨制有一定厚度，导致同视场图像的聚焦平面不一致。为此，需要 进行变焦多帧显微图像采集和处理。本文讨论图像融合技术，将几幅不同局部 清晰的图像进行整合，获得全局清晰的图像。 针对显微图像光照差异明显和几何平移较大的特点，本文提出了一种全自 动的无缝拼接算法。在图像配准阶段，首先自主选取配准模板，然后采用图像 的奇异值作为匹配特征，以规范化奇异值的h a u s d o r f f 距离作为特征匹配的相 似性度量，最后通过多模板分级匹配的策略实现图像配准。 图像合并时，对于有微小旋转的情况，采用h a r r i s 角点检测和距离矩阵法 估计仿射变换参数。然后，用动态规划法建立最佳拼接缝，并强制改正拼接缝 两边的色彩( 灰度) 差异，从而实现拼接缝周围色彩( 灰度) 的平滑过渡，达到较 好的视觉效果。通过对不同位移情况的图像进行拼接实验，证明了本文提出的 方法效果良好，对具有较大平移变换和一般光照不均的图像有较强的鲁棒性。 根据显微图像应用的特点，本文提出了一种基于目标边缘及对比度的小波 变换融合法。它是对分解后的低频分量进行边缘提取，再结合三个高频之和相 对低频的对比度来作为低频分量的活性测量，以决定融合图像低频分量的系数， 四川大学硕士学位论文 显微图像白动拼接与融台技术研究 并对决策图进行一致性验证；又用对比度做高斯滤波作为高频分量的活t 生钡, r j 量 和匹配测量，通过加权来决定高频系数。 最后采用边缘融合质量指标等客观评价函数，从多个角度对基于不同融合 规则的融合结果进行评价和对比，验证了本文改进的融合算法的有效性。 关键词：图像拼接奇异值分解拼接缝消除图像融合小波变换边缘特征对 比度 四川大学硕士学位论文 显微图像自动拼接与融合技术研究 s t u d yo da u t o m a t i cm o s a i c i n ga n df u s i o n t e c h n i q u ef o rm i c r o s c o p i ci m a g e s m a j o r ：c i r c u i ta n ds y s t e m p o s t g r a d u a t e ：x i aw e is u p e r v i s o r ：l u od a i s h e n g a b s t r a c t ：m i c r o s c o p i ci m a g ea n a l y s i si sw i d e l yu t i l i z e di nm a n yi m p o r t a n t f i e l d ss u c ha sm a t e r i a ld e t e c t i o n ，c y t o l o g ya n dh i s t o l o g y ，o i la n d g e o l o g yr e s e a r c h w ec a na c q u i r em i c r o s c o p i ci m a g e sb yp h o t o g r a p h i c a p p a r a t u sw h i c hc o n e r ta no p t i c a li m a g eo fm i c r o s c o p et oad i g i t a li m a g e f o rc o m p u t e r ，b u tt h ef i e l do fv i e wo fc a m e r ai ss m a l l e rt h a nt h a to f m i c r o s c o p e si no r d e rt oo b t a i nt h ep a n o r a m ao f t h ew h o l es p e c i m e n ， a c q u i s i t i o no fab i gi m a g ei sn e e d e d f o rt h i sr e a s o n ，i m a g em o s a i c s t e c h n i q u ei so fg r e a tv a l u e si nr e s e a r c ha n da p p l i c a t i o n s t h i sp a p e r d i s c u s s e st h ei m a g em o s a i c i n gm e t h o d b e c a u s eo fu n e v e n n e s so f t h e s u r f a c eo fs p e c i m e no rc e r t a i nt h i c k n e s so f t h eb u r n i s h e ds l i c e ，t h es a m e v i e wh a sv a r i o u sf o c a lp l a n e s t h i sp a p e rd i s c u s s e si m a g ef u s i o n t e c h n i q u et h a ti n t e g r a t e sp a r t l yc l e a ri m a g e sw i t hd i f f e r e n tf o c u s p o i n t st oaw h o l ec l e a ri m a g e i nt h i sp a p e r ，a na u t o m a t i ca n ds e a m l e s sm o s a i c i n gm e t h o df o r m i c r o s c o p i ci m a g ei sp r e s e n t e d f i r s t l y ，i ta c q u i r e sat e m p l a t ei m a g e a u t o m a t i c a l l yf r o m o n ei m a g ea c c o r d i n gt oi m a g ea t t r i b u t e t h e n ， s i n g u l a rv a l u ed e c o m p o s i t i o n ( s v d ) i su s e dt oe x t r a c tf e a t u r ep o i n t s b a s e do ns i n g u l a rv a l u e su n i q u ec h a r a c t e r i s t i c s ，w eu s eh a u s d o r f f 四川大学硕士学位论文 显微图像自动拼接与融合技术研究 d i s t a n c ea st h es i m i l a r i t ym e a s u r eb e t w e e ni m a g e s i na d d i t i o n ，a c o a r s e t o f i n eh i e r a r c h i c a lm a t c h i n ga p p r o a c hi su s e dt of i n dt h eb e s t m a t c h i n gl o c a t i o na n ds i g n i f i e a n t l yr e d u c et h ec o m p u t a t i o n i nt h ep r o c e s so fi m a g eb l e n d i n g ，w eu s eh a r r i sc o r n e rd e t e c t o ra n d m a t r i xd i s t a n c em e t h o dt oe s t i m a t et h ea f f i n et r a n s f o r m a t i o np a r a m e t e r s o fi m a g e su n d e rs m a l lr o t a t i o n t h ef i r s ts t e pi st of i n dab e s ts e a m 一1 i n e t os t i t c ht h ei m a g e sb a s e do nd y n a m i cp r o g r a m m i n g ，t h e nh a r dc o r r e c t i o n m e t h o di su s e dt oa d j u s tt h ec o l o ro rg r a yd i f f e r e n c et ot h ep i x e l sa t ac e r t a i ne x t e n to ft h et w os i d e so ft h es e a m 一1 i n e t h em e t h o di sp r o v e n t ob ee f f i c i e n ta n dr o b u s tt og e n e r a li l l u m i n a t i o nu n e v e n n e s sa n db i g d i s p l a c e m e n ta c c o r d i n gt ot h ee x p e r i m e n t s a c c o r d i n gt ot h en e e d so fm i c r o s c o p i ci m a g ef u s i o n ，t h i sp a p e r p r e s e n t saw a v e l e tt r a n s f o r mf u s i o nm e t h o db a s e do ne d g e sa n dc o n t r a s t o fi m a g e s w h i l ec h o o s i n gt h el o wf r e q u e n c yc o e f f i c i e n t s ，w es e l e c tt h e p i x e l st h a tm i g h tb eo nt h ee d g e sw i t hh i g h e rc o n t r a s t sf r o mo r i g i n a l i m a g e s t ot h eh i g hf r e q u e n c yc o e f f i c i e n t s ，t h i sm e t h o de m p l o y sal o c a l a r e ac o n t r a s ti n t e n s i t ya st h ea c t i v i t ym e a s u r e ，a n du s e st h ed e f i n e d c o r r e l a t e ds i g n a l i n t e n s i t yr a t i o a st h em a t c hm e a s u r e ，t h e n ，t h e c o m p o s i t eh i g hf r e q u e n c yc o e f f i c i e n t sa r et a k e nt ob eaw e i g h t e da v e r a g e o ft h eh i g hf r e q u e n c yc o e f f i c i e n t so fo r i g i n a li m a g e s t h isp a p e re v a l u a t e ss e v e r a li m a g ef u s i o nm e t h o d sb ym e a n so fs e v e r a l k i n d so fo b j e c t i v ep e r f o r m a n c em e a s u r ea l g o r i t h m ss u c ha se f q i t h e e x p e r i m e n ta n dt h eo b j e c t i v ep e r f o r m a n c em e a s u r er e s u l t ss h o wt h a tt h e m o d i f i e di m a g ef u s i o nm e t h o di ss u p e r i o rt os e v e r a lo t h e rm e t h o d s k e y w o r d s ：i m a g em o s a i c i n g ，s v d ，s e a m l i n e sr e m o v i n g ，i m a g ef u s i o n ， w a v e le tt r a n s f o r m ，e d g e sf e a t u r e jc o n t r a s t 四川大学硕士学位论文 显微图像自动拼接与融合技术研究 第一章绪论 1 1 课题背景 显微镜是一种应用非常广泛的光学仪器，它通过光学系统的作用放大被观 察的对象，对微观组织结构进行显示，从微观形态来认识和研究对象的特性。 目前，它已广泛应用于材料检测、细胞组织学、地质和考古等各个方面。随着 数字图像处理技术的出现，使得我们能够通过专业的图像采集设备获得显微镜 下观察的视野图像，对显微图像进行自动的数字化处理和分析。 在显微图像的应用和处理中，常常遇到这样两个问题： 1 ) 由于摄像头靶面的限制，通过其采集的图像往往只能反映显微镜下光学 视野的一部分。例如在岩石薄片图像分析中，同一焦平面下的砾石很大，即使 在最低物镜倍率下，需要采集多个视场才能完全表示砾石全貌。又如有些裂缝 会贯穿整个薄片，也需多个视场下采集的图像才能表现完整的表示出来。应用 图像拼接技术，对同一平面的多幅分离的显微图像进行自动拼接，可以得到较 大视野范围的高倍图像，从而能够很好地解决由于图像获取装置的限制而引起 的单个视场狭小的局限，得到显微图像完整目标的精确分析结果。所谓图像拼 接是指将存在重合区域的多幅图像进行无缝拼接，重建成一幅较大视野的图像。 2 ) 样本在同一视场内聚焦不一致是显微成像碰到的另一问题。由于岩石薄 片的表面不平以及显微镜焦深的限制，获得的图像只是岩石在纵向上的很小的 薄层。在放大倍数和焦距都确定的条件下，在景深以内的薄层部分是清楚的， 而对于在景深以外的目标我们看到的都是模糊的图像。又如金相样本在磨样的 过程中会引起试样表面凹凸不齐，看到的也只是部分清晰而部分模糊的图像。 若想清楚地观察物体的其它部分，就需要通过调整焦距来实现，但这一操作又 使得原来清晰的部分变得模糊。也就是说，我们无法看到物体的整体清晰的图 像。为解决这一问题，我们可以不断调整显微镜的焦距，得到一系列不同清晰 部份的图像，然后将这一系列局部清晰的图像输入到计算机进行融合处理，便 可得到整幅清晰的图像，获得物体在纵向的不同薄层的全部深度信息。图像融 合是将不同来源的同对象的图像数据进行空间配准，然后采用一定的算法将 四川大学硕士学位论文显微图像自动拼接与融合技术研究 各图像中的数据中所含的信息优势有机地结合起来产生新图像数据的技术。在 本文中，图像融合是指对显微镜下取得的同一对象不同焦距的系列图像进行综 合处理，由局部清晰的系列图像提取得到整幅清晰的图像的过程。 1 2 图像拼接和融合技术概况 1 2 1 图像拼接技术概况 图像拼接的目的是把多幅重叠图像拼接成一幅完整的大视野图像。相邻的 两幅待拼接图像必须有一定重叠区域才能进行拼接，图像拼接的工作就是搜寻 相邻两幅图像中相同的内容，从而确定它们的相对位置。图像配准是图像拼接 的关键技术，在实时应用场合不仅要求配准精确而且必须足够快。 图像配准( i m a g er e g i s t r a t i o n ) 是指同一目标的两幅( 或者两幅以上) 图 像在空间位置上的对准( “。图像配准在遥感、军事、医学、计算机视觉等领域 应用十分广泛并且涉及许多相关知识领域，如图像预处理、图像采样、图像分 割、特征提取等。 图像配准方法大致可以分为两类：基于灰度的图像配准，基于特征的图像 配准。 一直以来，研究得最多的是基于灰度的图像配准，这种方法直接利用图像 的灰度信息定义一个目标函数，作为两幅图像之间的相似性度量，在目标函数 的极值处取得配准参数。在两幅图像灰度信息相似的情况下，常用的匹配方法 有：互相关匹配法、投影匹配法、基于傅立叶变换的相位匹配法1 2 j 和图像矩匹 配法。由于基于灰度配准方法不需要进行图像特征提取，因而可以避免由这些 处理步骤所造成的精度损失。这种方法的配准速度比较低，对灰度信息变化非 常敏感，没有充分利用灰度统计特性，对每一点的灰度信息依赖较大。因此， 在全自动的图像配准中很少采用这种方法。 近年来，基于特征的图像配准方法的研究也逐渐增多，这种方法利用提取 出的图像特征进行配准。基于特征的图像配准包括两个重要步骤：特征提取和 特征匹配。通过提取的特征包括如图像的边缘、轮廓、熵和纹理【3 1 。常用的 特征匹配方法有互相关系数法、互信息法、聚类法、点间距离法、松弛法等。 小波变换、神经网络和遗传算法等新的数学方法的应用进一步提高了配准的精 四j ij 大学硕士学位论文显微图像自动拼接与融合技术研究 度和速度。基于特征的方法充分利用了图像灰度的统计特性和相关特性，有效 地消除由于光照等造成的局部辐射失真引起的误配准。另外，对图像的旋转、 缩放和光照强度变化等不敏感，对含有一定噪声和轻微扭曲的图像可以进行配 准。由于图像的特征点比像素点要少很多，因此可以减少匹配的计算量。但另 一方面，正是由于只有一小部分的图像灰度信息被使用了，所以这种方法对特 征提取和特征匹配的错误更敏感。 在图像配准之后，根据配准图像与基准图像之间几何畸变的情况，选择最 佳拟合两幅图像之间变化的几何变换模型。可采用的变换模型有如下几种：仿 射变换、透视变换、投影变换等，其中最常用的是仿射变换。 为了构成一个大的拼接图像需要将所有图像变换到一个图像序列的参考帧 上，然后进行合成使之成为一个大的视图。这一过程包括根据求取的几何变换 参数进行坐标变换，即将输入图像做相应参数的变换使之与参考图像处于同一 坐标系下，如果输入图像变换后所得点坐标不为整数，则应进行插值处理。 图像拼接的最后一个步骤是对拼接图像的拼接缝进行平滑处理，从而获得 无缝拼接图像。通常使用加权平均或者多分辨率样条技术瞄】来解决，也可以用 小波变换等方式解决【4 7 】【4 8 j 。 目前，拼接图像只能精确地表示两类图像的集合。一类是相机定点环绕拍 摄图像的集合，另一类是相机拍摄的景物为平面景物。我们称拼接图像形成的 二维曲面为流形( m a n i f o l d ) 2 3 j ，如平面流形、圆柱面和圆球面流形等。根据流 形的确定方式，将图像拼接技术分为两大类：基于自适应流形的图像拼接和基 于人工流形的图像拼接技术。基于自适应流形的图像拼接是由视频序列提取的 条形图产生。基于人工流形的图像拼接是由整幅图像的拼接对齐产生，包含图 像配准和图像拼合技术。后者是本课题研究的重点。 在显微图像应用中，主要是指全自动的平面拼接，属于基于人工流形的图 像拼接技术。 1 2 2 图像融合技术概况 图像信息从抽象层次上分为像素级、特征级和决策级，因此信息融合可相 应在这三个层次上进行，融合的水平也由低到高。 四川大学硕士学位论文显微图像自动拼接与融合技术研究 像素级融合是直接在原始数据层上进行的融合，其主要优点是能保持尽可 能多的现场数据，具有最高精度。像素级图像融合可能提供最优决策和识别性 能。在进行像素级图像融合之前，必须对参加融合的各图像进行精确的配准， 其配准精度一般应达到像素级，这也是像素级图像融合所具有的局限性。除此 之外，像素级图像融合处理的数据量太大，实时性差，并且要求获取数据的是 同类传感器。若数据是由不同类的传感器获取的，必须采用特征级或决策级融 合。 特征级融合是指对预处理的数据进行特征提取的基础上进行综合分析和处 理，其输入输出均为特征。 决策级融合是对采集到的数据已独立完成了决策或分类任务的基础上，模 仿人的思维借助一定的规则或特定的算法对各个判别结果进行组合判断。 对于显微图像，主要是不同聚焦下图像的融合，属于像素级融合。因此， 本课题主要讨论像素级融合。像素级融合的核心是融合准则算法，目前，常用 的像素级融合准则算法有以下几种： 1 ) 简单的图像融合方法：加权叠加、p c a 法1 4 7 j 和h i s 法f 1 】o 2 ) 塔式算子：现有的基于图像特征的融合算法都是从变换上的图像编码和 压缩演变过来的，如拉普拉斯金字塔算法、梯度金字塔算法、多分辨率形态 滤波法。其中常用的是拉普拉斯金字塔算法，此类算法的实质是基于局部亮度 的差异结构，这说明不同分辨率的细节信息彼此相关。当待融合的图像差别很 大时，这种相关性就容易引起算法的不稳定。而基于正交小波变换的多分辨率 融合算法就可克服这个缺点。 3 ) 小波变换【7 1 0 】：基于小波变换的图像融合是指，对源图进行小波变换， 将其分解在不同频段的不同特征域上，然后在不同的特征域内进行融合，构成 新的小波金字塔结构，再用小波逆变换得到合成图像。小波变换在时间域和频 率域上同时具有良好的局部化性质，对高频成分采用逐步精细的空间域取样步 长，可以“聚焦”到任何细节。正交小波变换去赊了两相邻尺度上图像信息差 的相关性，所以基于小波变换的图像融合技术能克服拉普拉斯金字塔的不稳定 性。在小波分解过程中，由于图像的数据量不变，同时各层的融合可并行进行， 所以其计算速度和所需的存贮量都要优于拉普拉斯金字塔。由于小波变换的优 四川大学硕士学位论文显微图像自动拼接与融合技术研究 良特性，基于小波变换的图像融合方法成为了目前国内外像素级图像融合方法 的研究主流。本课题主要研究基于小波变换的像素级图像融合方法。 1 3 本课题的主要工作 对于显微图像，实现图像拼接的关键是解决好不同光照条件下采集的图像 以及几何平移大的图像的自动配准、合并与无缝拼接问题：实现图像融合的关 键是选择适合显微多聚焦图像的融合方法、判据和参数。最初的工程应用中的 拼接融合系统主要基于简单的比值匹配搜索和灰度加权平均算法，随着应用范 围的扩大和条件的变换，系统越来越不能满足要求，迫切需要应用图像拼接融 合的自动处理技术的最新研究成果，提高工程实践的质量。 本课题所做的具体工作包括以下几个方面： 1 ) 对待拼接图像的预处理进行研究，具体实施了灰度偏差校正； 2 ) 针对基于灰度的固定匹配模板法的缺点，采用简单的边缘特征阈值法， 实现配准模块的自主选取。 3 ) 针对显微图像的特点，提出并实现基于奇异值分解和h a u s d o r f f 距离法 的图像配准方法。首先对图像进行奇异值分解，以规范化后的奇异值作为匹配 特征，然后以h a u s d o r f f 距离对匹配特征进行相似性度量，最后通过变模板分 级匹配搜索最佳配准位置，从而实现图像的快速配准。 4 ) 根据图像配准求取图像之间的几何变换参数合并图像，并进行拼接缝消 除处理，最终将整个显微图像拼接工作设计成软件。 5 ) 对基于小波变换的融合框架和五种常用的小波变换融合法进行研究。 6 ) 根据显微图像对融合图像的要求，对于基于常用算法的融合图像中存在 的块状效应、边界模糊以及对噪声敏感等现象，提出一种基于边缘和对比度的 融合方法。 7 ) 针对显微图像的特点，采用交叉熵、清晰度和边缘融合质量三种客观评 价方法对本文提及的六种方法进行验证和比较，最终将整个显微图像融合和评 价工作设计成软件。 四川大学硕士学位论文显微图像自动拼接1 巧触合技术研究 1 4 论文的组织结构 第一章绪论阐述了图像拼接和融合的概念、内容。给出了选题背景和主 要工作以及论文组织结构。 第二章显微图像配准技术本章分析了待拼接的显微图像的特点，对配准 模块自主选取进行研究，在此基础上提出了基于奇异值分解和h a u s d o r f f 距离 的显微图像全自动配准方法。 第三章显微图像的无缝拼接本章主要介绍图像拼接的最后两个步骤：图 像合并和图像拼接缝的消除。 第四章基于小波变换的像素级图像融合算法改进讨论了如何利用小波 变换来实现像素级融合，提出一种对显微目标有效的改进融合算法。 第五章显微图像融合实验与性能分析本章介绍了一些客观评价融合效 果的方法，并对各种融合算法进行实验比较和分析。 第六章总结和展望本章对论文做了一个简单的总结，并指出了今后有必 要开展的相关工作。 四川大学顶：k 学位论文显微图像自动拼接与融合技术研究 第二章显微图像配准技术 显微镜下采集的图像因照度不均匀而产生亮度或色彩变化，并且可能有微 弱的高斯噪声。图像之间一般同时具有水平和垂直两个方向的较大的平移变换， 但基本不发生较大的旋转或缩放等几何形变。另一方面，显微图像目标的多样 性和形状的不规则导致提取边缘、轮廓等特征比较困难。本文针对显微图像的 特点，提出一种快速、准确、对不同种类目标的显微图像有效的特征模板配准 方法。实验证明，该方法扩展了显微图像拼接的应用范围，具有较好的性能。 2 1 显微图像预处理 为了获得更好的拼接效果，显微图像在拼接前一般需要进行预处理。在显 微图像的采集过程中，由于显微镜视野照度不均匀，图像背景具有不均匀的灰 度值，导致相同的目标在相邻两幅拼接图像的重叠区域中显示为不相同的像素 值，这就给显微图像的精确配准带来了一定的困难，并且还会导致合成图像中 的拼接缝非常明显。通过灰度校正可以一定程度解决背景的不均匀问题。 输入图像f ( x ，y ) 的光反射数学模型为： f ( x ，y ) = i ( x ，y p ，y ) ( 2 1 1 ) 其中入射光分量i ( x ，y ) 与物体本身无关，反射光分量，0 ，y ) 包含了物体的 细节信息。由于物体的照明亮度是缓慢变化的，f 0 ，_ ) ，) 随空间位置变化小。所 以其频谱特性集中在低频端；而物体本身具有较多的细节和边缘，r ( x ，y ) 随空 间位置变化较为剧烈，所以其频带较宽且占据相对高频部分。因此，应该压制 低频部分，放大高频部分，使反映物体性质的反射光得到增强，减少入射光不 均匀性的影响。 文献 1 1 提出用同态滤波法解决光照差异问题，在频域内将模板卷积转化 为乘积从而减少运算次数，并且可以根据不同的图像选用不同的滤波函数 日m ，v ) ，但由于频域滤波需进行傅立叶变换和傅立叶反变换，加大了浮点运算 量。 文献 1 2 提出一种能在空域内实现的校正方法，即使用基于低通滤波的空 四川火学顶士学位论文显微图像自动拼接与融合技术研究 域滤波来代替频域滤波达到同态滤波。由于入射光分量f ( x ，y ) 在一定的邻域范 围内变化较为平缓可以视为常量。假设，0 ，y ) 能反映出这种明暗变化，取适当 的模板做邻域平均得到低频分量厂 ，y ) ，那么用， ，y ) 一f ( x ，y ) 去掉这部分低 频分量后获得的结果应该能够起到压制低频的效果。此算法直接用原图像减均 值滤波后的图像，去掉对数和指数运算，减少了运算量。但是此算法需要根据 分割出目标所在的灰度区间大小，迭代计算目标和背景的归并像素来设定校正 偏移量，对于存在多类目标的显微图像，此算法不是很适用。 本文采用基于局部均值和方差的自适应方法分别对各待拼接图像进行处 理，校正图像的灰度偏差。设校正前图像的灰度值为，0 ，y ) ，校正后的值为 ，伍，y ) ，采用如下滤波器对图像进行局部滤波： ，o ，y ) = a x ( ，0 ，y ) - m 。) + 口 ( 2 1 2 ) 其中，m ，为以原图像的局部均值；“= 6 ；加，6 ，为滤波前图像局部标准 差，6 j 为所希望的图像局部标准差；b = m ：，为所希望的图像局部均值。 图a ) 待拼接砾石图像1 图b ) 待拼接砾石图像2 图c ) 图a ) 的校正结果图d ) 图b ) 的校正结果 图2 - 1 待拼接砾石图像校正实例 四川大学硕：匕学位论文显微图像自动拼接与融合技术研究 根据文献 5 1 以及实践，本文选取的经验参数为4 0 ，川：为1 2 8a 对于 图2 - 1 中的图a ) 和图b ) ，经过上述处理，可以得到校正后的图像，分别如图 c ) 和图d ) 所示。通过对比，可以看出校正后的图像的色度更均匀。校正结果证 明了此算法可以较好地消除待拼接图像之间的色度偏差。 2 2 配准模板的提取 较早的配准算法的基本思想是，在配准图像( 一般以右边的图像为配准图像) 中寻找某个已知模板a ，然后在基准图像中搜索与之匹配程度最高的模板b ， 然后根据这两个模板之间的平移关系确定两幅图的配准参数。这种算法称为模 板匹配法，传统的模板匹配法有以下几个关键步骤： i ) 配准模板a 的选取，确定a 的大小和坐标位置； 2 ) 模板匹配相似性度量的选择； 3 ) 匹配模板的搜索策略。 对于步骤( 1 ) ，基于灰度的匹配法选取图像某一区域的灰度作为特征构建模 板，有固定区域法，双竖线匹配法 1 4 】等。一般选择配准图像左半部的中间部分 一定大小的图像区域作为配准模板，即配准模板的位置和大小是固定的。如果 该区域的灰度变化极小，该区域会因为缺乏能够与其他区域区分开来的目标特 征，而导致误匹配。另外，即使通过光源校正，获取到的相邻视场在重叠区域 也会有一定差异的灰度表现。灰度匹配法没有利用灰度统计特性，对每一像素 点的灰度信息依赖较大。所以，在显微图像的自动拼接中如果只使用灰度为特 征构建模板，不仅配准精度低，对图像质量要求严格，而且要求模板的尺寸大， 不利于提高匹配速度。 由于一幅图像中有很多冗余信息，大量有用的信息一般存在于一些局部特 征，如灰度局部极大值点、边缘点、角点、线条；以及全局特征，如图像的轮 廓、熵等，可以利用图像的特征进行配准。由于特征相对于图像的辐射影响和 几何畸变不敏感，基于特征的配准方法可以有效消除由于光照等造成的辐射失 真和旋转、缩放等引起的误配准。因此，我们以显微的边缘为特征提取配准模 板。复杂的边缘提取算子运算量比较大，为了达到实时处理的要求，我们采用 简单的梯度滤波方法进行边缘提取。 四川人学硕= l 学位论文 显微图像自动拼接与融合技术研究 对于图像，0 ，y ) ，它在点( z ，y ) 处是一个矢量，足义为： w = 挚+ 等一 ( 2z ，) 其中掣与芒分别为z 方向和_ ) j 方向的偏微分：f ，为方向向量。梯度向 量的模值为： w 悯2 掰】2 仫z z ， 当对整幅图像进行式( 2 2 2 ) 时运算量很大，因此，在实际操作中，简化为： w = 陀l + b l - i ，o + 1 ，y ) 一，o ，y ) l + f ，o ，y + 1 ) - f ( x ，y ) l ( 2 2 3 ) 由于用各种算子进行边缘提取，受噪声点的影响比较大，通过分别计算x 方 向和y 方向的像素的差分值，并选一个阈值去掉不相关的像素，此方法称为梯 度滤波( g r a d f i l t e r i n g ) 【1 5 】： = 翮 t h r e s h o l d d 眨：。， 对于梯度阂值t h r e s h o l d 的选取，首先要保证能消除图像噪声等孤立点的影 响，小梯度的像素点被过滤掉，剩下具有代表性( 有更大梯度) 的像素点，减 少后继选点的计算量，因此阈值不能太小。第二要保证有足够的剩余点可以选 择，点数太少会引起后继的选点中容易就陷入局部最优，因此阈值也不能太大。 在本文的实验中，我们选取m a xs 3 作为闽值，m a xs 为滤波图像s 0 ，y ) 的 最大值。 一般情况下，相邻图像的重叠范围大概是3 0 5 0 。为了避免全局选取配 准模块，先初步估计出两幅图像的重叠区域，然后在重叠区域中选取基准点和 配准模块。重叠区域的初始估计方法是计算两幅图像对应行和列的灰度差值， 在水平或垂直方向灰度差值取值最小时便可初步确定两幅图像之间的重叠形 式。 对于梯度滤波的结果图像s ( x ，y ) 中的某一位置( x ，y ) 的像素点，以其为中心 l o 四川大学硕士学位论文 显微图像自动拼接与融合技术研究 的m x n 邻域内的边缘信息量( e d s ) 定义为： m 1 2n 2 e d s ( x ，y ) = yys ( x + 川，y + n ) ( 2 2 5 ) m 翔1 2 一- - 倒, 2 一般找出e d s 0 ，y ) 的最大值的对应点( z ，y ) 作为基准点，然后以此为中心 点选择大小适中的块就可以找到配准模板【1 5 】。虽然这种算法可以找到图像的特 征块，但是在后续的匹配过程中，可能会出现有多重匹配的情况。为了保证所 找的特征块是图像中独一无二的配准模板，以每一点的边缘信息量e d s 0 ，y ) 与 整个重叠区域的平均边缘信息量e v e d s 的差值为依据来衡量以此点为中心的区 域与其它区域的差异： d 0 ，) ，) = j e d s ( x ，y ) - e v e d sj ( 2 2 。6 ) 找出d ( x ，y ) 最大值的对应点( z ，y ) 即为基准点，以此点为中心点，采用以 下自适应的方法调整配准模板的大小： width!丝thtwt i t ：丝出! ! 唑k ，n z 2 7 ) = 一一= 。= 一一 z ，j 8 e d s o ，y ) 8e d s o ，) ) 其中w i d t h 与h e i g h t 分别为图像的宽度和高度。 2 3 基于奇异值分解的图像配准 目前，对基于特征的图像配准的算法研究得最多的是一些常用特征包括特 征点( 极值点、边缘点、角点) 、特征线、特征区域等。针对不同的特征有相应 的特征提取算子，其中h a r r i s 角点检测算子【1 7 】是最常用的检测算子。特征点 提取出来以后要根据特征点之间的局部特征进行粗略的匹配，找到待匹配点集 合之间的对应关系。一般是基于灰度互相关进行初步估计，剔除差别较大的匹 配对。然后进一步估计匹配，r a n s a c 是用得最多的提纯匹配点集的方法 1 8 1 。最 后，结合最小二乘估计的闭合解法和非线性优化实现几何参数的估计，计算变 换矩阵。在这种常用的特征配准算法中，用h a r r i s 算子提取角点与r a n s a c 提 纯数据时需要选取一些参数和经验阈值，参数估计的过程比较繁琐，且对于不 同目标的图像需要选取的不同的参数。另外，如果两幅图像之间的光照条件差 别太大，基于灰度互相关的粗配准就会找不出配准点，为后继估计矩阵带来了 影响。 针对显微图像目标的多样性以及图像光照差异大的特点，本文采用基于奇 四川大学硕士学位论文 显微图像自动拼接与融台技术研究 异值分解的代数特征配准方法。 基于奇异值分解的配准过程如图2 2 所示 配准模板 基准图像 图2 - 2 基于奇异值分解配准的基本步骤 具体地讲，配准过程是这样的：首先对配准模板图像进行奇异值分解，由 于奇异值分解要求矩阵行和列数相同，因此将配准模板的大小调整为n h ，其 中n = m i n ( m ，腩) ，抑和t h 分别为2 2 小节中求取的模板的宽度和高度。在求取 配准模板的奇异值特征后，建立个大小与配准模板相同的窗口，在基准图像 上移动窗口，对该窗口图像进行奇异值分解，得到它的特征值矩阵，然后对这 两个特征值集合进行相似性度量，当模板与目标区域完全一致时，相关系数为 1 。 2 3 1 奇异值特征提取 代数特征是由各种代数变换和矩阵分解抽取的，是图像的本质特征。很多 研究表明，矩阵的奇异值分解是一种新的有效的代数特征抽取【1 6 】。奇异值分解 ( s v d ) 是一种具有优良性质的完全正交分解，其核心是在不改变矩阵有关度量的 前提下，给出矩阵的有效秩，并在某种意义下给出矩阵降秩的最佳逼近。 一个m x 的图像a 可看作为m n 维空问中的一个向量，也可将此图像表 示在r 维子空间，r 为矩阵 a 】的秩。 定理l ：若a e r “”，则存在两个正交矩阵u = u l ：“：，u 。l 舻”， v = lv z ，v ，k 1 掣”，以及对角阵a ，使下式成立： 凹川大学硕士学位论文显微图像自动拼接与融合技术研究 a ：u a v 7 ( 2 3 1 ) 其中， = f 0 1 。 i o o j ，；d i 口g ( d 。，6 ：，k ，6 r ) ，6 i ：压( f ：1 2 。r ，n ) ( 2 3 2 ) 色称为a 的奇异值， t l ，o 是a a 7 并且也是a 7 a 的非零特征值 的全体，而l + 。；一+ 2 = l = 。= 0 为a 7 a 的n r 个零特征值。h f ，v i ( i = 1 , 2 ，r ) 分 别是删7 和a 7 a 对应于非零特征值 的正交特征向量。u i o = r + 1 ，m ) 是为了 表达上的方便而引入的( m 一，) 个向量，可以设想它是删7 对应于凡= 0 的特征 向量【1 9 。同理，u ( f = ，+ 1 ，n ) 是彳7 a 对应于 = 0 的特征向量。将式( 2 3 1 ) 写成乘积的形式： a = 罗6 。“；矿 ( 2 3 3 ) 胃 如果矩阵a 代表配准模板，那么式( 2 3 3 ) 就代表了对配准模板图像进行正 交分解。对于任何实矩阵a ，在 厶z 丑，0 的限制下，奇异值对角矩阵 a 是唯一的，因此配准模板对应于唯一的奇异值特征向量，可以用奇异值特征 向量描述二维图像。 奇异值分解得到的特征具有如下的性质： 性质( 1 ) 奇异值特征向量的稳定性： 定理2 ：假设有爿，b 尺，矩阵爿和口的奇异值分别为6 。，d 。：2 l6 。， 6 m 6 口22 l6 廿，则有 1 6 。一6 。is i a b i i ： ( 2 3 4 ) 定理2 表明，当矩阵a 有微小扰动时，扰动前后矩阵奇异值的变化不会大 于扰动矩阵的2 一范数。扰动分析表明【5 2 1 奇异值特征具有良好的稳定性，所以 它对图像噪声、图像光照条件不同引起的图像灰度变化具有不敏感的特性。这 一特性放宽了对图像预处理的要求，保证了配准的准确性。 性质( 2 ) 奇异值特征向量的位移不变性：对图像矩阵的行或列的进行置 换，奇异值特征向量不发生改变。 性质( 3 ) 奇异值特征向量的旋转不变性：对图像进行旋转，奇异值特征向 量不发生改变。 四川大学硕士学位论文显微图像自动拼接与趾合技术研究 性质( 4 ) 奇异值特征向量的转置不变性：对图像矩阵做转置运算，奇异值 特征向量不发生改变。 上述稳定性和不变性使奇异值成为图像的一种有效的代数特征的描述。奇 异值反应了图像的一种代数本质，这种本质不是直观的，而是内在的属性。它 作为图像特征，同时具备了代数上和几何上的不变性，为解决图像配准的提供 了一条新的途径。 2 3 2 奇异值特征点集的相似性度量 根据配准特征点集的方式，点的相似性度量可以分为两类。第一类是点一 点对应匹配：建立基准图像和配准模板的特征点集之间的点一点对应关系，然 后计算对应点之间的相似性程度量来确定两者是否匹配，这种计算复杂度高， 而且当特征点的数目超过一定数目且参数变换空间维数很高时，计算时间将成 倍增加，这在实际应用中是难以接受的。而且若在特征点的抽取过程中产生虚 假特征点或者丢失特征点，基于点一点对应的匹配算法将很难给出正确的结果。 第二类是点集匹配：h a u s d o r f f 点集匹配算法【2 0 】使用全部特征点，仅需要计算 两点集之间的最大距离，而不需要建立点一点之间的对应关系。因此可以有效 处理含有很多特征点的情况，计算实时陛高。本文采用h a u s d o r f f 法进行相似性 度量。 h a u s d o r f f 距离是两个点集之间的最大最小( m a x - m i n ) 距离。给定两个点集 a 和b ，a 和曰之间的h a u s d o r f f 距离定义为： 日即，b ) = m a x ( h 口，b ) ，h ( b ，4 ) ) ( 2 3 5 ) 上式中，h ( a ，b ) 被称为a 到b 的正向距离，h ( b ，a ) 被称为a 到曰的反向距 离，定义为： h ( a ，b ) 2 警 曾 6 肛 ( 2 3 6 ) ( b ，4 ) = m 。a x m 。i n 卜啪 ( 2 3 7 ) 从h a u s ! f f 距离的定义可以看出，与欧式距离相比不同的是，这种方法 中点与点的关系是模糊的。如果h ( a ，b ) = d ，则每一个a 中的点离日中至少有 一个点的距离不大于d ，d 越d , n 两个点集a 到b 的距离越近，如果a b ，则 d = 0 。而且对于a 四川大学硕士学位论文显微图像自动拼接与融合技术研究 “最不匹配点”。所以，h a u s d o r f f 距离表征了两个点集之间的最不相似程度， 当它作为相似度量时，必须使它最小化。配准模板和基准图对应区域的匹配问 题，就可以看作是求两个特征块的奇异值的h a u s d o r f f 距离问题。 2 3 3 多模板分级搜索法 在图像匹配的过程中，匹配的精度和速度是一对矛盾。一般情况下，模板 尺寸较小时，匹配速度快，但匹配特征信息量少，精度低；相反，模板尺