（通信与信息系统专业论文）显微图像镶嵌技术研究.pdf

四川i 大学硕士学位论文 y7 7 9 3 7 7 显微图像镶嵌技术研究 显微图像镶嵌技术研究 通信与信息系统专业 研究生张丈栓 指导教师罗代升 摘要 显微图像分析广泛应用于生物医学、石油地质、金相检测等领域。但在分 析中，存在分辨率和单次观测视场狭小的矛盾。应用图像镶嵌技术可以解决这 一问题。因此对显微图像镶嵌技术的研究具有重要的意义和应用价值。由于显 微图像的分析涉及领域相当广泛，图像特点各异，找出适合所有显微图像的镶 嵌方法很不现实。本文在分析了三种典型显微图像特点的基础上，提出了相应 的解决方案。 针对大型目标显微图像，提出了一种快速、高效的拼接方法。方法实行了 逐步求精的策略，即先进行单一方向的粗匹配，然后再进行水平、竖直两个方 向的精确匹配。在粗匹配阶段，提出了增强模板投影匹配法( e t p m a ) ，实现了高 效、准确的定位。在精确匹配阶段，结合线列对比度方式、序贯相似度方法、 螺旋搜索策略实现了快速、精确的配准。试验证明，整个算法高效、定位准确， 且对噪声和一般光照不均有较强的鲁棒性。 针对边角目标显微图像，利用点匹配方式，提出了一种全自动稳健的拼接 算法。算法以层层迭代、逐步求精的策略为基础，应用改进的h a r r i s 角检测算 予提高了特征点的提取精度，提出以圆形模板为基础进行粗匹配减少了旋转 等几何变换导致的误差。利用r a n s a c 算法消除奇异点对，结合最小二乘估计的 四川大学硕士学位论文 显微图像镶嵌技术研究 闭合解法和l m 非线性优化方法实现了几何参数的精确估计。试验证明，该方法 的整体效果良好。 针对特殊“类圆形”目标显微图像，从整个显微图像分析系统考虑，提出 了以分割线为基础的拼接方法。首先，从理论上证明了，在此类图像中，分割 线在相似变换下的基本不变性，以此为基础，应用三点灰度窗相关法实现了分 割线的粗匹配，并应用最小二乘技术实现几何变换参数的估计，达到了比较好 的效果。 最后，讨论了图像镶嵌的全局技术，重点分析了基于对应点的多帧调整技 术、双线性插值融合技术和多分辨率样条融合技术。 关键词：图像镶嵌最小二乘估计特征点配准特征线线配准投影匹配最优 化估计 四川大学硕士学位论文 显微图像镶嵌技术研究 r e s e a r c ho fm i c r o s c o p i c i m a g em o s a i c s m a j o r ：c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m p o s t g r a d u a t e ：z h a n gw e n s h u a ns u p e r v i s o r ：l u od a i s h e n g a b s t r a c t m i c r o s c o p i ci m a g ea n a l y s i si sw i d e l yu t i l i z e di nm a n yi m p o r t a n tf i e l d ss u c h8 8 b i o m e d i c i n e i m a g ea n a l y s i s ，g e o l o g i c a li m a g ea n a l y s i s ，m e t a l l o g r a p h i ci m a g e a n a l y s i s i m a g em o s a i c si sb u i l tt oe x t e n df i e l do fv i e ww i t h o u tm a k i n gr e s o l u t i o n s a c r i f i c e ，s oi m a g em o s a i c st e c h n i q u ei so fg r e a tv a l u e si nr e s e a r c ha n da p p l i c a t i o n s o fi m a g ep r o c e s s i n g i ti s i m p o s s i b l et o f i n das i n g l ea l g o d t h mt h a ta d a p tt oa l l i m a g e sb e c a u s eo ft h eu n i v e r s a l i t ya n dt h ed i v e r s i t yo fm i c r o s c o p i ci m a g e s i m p l y ， t h r e ek i n d so ft y p i c a lm i c r o s c o p i ci m a g ea r ea n a l y z e d ，o nt h eb a s i s ，c o r r e s p o n d i n g s t r a t e g yo fi m a g em o s a i c si sp r e s e n t e d t ot h em i c r o s c o p i ci m a g eo f t h el a r g e - s c a l eo b j e c t s ，as i m p l ea n df a s ta l g o f i t h r a i sp r e s e n t e d w eu s et h er e f i n e m e n tt a c t i c sp r o g r e s s i v e l y f i r s t l y , i tc a r r i e so nr o u g h m a t c h i n gi nas i n g l ed i r e c t i o n ，t h e na c c u r a t em a t c h i n gi se m p l o y e di nh o r i z o n t a la n d v e r t i c a ld i r e c t i o n s d u r i n gt h ec o u r s eo fr o u g hm a t c h i n g ，e n h a n c e dt e m p l a t e p r o j e c t i o nm a t c h i n ga l g o r i t h m ( e t p m a ) i sp r o p o s e dt or e a l i z et h eh i g h - e f f i c i e n t ， a c c u r a t el o c a l i z a t i o n d u r i n gt h ec o u r s eo fa c c u r a t em a t c h i n g ，m e a s u r e m e n to fl i n e r a t i o ，s s d aa n ds p i r a ls t y l es e a r c ha r eu t i l i z e dt or e a l i z ef a s ta n da c c u r a t e r e g i s t r a t i o n t h ea l g o r i t h mi sp r o v e dt ob eh i g h e f f i c i e n ta n dr o b u s tt on o i s ea n d g e n e r a li l l u m i n a t i o nu n e v e n n e s sa c c o r d i n gt ot h ee x p e r i m e n t s t t t 四川大学硕士学位论文显微图像镶嵌技术研究 t ot h em i c r o s c o p i ci m a g eo ft h ee d g e c o m e ro b j e c t s ，af u l l a u t o m a t i ca n d r o b u s ti m a g em o s a i ca l g o r i t h mi sp r e s e n t e d i nt h ea l g o r i t h m ，i m p r o v i n gh a r r i s c o m e rd e t e c t o ri su s e dt oi m p r o v et h ep r e c i s i o n ，r o u g hm a t c h i n gs e ti so b t a i n e db y c o m p a r i n gb a s e do nr o u n dt e m p l a t e ，w h i l ed e c r e a s i n gt h eg e o m e t r i cd i s t o r t i o ns u c h a st h er o t a t i n g t h er o b u s tr a n s a ca l g o r i t h mi su s e dt od i s p e lo u t l i e r s ，t h e 1 e o m b i n a t i o no fc l o s e df o r ml e a s t s q u a r ea n dl mn o n l i n e a ro p t i m i z i n ga l g o r i t h m e n s u r et h ea c c u r a t ee s t i m a t i o no f t h e g e o m e t r i cp a r a m e t e r s t h ee x p e r i m e n t sr e s u l t s s h o wt h a tt h ew h o l ea l g o r i t h mi sg o o d t ot h em i c r o s c o p i ci m a g eo ft h e r o u n do b j e c t si ns h a p es i m i l a r l y ”，a n a l g o r i t h mb a s e do ns e g m e n t a t i o n l i n ei sp r e s e n t e dw h i l ec o n s i d e r i n gt h ew h o l e a n a l y z i n gs y s t e m f i r s to fa l l ，s e g m e n t a t i o n l i n ei st h e o r e t i c a l l yp r o v e dt ob e i n v a r i a n to ns i m i l a r i t yt r a n s f o r m a t i o ni nt h i sk i n do fi m a g e b yc o m p a r i n gt h et h r e e l o c a ln e i g h b o r h o o d so fs e g m e n t a t i o n - l i n et h r o u g hi n t e n s i t yc r o s s - c o r r e l a t i o nt h e a c c u r a t em a t c h i n gi sr e a l i z e da n dl e a s t - s q u a r em e t h o di su s e dt oe s t i m a t et h e g e o m e t r i cp a r a m e t e r s t h ee x p e r i m e n t sr e s u l t sa r ei n t e n d i n ga n dg o o d a tl a s t ，w ed i s c u s st h eg l o b a lr e g i s t r a t i o no fm o s a i c s g l o b a l l yo p t i m a li m a g e m o s a i c sb a s e do nf e a t u r ep o i n t s ，b i l i n e a ri n t e r p o l a t i o na n dm u l t i r e s o l u t i o ns p i n e t e c h n i q u ea r ee m p h a s i z e d k e y w o r d si m a g em o s a i c s ，l e a s t - s q u a r e se s t i m a t i o n ，f e a t u r ep o i n t sr e g i s t r a t i o n ， f e a t u r el i n er e g i s t r a t i o n ，p r o j e c t i o nm a t c h i n g ，o p t i m a le s t i m a t i o n i v 第一章绪论 第一章绪论 1 1 选题背景 1 i 1 数字显微图像分析的需要 数字显微图像分析指通过专业显微镜和专业的图像采集设备( 如c c d ，图像 采集卡) ，把显微图像数字化保存、处理、分析等一系列过程。通过对显微图像 的数字化处理，显微图像更便于保存，处理过程更加自动化，分析结果更容易 量化。作为图像分析的重要研究领域，数字显微图像分析技术具有很高的理论 和实际应用价值。 显微镜下试样成像的图像的分辨率和单次可观察视野( 视场) 不可避免的存 在着矛盾，图像镶嵌技术提供了一种有效的解决方案。在显微图像分析中，主要 表现在以下方面： 1 ) 显微图像中经常出现一类图像，这类图像中的目标比较大，即使在最低 物镜倍率下，需要多个视场才能完全表示某一目标，即；单次观测的视野相对 目标比较小。如在金属材料金相学的渗炭层分析中，有些材料渗碳层很厚，一 个视场不能全部观察到；岩石薄片的孔隙特征分析中，需要测量岩石裂缝的参 数，而裂缝往往贯穿整个薄片，需多个视场才能表现完整，有些砾石颗粒很大， 也需要多个视场下采集的图像才能完整的表示出来其它如岩心扫描分析等也有 类似的情况出现。在这种情况下，采集的数字图像不能得到目标整体的概貌， 导致了分析的局部性。虽然可以使用性能更优越的硬件设备部分解决这个问题， 但成本比较大。应用数字图像处理方法，通过采集多个视场图像，采用图像镶 嵌技术是可行的解决方案，并能在低成本的条件下获得很好的效果。 2 ) 由于摄像头靶面的限制，通过其采集的数字图像往往只能反映显微镜下 光学视野的部分。为了适应分析人员的习惯，使采集的数字图像与显微镜下 的光学视野基本吻合，需要应用图像镶嵌技术将多个视场的图像合成一幅完整 的图像，大致反映整个光学视野。 1 1 2 数字显微图像的多样性和可行性简化方案 数字图像显微分析涉及的领域非常广泛，待处理的目标非常多样化，给分 四川大学硕士学位论文 显微幽像镶嵌技术研究 析带来了不便。根据工作需要，主要考虑岩石铸体薄片显微图像分析和金相显 微图像的分析。既便如此，待分析的原始静态图像仍然具有多样性的特点，给 应用图像镶嵌技术带来了复杂性。 待分析原始图片其多样性表现在： 感兴趣目标的特征多样化； 感兴趣区域在尺度上的多样化； 不同视场因采集时问的间隔受到光照和噪声的影响； 由于显微镜的性能差别，产生不同的形变； 操作过程中样本的旋转导致视场的旋转： 目标各个面与镜头不在一个平面，产生轻微的映射畸变； 显微图像的多样性导致分析的复杂性。考虑到工程实践中某些类型的显微 图像在分析中占有很大的比例，为了简化分析，考虑以下三种常用的典型目标 形态的显微图像： 1 ) 大目标显微图像：这种图像对应以上提到的单个视场图像不能完整表现 某个目标的情况： 2 ) 边角目标显微图像：指显微图像中存在多个目标，且目标基本清晰，边 角特征明显；如岩石铸体粒度薄片显微图像。 3 ) “类圆形”目标图像：这类图像，边缘光滑，目标呈现近似圆形。如金 相中的粉末显微图像。 当然这三种类别不是严格的分类，只是根据实践应用进行的粗略划分。 1 2 图像镶嵌技术发展概况 本节分析图像镶嵌技术的概念、主要内容以及多样性，以便能针对上节分 类的三种典型的显微图像找出适合的方法和策略。 1 2 1 图像镶嵌的概念 图像镶嵌技术，也称为图像m o s a i c s 技术，就是将一组重叠图像集合拼接 成一幅大型的无缝高分辨率图像( 所谓的m o s a i c ) 。其目的是将一系列真实世界 第一章绪论 的图像拼接成一幅单一的、更大的、更复杂的大型场景。图像镶嵌技术可以简 单的理解为图像拼接方法，但是其技术范围比拼接更加广泛。 图像镶嵌技术是一种利用计算机表示真实世界的有效方法，通常参与的拼 接的真实世界的序列图像有一定程度的重叠，采用图像镶嵌技术，可以剔除冗 余信息，压缩信息存储量，从而更加客观而形象有效地表示真实世界。 高质量的图像镶嵌不但要求具有良好的视觉效果，而且还要尽可能的保持 图像的光谱特征，即所谓“无缝”，指图像的几何和辐射的连续性。 1 2 2 图像镶嵌技术的主要内容 自动建立大型、高分辨率的图像镶嵌技术是复杂的，多学科交叉的处理技 术，一直是摄影测量学、计算机视觉、图像处理和计算机图形学的活跃研究领 域。图像镶嵌技术主要包括以下内容： 经典的图像处理技术，如：图像变换、边缘提取、图像增强等： 图像配准技术，图像配准( i m a g er e g i s t r a t i o n ) 是指同一目标的两幅 ( 或者两幅以上) 图像在空间位置上的对准。图像配准的技术过程，称为图像匹 配( i m a g em a t c h i n g ) ，或者图像相关( i m a g ec o r r e l a t i o n ) 【i 6 j ； 矩阵理论和空间几何学，图像镶嵌技术实质上是像素进行空间搬移的过 程； 数据的重采样、插值技术： 图像镶嵌集成技术，主要有全局对齐、图像融合、边缝消除技术【l 2 】； 当然还涉及了数值计算、模式识别、最优化方法、神经网络等领域。 其中图像配准技术是整个图像镶嵌技术体系中的核心技术。空间几何学和 矩阵理论是图像镶嵌技术的应用数学基础，非线性最优化方法是图像镶嵌技术 性能提高的热门研究方向。 1 2 3 图像镶嵌技术的发展概况 图像镶嵌技术源于摄影学。在照相机发明以后，数字图像处理技术没有广 泛应用以前，需要由专业人员把两幅或者多幅图像拼接在一起，以克服相机的 视野小于人类视野的缺点。随着数字摄像技术、卫星技术和遥感技术的发展， 3 凹j 1 1 大学硕j 二学位论文显微图像镶嵌技术研究 当人们开始获得人造卫星传回地球的图片时，也常常采用图像拼接的办法来获 得大视野的全景图。在医学影像领域里，经常利用二维平面的c t 、m r i 、d s a 等 图像来重建三维立体结构，图像镶嵌也是重建和投影的基础。在虚拟现实技术 中，经常用到形成数字全景图的图像像镶嵌技术。除了以上在计算机视觉和计 算机图形学的应用以外，近来的应用还包括视频检索、变化检测、图像稳定性 分析等。 由于图像镶嵌技术涉及的领域非常广泛，研究的目的、方式各有不同，迄 今为止还没有一个统一的分类方式，这里分析总结出三种比较流形的分类： 1 ) 根据自动化程度，图像镶嵌技术可分为：半自动镶嵌技术1 9 j 和全自动 镶嵌技术f 2 2 】1 1 3 j 【2 4 l 。半自动镶嵌技术主要采用人一机交互的方式完成特征的提 取，然后用计算机完成其他关键步骤；全自动镶嵌技术不需要人为干预，全部 由计算机完成。目前为止，性能优越鲁棒性的全自动镶嵌技术得到了人们越来 越多的关注。 2 ) 根据摄像机的运动方式，图像镶嵌技术分为l l 】：平面图像镶嵌技术 ( p 1 a f l a ri m a g em o s a i c s ) 和全景图镶嵌技术( p a n o r a m i ci m a g em o s a i c s ) 。常见 的全景图有柱面全景图1 7 】【1 8 】，球面全景 4 0 1 1 2 0 1 两类，很多拼接配准问题都是 基于这两类全景图的。最近，立方体全景图f 2 l 】也引起了研究人员的关注； 3 ) 根据二维曲面即流形( m a n i f o l d ) 的确定方式，图像镶嵌技术可分为两大 类：基于自适应流形的图像镶嵌技术和基于人工流形的图像镶嵌【l 副技术。基于 自适应流形的图像镶嵌是由视频序列提取的条形图产生。基于人工流形的图像 镶嵌是由整幅图像的拼接对齐产生。后者是课题研究的重点。基于人工流形的 图像镶嵌技术又可分为：局部对齐技术和图像镶嵌的集成技术。 在显微图像应用中，主要是指全自动的平面镶嵌技术，也可以说认为属于 基于人工流形的图像镶嵌技术。 下面以3 ) 的分类方式来简述图像镶嵌的技术发展情况。 局部对齐技术是指把两幅重叠图像拼接对齐的技术。图像配准( i m a g e r e g i s t r a t i o n ) 中很多方法都是针对两幅图像的【1 6 】。最典型的是基于灰度的空 问相关法、基于图像变换的变换域相关法、基于特征的对应点映射法和基于特 4 第一章绪论 征线的对应线映射法。近来发展的运动估计法主要应用于视频图像序列的对齐。 其中，空间相关法、变换域方法主要应用在平面图像镶嵌，基于特征的方法多 用于全景图等景物的表示技术。 空间相关法( 也称模板匹配法) 是一种简单的搜索方法。它寻找重叠图像对 应部分的强度积之和达到最大值的平移量。该方法运算量大，速度慢，适合小 窗口图像拼接。同时，也由于其算法简单，结果可靠，稳定性好，仍有人大量 使用【2 】f 3 】【4 】。通过针对特殊领域的相应修改f 2 5 1 ，与最新的智能方法结合5 1 2 6 1 ，改 变搜索策略1 6 】，空间相关法仍发挥着巨大的作用。值得一提的是，很多自动镶嵌 技术中的粗匹配都是基于改进的空间相关法。 变换域相关方法，传统上主要指傅立叶方法。傅立叶方法利用了傅立叶变 换的良好性质：函数平移、旋转、变尺度等都在频率域中有相应的表示1 2 ”。同 时，在变换域中，图像还能获得在空域中很难获得的其它特征。傅立叶方法有 准确率和自动化程度高等优点，但也有计算量大和受噪声干扰影响大的缺点，在 有专门硬件支持下，性能可以得到充分的发挥，适合多传感器和光源变化采集 的图像镶嵌。基于h o u g h 变换的匹配也成为一种可行的变换域方法【2 8 】【3 0 1 1 3 “，但 在算法精度和运算速度上还有待提高。 基于特征的方法是通过提取图像的特征进行匹配拼接。通过对图像中关键 信息的提取，可以大大减少匹配过程的计算量，通过特征提取过程还可以减少 噪声的影响，对图像的灰度变化、图形形变以及遮挡等都有较好的适应能力。 根据提取的不同特征，基于特征的方法包括：特征点映射法【l 】1 9 】【l o l 【1 l 】 1 3 】1 2 0 】【2 2 】 4 0 1 ， 特征线映射法【7 】【8 1 和特征区域映射法【3 2 】。特征的选择视不同的图像确定，比如： 遥感图像线状特征明显，而现实景物和很多医学图像特征点的信息比较丰富。 特征点映射法是最常用的基于特征的方法，适用于相机平移和旋转角度大 的情况。在这种情况下，图像的对应关系很难自动生成，因此需要一组对应点 映射来求解图像间的变换。特征点既可以人工指定i i j ，也可以自动提取 4 0 1 2 0 l f 2 2 】【3 4 】。研究鲁棒性的自动提取技术已经成为特征点映射法的趋势。应用特 征点映射方法还需要考虑两种匹配：点一点匹配【l 】【1 3 1 1 2 2 】和点集合匹配 3 3 】【3 7 】f 3 8 l 。 利用点一点匹配算法可以得到较高的匹配精度但算法复杂度高，很难达到实 时的要求。因此，需要确定搜索空间和选择合适的搜索策略，常用到：分层技 四川大学硕士学位论文 显微图像镶嵌技术研究 术、序列判决、松弛算法、线性规划等。点集合匹配一般应用h a u s d o r f f 距离 作为点集间差异的度量。h a u s d o r f f 距离定义为两个点集之间的距离，可以容忍 点位置的不准确性，以及多点( 干扰点) 或少点( 不好的点特征抽取算法的结果) 等误差。特征点映射法还需要考虑粗略匹配问题1 3 5 1 ，双向约束问题口4 1 ，特征点 寻优问题，最后采用最d , - 乘等技术求解，用各种优化方法进行优化处理。 图像镶嵌的集成技术在局部对齐后，为了构成一个大的图像镶嵌需要将 所有图像变换到一个图像序列的参考帧上，然后才能进行最后的合成使之成为 一个大的视图。传统上，主要指消除“裂缝”的技术。简单情况下，可以通过 颜色插值或者多分辨率样条技术来解决，也可以用小波变换等方式解决 3 9 1 1 4 0 1 1 4 。在复杂情况下，如噪声明显，形变严重，求解远离参考帧图像到参 考帧变换导致累计误差明显，在最终的m o s a i c 中表现为明显的偏差和重影a 这 就需要对图像镶嵌技术进行细分，产生更加现实可靠的策略。文 1 2 把图像镶 嵌技术分为：全局对齐技术和图像融合技术。前者调整空间为止消除“裂缝”， 后者调整亮度，光强等消除“裂缝”。 1 2 4 图像镶嵌技术的多样性和各种算法的不足 从上节的分析可知，图像镶嵌技术多种多样，随着各相关学科的发展，会 出现越来越多，性能也越优越的方法。但是，各种方法都有一定的适应范围， 有各自的优缺点。 空间相关法虽然算法简单，结果稳定，配准精度高，但是具有以下明显的 缺点： 对图像灰度变化比较敏感，尤其是非线性的光照变化。光照对显微图像 分析的影响比较大； 计算量比较大； 对目标的旋转、形变比较敏感： 由于这些条件的限制，它不适合全自动配准，不适合稍微复杂的全景图m o s a i c 。 观在应用最多的是特征点映射技术，它克服了空间相关法的某些缺点： 特征点少于像素点，计算量可以被大大的缩减： 6 第一章绪论 特征点的匹配度量值对位置的变化比较敏感，可以大大提高匹配的精 度。当然，这就对特征点提取的精度提出了更高的要求； v ，对非刚性映射的适应性比较好； 特征点可以是灰度局部极大值点、局部边缘点、角点，不同的情况，不同 的环境对于提取的要求也不尽相同。同时，特征点映射技术也有自身的问题： 因为对位置比较敏感，噪声对点的精确匹配影响很大； 出格点的排除必须考虑，这也主要由噪声产生，造成一个点集中的某些 点在另一个点集中没有对应点： 点集的双向约束问题，即：保证点点之间是一一对应。必须剔除一对多 的点； 由分析可知，每种方法适应不同的环境，有各自的优缺点，即使同一种方 法针对不同的环境也不尽相同。所以图像镶嵌技术也呈现较复杂的多样性。需 要对1 1 1 中的三种典型目标提取应用不同的图像镶嵌技术。 1 3 课题的主要研究内容以及所做的主要工作 1 3 1 课题主要研究内容 经过调研和分析比较，确定本课题的主要研究内容是显微图像的实用镶嵌 技术。具体进行了以下方面的研究： 1 ) 从理论上对图像镶嵌的定义、原理、数学模型等做了详细的分析，分析 了图像镶嵌技术的类别，研究了图像的几何变换； 2 ) 根据目标形态和实际的要求，把典型的、常见的显微图像，分成了三类， 分析了每类的特点和对镶嵌技术的要求； 3 ) 针对三类显微图像的特点，应有了不同的图像镶嵌技术，提出了具体的 镶嵌策略： 1 3 2 课题的主要工作 本文在第一个方面的基础上，把第二和第三方面作为主要的研究内容。具 体做了以下主要工作： 1 ) 分析了显微图像分析的多样性和图像镶嵌技术的多样性，以此为基础对 旧川大学硕士学位论文 显微图像镶嵌技术研究 显微图像进行了简单的分类，并提出相应的镶嵌策略。 2 ) 针对第一类大目标的显微图像，提出了基于方向的两步策略。提出了一 种新算法一一e t p m a ，实现了速度快，性能优越的粗匹配；结合列对比度度量、 s s d a 、螺旋搜索方式实现了精确的配准。 3 ) 针对第二类边角目标显微图像，提出了一种稳健的全自动镶嵌策略，用 改进的h a r r i s 算子提取特征点，用圆形模板改进粗匹配效果，结合最小二乘法 闭合解法和l m 非线性优化实现快速、鲁棒的参数估计； 4 ) 针对第三类“类圆形”目标显微图像，提出了基于分割线的镶嵌方法。 理论上证明了分割线作为匹配特征的可行性，并分析了三种匹配方法的优劣， 选取灰度窗相关法得到了很好的效果； 5 ) 分析了图像镶嵌的集成技术： 5 ) 根据上述创新和方法，给出了基于c + + 的编程实现。 1 4 论文的组织结构 第一章绪论分析了显微图像对镶嵌技术的应用需求及其多样性，提出简 化分析的思路。分析了镶嵌技术的发展、多样性、各种技术的优劣。给出了选 题背景和主要研究内容以及论文组织结构。 第二章图像镶嵌技术的原理步骤和关键技术本章详细分析了图像镶嵌 的数学模型和涉及的关键技术。研究了图像的几何变换。为后续针对特殊目标 的分析打下了基础。 第三章大目标显微图像的镶嵌技术具体分析了大目标显微图像的特点， 在粗匹配阶段提出了改进的投影法，配合精细匹配策略达到了很好的镶嵌效果。 第四章边角目标显微图像的镶嵌技术边角目标显微图像，容易提取特征 点。本章提出了一种基于特征点匹配的、稳健的、全自动的镶嵌策略 第五章类圆形目标显微图像的镶嵌技术提出了基于分割线的镶嵌技术。 理论上证明了其可行性。分析了三种分割线匹配方法，给出试验结果和性能分 析。 第六章图像镶嵌的集成技术讨论了图像镶嵌的全局技术，重点分析了基 于对应点的多帧调整技术、双线性插值融合技术和多分辨率样条融合技术。 8 第一章绪论 第七章总结和展望本章对论文做了一个简单的总结，并指出了今后有必 要开展的相关工作。 四川大学硕士学位论文疆微图像镶嵌技术研究 第二章图像镶嵌技术原理及关键技术 2 1 图像镶嵌技术的主要模型 图像镶嵌技术是多种技术的集合，其核心为图像配准( i m a g e r e g i s t r a t i o n ) 。如1 2 3 节所述，图像镶嵌技术分为局部对齐技术和全局对齐 技术。其中局部对齐技术指两幅图像的配准，全局对齐技术指多幅图像的配准。 全局对齐技术以局部对齐技术为基础，进行整体的二次优化。本文以图像配准 的一般模型作为图像镶嵌技术的骨架，从而间接分析图像镶嵌技术的实质。 图像配准要求相邻图像之间有一部分在逻辑上是相同的，即相邻的图像有 一部分反应了同一目标区域，这一点是实现图像配准的基本条件。如果确定了 相邻图像代表同一场景目标的所有像素之间的坐标关系，采用相应的处理算法， 即可实现图像的配准。 假设两幅图像： a ：q 。斗q acr b ：q 6 斗q bcr 其中，q 。和q 。是图像a 、b 的定义域，q o 和已是它们的值域a 假设a 为 参考图像。 用s t 表示图像的空间变换，g t 表示灰度变换，b 表示变换后的图像。则 b ) = g t b ( s t ( p ，口，) ) ，口。 ( 2 1 ) 其中p q 。，q q 。且q = s t ( p ，口，) ，1 2 3 和口。分别表示空间变换和灰度变 换的参数集合。记口为图像变换中所有参数组成的集合，即 0 l ：= 口。u 口。 ( 2 - 2 ) 设向量b 和a 为 b = ( 6 ( g ) ：q q 。) 7 ( 2 3 ) a = ( 口( g ) ：q q 。) 7 ( 2 4 ) 则它们之间的相似度函数0 可以表示为 。位) = r ( b7 ，a ) ( 2 - 5 ) 式中，r ( ，) 表示两幅相似性度量。一般地，空间变换和灰度变换是非线 性变换。 第二章图像镶嵌技术原理步骤及关键技术 因此，图像配准问题就是求相似度准则0 达到最大或者最小的s t 和g t 。 如果是多幅图像，那么就不断藿复以上的两幅图像的配准，通过迭代形成 最后的镶嵌图。 用矩阵论来表示，可以更加直观： 设x ( i = 1 , 2 ，n ) 为m 维向量，表示空间坐标。典型的，在二维平面坐标中， m = 2 ，在三维立体坐标中m = 3 。向量还可以表示球面坐标和柱面坐标等其他坐标 系。具体的 x ，= 【x l ，x 2 ，x 。，】7且x ( ，= 1 , 2 ，m ) r 同样的，r ( f = 1 , 2 ，拧) 是另一m 维向量。 y i = 【y 1 ，j ，2 ，j ，。】7且y ( ，= 1 , 2 ，m ) r 存在m 阶方阵a 使得 e = 崩，( f = 1 , 2 ，h ) ( 2 6 ) 同时用i i ( 置) 和1 2 ( r ) 来表示坐标x ，和r 的灰度信息，g t 表示灰度变换。 则图像匹配就是要找到一个适合的变换矩阵( 参数) 得到： m i n o = m i n ( 兰【g r ( ，：( r ) ) 一厶( 置) 】2 ) = m i n ( 玉【g 丁( ，z ( a x ) ) 一，- ( r ) 】2 ) ( 2 7 ) 由此模型可知图像匹配就是通过最小化目标函数求解几何映射的过程。也 是经典的最小二乘求解问题。 2 2 图像镶嵌技术的一般步骤 典型的基于人工流形的图像镶嵌的步骤如下： 1 ) 根据参考图像与待配准图像的对应特征( 特征点等) ，求解两幅图像间的 变换矩阵( 几何变换参数) ，应用1 2 3 节提到的局部对齐技术； 2 ) 如果待配准图像与基准图像不相邻，通过迭代找到与基准图像的变换矩 阵；应用1 2 3 节提到的全局对齐技术； 3 ) 待配准图像的空间变换，使每幅图像都变换到同一坐标下，即镶嵌融合 图( m o s a i c ) 的坐标； 4 ) 灰度注册( r e n d e r i n g ) 。通过灰度变换，对变换后的灰度图像进行重新 赋值。用到1 2 3 节提到的图像融台技术； 叫川大学硕士学位论文显微图像镶嵌技术研究 5 ) 所有的相邻匹配结束后，应用全局对齐技术优化最后的镶嵌结果； 如果考虑整个的图像镶嵌技术的实现系统。还应包括：a 利用硬件设备， 通过一定的光路，摄取原始图像序列。针对数字显微图像分析系统，特指从显 微镜经数字采集卡采集原始视场序列。b 基本的图像预处理。 2 3 图像的几何变换 2 3 1 几何变换与图像镶嵌技术 由2 1 图像镶嵌技术的主要模型可知，匹配可以用矩阵简单描述。矩阵变 换与几何变换在某种意义上是统一的，则镶嵌技术首先是象素在空间位置搬移 的操作，然后才是灰度插值、注册。由于显微镜的运动( 平移，旋转等) ，或者 显微镜下试样的运动，视场之间有不同的空间几何位移。如果最后摄取的视场 数字图像存在重叠部分，那么重叠部分存在某种几何映射关系，可以表示这个 运动过程，表示两幅图像的空间位置关系，如图2 - 1 。所以，图像镶嵌技术， 一个主要目的是求得两幅图像间的映射参数。 2 3 2 典型的几何变换 图2 - 1 重叠部分映射 图2 - 2 平移变换图2 - 3 旋转变换 图2 - 4 相似变换 第二章图像镶嵌技术原理步骤及关键技术 令匠 图2 - 5 仿射变换 图2 - 6 射影变换 几何变换一般使用齐次坐标( h o m o g e n e o u sc o o r d i n a t e ) 表示，目的是把任 意的几何变换表示为矩阵乘法，以线性的形式表示。- - n n 况t ，每个笛卡尔 坐标( x ，y ) 表示成齐次坐标为( h ，y 。，h ) ，其中： x = 鲁扩鲁 通常取h = 1 ： 这样，在齐次坐标下，用矩阵乘法可以表示常用的二维平面变换： y = , i x( 2 8 ) 其中a 是为变换矩阵，】，和工代表齐次坐标表示的二维坐标向量，a 的不 同可以表示不同的几何变换。 平移变换( t r a n s a t i o nt r a n s f o r m a t i o n ) ：沿着x 轴，y 轴两个方向上的平移。 矩阵乘法和方程表示为： 乩 l = 瞄 鼷麓 显然，变换矩阵有两个自由度，则理论上通过一对点就可以确定变换。 旋转变换( r o t a t i o nt r a n s f o r m a t i o n ) ：绕坐标原点的旋转。矩阵乘法表示为： 9 2 ( h i l一 0 o 1 o 四川大学硕士学位论文址微图像镶嵌技术研究 一s i n 0 c o s 口 0 ( 2 - i i ) 变换矩阵只有一个自由度，理论上选择至少由一对点变换就可以确定变换。 刚体变换( r i g i dt r a n s f o r m a t i o n ) ：也称欧式变换。在刚体变换下，一幅图像 中的两点间的距离经变换后在另一幅图像中后仍然保持不变，可以通过平移和 旋转操作得到。矩阵乘法表示为： c o s 0 2 肾 一s i n 0 c o s 口 0 变换矩阵有三个自由度，理论上选择至少两对点可以确定。 相似交换( s i m i l a r i t yt r a n s f o r m a t i o n ) ：在刚体变换的基础上，可以同比缩 放。矩阵乘法和方程表示为； y h h 一l s i n 0 l c o s 口 o y x ， ：= k c i x + - - 掣b y + q - 。c ：i 其中 可以证明在相似变换下目标边缘凹，凸性不变。 ( 2 1 3 ) ( 2 - 1 4 ) 仿射交换( a f f i n et r a n s f o r m a t i o n ) ：由有限次透视射影的积定义的两个平面 之间的一一对应变换称为二维仿射变换。针对图像，一幅图像上的直线经过变 换后映射到另一幅上仍然是直线，并且保持平行关系，保持点列的单比不变。 可以通过平移、旋转、缩放、反射、错切得到。矩阵乘法和方程表示为： h 叮圳 口口m 0 c s 。l = 2 l 一 _，-_i 丌ooooj 0 0 i i ll7纠“口 可jid 6 0if 口p s l 出o 工工 。l = 第二章图像镶嵌技术原理步骤及关键技术 ( 2 1 5 ) x = m o x + m l y + m 2 ( 2 一1 6 ) 变换矩阵有六个自由度，理论上选择至少三对点可以确定i “1 。 射影变换( p r o j e c t i v et r a n s f o r m a t i o n ) 由有限次中心射影的积定义的两个平 面之间的一一对应变换称为二维射影变换。针对图像，一幅图像上的直线经过 变换后映射到另一幅上仍然是直线，并且保持点列的交比不变。矩阵乘法和方 程表示为： m i h 协 j m 6 z + m 7 y + 聊8 ( 2 - 1 8 ) 【v ：m 3 x + m 4 y + m 5 【m 6 x + m t y + m s 常有m 。= 1 ，变换矩阵有8 个自由度，理论上，选择至少四对点来确定4 2 1 。 2 3 3 平面几何变换中的不变量 求解几何变换的基础是变换中的不变量。如果想要求解式( 2 8 ) 中的变换矩 阵，必须确定点对y 和肖。而j ，和j 之所以成为对应点，是因为它们经过几何 变换后某些性质是不变的。当然，最常用的确定对应点的标准，就是其灰度不 变或者只存在微小误差，这样最后的匹配结果才能满足式子( 2 7 ) 。另外，研究 几何变换中的不变量，也成为特征提取中需要首要考虑的问题，对特征的提取， 匹配的精度都有重要的意义，即：特征的提取方法必须考虑几何变换的不变量， 达到映射不变【3 0 】【4 1 1 ( 如：仿射不变，射影不变等) 。常用的不变量有： 性质( 1 ) 1 5 n =ioooi 鸭鸭啊0o l f f 四川1 人学硕士学位论文 显微图像镶嵌技术研究 射影变换保持直线，直线与点的结合性以及直线上点列的交比不变。 仿射变换除了具有以上不变性外，还保持直线与直线的平行性、直线上点 列的简比不变。 欧式变换除了具有仿射变换的不变性外，还保持两条相交直线的夹角不变， 任意两点的距离不变。 需要特别强调的是，重要的仿射不变量和仿射不变性： 性质( 2 ) 同素性( 几何元素点、线、面等变换后仍保持原先的种类) 和结 合性( 几何元素间的衔接关系) 是仿射不变的。 性质( 3 ) 代数曲线和其次数是仿射不变的。 性质( 4 ) 矢量问的线性相关关系( 是否线性相关) 保持不变。当一组矢量 相关时，线性组合的系数保持不变。相等的矢量变为相等的矢量，共线的矢量 变为共线矢量。 性质( 5 ) 两个三角形的面积之比是仿射不变的。 性质( 6 ) 两条封闭曲线所围成的面积之比是仿射不变的。 2 4 本章小结 本章以图像配准为核心，分析了图像镶嵌技术的主要数学模型，指出其本 质上是一个最小二乘问题。在此基础上给出了图像镶嵌技术的主要步骤。同时， 鉴于几何映射理论在镶嵌技术中的重要作用，讨论了常用的几何变换模型及其 求解方式和不同变换下的不变量，为以后的具体分析打下了良好的基础。 1 6 第三章大日标显微图像镶嵌技术 第三章大目标显微图像镶嵌技术 由1 1 1 节所述，采用图像镶嵌技术可以解决视场狭小导致大目标不能完 整表示的问题。由于图像采集器件性能不断提高，目前数字式高分辨率摄像头、 摄像机已经普遍使用，其优点是能够更加清晰的表示目标细节，更接近真实世 界的表示。但这种情况下采集的数字图像尺寸较大，因而在图像拼接中需要针 对某些特征进行相应的算法上的考虑。首先，大尺寸致使传统的模板匹配法搜 索范围变大，对算法速度影响较大；其次，高分辨率使得同大小的数字模板信 息量减少，对算法的精确