（模式识别与智能系统专业论文）基于特征点匹配的图像拼接及医学应用.pdf

硕士论文基于特征点匹配的图像拼接及医学应用 摘要 图像拼接是图像界的热点问题之一，在计算机视觉、模式识别、生物医学等各 个领域都有广泛应用。本文对图像拼接和其相关技术进行了研究，主要包括特征的 检测和提取、基于点特征的匹配、图像的融合等。 根据匹配和图像拼接的需求，特征检测方法需要特征定位的精度较高，能很好 的检测出所需特征，并具有对于灰度变化、图像形变以及遮挡等都有较好的鲁棒性。 本文研究了著名的h a r r i s 算子和s u s a n 算子，并设计了自己的改进算法，提高了提 取特征点的精度。另外本文研究并应用了s i f t 算子，通过对算法的优化，s i f t 算 子的速度很快，可以在各种实时处理应用中实现。s i f t 算子的理论基础是通过高斯 金字塔分层的形式来实现，在各个层次上进行特征点的特征描述符的提取有助于算 法的稳定。对特征点方向的确定也是通过局部信息的统计进行主方向和辅方向的综 合评估，进一步提高了准确性。 图像配准的研究是计算机视觉中最困难也是最重要的任务之一本文深入学习 和研究了立体匹配的相关理论知识，包括摄像机运动模型、透视变换矩阵参数的鲁 棒估计和求解方法、插值技术、图像变形技术、流形的概念等，针对同一场景在不 同角度下拍摄的重叠图像配准及拼接问题进行了研究，结合多种匹配技术，实现了 特征点的自动提取和匹配，并在此基础上实现图像的融合拼接。 关键字：图像拼接、特征点配准、s i f t 特征匹配、区域相关系数、松弛 迭代 硕士论文基于特征点匹配的图像拼接及医学应用 a b s t r a c t i m a g es t i t c h i n gi sah o tr e s e a r c hp r o b l e ma n di sw i d e l yu t i l i z e di nm a n yi m p o r t a n t f i e l d ss u c h 罄c o m p u t e rv i s i o np a t t e r nr e c o g n i t i o na n db i o m e d i c i n e w ed os o m er e s e a r c h 0 1 1i m a g em o s a i c sa n ds o m er e l a t e dm e t h o d , i n c l u d i n gf e a t u r ed e t e c t i o n , m a t c h i n gb a s e d o ni n t e r e s t i n gp o i n t s , a n di m a g cf u s i o n f e a t u r ed e t e c t i o ni sab a s i cm e t h o di ni m a g ep r o c e s s i n g t h i sa r t i c l ef o c u s e s0 1 1t h e f a m o u sh a r r i sa n ds u s a no p e r a t o r a n dai m p r o v e m e n ti sp r e s e n t e dt oe n h a n c et h e p r e c i s i o no f t h ek e yp o i n t s o nt h eo t h e rh a n d , s i f t ( s c a l ei n v a r i a n tf e a t u r et r a n s f o r m ) o p e r a t o ri sas c a l es p a c e - b a s e do p e r a t o r i to a l lk e e pt h ei n v a r i a n c eo fi m a g es c a l i n g , r o t a t i o na n dm e nl l f l = l n et r a n s f o r m t h es i f ti sae f f e c t i v ea l g o r i t h m ，e v e ni nr e a l t i m e w o r k a n dt h et h e o r yo f s i f ti sb a s e do ng a u s s i a np y r a m i d t h e 咖o t i o no ne a c hl e v e l h e l p st ot h er o b u s m e s s s t a t i s t i c a lm e t h o di su s e dt og e tt h eo r i e n t a t i o no ft h ek e y p o i n t s t h em e t h o di sm o r er o b u s t t h er e s e a r c ho l li m a g em a t c h i n gi st h em o s td i f f i c u l ta n di m p o r t a n tt a s ki nc o m p u t e r v i s i o n w ed os o m es t u d ya n dr e s e a r c ho nt h em a t c h i i l gp r o b l e m s i n c l u d i n gt h ec a m e r a m o t i o nm o d e l ，t h ee s t i m a t ea ns o l u t i o no f p e r s p e c t i v em a t r i xp a r a m e t e r , t h ei n t e r p o l a t i o n t e c h n i q u et h ed e f o r m a t i o nt e c h n i q u ea n ds oo i lu s i n gs o r t so fm a t c h i n gm e t h o d st o e x t r a c ta n dm a t c ht h ek e y p o i m s ，a n dw eg e tag o o de x p e r i m e n tr e s u l to fi m a g es t i t c h i n g a n df u s i o n i n g k e y w o r d s ：i m a g es t i t c h i n g f e a t u r ep o i n t sr e g i s t r a t i o n s i f tf e a t u r e m a t c h i n g l o c a la r e ac o r r e l a t i o nc o e f f i c i e n t i t e m t i v e r e l a x a t i o n i i 硕士论文基于特征点匹配的图像拼接及医学应用 图表目录 图2 2 1h a r r i s 角点检测图：1 l 图2 3 1s u s a n 图形模板图1 2 图2 3 2s u s a n 算子特征点提取图1 4 图2 5 1 改进前后特征点提取数目对比图一1 5 图2 5 2 改进前后特征点匹配对比图1 6 图3 1 1 尺度金字塔生成示意图2 0 图3 1 2 求图像极值结构图2 l 图3 1 3 由梯度方向确定直方图确定主方向2 4 图3 1 4 特征点描述符的表示2 4 图3 5 1s 巧t 特征向量实现图2 7 图4 2 1 匹配强度中。不对称问题”示意图。3 7 表4 2 1 两种更新策略运行结果比较。3 8 图4 2 2 两幅图像间的对极几何关系。3 9 图4 3 1 学校体育场匹配效果图4 6 图4 3 2 旋转铁盒匹配效果图4 7 图5 1 1 仿射坐标系4 9 图5 1 2 仿射变换坐标系5 0 图5 1 3 实验图像仿射参数图5 3 图5 2 1 图像加权平滑示意图5 5 图5 3 1 彩色细胞拼接效果图5 6 图5 3 2 风景图像拼接效果图5 8 图5 3 3 教研室拼接效果图5 9 图6 1 1 算法流程图。6 0 v 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 。 研究生签名：鉴主盘 年月日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 一 或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对 于保密论文+ ，按保密的有关规定和程序处理。 研究生签名：叠墨鳟 年月日 硕士论文基于特征点匹配的图像拼接及医学应用 1 绪论 1 1图像拼接技术概况 图像拼接技术，也称为图像镶嵌( m o s a i c s ) 技术，就是将一组重叠图像集合拼 接成一幅大型的无缝高分辨率图像。其目的是将一系列真实世界的图像拼接成一幅单 一的、更大的、更复杂的大型场景。图像拼接技术是一种利用计算机表示真实世界的 有效方法，通常参与的拼接的真实世界的序列图像有一定程度的重叠，采用图像拼接 技术，可以剔除冗余信息，压缩信息存储量，从而更加客观而形象有效地表示真实世 界。 高质量的图像拼接不但要求具有良好的视觉效果，面且还要尽可能的保持图像的 光谱特征，即所谓“无缝”，指图像的几何和辐射的连续性。 1 1 1 图像拼接技术的主要内容 自动建立大型、高分辨率的图像拼接技术是复杂的，多学科交叉的处理技术，一 直是摄影测量学，计算机视觉、图像处理和计算机图形学的活跃研究领域。图像拼接 技术主要包括以下内容： l 、经典的图像处理技术，如：图像变换、边缘提取、图像增强等。 2 、图像配准技术，图像配准( i n 姐t g er e g i s 廿a t i o n ) 是指同一目标的两幅( 或者两幅 以上) 图像在空间位置上的对准。图像配准的技术过程，称为图像匹配( i m a g e m a l c h i 】i ，或者图像相关( i m a g ec o r r e l a t i o n ) h 。 3 、矩阵理论和空间几何学，图像拼接技术实质上是像素进行空间搬移的过程。 4 、数据的重采样、插值技术 5 、图像拼接集成技术，主要有全局对齐、图像融合、边缝消除技术晓 当然还涉及了数值计算、模式识别、最优化方法、神经网络等领域的技术 其中图像配准技术是整个图像拼接技术体系中的核- t l , 技术。空间几何学和矩阵理 论是图像拼接技术的应用数学基础，非线性最优化方法是图像拼接技术性能提高的热 门研究方向。 1 1 2 图像拼接技术的分类及实现算法的概况 图像拼接技术源于摄影学。在照相机发明以后，数字图像处理技术没有广泛应用 以前，需要由专业人员把两幅或者多幅图像拼接在起，以克服相机的视野小于人类 1 硕士论文基于特征点匹配的图像拼接及医学应用 视野的缺点。随着数字摄像技术、卫星技术和遥感技术的发展，当人们开始获得人造 卫星传回地球的图片时，也常常采用图像拼接的办法来获得大视野的全景图。在医学 影像领域里，经常利用二维平面的c t , m r i ，d s a 等图像来重建三维立体结构，图像 拼接也是重建和投影的基础。在虚拟现实技术中，经常用到形成数字全景图的图像像 拼接技术。除了以上在计算机视觉和计算机图形学的应用以外，近来的应用还包括视 频检索、变化检测、图像稳定性分析等 由于图像拼接技术涉及的领域非常广泛，研究的目的、方式各有不同，迄今为止 还没有一个统一的分类方式，这里分析总结出三种比较流形的分类： 1 ) 根据自动化程度，图像拼接技术可分为：半自动拼接技术和全自动拼接技术 半自动拼接技术主要采用人一机交互的方式完成特征的提取，然后用计算机完成其他 关键步骤；全自动拼接技术不需要人为干预，全部由计算机完成目前为止，性能优 越、鲁棒性好的全自动拼接技术得到了人们越来越多的关注。 2 ) 根据摄像机的运动方式，1 图像拼接技术分为：平面图像拼接技术和全景图拼 接技术。常见的全景图有：柱面全景图，球面全景图两类，很多拼接配准问题都是基 于这两类全景图的 3 ) 根据二维曲面即流形( m a n i f o l d ) 的确定方式，图像拼接技术可分为两大类：基 于自适应流形的图像拼接技术和基于人工流形的图像拼接技术。基于自适应流形的图 像拼接是由视频序列提取的条形图产生。基于人工流形的图像拼接是由整幅图像的拼 接对齐产生后者是本课题研究的重点。基于人工流形的图像拼接技术又可分为：局 部对齐技术和图像拼接的集成技术 在医学图像应用中，主要是指全自动的平面拼接技术，也可以说认为属于基于人 工流形的图像拼接技术。 下面以3 ) 的分类方式来简述图像拼接的技术发展情况。 局部对齐技术是指把两幅重叠图像拼接对齐的技术。图像配准( i m a g er e g i s t r a t i o n ) 中很多方法都是针对两幅图像的【”。最典型的是基于灰度的空间相关法、基于图像变 换的变换域相关法、基于特征的对应点映射法和基于特征线的对应线映射法。近来发 展的运动估计法主要应用于视频图像序列的对齐。其中，空间相关法，变换域方法主 要应用在平面图像拼接，基于特征的方法多用于全景图等景物的表示技术。 空间相关法( 也称模板匹配法) 是一种简单的搜索方法，它寻找重叠图像对应部分 的强度积之和达到最大值的平移量。该方法运算量大，速度慢，适合小窗口图像拼接。 同时，也由于其算法简单，结果可靠，稳定性好，仍有大量研究者使用。通过针对特 殊领域的相应修改，与最新的智能方法结合，改变搜索策略( 3 】，空间相关法仍发挥着 巨大的作用。值得一提的是，很多自动拼接技术中的粗匹配都是基于改进的空间相关 法。 2 硕士论文 基于特征点匹配的图像拼接及医学应用 变换域相关方法，传统上主要指傅立叶方法。傅立叶方法利用了傅立叶变换的优 点：函数平移、旋转、变尺度等都在频率域中有相应的表示【4 】。同时，在变换域中图 像还能获得在空域中很难获得的其它特征。傅立叶方法有准确率和自动化程度高等优 点，但也有计算量大和受噪声干扰影响大的缺点，在有专门硬件支持下，性能可以得 到充分的发挥，适合多传感嚣和光源变化采集的图像拼接。基于h o u g h 变换的匹配 也成为一种可行的变换域方法，但在算法精度和运算速度上还有待提高。 基于特征的方法是通过提取图像的特征进行匹配拼接。通过对图像中关键信息的 提取，可以大大减少匹配过程的计算量，通过特征提取过程还可以减少噪声的影响， 对图像的灰度变化、图形形变以及遮挡等都有较好的适应能力。 根据提取的不同特征，基于特征的方法包括：特征点映射法、特征线映射法和特 征区域映射法特征的选择视不同的图像确定，比如：遥感图像线状特征明显，而现 实景物和很多医学图像特征点的信息比较丰富。 特征点映射法是最常用的基于特征的方法，适用于相机平移和旋转角度大的情 况。在这种情况下，图像的对应关系很难自动生成，因此需要一组对应点映射来求解 图像问的变换。特征点既可以人工指定，也可以自动提取。研究鲁棒性的自动提取技 术己经成为特征点映射法的趋势。应用特征点映射方法还需要考虑两种匹配：点一点 匹配和点集合匹配利用点一点匹配算法可以得到较高的匹配精度，但算法复杂度高， 很难达到实时的要求。因此，需要确定搜索空间和选择合适的搜索策略。常用到：分 层技术、序列判决、松弛算法、线性规划等。点集合匹配一般应用h a u s d o r f f 距离作 为点集间差异的度量。h a u s d o r f f 距离定义为两个点集之间的距离，可以容忍点位置 的不准确性，以及多点( 干扰点) 或少点( 不好的点特征抽取算法的结果) 等误差。特征 点映射法还需要考虑粗略匹配问题【习，双向约束问题，特征点寻优问题【6 】，最后采用 最小二乘法等技术求解，用各种优化方法进行优化处理。图像拼接的集成技术在局部 对齐后，为了构成一个大的图像拼接需要将所有图像变换到一个图像序列的参考帧 上，然后才能进行最后的合成使之成为一个大的视图。传统上，主要指消除“拼接缝” 的技术。简单情况下，可以通过颜色插值或者多分辨率样条技术来解决，也可以用小 波变换等方式解决。在复杂情况下，如噪声明显，形变严重，求解远离参考帧图像到 参考帧变换导致累计误差明显，在最终的m o s a i c 中表现为明显的偏差和重影这就 需要对图像拼接技术进行细分，产生更加现实可靠的策略。文圈把图像拼接技术分为： 全局对齐技术和图像融合技术。前者调整空间位置消除“拼接缝”，后者调整亮度、 光强等消除“拼接缝” 硕士论文基于特征点匹配的图像拼接及医学应用 1 1 3 图像拼接技术的研究现状 在早期，为了获得一个场景的全景照片，人们采用的一种方法是直接利用全景照 相机直接拍摄获取全景图像，如m c e h a n 提出了一种利用全景照相机将拍摄的图像记 录在长的胶片上直接获取一个柱面全景图的方法 7 1 x i o n gy 痢t u r k o w s l d 利用自标 定的鱼眼镜头拍摄全景图片来构造虚拟场景【q ：，n a y a 利用具有折反式和全反式光学 系统的相机来拍摄全景图唧，虽然上述这些方法可以直接通过相机直接拍摄获取场景 的全景图像，但是均需要昂贵的硬件来支持，不适用于普通用户，而且所拍摄的图像 一般都具有一定的形变另一种方法就是本文所提到的图像拼接技术。 迄今为止，国内外学者提出了多种获取全景图像的图像拼接方法，各种方法都是 面向一定的应用领域，具有各自的特点。r s z c l i s k i 和j c o u g h l a n t l o 】采用2 d 空间上八 参数的投影变换模型来进行图像的配准，用搜索参数空问的办法来获得交换参数，虽 然采用了一定的优化策略，但是其拼接速度还是较慢。s m a n n 和p i c a r d 用双线性模 型来逼近投影变换模型，同时利用光流场求最小均方误差的方法求解参数，从而实现 无特征点对应的图像拼接，能够比较快速有效的获得拼接结果。p e l e g 和h e r m a n ! l i 】 利用m a n i f o l dp r o j e c t i o n 来拼接手持摄像机生成的视频，其核心技术就是利用仿射模 型或者伪投影变换模型来配准图像，同时讨论了最后拼接图中重叠部分合成的技术。 j i l b c r g e n 【l l l 【1 2 j 和m i r a n i 0 3 用l a p l a c m 金字塔逐步求精，用高斯一牛顿法迭代求出 2 d 伪透射模型的参数。m i r a n i 和b r o u s s o i l 5 1 q 改进了上面的方法，引进层次的概念， 使其能够作适当的前景和背景分离的工作。以上这些方法均可以看成是采用了点一点 模型，没有考虑图像的深度参数。m o r i m o t 和c h e l l a p p a 1 7 】提出了一个快速的3 d 视频 镶嵌系统，利用一些特征对应点和扩展的k a l m a n 算子估计帧间的三维运动。该系统 经测试在d a t a c u b cm v 2 0 0 平台上能够较快的实现3 d 视频拼接。s h u m 和s z d i s k i t l 明 提出了一种全局对齐策略，它们也是基于特征点对应，可以实现存在较大位移的图像 对齐，可以用于直接对齐视频的最后一帧和第一帧。不过，适用领域是近似在一个摄 像点的情况下，即摄像机不能有平移。r a k c s hk u m a r t 嘲把3 d 的视频拼接技术分成为 2 d 和立体视差顺序估计以及2 d 和立体视差同时估计两类，并且比较各自的优劣。 a n a n d a n , k u m a r 和s a w h n c y 等人在构建完整的虚拟场景空间时均涉及到视差和深度 信息的恢复刚。以上这些方法属于点线模型，在进行图像拼接时，进一步考虑了图 像像素点的深度，采用这一类方法一般都要求解摄像机的内外参数，涉及到摄像机的 定标这类复杂问题，在实际应用中受到限制，所以本文主要研究的是前一种图像拼接 技术，即点一点模型。 4 硕士论文基于特征点匹配的图像拼接及医学应用 1 2 图像拼接技术在医学图像中的应用 2 0 世纪9 0 年代以来，伴随着数字摄影技术的发展，进行图像拼接技术研究具有 越来越重要的研究意义近年来，关于图像拼接技术的研究呈现兴旺发达之势，受到 越来越多的有关研究人员的关注 在实际的图像处理分析中，常常需要将多幅图像或照片拼成一幅较完整的图像。 这是由于图像通道视野的限制，包括显微镜、望远镜、摄像机和照相机等都有一定的 视野大小，在要保证一定分辨率的情况下，往往只能获得待分析对象的局部图像。而 实际研究却经常需要对图像的全部或大部分迸行分析处理，这就使得图像拼接成为一 项经常性的繁重工作。比如在生物医学的微循环研究中，为获得一个较完整的血管网 络图需要对几十上百幅照片进行拼接，在细胞图像分析中也需要拼接多幅图像才能获 得比较可靠的统计结果。由超声、x 射线、c 射线等手段记录的图像也常需要拼接在 一起以形成对研究对象的总体认识。 随着科学技术的不断进步，越来越多的科学技术手段被应用于现代医学中医学 与各门自然科学和技术的结合越来越紧密是现代医学技术发展的一个标志。医学成像 技术为我们提供了自动显示与研究人体结构的手段，使诊断和治疗发生了革命性的变 化利用计算机技术对二维断层图像进行分析和处理，例如对软组织和病变的分割、 提取、三维重建和显示，可以辅助医生对病变和某些特定的区域进行定性、定量分析， 使医生缛到更准确的信息，从而提高诊断的正确率和效率。可以预见，医学成像技术 随着计算机等信息技术的发展将会在医学领域中发挥越来越重要的作用。 医学图像处理就是将图像处理技术应用于医学分析中，如多模医学图像配准、医 学图像拼接融合、三维医学图像重建等，都是图像处理的重要应用领域。医学图像处 理技术有利于提高医学诊断的准确性、时效佳。特别是色彩的应用及与图形图像技术 的结合，更增强了其真实感，可对病变进行实时、全景、立体的监测。有助于制定全 面实际的治疗方案 1 3 本课题的主要工作 本文主要研究图像拼接技术的算法实现，以及拼接技术在医学图像领域的应用。 针对传统模板匹配算法的不足，对基于特征匹配算法进行了广泛而深入的研究，并根 据现有算法，在课题实现过程中对图像拼接的两个重要步骤特征提取和特征匹配 进行了算法改进，取得了很好的实验效果具体工作及安排如下： l 、特征提取是基于特征图像配准算法的关键步骤之一在对现有的特征提取算 法学习和研究的基础上，本文对著名的特征点提取算法h a r r i s 和s u s a n 算子进行了详细 的研究，并设计了自己的改进算法，应用于本课题中，为随后的图像匹配提供了很好 ， 硕士论文 基于特征点匹配的图像拼接及医学应用 的基础。 2 、针对图像中遇到的旋转，缩放，曝光度不同，遮挡等复杂情况下的图像配准。 研究并实现了s i f t ( s c a l e i n v a r i a n t f e a t u r e t r a n s f o r m ) 算子，取得了很好的效果。 3 、详细讨论了特征点匹配技术的相关原理和算法，本课题为了适应大量特征点 的匹配，同时又能锝到鲁棒性好的匹配点对，采用了一个渐进的匹配过程和一个循环 松弛迭代的再匹配过程，设计了一种基于点特征的自动匹配方案；然后针对平行视图 另外给出了视差估计的匹配方法。最后，分析了针对不同图样的特征点匹配的实验结 果。 4 、研究了空间变换坐标理论，选取了六参数仿射变换法实现两图像坐标变换， 并用二次线性插值进行加权平滑达到融合效果。 t 4 论文的组织结构 全文共分为六章，各章节内容安排如下： 第一章为绪论，阐述了本课题的项目背景，介绍了图像拼接技术的定义及分类。 第二章概述了图像特征，介绍了h a r r i s 和s u s a n 算子，并根据课题需要设计了自 己的改进算法，并给出算法结果。 第三章介绍s i f t 算法主要实现过程，应用o p e n c v 库函数，提高算法效率，并 给出最后算法效果图。 第四章比较模板匹配与兴趣点匹配实现原理及优缺点，设计出基于渐进的匹配过 程和循环松弛迭代的再匹配过程的匹配算法。 第五章简单介绍常用图像融合技术，并用改进加权融合算法实现基础图像融合。 第六章对本论文的主要研究成果进行了总结说明，并指出了本论文的研究工作需 要改进和提高之处，明确了今后的研究方向 6 硕士论文基于特征点匹配的图像拼接及医学应用 2 图像中特征点的提取 2 1 图像特征提取概述 基于特征的图像配准方法是图像配准中最常见的方法之一。它不是直接利用图像 像素值，而是通过像素值导出的符号特征( 特征点口”、特征线段圈、特征区域) 来实 现图像配准。 因此，可以克服利用灰度信息进行图像配准的缺点，主要体现在以下三 个方面： ( 1 ) 图像的特征点比图像的像素点要少很多，从而大大减少了匹配过程的计算 量。 ( 2 ) 特征点的匹配度量值对位置变化比较敏感，可以提高匹配的精度。 ( 3 ) 特征点的提取过程可以减少噪声的影响，对灰度变化、图像形变以及遮挡等 都有较好的适应能力 图像特征包括像素灰度特征、色彩特征、区域特征、纹理特征、轮廓特征、边缘 特征、角点特征等圆。边缘特征和角点特征是两种较常用的特征。 2 1 1 边缘特征 边缘指的是图像中在且仅在某个方向上灰度急剧变化、而在另一个与其正交的方 向灰度变化平缓的像素阱铡边缘特征可以更好的保持图像的结构信息，同时很多角 点提取算法也是基于边缘轮廓特征的。 在一维连续信号中，边缘定义为一阶导数最大或者二阶导数为零的地方。在二维 连续图像f 中，边缘是用图像梯度来定义的。梯度公式如式( 2 1 1 ) 所示： v f = 睡，为 ( 2 1 1 ) 边缘的方向与梯度方向垂直，边缘的强度决定于梯度的模值。 而在数字图像中，像素是离散的，此时我们使用两种思路来求梯度。第一种思路 是用具有差分性质的算子来近似代替求导运算，如s o b e l ，p r e w i t t , r o b e r t s 边缘检测算 子洲。第二种方法是使用参数化模型方法，由离散图像拟和一个连续图像进而求梯度 【2 5 】，进而得到边缘位置所在 下面介绍一下目前最常用的c a n n y 边缘检测算法刚。c a n n y 提出了著名的边缘检 测三大评判标准，同时推导出在连续信号情况下边缘检测的最优解，并开发了一种实 用的算法。该算法大体思路着蝥先对图像进行高斯平滑以滤除噪声，然后沿着梯度方 向进行非极大值抑制，并使用累计直方图计算两个阙值。边缘的最终判定：凡是大于 7 硕士论文 基于特征点匹配的圈像拼接及医学应用 高阈值的则认为是边缘；凡是小于低阈值的则认为不是边缘；如果大于低阈值但又小 于高阈值，那就要看这个像素的邻接像素中有没有超过高闽值的边缘像素；如果有的 话那么就认为是边缘，否则就不是边缘通过修改高斯平滑窗口的大小和更改两个阈 值可以实现不同的边缘检测和噪声抑制能力当高斯平滑窗口较大时，噪声被较大程 度上抑制，检测出的边缘较纯净，噪声少，但定位不准，同时损伤7 细节信息；而当 高斯平滑窗口较小时正相反 2 1 2 角点特征 基于图像特征线段或特征区域的方法很大程度上依赖于图像的分割和边缘提取， 这两种操作本身就具有相当大的难度和计算量，况且一旦待检测目标局部发生变化 ( 例如被部分遮挡或特征线断裂) ，则很可能导致图像的分割和边缘提取操作的失败， 使得配准算法的效率和稳健性不高，所以制约了这些方法的适用范围。基于角点的图 像配准方法则避开了上述缺陷。它考虑的是像素点邻域的灰度变化，而不是整个目标 的边缘轮廓，因而使用角点的方法可以实现较好的图像配准效果。 在各种特征中，特征点是一种稳定的、旋转不变、能克服灰度反转的有效特征 在匹配中应用特征点既可以减少参与的计算量，同时又不损失图像的重要灰度信息， 而且对于不相似影像匹配还可以进行部分相似的匹配。 对于特征点目前尚无明确的定义在有些文献中又被称为兴趣点、显著点等等。 以点的位置来表示的点特征是一种最简单的图像特征。事实上，特征点既是一个点的 位置辨识，同时也说明它的局部领域具有一定的模式特征。文献 2 7 j 经过对已经报 道的特征点应用文献的研究，将特征点分为了两类：狭义特征点和广义特征点狭义 特征点的位置本身具有常规的属性意义，比如说角点、交叉点等等。而广义特征点是 基于区域定义的，它本身的位置不必具备特征意义，它只代表满足一定特征条件的特 征区域的位置。广义特征点可以是某特征区域的任一相对位置。这种特征可以不是物 理意义上的特征，只要满足一定的数学描述就可以，因而有时是抽象的。因此，从本 质上说，广义特征点可以认为是一个抽象的特征区域，它的属性就是特征区域具备的 属性。称其为点，是将其抽象为一个位置概念。在己报道的文献中，用在计算机视觉、 模式识别和图像配准的特征点基本都是狭义特征点。而广义特征点则多是针对图像配 准的 特征点一般是图像中易于确定的特殊点比如角点、直线交叉点、t 型交汇点、高 曲率点以及特定区域的中心、重心等等从来源上讲有三个方面： 1 、边缘提取上的特征点。 2 、区域分割上的特征点。 3 、直接来源于灰度的特征点。 8 硕士论文基于特征点匹配的图像拼接及医学应用 一些文献中提到控制点，所谓控制点是根据专家经验指定的一些重要的点或者是 可自动检测到的几何上明显的特征点由此可以看出控制点也就是特征点但是在有 些文献中认为在建立特征点之间的对应关系后将正确匹配的特征点对( 形象地称为同 名点对) 中的点称为控制点。 提取特征点的算法有很多，本文将在随后2 2 及2 3 两节中详细介绍其中比较著 名的h a r r i s 和s u s a n 算子的原理及其有缺点，并设计了自己的改进算法，应用到本课 题中用于匹配点提取 2 2h a r r i s 算予 h a r r i s 算子是c h a 而s 和m j s 帅h e 璐t 2 s 】在1 9 8 8 年提出的一种基于信号的点特征 提取算子这种算子受信号处理中自相关函数的启发，给出与自相关函数相联系的矩 阵m 。m 阵的特征值是自相关函数的一阶曲率，如果两个曲率值都高，那么就认为该 点是点特征。 ， h a n i s 算子是一种有效的点特征提取算子。其优点总结起来有： 计算简单：h 础s 算子中只用到灰度的一阶差分以及滤波，操作简单，且不需 设置阈值，整个过程的自动化程度高。 提取的点特征均匀而且合理：h a l t i $ 算子对图像中的每个点都计算其特征值， 然后在邻域中选择最优点。实验表明：在纹理信息丰富的区域，h a r r i s 算子可以提取 出大量有用的特征点而在纹理信息少的区域，提取的特征点则较少。 可以定量的提取特征点：h a r f i s 算子最后一步是对所有的局部极值点进行排序， 所以可以根据需要提取一定数量的最优点。 r x a r r i s 算子在计算时只用到了图像数据的一阶导数，而且不涉及阙值。因此对 图像旋转、亮度变化、视角变化和噪声的影响具有很好的鲁棒性。h a r r i s 算子已在文 献 2 9 】中被证明，即使存在有图像的旋转、灰度的变化、噪音影响和视点的变换，它 也是最稳定的一种点特征提取算子 2 2 1 算法 h a r r i s 角点检测算法是在m o r a v e 圮算法基础上提出的。m o r a v e c 角点检测算法的 思想是：在图像中设计一个局部检测窗口，当该窗口沿各个方向作微小移动时，考查 窗口的平均能量变化，当该能量变化值超过设定的阈值时，就将窗口的中心像素点提 取为角点，记像素点( x ，y ) 的灰度为f ( x ，y ) ，图像的每个像素点( x ，y ) 移动( u ，v ) 的灰度强度变化表示为： 瓦oj ，) = 阡i l 厂 + 甜j ，+ v ) 一f ( x 力】2 ( 2 2 1 ) 硕士论文基于特征点匹配的图像拼接及医学应用 其中像素的移动( u ，v ) 取值为( 1 ，o ) ，( 1 ，1 ) ，( o ，1 ) ，( - i ，o ) ，( - x ，- 1 ) ，( o ，一1 ) ，( 1 ，一1 ) ，显然m o r a v e c 算法只检测了窗口函数在八个基本方向上移动的强度变化，不能准确提取出全部角点 而且对孤立像素点、噪声和边缘都较为敏感。算法中定义的角点响应函数为 c o 力= m 叫k o 蝴，也因此不具有旋转不变性。 为改进m o m v 算法，h a n d s 通过微分运算和自相关矩阵来检测角点微分算子能 反映像素点任意方向上的灰度强度变化，因而能够有效地区分角点和边缘，所以用微 分算子重新定义了灰度强度变化的公式，这样使角点检测算子具有旋转不变性，同时 h a r r i s 检测算法选取高斯函数为检测窗口，对图像进行平滑滤波再提取角点，对噪声 有一定的抑制作用。 e ( xy ) = l 厂( 工+ y + v ) - ( x ) ，) 】2 = w w x x + y y + o ( x 2 + y 2 ) 】2 其中呢是高斯窗口位置( u ，v ) 处的系数，x = 篆，j ，2 荔。 ( 2 2 2 ) 基于特征性质的分析，h a r r i s 和s t e p h e n s 在h m o m v e c 工作的启发下，把求v f ( o 转化为矩阵形式的肘( d 。这里m = m ( i ) ，i r 2 。m 定义为 肛i 明7 t l 眈乃，= 磊够 如果卜卯t o ，那么m 有特征值 = o 和特征值五= 卜川，并且相应的特征向量是非零的， 是( - 正) 和( ) 的倍数。 这个矩阵m 可以解析地表达边缘特征和点特征的性质假设o o 是一个 f f 8 锄= l 的权重函数，它能保持原图像的质量。于是可以得到： m = g * m ( 2 2 4 ) 在理想的边缘，所有点的梯度在同一个方向上所以砺的一个特征值是q ，另一 个特征值是正数而且很大。在真实的边缘，丽有一个小的和一个大的特征值。 在理想的特征点，点的梯度是直角方向的，因此砺有两个同样大的正数特征值。 在真实的特征点，两个特征值都很大。且大小基本一致。 为提取特征点，h a r r i s 等构造了表达式 孟m = d e t m k ( t r m ) 2 ，( 2 2 5 ) 这：里d e t 面是矩阵m 的行列式( d c t 丽= ) ；| r 丽是矩阵m 的迹渺m = + 乃) ；k 是一个大于零的参数，建议取k = 0 0 4 ，d e t 砺在边缘处小，在特征处大，扩丽在边缘 硕士论文基于特征点匹配的图像拼接及医学应用 和特征点处保持一致。由此，当心。值为局部最大时，就是特征点。 h a r r i s 算子具有很好的旋转和仿射不变性。对于图片的亮度变化，视角变化和噪 声的影响都具有较好的鲁棒性。 2 2 2 测试图像及实验结果 下图2 2 1 给出了2 2 1 节h a r r i s 算法实验结果，图2 1 ( a ) ( b ) 可见，算法提取角点 准确，图像中全部角点都能找到。图2 2 1 ( c ) ( d ) 图像中加入了高斯噪声，h a r r i s 算子 提取了大部分的角点，具有很好的抗噪性，便于提高下一步匹配的准确性。 ( a ) 原图( b ) h a r r i s 提取角点图 ( c ) 加入高斯噪点图( d ) h a r r i s 提取角点图 硬士论文基于特征点匹配的图像拼接及医学应用 2 3 s u s a n 算子 ( e ) 积木图( f ) 提取h a r r i s 角点积木图 图2 2 ih a n _ i s 角点检测图 1 9 9 5 年英国牛津大学的s m s m i t h 在”s u s a n 一咀n e wa p p r o a c ht o l o wl e v e l i l - f l a g cp r o c e s s i n g - - 文中介绍了一种新算法，s u s a n 是最小吸收核同值区( s m a l l e s t u n i v a l v es e g m e n t a s s i m i l a t i n g n u c l e u s ) 的首字母缩写。s u s a n 算子是一种基于灰度的 特征点获取方法，适用于图像中边缘的检测、角点的检测，可以去除图像中的噪声， 它具有方法简单、有效、抗噪声能力强的特点，计算速度快，适用于图像特征提取。 2 3 1 算法 # 麟镕r 、 删8 飞 图2 3 1s u s a n 图形模板图 图2 _ 3 1 显示了一个在白色背景下的黑色的长方形，图中a b ，c ，d ，e , f 六个位置 分别是六个圆形的模板在图像中不同的位置，窗口的中心被称之为“核”。窗口中所 有具有与核相同或相似灰度的像素，把这些像素构成的区域称为u s a n ( u n i v a l t m s e g m e n ta s s i m i l a t i n g n u c l e u s ) 由图2 3 1 可以看出，u s a n 区域包含了重要的图 形结构的信息在灰度平坦的区域内，u s a n 区域取最大值，越靠近边缘，u s a n 区 域越小。当模板的中心位于边缘时，u s a n 区域为最大值的一半，当模板靠近角点时， u s a n 区域进一步减小为最大值的四分之一。因此，通过u s a n 区域的大小，就可以 对图像中一些重要的二维信息做出判断在一幅图像中搜索图像边缘点或是图像的角 点，就是搜索u s a n 最小( 小于一定的阈值) 的点，即搜索最小化同化核分割相同值。 上述提取算法中没有使用微分运算，这使得图像中的噪声点不会对特征的检测带 来麻烦，因此这种算法具有较好的抗噪声性1 。 算法实现 首先，要构造一个圆形模板。在数字图像中，圆可以用点阵的形式来近似表示。 1 2 硬士论文 基于特征点匹配的图像拼接及医学应用 如一个半径大小为3 ，4 个像素的圆可以用3 7 点点阵的形式来近似代替该点阵各行的 像素点数分别为 3 ，5 ，7 ，7 ，7 ，5 ，3 ) 当然也可以用其它形状的模板，如矩形、菱形等。 在大多数情况下，都采用3 7 点点阵的圆形模板。 构造了圆形模板以后，让它遍历图像的每一个点这时，需要判断模板所掩盖的 区域内的点与模板核的灰度的相似程度可以采用以下的判别式 配- ) ； 1 矿i i g ) 一讹) i 姗 ( 2 3 1 ) c ( ，) = 一 一i ( 2 ) l0 矿i ，( ，) 一，( ) l 船 其中i 为模板核在图像中的坐标，；- 为模板区域内其它点的坐标。，( - ) 为f 点的灰 度值，j 面为，i 点的灰度值。t l r 为阙值，决定了两个点相似的最大差异。这样，模板 区域的u s a n 值可以由式( 2 3 1 ) 计算出 4 万面= c ( _ ( 2 3 2 ) 将n 与一固定阈值相比较，就可以得到s u s a n 算子对图像边缘的响应值 r 西= p 篓：监： s 其中g = 3 n 一4 为模板中像素点的总个数减1 。因为一般情况下，模板的面积远小于物 体的面积，这就意味着模板可以完全浸没于物体中，u s a n 值可以取得极大。 为了取得更好和更加稳定的结果，可以将式( 2 3 1 ) 改写为 c ( 一r ，一t ：j 唧 掣产】6 矿睁，刷姗(24)o) 3 ，= r 。 ( 2 4 ) 1 0i f l l ( r ) - 1 ( ) | t h r 其中t 为参数，一般设为7 5 这样，阈值附近的值可以平缓地影响函数值，从而提高 稳定性。 将s u s a n 算法用于提取图像的角点时，只需改变其中的一个阈值。该阙值就是g ， 考虑到噪声的影响，将它改写为g = ，l 一，2 另外，要排除一些误报情况。若边缘点在 单像素宽度的直线上时，其u s a n 值也会很小，很可能就小于g = ，k 2 。解决方法是另 外设定一个最小阙值。只有当t t 哦嵇t g 时，才将该点视为角点。 2 3 2 测试图像及实验结果 下面采用了两组医学显微图像作为实验图像，一张黑白斑马鱼尾图，一张彩色细 胞图，由下图可以看出，s u s a n 算子提取的特征点，信息准确，能标记出图像特征物 体轮廓的主要信息，从图2 3 2 ( d ) 细胞提取图中可见s u s a n 算子具有很好的抗噪性。 硕士论文基于特征点匹配的图像拼接及医学应用 ( a ) 显微镜图像 ( c ) 细胞核 ( b ) s u s a n 算子提取点图 ( d