（摄影测量与遥感专业论文）基于sift算法的无人机遥感图像配准.pdf

摘要 图像配准是遥感、医学、计算机视觉等很多领域中的一个基本问 题。在遥感领域，图像配准是实现图像融合、变化检测、图像校正、 图像镶嵌等应用中必不可少的一个关键步骤。由于遥感信息量大，应 用范围广，因此实现自动配准一直是人们追求的目标。 提取和匹配图像特征点是实现图像自动配准的一种重要方法。本 文首先对各种常用的特征检测算法进行研究。在详细分析各算法的优 劣之后，确定s i f t ( 尺度不变特性变换，s c a l ei n v a r i a n tf e a t u r e t r a n s f o r m ) 作为无人机遥感图像配准中使用的特征点提取算法。s i f t 是一种多尺度特征提取方法，通过构建高斯差分尺度空间( d o g ， d i f f e r e n c eo fg a u s s i a ns c a l e - s p a c e ) 算法拥有很好的特征提取能 力。同时算法还能够产生s i f t 特征用以表述特征点信息。s i f t 特征 对图像的尺度变化和旋转是不变的，而且对光照的变化和图像变形具 有较强的适应性，有利于后续的特征点匹配。因此s i f t 在遥感领域， 实现图像融合、变化检测、图像校正、图像镶嵌等领域有很广泛的应 用。 由于s i f t 算法只考虑点的局部的特征信息，没有分析匹配后特 征点对集合的几何分布信息，导致存在部分误匹配特征点。为了提高 特征点的匹配精度，减少误匹配点，本文使用矩和马氏距离对s i f t 算法得到的结果进行再处理得到改进的特征点对。利用矩和马氏距离 处理的对象的层次不同，构建一个多尺度的多次匹配算法。最后利用 新的特征点对进行图像的配准。与已有的相关工作相比，该方法可以 得到更多更精确的匹配特征点。数值试验证明了该方法的有效性和鲁 棒性。 关键词图像配准，s i f t ，矩，马氏距离 a bs t r a c t i m a g er e g i s t r a t i o ni s af u n d a m e n t a lp r o b l e mi nr e m o t e s e n s i n g ， m e d i c a l ，c o m p u t e rv i s i o n ，a n dm a n yo t h e rf i e l d s i nt h ef i e l do f r e m o t e s e n s i n g ，i m a g er e g i s t r a t i o ni sa ne s s e n t i a ls t e pi nr e a l i z i n gi m a g ef u s i o n ， c h a n g ed e t e c t i o n ，i m a g ec o r r e c t i o n ，i m a g em o s a i c ，a n do t h e ra p p l i c a t i o n s b e c a u s eo ft h el a r g er e m o t es e n s i n gi n f o r m a t i o na n daw i d er a n g eo f a p p l i c a t i o n s ，a u t o m a t i cr e g i s t r a t i o nh a s b e e nag o a l p u r s u e db yt h e p e o p l e i m a g ef e a t u r ee x t r a c t i o na n di m a g em a t c h i n gi sa ni m p o r t a n tm e t h o d o fa u t o m a t i cr e g i s t r a t i o n i nt h i sp a p e r , t h r o u g ha n a l y s i so faw i d er a n g e o fm a t c h i n ga l g o r i t h md e e p l y , d e t e r m i n eu s i n gt h es i f t ( s c a l ei n v a r i a n t f e a t u r et r a n s f o r m ) a st h eu l t i m a t em e t h o dt h a tu s e di nt h eu n m a n n e d a e r i a lv e h i c l e s ( u a v ) r e m o t es e n s i n gi m a g e sp o i n te x t r a c t i o n s i f ti sa m u l t i s c a l ef e a t u r ee x t r a c tm e t h o d ，i tg e tg r e a tf e a t u r ee x t r a c tc a p a b i l i t y b y c o n s t r u c td o g ( d o gs c a l e - s p a c e ，d i f f e r e n c eo fg a u s s i a n s c a l e s p a c e ) a tt h es a m et i m e ，s i f tc a ng e n e r a t es i f tf e a t u r e sf o r d e s c r i b i n gt h ef e a t u r ep o i n t s s i f tf e a t u r ei si n v 抓a b l ei nt h es c a l ea n d r o t a t i o ni nt h ei m a g ec h a n g e s ；i ta l s oh a sas t r o n ga d a p t a b i l i t yi n i l l u m i n a t i o na n di m a g ed e f o r m a t i o n s i f tf e a t u r ei su s e f u li nf e a t u r e p o i n t sm a t c h t h e r e f o r e ，s i f th a saw i d er a n g eo fa p p l i c a t i o n si nt h e f i e l do fr e m o t es e n s i n g ，r e a l i z i n gi m a g ef u s i o n ，c h a n g ed e t e c t i o n ，i m a g e c o r r e c t i o n ，i m a g em o s a i c ，a n do t h e rf i e l d s s i f ta l g o r i t h mm a i n l yf o c u s e do nf e a t u r ei n f o r m a t i o no ft h ep o i n t s g e o m e t r i ca n ds t a t i s t i c a li n f o r m a t i o ni nm a t c h e df e a t u r e - p o i n t sa r en o t c o n c e m e d ，s ot h e r ea r em a n ym i s m a t c hf e a t u r ep o i n t s i no r d e rt oo b t a i n m o r ea c c u r a t em a t c h e df e a t u r e p o i n t s ，m o m e n t s a n dm a h a l a n o b i s d i s t a n c ew e r ee m p l o y e d m o m e n t sa n dm a h a l a n o b i sd i s t a n c eh a n d l e d i f f e r e n to b je c t ，s ot h a t ，t h i si sam u l t i s c a l em a t c ha l g o r i t h m f i n a l l y , u s e n e wf e a t u r e - p o i n t si ni m a g er e g i s t r a t i o n c o m p a r e dw i t ht h er e l a t e dw o r k ， o u rm e t h o dc a n g e tm o r e a c c u r a t ea n dm o r em a t c h e d - p o i n t t h e e x p e r i m e n t a l r e s u l t sd e m o n s t r a t et h er o b u s t n e s sa n de f f i c i e n c yo ft h e a l g o r i t h m k e yw o r d si m a g er e g i s t r a t i o n ，s i f t ，m o m e n t ，m a h a l a n o b i sd i s t a n c e 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得中南大学或其他单位的学位或证书而使用过的材料。与我共 同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名：醯砼日期：趁! 鱼年月丑日 学位论文版权使用授权书 本人了解中南大学有关保留、使用学位论文的规定，即：学校有权保留学位 论文并根据国家或湖南省有关部门规定送交学位论文，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以采用复印、缩印或其它手段 保存学位论文。同时授权中国科学技术信息研究所将本学位论文收录到中国学 位论文全文数据库，并通过网络向社会公众提供信息服务。 作者签名：煎益导师签名 中南大学硕士学位论文 第一章绪论 第一章绪论 1 1 研究背景与意义 图像配准( i m a g er e g i s t r a t i o n ) 是图像处理的一个基础问题。它源自多个 领域的很多际问题，如不同传感器获得的信息融合；不同时间、条件获得图像的 差异检测；成像系统和物体场景变化情况下获得的图像的三维信息获取；图像中 的模式或目标识别等。在实际应用中，图像配准有着重大的应用价值。 对同一场景使用相同或不同的传感器，在不同时刻和不同视角获取的两幅或 多幅像进行匹配的过程就是图像配准。同一场景的多幅图像会存在很多差异， 这些差异可以表现为：不同的分辨率、不同的灰度属性、不同的位置( 平移和旋 转) 、不同的比例、不同的非线性变形等等。 图像配准问题都是以在变换空间中寻找一种特定的最优的变换，达到使两幅 图像在某种意义上的匹配为目的。也可以说，图像配准的主要目的在于去除或减 小模板图像相对于基准图像之间的几何畸变，从而实现图像的几何校正。图像配 准的应用相当广泛，归纳起来主要有以下几个方面：计算机视觉与模式识别，图 像分割、目标识别、形状重建、运动检测、立体匹配和特征识别等；医学图像分 析，包括诊断医学成像如肿瘤检测、病灶定位等，以及生物医学如血细胞显微图 像分类等；遥感数据分析，如对农业、地质、海洋、石油矿产勘探、环境污染、 森林植被等目标定位识别和分析等。另外，在其他领域，比如语音识别、机器人 学、文学、计算机辅助设计( c a d ) 、计算机辅助制造( c a m ) 等方面，也需要用 到一些特定图像配准技术。 过去的十几年中，图像采集设备发展惊人，大量图像的获取增加了对图像配 准技术的需求。第一篇影响深远的综述性文章在1 9 9 2 年由b r o w n s 发表瞳1 ，特别 针对医学图像配准的在文献 3 ，4 ，5 中有阐述，而在文献 6 ，7 ，8 中概括了遥感图 像配准的方法。最近十年有关图像配准的论文已经超出1 0 0 0 篇。由此可见，图 像配准技术经过多年的研究，己经有了很多成熟的研究成果。一方面说明配准问 题依然是研究的热点，另一方面也说明仍然有许多技术难题没有解决且急需解 决。配准问题的定义本身很简单，由于图像配准输入数据来源的多样性，以及不 同的应用对图像配准的要求各不相同。同时由于影响图像配准的因素的多样性， 配准问题本身的复杂性，在当前图像配准技术的研究中，通常每一种配准技术都 是针对某一具体应用而设计。因此，目前还没有任何一种方法能对所有种类的图 像都获得最佳效果。 尽管国内外目前在图像配准方面开展了许多研究工作，提出了种类繁多的图 中南大学硕士学位论文第一章绪论 像配准方法，但目前的图像配准研究仍存在着不少难点，这些难点主要有以下几 点。 ( a ) 多模态图像的配准。不同特性的成像传感器所获取的图像，其灰度和 特征信息往往存在着较大的差异。目前的图像配准方法大多主要针对图像波段、 分辨率、景物特征等一致或较接近的情况，对于性质完全不同的传感器图像，或 波段、分辨率、景物特征等差别很大的图像之间的配准问题还远远没有解决。 ( b ) 自动配准算法的实现。自动配准是指不需要人工干预，计算机可根据 既定的程序自动完成多源图像的配准。但在目前的研究中，很多方法还需要人工 干预，不能实现自动配准。 ( c ) 快速图像配准算法的实现。在建立实时准实时图像融合系统时，必须 拥有快速的图像配准算法作为保障。如何提高配准处理速度，达到快速和实时的 要求也是图像配准的一大难题。 1 2图像配准的基础理论 1 2 1 图像配准的概念 图像配准在文献n 3 中的定义表述为：对两幅( 或者多幅) 在不同时刻、从不 同视角拍摄的有关同一场景( o v e r l a y i n g ) 的图像进行匹配的过程，这些图像既 可能来自相同类型的成像传感器，也可能来自不同类型的成像传感器。图像配准 也可以定义为两幅图像在灰度与空间几何上的匹配。 图像配准在数学上的定义为：如果将图像表示为一个二维序列，i t ( x ，y ) 、 i ：( x ，y ) 分别表示两幅图像在点( x ，”处的灰度值，那么图像i 。、i ：的配准关系可用 如下关系式表示： 厶( x ，y ) = g ( 厶( 厂( 五少) ) )( 1 - 1 ) 这里，i 。、i ，分别为参考图像和待配准图像，厂代表二维的空间几何变换函数， g 则表示一维的灰度变换函数。 1 2 2 图像配准的分类 根据配准图像的不同获取方式，图像配准可划分成如下四类田3 ： ( 1 ) 不同视点图像配准( 多视点分析) 配准的目的在于获取更大范围的二维视角，或构被摄场景的三维信息。 应用实例：遥感被摄区域图像镶嵌、计算机视觉形状复。 ( 2 ) 不同时间图像配准( 多时段分析) 配准的目的在于寻找并度量两幅不同时间内拍摄的图像中场景的变化。 应用实例：遥感区域规划、计算机视觉运动跟踪和医学成像肿瘤 病变检测。 ( 3 ) 不同传感器图像配准( 多模式分析) 2 中南大学硕士学位论文第一章绪论 目的在于融合不同传感器信息，以获取更为丰富细致的场景信息。 ( 4 ) 场景与场景模型图像配准 场景模型多为场景的数字表示，如地理信息系统( g i s ) 中的数字高程 图等。配准场景与场景模型的目的在于在场景中定位模型，或在模型中定位 场景，或者对场景与模型作相应的比较。 根据处理对象的不同，可分为两类n 们 ( 1 ) 灰度配准 灰度配准n 妇的基本思想：以统计的观点将图像看成是二维信号，采用统 计相关的方法寻找信号间的相关匹配。利用两个信号的相关函数，评价它们 的相似性以确定同名点。 灰度配准通过利用某种相似性度量，如相关函数、协方差函数、差平方 和、差绝对值和等测度极值，判定两幅图像中的对应关系。 最经典的灰度配准法是归一化的灰度配准法，其基本原理是将像素的按 照一定大小进行构成一个实时图像窗口的灰度矩阵，然后，按照某种相似性 度量方法将这个矩阵与参考图像的所有可能的窗口灰度阵列，进行搜索比 较。该种就是归一化的灰度配准法，从理论上说该种方法就是采用图像相关 技术。 利用灰度信息匹配方法的主要缺陷是计算量太大，因为使用场合一般都 有一定的速度要求，所以这些方法很少被使用。 现有的灰度信息匹配方法包括幅度排序相关算法，f f t 相关算法和分层 搜索的序列判断算法等。 ( 2 ) 特征配准 特征是图像内容最抽象的描述，与基于灰度的匹配方法相比，特征相对 于几何图像和辐射度影响来说更不易变化。 特征配准是指通过分别提取两个或多个图像的特征n 2 1 ( 点、线、面等特 征) ，对特征进行参数描述，然后运用所描述的参数来进行匹配的一种算法。 基于特征的配准所处理的图像一般包含的特征有颜色特征、纹理特征、 形状特征、空间位置特征等。 颜色特征 颜色特征，因为具有直观、明显的特点，是图像视觉最重要的感知特征 之一。颜色往往和图像中所包含的物体或场景相关。与其它的视觉特征相比， 颜色特征对图像本身的尺寸、方向、视角的依赖性较小，从而具有较高的鲁 棒性，并且计算简单，所以目前应用最广泛。基于颜色的特征检测方法能较 好的表示图像的颜色信息。目前颜色特征的提取方法主要有：颜色直方图、 3 中南大学硕士学位论文第一章绪论 颜色矩、颜色聚合向量等颜色特征的表示方法。颜色特征是一种全局特征， 描述了图像或图像区域所对应的景物的表面性质。 纹理和形状特征 纹理的直观意义很清楚，但在图像处理中的纹理一词却有着广泛笼统的 含义，而且也没有确切的定义。纹理一般包含3 个基本要素：某种局部地序 列在比该序列更大的区域内不断重复；序列是由基本部分非随机排列组成 的；各部分大致都是均匀的统一体，纹理区域内任何地方都有大致相同的结 构尺寸。 区域分割和空间关系特征 区域分割，是把图像分割成具有某种意义的部分图像( 如前景区域与背 景区域) 的方法。 空间关系，是指图像中分割出来的多个目标之间的相互的空间位置或相 对方向关系，这些关系也可分为连接邻接关系、交叠重叠关系和包含包 容关系等。通常空间位置信息可以分为两类：相对空间位置信息和绝对空间 位置信息。前一种关系强调的是目标之间的相对情况，如上下左右关系等， 后一种关系强调的是目标之间的距离大小以及方位。显而易见，由绝对空间 位置可推出相对空间位置，但表达相对空间位置信息常比较简单。 特征配准首先对图像进行预处理来提取其高层次的特征，然后建立两幅 图像之间特征的配准对应关系，通常使用的特征基元有点特征、边缘特征和 区域特征。 常用的特征检测与配准方法有：统计方法、几何法、模型法、信号处理 法、边界特征法、傅氏形状描述法、几何参数法、形状不变矩法等。 基于图像特征的配准方法大大减少了配准过程的计算量；同时，由于特 征点的配准度量值对位置的变化比较敏感，可以大大提高配准的精确程度； 而且，特征点的提取过程可以减少噪声的影响，对灰度变化，图像形变以及 遮挡等都有较好的适应能力。所以基于图像特征的配准在实际中的应用越来 越广泛。 1 2 。3 图像配准的流程 多幅图像配准的目的是综合利用图像中的各种空间和灰度属性的信息，合并 成一组在空间位置上和灰度属性上一一对准的图像，以便于对这组图像的后续处 理。由于待配准图像的多样性以及图像退化的多样性，设计一个具有通用性的配 准算法是不可能的。每一种算法不仅应当考虑图像间的几何畸变，还应当考虑辐 射度畸变，噪声损害、配准精度和与应用相关的数据属性等因素。虽然如此，目 前大多数的图像还是有规可循。配准一般由以下四个步骤构成： 4 中南火学硕士学位论文第一章绪论 特征检n - 以手动或自动的方式检测出作为特征的显著对象，如闭合区域、 物体边缘、轮廓、线的交叉点、特征点，等。为了便于进一步处理，常用控制点 ( c p s ) ( 质心、端点、突出点) 来表征这些特征。 根据给定的工作任务决定选择何种特征。在理想的情况下，不论图像出现何 种畸变，好的检测算子应具有在两幅图像中检测出相同特征的能力。不管采用哪 一种匹配算法，最终所选择的控制点的精度、数量以及它们在图像上分布的情况 在很大程度上决定了几何校正和配准的精度，所以在选择配准控制点时应注意以 下几点：a ) 控制点一般应选择较为明确、稳定，并且在参考图像和待配准图像 上都容易辨认、目标较小的突出特征点，比如道路的交叉点、河流主干交叉处、 田地拐角等等；b ) 控制点在图像上必须均匀分布，否则在控制点较密集的区域 内配准的精度较好，而在控制点分布比较稀疏的地方，配准的精度就差；c ) 控 制点的数量应适当，太多了影响计算机处理的速度，太少了不利于精确配准。 特征匹配：建立参考图像与待配准图像特征点之间的对应关系。匹配过程中， 为了建立特征间的空间对应关系，常用到多种特征描述子以及相似性度量方法。 由于拍摄环境存在差异或传感器对不同波段具有不同的敏感度，配准图像的 相应物理特征会有所不同，选择特征描述子与相似性度量方法时必须考虑这些因 素的影响。特征描述子需在可能存在的图像退化情况下保持不变特性，应当有能 力区分不同的特征，并且具有足够的稳定性，不受轻微的意外特征变化和噪声的 影响。因图像畸变导致的错误特征检测将使得误配准概率增加，而不变空间里的 匹配算法则应当有强的鲁棒性和高效性，一幅图像相应于另一幅图像某一特征的 缺失对整幅图像的匹配不造成影响。 估计变换模型：在建立图像特征之间的对应关系后，根据确定的空间变换模 型，可计算出由待配准图像到参考图像映射函数( 转换函数) 的参数值。 图像重采样并作变换：以映射函数变换待配准图像，以适当的内插技术估计 非整数坐标处的图像值。 1 3 本文的研究内容与组织 本文主要研究一种基于s i f t 和马氏距离的无人机遥感图像的配准方法。该 方法首先使用s i f t 算法进行特征点的查找和匹配。由于s i f t 算法只考虑点的局 部的特征信息，没有处理匹配后的特征点对集的几何和分布信息。为了提高特征 点对的精度，本文使用矩和马氏距离对s i f t 算法得到的结果进行多层次的筛选 处理得到新的特征点对。最后，利用新的特征点对进行图像的配准。与已有的相 关工作相比，该方法可以得到更多且更精确的匹配点对。数值试验证明了该方法 的有效性和鲁棒性。 文章的组织于与安排如下 5 中南大学硕+ 学位论文 第一章绪论 第一章论述图像配准的研究背景和发展历程，对图像配准的应用及研究现状 作简单的回顾，同时介绍图像配准算法的组成部分，给出论文的主要研究内容及 安排。 第二章介绍图像预处理技术，其中包括相机的镜头畸变校正和滤波处理，以 便为后续处理消除镜头误差噪声干扰。 第三章讨论图像特征检测算法，介绍了几种常用的特征点检测算法，并对其 算法经行分析与评估。在本章中，着重介绍了s i f t 算法。作为目前研究较为广 泛，性能优良的特征检测系统，该算法在模式识别，计算机视觉方面得到广泛的 应用。 第四章研究特征匹配算法，用于将检测到的特征点进行匹配。在本章中主要 关注几种基于几何不变性的特征匹配算法。 第五章在对上两章的算法进行比较分析之后，选取s i f t 算法和矩匹配方法 马氏距离分别作为特征检测和特征匹配算法。并通过实验证明，该方法能够很好 的完成图像匹配工作。 第六章总结全文的工作，对算法的不足和缺陷做出分析，提出深入研究的方 向。 6 中南大学硕士学位论文 第二章图像预处理 第二章图像预处理 2 1 引言 由于图像传感器在获得原始数据的过程中存在不同的干扰，例如遥感图像获 取过程中可能受到卫星扰动、地形起伏、天气变换、大气散射、反射等随机因素 的影响：x 线医学图像会受到成像电路的热不稳定性和c c d 暗电流效应等的影响， 使得获取的图像中往往存在或多或少的噪声n 朝。为了避免噪声的传播扩散，影像 后续处理结果，必须在图像配准之前对源图像进行去噪和增强处理。 图像预处理的另一个主要目的是消除镜头畸变。图像中存在的非线性畸变对 图像质量有重要影响，它使图像中的实际像点坐标偏离理论像点的位置坐标，这 破坏了影像像点、投影中心和相应的物方点之间的共线关系，使得所测量的像点 坐标产生误差，影响物方坐标的结算精度n 射。 2 2 滤波处理 为了减少数字图像噪声对后续处理的影响，在处理之前需要进行滤波处理。 数字图像的噪声主要来源于图像的获取( 图像的数字化) 和传输过程。图像传感 器的工作情况受各种因素的影响，如图像获取中的环境条件和传感元器件本身的 质量。例如，通过无线网络传输的图像可能会因为光或其他大气因素的干扰被污 染。又如，使用c c d 摄像机获取图像，光照程度和传感器温度是生成图像中产生 大量噪声的主要因素。图像在传输过程中主要由于受传输信道的干扰而受到噪声 污染。噪声是一个随机过程，噪声分量灰度值是一个随机变量按照其概率密度函 数的统计特性，分为高斯噪声、椒盐噪声、泊松噪声、瑞利噪声等等，其中前三 种噪声是非常重要的噪声形式n 羽。 2 2 1 空域滤波 空域滤波方法是一种基于邻域操作( n e i g h b o r h o o do p e r a t i o n ) ，首先选用 一定尺寸的模板，要处理的象素点位于模板的中心，随着模板的移动，完成对所 有像素的滤波。在具体计算时，首先将模板中心和图像中待处理的某像素点重合， 并将模板各元素值与模板下各自的对应像素值相乘，最后将模板输出的响应作为 当前模板中心所处像素的灰度值。模板操作是一种邻域运算，图像中各像素点的 处理结果不仅与自身灰度有关，也要受周围像素灰度取值的影响。其中所进行的 模板元素与对应像素的相乘再求和运算有时也称为互相关。 空域滤波分为线性滤波和非线性滤波。其中线性滤波又分为两种。第一种线 性平滑空间滤波器是对模板所包含的像素的简单平均，即均值滤波器；第二种线 性平滑空间滤波器是对模板所包含的像素的加权平均，即加权均值滤波器，这两 7 中南大学硕士学位论文 第二章图像预处理 “黼i 以上模板中，第一二种，称为邻域平均模板。第三四五种成为低通模板。由于噪 声主要出现在高频区域，因此后面三种模板在噪声消除方面优于前两个。另外， 最后一个模板是通过采样二维高斯函数而得到的，因此该模板又称为高斯模板。 是空域滤波中常用的模板。 最常用的非线性排序统计滤波器是中值滤波器，它以图像中的每一像素点为 中心产生一个矩形滑动窗口( 窗口尺寸一般取奇数) ，将这个窗口内的所有像素 按灰度值从d , n 大的顺序进行排序并计算排序后序列的中值，用以代替窗口中心 点的像素值。由于中值滤波在算法设计上使与周围像素灰度值相差较大的点处理 后能和周围的像素值比较接近，因此可以衰减随机噪声，同时很好的保留跃变部 分。中值滤波器对处理椒盐噪声非常有效。中值滤波器的缺点是对所有象素点采 用一致的处理，在滤除噪声的同时有可能改变真正象素点的值，引入误差，损坏 图像的边缘和细节n6 1 。对一些细节多，特别是点、线、尖顶细节多的图像不宜采 用中值滤波的方法n 刀。 在性能方面，对于一幅长x ，宽y 的图像用大小n * n ( 其中一般为奇数) 的模板进行空域滤波，需要完成x * y * n * n 次乘法运算和x 掌】，木( 木一1 ) 次加 法操作。总操作数为( x 木】，) 木( 2 木一1 ) 操作。由于取值较小，为一个常数。 因此总的时间复杂度为。 t = o ( n 2 ) ( 2 1 ) 空域滤波的处理效果与所用的邻域半径有关。半径越大，则图像的模糊程度 也越大。特别在边缘和图像细节处，邻域越大，模糊越厉害。为了减少这种效应， 可以采取阈值法，也就是根据下列准则形成处理图像。 如川- 磁陟 篙五力i 汀 c 2 锄 其中w 是模板响应值，f 是原像素值，t 是一个非负阈值。 2 2 2 频域滤波 频域滤波方法是通过傅立叶变换把图像由空间域变换到频域，由频率分量和 图像空间特征的对应关系知道，低频对应图像强度的慢变化分量，高频对应图像 中强度变化越来越快的灰度级，如物体的边缘和噪声。因此可以通过低通滤波器 8 1j 1 2 1 2 4 2 1 2 1 。l 一m 1j i 1 2 lil，l 。l 一m 1j 中南大学硕士学位论文第二章图像预处理 来抑制或滤除高频成分，从而滤除噪声n 舶。 二维小波分析用于图像消噪主要有三个步骤n 町： ( 1 ) 二维图像信号的小波分解。选择合适的小波和恰当的分解层次( 记为 _ ，) ，然后对待分析的二维图像信号x 进行层分解计算。 ( 2 ) 对分解后的高频系数进行阈值量化。对于分解的每一层，选择一个恰 当的阈值，并对该层高频系数进行阈值量化处理。 ( 3 ) 二维小波的重构图像信号。根据小波分解后的第层近似( 低频系数) 和经过阈值量化处理后的各层细节( 高频系数) ，来计算二维小波信号重构 小波基的选择 d a u b e c h i e s 小波由著名小波学者i n g r i dd a u b e c h i e s 所构造，d a u b e c h i e s 系列小波简写为d b n ，其中n 表示阶数，d b 是小波名字的前缀，除d b l ( 等同于 h a a r 小波) 外，其余的d b 系列的小波函数没有解析的表达式。d b n 小波函数沙和 尺度函数由的有效支撑长度为2 n 一1 ，小波函数的消失矩为。研究表明这个 序列的小波扩展性比较好，可以比较灵活地权衡增加支集长度带来的边界问题。 当n 1 时d b n 不具备对称性。正则性随着的增加而增加。d b n 小波函数具有 正交性n 朝。 阈值的处理 阈值的处理包括阈值和阈值函数。阈值的确定是在小波去噪中最关键的。目 前使用的阈值可以分成全局阈值和局部适应阈值两类。其中，全局阈值对各层所 有的小波系数或同一层内的小波系数都是统一的；而局部适应阈值是根据当前系 数周围的局部情况来确定阈值n 引。阈值函数体现了对几种系数的不同处理策略， 以及不同的评估方法。阈值函数分为两种，之中为硬阈值( 公式( 2 3 ) ) ；另一种 为软阈值( 公式( 2 4 ) ) 。 万( w ) = w l 巾r ( 2 - 3 ) 万( w ) = 0i 叫t 万( 们= s 纫( w ) ( 1 叫一乃1 wlf(2-4) 艿( w ) = 01w l t 其中r 为阈值。 两种闽值化方法各有差异，硬阈值处理比较“粗糙”，软阈值具有连续性。 前者从数学上容易处理而后者更接近于实际应用。图2 1 是在将阈值t 设为o 4 是的处理结果 9 中南大学硕士学位论文第二章图像预处理 图2 - i 不同阈值函数的处理效果 2 2 3 滤波效果的评定 峰值信噪比( p s n r ，p e a ks i g n a lt on o i s er a t i o ) 是用来衡量两幅图像的 相似程度的算子。p s n r 值越大，就代表失真越少。这是一个客观的评比数据。 但有时候并不能完全代表人的主观感受。文献 2 0 研究了关于如何代表人主管感 受的图像评定算法。在本文的应用中，首先对原始测试图像进行加噪处理，然后 使用滤波算法对加噪图像进行滤波，得到滤波后的图像，最后使用p s n r 计算滤 波图像与原始图像之间的差异。通过这种量化这种差异，衡量滤波算法的优劣程 度。其计算公式如下： ( 肌，n ) - 1 2 ( m ，咒) 】2 m s e = 尘一 m 木 ( 2 - 5 ) 舟2 p s n r = l o l 0 9 1 0 ( 蠢) 其中r 为图像像素峰值，对于灰度图像r = 2 5 5 。 2 3图像镜头校正 2 3 1 镜头径向畸变 径向畸变差( r a d i a ld i s t o r t i o n ) 使构象点沿径向方向偏离其准确位置。 据几何光学，物镜系统的径向畸变缸可用下述奇次多项式表达： a r = 毛，3 + 乞，+ 缸，7 ( 2 - 6 ) 由公式( 2 6 ) 得： 瓴= 一) ( 毛吃+ 岛_ + 屯巧) ( 2 - 7 ) = ( j ，一y o ) ( k f 2 + 也，：l + 毛巧) 其中，是径向畸变差值，岛o = 3 ，5 ，7 ) 是描述该物镜系统径向畸变的系数，为该 1 0 中南大学硕士学位论文第二章图像预处理 像点的向径，严格的说是该像点与主点之间的距离。由于a r 很小， 算： r = 厄二而 其中( x ，y ) 为像点坐标，( 而，) 为像主点坐标。 2 3 2 镜头偏心畸变 ，可用以下近似公式计 ( 2 - 8 ) 偏心畸变差( d e c e n t e r i n gd i s t o r t i o n ) 使构象点沿向径方向和垂直于向径 方向，相对于理想位置都发生偏离，其向径方向的称之为非对称径向畸变，垂直 于向径方向的称之为切向畸变。物镜系统各单元透镜，因装配和震动偏离了了轴 线或歪斜，从而引起的像点偏离其准确理想位置的误差称之为光学偏心畸变。 2a 【，2 + 2 ( x 一而) 2 】+ 2 仍 一x o ) ( y 一) f 9 一q 、 a y d = p 2 r 24 r 2 ( y y o ) 2 + 2 p l ( 石一x o ) ( y 一) 其中： ( ，毗) 偏心畸变差分量 ( p 。，仍) 偏心畸变系数 r 像点向径，= 一x o ) 2 + ( y - y o ) 2 ( 而，) 主点坐标 同时考虑径向畸变和偏心畸变，最后总的改正模型为 缸= ( x 一) ( 向吒+ 乞_ + 包_ ) + a 【户+ 2 ( x 一而) 2 】+ 2 p 2 ( x - - x o ) ( y 一) ( 2 - 1 0 ) 缸= ( y 一) ( 向吃+ 屯，= l + 岛) + p 2 r 2 + 2 ( y y o ) 2 】+ 2 a ( x x o ) ( y y o ) 对数码相机物镜构象畸变校正的基本步骤是，首先建立一个高精度控制场， 利用数码相机对其进行拍摄，测量图像上控制点坐标( x ，y ) 。然后依据透视变换， 将控制点的物方坐标经透视变换反算出控制点的理想图像坐标，设为无误差的图 像坐标，求出畸变系数岛如，毛，p 。，p 2 。 2 4试验与小结 本文选取l e n a 图进行滤波测试。下图中( a ) 图为原图，( b ) 为加入2 0 随 机噪声图，( c ) 使用5 * 5 为模版中值过滤结果，( d ) d b l 小波分解2 层软阈值结 果，( e ) d b l 小波分解2 层硬阈值结果，( f ) d b 4 5 小波分解2 层硬阈值结果。 中南大学硕士学位论文第二章图像预处理 峨麟糕 ( d )( e )( f ) 图22 溏被测试图像 表2 - 1 滤波测试p s 豫结果 由圈中可以看出，在随机噪声的情况下。使用d b 4 5 的情况下拥有最好的效 果。而采用3 * 3 模版中值滤波得到的效果与d b 4 5 相近，但是中值滤波构造简单， 效率远高于d b 4 5 。另外采用硬阈值的效果优于软阈值效果。 对图像镜头校正进行测试。其中寥数如下 t = 0 0 0 0 0 0 0 0 1 2 9 9 9 4 2 1 3 0 7 - k 2 = 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 4 1 3 ， p l = 00 0 0 0 0 0 0 9 6 0 1 7 2 8 8 8 9 ，p 2 = 00 0 0 0 0 0 0 3 4 6 1 8 7 7 4 7 6 x = 1 4 5 10 6 5 , y = 2 1 6 39 8 2 2 处理结果如下圈所示。原始图像( a ) 太小2 9 1 2 4 3 6 8 ，处理后图像( b ) 大小 2 9 9 9 * 4 4 9 9 。 ( a ) 图2 - 2 镜头纠正图像 b ) 中南大学硕士学位论文第三章图像特征检测 第三章图像特征检测 3 1引言 图像中的特征点是指图像中具有较高曲率的点，它是由景物目标边缘曲率较 大的地方或两条，多条边缘的交点所形成。它不同于边缘像素灰度只在一个方向 上发生变化。以目标图像的特征点作为目标的几何特征有非常重要的意义。在数 字图像处理领域里，特征点一直是一种非常直观和重要的局部特征，对掌握目标 轮廓特征具有决定作用。 特征点特征具有计算量少，匹配简单以及旋转、平移、尺度不变和几乎不受 光照条件的影响的性质，因此特征点在图像配准与匹配、目标识别、运动分析、 目标跟踪等应用领域都相当广泛。目前，对于特征点的定义有多种不同的表述， 如图像中具有周围灰度变化剧烈特征的点，图像边界上具有曲率足够高的点等。 对于特征点的定义也就决定了特征点的检测所采用的方法，同时也决定了所检测 出的特征点的特性。相应的检测方法也是多种多样，但这些方法在总体上可分为 三类：一是基于模版的特征点检测算法，二是基于边缘的特征点检测算法，三是 基于图像灰度变化的特征点检测算法。 3 2 图像特征检测算法 3 2 1m o r a v e c m o r a v e c 乜妇是利用提取“兴趣算子( i vi n t e r e s tv a l u e ) ”进行特征点提取， 通过计算像素点沿不同方向的灰度变化方差，选取最小值作为该点的响应函数， 即兴趣值，通过兴趣值设定阈值作为特征点的判断依据。其主要的思想认为，一 个局部窗口在不同方向进行少量的偏移后，窗口的图像亮度值将发生变化( 如图 3 - 1 ) ，考虑如下三种情况： 如果窗口内的图像块中没有特征点，那么窗口内的亮度值变化很小，所有不 同方向的偏移仅导致一个很小的变化。 如果窗口包含一个边缘，那么沿着边缘的偏移将导致一个较小的变化，但是 与边缘垂直的偏移将导致一个大的变化。 如果窗口包含一个特征点或者孤立点，那么所有不同方向的偏移将导致一个 大的变化。因此，定义由任意方向的偏移而引起的最小变化值大于某一个特定值 的那个点是特征点。 1 3 中南大学硕士学位论文第三章图像特征检测 图3 1m o r a v e c 兴趣算子的8 个方向 其中i v 的计算公式为 e ，( x ，少) = 比，( 厂( x + “，y + v ) 一厂瓴j ，) ) 2 ( 3 一1 ) 3 2 2h a r ris h a r r i s 特征点检测法口2 3 是一种基于图像灰度的检测方法，这类方法主要通 过计算点的曲率及梯度来检测特征点。该方法是由h a r r i s 和p s t e p h e n 提出来的， 也叫p 1 e s s e y 特征点检测法。其基本思想与m o r a v e c 特征点算子相似，但对其作 了许多改进。主要的改进方面为 a m o r a v e c 仅仅考虑8 个方向，而h a r r i s 计算了更为微小的方向变化。 b 由于h a r r i s 加入了高斯平滑的过程，使得抗噪声能力得到加强 c 因为仅仅考虑了i v 的最小值，所以m o r a v e c 算子对边缘响应很敏感。 h a r r i s 通过重新定义特征点准则。使得特征点响应值提高 m o r a v e c 特征点算子计算各像素沿不同方向的平均灰度变化，选取最小值作 为对应像素点的特征点响应函数。定义在一定范围内具有最大特征点响应的像素 点为特征点。假设图像的灰度定义为f ( x ，y ) ，那么由平移( “，d 后，所得到的灰 度变化的计算公式为。 瓦，( x ，y ) = 屹。， 厂 + “，y + v ) - f ( x ，y ) 】2 = 善比_ 甜篆+ v 考+ 。( u 2v 2 ) 】2 ( 3 - 2 ) 善“要i t , 。l , + y 筹) 2。v少 其中，筝和军是一阶灰度梯度，可对图像求卷积得；，是为了提高抗噪 c c r y 能力，对图像窗口进行高斯平滑滤波选用的高斯窗口 1 4 中南大学硕士学位论文 第三章图像特征检测 = a i 一：厂( 石，y ) ( 一1 ，0 ，1 ) ：x a = _ i ：厂( 石，y ) 。( 一1 ，0 ，1 ) ：y ( 3 - 3 ) 叱。，= e x p 卜去( “2 + 1 ，2 ) 艿2 】 另外定义 a = x 2 o w b = y 2ow(3-4) c = ( 腰) p w 则 色，似j ，) = ( “，v ) m ( u ，) r m = 巧 注意色，( x ，y ) 变化与局部自相关函数密切相关，矩阵m 描述了e ，( z ，y ) 在 原点的形状。设口，是m 的两个特征值，那么口，与局部自相关函数的主要曲 率成比例，都可以用来描述的旋转不变性。正如以上所言，有三种情况需要考虑： 假如两个特征值都是小的，以至于局部自相关函数是平的，那么图像中的窗 口区域为近似不变的亮度； 假如一个特征值是高的，而另一个是低的，以至于局部自相关函数呈现山脊 的形状，那么这显示是一条边； 假如两个特征值都是高的，以至十局部自相关函数是突变的山峰形状，那么 在任何方向的偏移都将增加的值，显示这是一个特征点。 为了避免求取m 特征值的操作，采用如下公式 d e t 卯( m 跫) 荔二a b 竺刀 c 3 删 = 仅| b = 一c 1 因此定义特征点响应函数 r = d e t ( m ) 一k * t r a c e ( m ) 2 一t1 口 ( 3 7 ) k = 1 ，一 t 则视为特征点 e 进行n m s 3 2 5s lf t s i f t ( s c a l ei n v a r i a n tf e a t u r et r a n s f o r m a t i o n ) ，即尺度不变特征变换， 是由d a v i