第六章_影像匹配_第2次课_第1页
第六章_影像匹配_第2次课_第2页
第六章_影像匹配_第2次课_第3页
第六章_影像匹配_第2次课_第4页
第六章_影像匹配_第2次课_第5页
已阅读5页,还剩42页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、1第五节第五节 特征匹配特征匹配-SIFT算子算子摄影测量学摄影测量学第六章第六章2SIFT算子算子影像匹配策略影像匹配策略主要内容主要内容 3SIFT(Scale Invariant Feature Transform)算子最早算子最早由由D.G.Lowe于于1999年提出,但直到年提出,但直到2004年年D.G.Lowe才对该算子做了全面的总结,其主要特点:才对该算子做了全面的总结,其主要特点: 1) SIFT特征是图像的局部特征,其对旋转、尺度缩放、亮度特征是图像的局部特征,其对旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变换、噪声也保持一变化保持不变性,对视角变化、仿射变换、噪

2、声也保持一定程度的稳定性;定程度的稳定性; 2) 独特性好,信息量丰富,适用于在海量特征数据库中进行独特性好,信息量丰富,适用于在海量特征数据库中进行快速、准确的匹配快速、准确的匹配 ;3) 多量性,即使少数的几个物体也可以产生大量多量性,即使少数的几个物体也可以产生大量SIFT特征向量;特征向量; 4) 高速性,经优化的高速性,经优化的SIFT匹配算法甚至可以达到实时的要求;匹配算法甚至可以达到实时的要求; 5) 可扩展性,可以很方便的与其他形式的特征向量进行联合;可扩展性,可以很方便的与其他形式的特征向量进行联合;4一一 尺度空间的极值探测尺度空间的极值探测二二 关键点的精确定位关键点的精

3、确定位三三 确定关键点的主方向确定关键点的主方向四四 关键点的描述关键点的描述vSIFT算子主要步骤:算子主要步骤:五五 寻找最临近点(匹配)寻找最临近点(匹配)5一一 尺度空间的极值探测尺度空间的极值探测 尺度空间尺度空间(scale space)思想最早由思想最早由Lijima于于1962年提出,直到二十世纪八十年代,年提出,直到二十世纪八十年代,Witkin和和Koendernk 1984等人的奠基性工作使得尺度空间方等人的奠基性工作使得尺度空间方法逐渐得到关注和发展。法逐渐得到关注和发展。 尺度空间的基本思想是:在视觉信息尺度空间的基本思想是:在视觉信息(图像信息图像信息)处理模型中引

4、入一个被视为处理模型中引入一个被视为尺度的参数尺度的参数,通过连续,通过连续变化尺度参数获得变化尺度参数获得不同尺度下的视觉处理信息不同尺度下的视觉处理信息,然,然后综合这些信息以深入地挖掘图像的本质特征。后综合这些信息以深入地挖掘图像的本质特征。 61.1 尺度空间尺度空间7Koenderink和和Lindeberg证明:证明: 高斯卷积核是实现尺度变换的高斯卷积核是实现尺度变换的唯一的线性核唯一的线性核。 二维高斯函数定义如下:二维高斯函数定义如下: 2222/)(221),(yxeyxG代表高斯正态分布的方差。代表高斯正态分布的方差。 8 一幅二维图像,在不同尺度下的尺度空间一幅二维图像

5、,在不同尺度下的尺度空间表示可由图像与高斯核卷积得到:表示可由图像与高斯核卷积得到: ),(*),(),(yxIyxGyxL高斯模板高斯模板对影像进行卷积对影像进行卷积2222/)(221),(yxeyxG9 一幅二维图像,在不同尺度下的尺度空间一幅二维图像,在不同尺度下的尺度空间表示可由图像与高斯核卷积得到:表示可由图像与高斯核卷积得到: ),(*),(),(yxIyxGyxLL代表图像的尺度空间代表图像的尺度空间为尺度空间因子,其值越小则表征图像被平滑的为尺度空间因子,其值越小则表征图像被平滑的越少,相应的尺度也就越小。同时大尺度对应于越少,相应的尺度也就越小。同时大尺度对应于图像的概貌特

6、征,小尺度对应于图像的细节特征。图像的概貌特征,小尺度对应于图像的细节特征。 10高斯卷积结果高斯卷积结果111.2 DOG算子算子 为了有效提取稳定的关键点,为了有效提取稳定的关键点,Lowe提出了提出了利用高斯差分函数利用高斯差分函数DOG (Difference Of Gaussian) 对原始影像进行卷积:对原始影像进行卷积: ),(),(),(),(),(),(yxLkyxLyxIyxGkyxGyxD优点:优点:DOG算子的计算效率高;算子的计算效率高; 高斯差分函数是比例尺归一化的高斯差分函数是比例尺归一化的”高斯拉普拉斯高斯拉普拉斯函数函数”(LOG算子算子)的近似;的近似; k

7、yxGkyxGGG),(),(212大量试验证明:当大量试验证明:当G22为为最小最小和和最大最大时,影像上能够产生时,影像上能够产生大量、稳定的特大量、稳定的特征点征点,并且特征点的数量和稳定性比其它的特征提,并且特征点的数量和稳定性比其它的特征提取算子(如取算子(如Hessian算子、算子、Harris算子)要多得多、算子)要多得多、稳定得多。稳定得多。 ),(),(),(),(),(),(yxLkyxLyxIyxGkyxGyxDkyxGkyxGGG),(),(2当取最大和最小值当取最大和最小值时,得到稳定的特时,得到稳定的特征点!征点!13原始影像原始影像高斯差分高斯差分影像影像) ,

8、, ( ) , , ( ) , ( ) , , ( ) , , ( ( ) , , (y x L k y x L y x I y x Gk y x Gy x D卷积卷积) , , ( ) , , ( ) , ( ) , , ( ) , , ( ( ) , , (y x Lk y x L y x I y x Gk y x Gy x D卷积卷积141.3 高斯差分尺度空间的生成高斯差分尺度空间的生成 假设将尺度空间分为假设将尺度空间分为O层,每层尺度空间又被分为层,每层尺度空间又被分为S子层,基准尺度空间因子为子层,基准尺度空间因子为 ,则尺度空间的生成步骤如下:则尺度空间的生成步骤如下:Sn/2

9、(1 1)在第一层尺度空间中,利用)在第一层尺度空间中,利用n卷积核分别对原始影像进行高斯卷积,生成高斯金卷积核分别对原始影像进行高斯卷积,生成高斯金字塔影像字塔影像(S+3(S+3张张) ),其中,其中 为高斯金字塔影像的为高斯金字塔影像的索引号索引号( 0,1,2. S+2), S( 0,1,2. S+2), S为该层尺度空间的子层为该层尺度空间的子层数。数。15(2)将第一层尺度空间中的相邻高)将第一层尺度空间中的相邻高斯金字塔影像斯金字塔影像相减相减,生成,生成高斯差分金高斯差分金字塔影像字塔影像。(3)不断地将原始影像)不断地将原始影像降采样降采样2倍倍,并重复类似并重复类似1)和和

10、2)的步骤,生成下一的步骤,生成下一层尺度空间。层尺度空间。16子层数:S=3尺度O1(第一层)尺度O2(下一层)高斯金字塔影像高斯金字塔影像高斯差分金字塔影像高斯差分金字塔影像子层数:S=3高斯差分尺度空间的生成高斯差分尺度空间的生成SS/ )2(2S/12S/12SS/ )2(21.3 高斯差分尺度空间的生成高斯差分尺度空间的生成17高斯金字塔影像高斯金字塔影像高斯差分金字塔影像高斯差分金字塔影像尺度(第一层)尺度(第一层)第一层比例尺空间中的第一层比例尺空间中的高斯金字高斯金字塔影像塔影像和和高斯差分金字塔影像高斯差分金字塔影像18D.G.Lowe通过大量试验证明:通过大量试验证明:1)

11、当尺度空间子层数当尺度空间子层数S=3时,提取的极值点时,提取的极值点具有最好的重复性。具有最好的重复性。尺度空间子层数与极值点重复性曲线图尺度空间子层数与极值点重复性曲线图192)2)随着随着 值的增大,提取的极值点的重值的增大,提取的极值点的重复性也逐渐增大,当复性也逐渐增大,当 =1.6=1.6时最佳。时最佳。基准尺度空间因子与极值点重复性曲线图基准尺度空间因子与极值点重复性曲线图201.4 局部极值探测局部极值探测 每个采样点与它所在的同一层比例尺空间的周围每个采样点与它所在的同一层比例尺空间的周围8个个相邻点和相邻点和相邻上、下比例尺空间中相应位置上的相邻上、下比例尺空间中相应位置上

12、的9x2个个相邻点进行比较相邻点进行比较. 尺度尺度高斯差分金字塔影像高斯差分金字塔影像高斯差分尺度空间局部极值探测高斯差分尺度空间局部极值探测21二二 关键点的精确定位关键点的精确定位 通过拟合通过拟合三维二次函数三维二次函数以精确确定以精确确定关键点的位置(达到子像素精度)。关键点的位置(达到子像素精度)。 去边缘效应去边缘效应 DOG算子会产生较强的边缘响应,所以应去除算子会产生较强的边缘响应,所以应去除低对比度的边缘响应点,以增强匹配的稳定性,低对比度的边缘响应点,以增强匹配的稳定性,提高抗噪声能力提高抗噪声能力 。 一个定义不好的高斯差分算子的极值在横跨边缘的一个定义不好的高斯差分算

13、子的极值在横跨边缘的地方有较大的主曲率,而在垂直边缘的方向有较小地方有较大的主曲率,而在垂直边缘的方向有较小的主曲率。的主曲率。 22去边缘效应去边缘效应主曲率通过一个主曲率通过一个2x2的的Hessian矩阵矩阵H求出:求出: yyxyxyxxDDDDH.)()(,)(2 xyyyxxyyxxDDDHDetDDHTrDH的主曲率和的主曲率和的特征值成正比,令的特征值成正比,令为最大特征值,为最大特征值,为最小特征值为最小特征值, ,,则,则 令为最大特征值与最小特征值的比值,则为最大特征值与最小特征值的比值,则22222) 1()()()()( HDetHTr在两个特征值相等时最小,并随着在

14、两个特征值相等时最小,并随着的增大而增大。的增大而增大。 23去边缘效应去边缘效应因此,为了检测主曲率是否在某阈值因此,为了检测主曲率是否在某阈值下,只需检测下,只需检测 22) 1()()( HDetHTr的经验值为的经验值为1010。24三三 确定关键点的主方向确定关键点的主方向 利用关键点的局部影像特征(梯度)为每一利用关键点的局部影像特征(梯度)为每一个关键点指定一个主方向(梯度最大的方向)。个关键点指定一个主方向(梯度最大的方向)。103600(a)(b)由梯度直方图确定主梯度方向由梯度直方图确定主梯度方向25三三 确定关键点的主方向确定关键点的主方向 利用关键点的局部影像特征(梯度

15、)为每一利用关键点的局部影像特征(梯度)为每一个关键点指定一个主方向(梯度最大的方向)。个关键点指定一个主方向(梯度最大的方向)。) 1,() 1,(), 1(), 1(tan),()1,() 1,(), 1(), 1().(122yxLyxLyxLyxLyxyxLyxLyxLyxLyxm).(yxm),(yx),(yx和和分别为高斯金字塔影像分别为高斯金字塔影像处处梯度的大小和方向。梯度的大小和方向。26由图由图3.253.25试验中的影像生成的关键点梯度矢量试验中的影像生成的关键点梯度矢量利用高斯函数利用高斯函数对窗口对窗口内各像素的梯度大小内各像素的梯度大小进行进行加权加权(越靠近关(越

16、靠近关键点的像素,其梯度键点的像素,其梯度方向信息贡献越大)方向信息贡献越大) 103600(a)(b)由梯度直方图确定主梯度方向由梯度直方图确定主梯度方向27四四 关键点的描述关键点的描述(a)邻域梯度方向)邻域梯度方向(b)关键点特征向量关键点特征向量由关键点邻域梯度信息由关键点邻域梯度信息生成的特征向量生成的特征向量4 x 8 = 32 维维由关键点邻域梯度信息生成的特征向量。由关键点邻域梯度信息生成的特征向量。 首先将坐标轴旋转到关键点的主方向(旋转不变首先将坐标轴旋转到关键点的主方向(旋转不变性)。性)。分别在每分别在每44的小块上计算的小块上计算8个方向的梯度方向直个方向的梯度方向

17、直方图,绘制每个梯度方向的累加值,即可形成一个种方图,绘制每个梯度方向的累加值,即可形成一个种子点,每个种子点有子点,每个种子点有8个方向向量信息个方向向量信息 为了增强匹配的稳健性,为了增强匹配的稳健性,Lowe建建议对每个关键点使用议对每个关键点使用44共共16个种子个种子点来描述,这样对于每个关键点就可点来描述,这样对于每个关键点就可以产生以产生128维的向量维的向量,即即SIFT特征向量。特征向量。 45360028五五 寻找最临近点(匹配)寻找最临近点(匹配) 采用关键点特征向量的采用关键点特征向量的欧式距离欧式距离(Distacne)作为两幅影像中关键点的相作为两幅影像中关键点的相

18、似性判定度量。似性判定度量。 );128,.2,1()(/121281方向上梯度大小右影像特征点方向上梯度大小;左影像特征点iiLiLiiiLLiDistancen距离最小的两个点对即为匹配点距离最小的两个点对即为匹配点如果最近的距离与次近的距离比值少于某个阈值如果最近的距离与次近的距离比值少于某个阈值(经验值(经验值0.8),则接受这一对匹配点。降低阈值,),则接受这一对匹配点。降低阈值,可增加匹配点的正确率,但匹配点数同时会减少。可增加匹配点的正确率,但匹配点数同时会减少。 29六六 改进的改进的SIFT算法算法1) 减少尺度空间的层数减少尺度空间的层数2) 基于金字塔和约束条件的逐级基于

19、金字塔和约束条件的逐级SIFT匹配匹配SIFT算子具有多量性算子具有多量性 (一幅纹理丰富的一幅纹理丰富的150 x150像素的影像就能产生像素的影像就能产生1400个特征点个特征点) , 因此因此SIFT特征匹配最终归结为在高维空间搜索最邻近点特征匹配最终归结为在高维空间搜索最邻近点的问题。的问题。 可对可对SIFT算法进行如下改进:算法进行如下改进:3) 核线上特征点的快速查找核线上特征点的快速查找核线核线(a) (a) 离散的特征点离散的特征点( b) ( b) 按格网存放的特征点按格网存放的特征点图图3.32 核线上特征点的快速查找核线上特征点的快速查找核线核线30SIFT特征匹配结果

20、特征匹配结果三维点云三维点云原始立体像对原始立体像对匹配效率:左、右影像提取的特征点数分别为匹配效率:左、右影像提取的特征点数分别为41577,39743,核线匹配,核线匹配成功点数成功点数5089,核线匹配时间,核线匹配时间50s SIFT特征匹配应用特征匹配应用31SIFT特征匹配结果特征匹配结果三维点云三维点云原始立体像对原始立体像对左、右影像提取的特征点数分别为左、右影像提取的特征点数分别为53493,55293,核线匹配成功点数,核线匹配成功点数8295,核线匹配时间,核线匹配时间86s 32图图3.35 旋转旋转180影像特征匹配结果影像特征匹配结果33旋偏角37度影像匹配SITF

21、特征匹配横滚角12度影像匹配34回顾回顾SIFT算子的主要特点:算子的主要特点: 1) SIFT特征是图像的局部特征,其对旋转、尺度缩放、亮度特征是图像的局部特征,其对旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变换、噪声也保持一变化保持不变性,对视角变化、仿射变换、噪声也保持一定程度的稳定性;定程度的稳定性; 2) 独特性好,信息量丰富,适用于在海量特征数据库中进行独特性好,信息量丰富,适用于在海量特征数据库中进行快速、准确的匹配快速、准确的匹配 ;3) 多量性,即使少数的几个物体也可以产生大量多量性,即使少数的几个物体也可以产生大量SIFT特征向量;特征向量; 4) 高速性,经优化

22、的高速性,经优化的SIFT匹配算法甚至可以达到实时的要求;匹配算法甚至可以达到实时的要求; 5) 可扩展性,可以很方便的与其他形式的特征向量进行联合;可扩展性,可以很方便的与其他形式的特征向量进行联合;35影像匹配存在以下两个问题。影像匹配存在以下两个问题。(1)搜索范围的确定和匹配策略搜索范围的确定和匹配策略(2)匹配点粗差的剔除)匹配点粗差的剔除七七 影像匹配策略影像匹配策略36七七 影像匹配策略影像匹配策略常用的约束条件主要有以下四种:常用的约束条件主要有以下四种: 相容性约束相容性约束 相容性约束是指立体像对上的两个匹配基元应是由同一物相容性约束是指立体像对上的两个匹配基元应是由同一物

23、体投影产生的。体投影产生的。 (2)唯一性约束唯一性约束 在任何时刻位于某一物体表面上的一个给定点在空间只有在任何时刻位于某一物体表面上的一个给定点在空间只有唯一的位置唯一的位置 。 (3)连续性约束连续性约束 因为物体表面一般是光滑的,匹配得到的视差值的变化因为物体表面一般是光滑的,匹配得到的视差值的变化在图像中几乎处处平滑,除了在物体边界处的深度不连续的在图像中几乎处处平滑,除了在物体边界处的深度不连续的地方除外。地方除外。(1)(4)核线约束核线约束37v 对立统一的影像匹配策略对立统一的影像匹配策略 (张祖勋张祖勋 院士院士 2007):1) 增大匹配的搜索范围,以确保同名点位于搜索范

24、围内增大匹配的搜索范围,以确保同名点位于搜索范围内2) “物体表面连续光滑物体表面连续光滑”的假设在宏观上不成立,应保证所有目标点的的假设在宏观上不成立,应保证所有目标点的匹配之间的独立性,即每个目标点的搜索范围应均等匹配之间的独立性,即每个目标点的搜索范围应均等 .3) 在大范围搜索情况下,为了提高匹配的速度,并保证匹配的成功率在大范围搜索情况下,为了提高匹配的速度,并保证匹配的成功率和可靠性,应采用基于多级金字塔影像和由粗到细的匹配策略和可靠性,应采用基于多级金字塔影像和由粗到细的匹配策略.4)几何约束条件与局部连续光滑约束条件依然是必要的,约束条件与)几何约束条件与局部连续光滑约束条件依

25、然是必要的,约束条件与独立性原则的对立统一应用是十分关键的独立性原则的对立统一应用是十分关键的.38利用利用Wallis滤波进行影像增强滤波进行影像增强在左影像像上利用规则格网提取特征点在左影像像上利用规则格网提取特征点创建多级金字塔影像创建多级金字塔影像在顶层金字塔影像上进行影像相关在顶层金字塔影像上进行影像相关在底层金字塔影像上先进行整像素相关,在底层金字塔影像上先进行整像素相关,最后利用最小二乘匹配进行最后利用最小二乘匹配进行“精匹配精匹配”相对定向相对定向在下层金字塔影像上进行核线匹配在下层金字塔影像上进行核线匹配是否到达最底层是否到达最底层金字塔金字塔是是否否原始影像转灰度影像原始影

26、像转灰度影像影像立体匹配策略与流程影像立体匹配策略与流程 立体匹配示流程立体匹配示流程特征点特征点金字塔影像金字塔影像最小二乘匹配最小二乘匹配39v对立统一的匹配策略对立统一的匹配策略AABBCC图图3.18因物体遮挡而造成视差断裂的立体像对因物体遮挡而造成视差断裂的立体像对图图3.19“匹配点之间独立性原则匹配点之间独立性原则”对对“视差断裂视差断裂”影像的适应性影像的适应性40v对立统一的匹配策略对立统一的匹配策略AABB左右视差左右视差501像素像素左右视差左右视差 -196像素像素图图3.20前景与后景深度差约前景与后景深度差约600m的立体像对的立体像对图图3.21由粗到细由粗到细”

27、的多级金字塔匹配策略对的多级金字塔匹配策略对“大范围搜索大范围搜索”成功率的保证成功率的保证41v匹配点粗差剔除匹配点粗差剔除(像方像方核线约束核线约束;物方;物方空间点坐标约束空间点坐标约束)PP12P23P34P45S1S2S3S4S5图图3.23 多片前交剔除匹配粗差点结果多片前交剔除匹配粗差点结果(a) 图图3.21匹配结果中利用多片前交剔除的粗差点匹配结果中利用多片前交剔除的粗差点(b) 匹配粗差点局部放大图匹配粗差点局部放大图图图3.22 多片前交剔除匹配粗差点多片前交剔除匹配粗差点42参考文献(参考文献(SIFT匹配)匹配)David G. Lowe 1999 David G. Lowe. Object recognition from local scale-invariant featuresC. In International Conference on Computer Vision, 1999,Corfu, Greece, pp. 1150-11

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论