图像中角点(特征点)提取与匹配算法

角点提取与匹配算法实验报告角点提取与匹配算法实验报告 1 说明说明 本文实验的目标是对于两幅相似的图像 通过角点检测算法 进而找出这两幅图像的 共同点 从而可以把这两幅图像合并成一幅图像 下面描述该实验的基本步骤 1 本文所采用的角点检测算法是Harris角点检测算法 该算法的基本原理是取以目标像 素点为中心的一个小窗口 计算窗口沿任何方向移动后的灰度变化 并用解析形式表达 设以像素点 x y 为中心的小窗口在X方向上移动u y方向上移动v Harris给出了灰度变化 度量的解析表达式 1 222 x yx yxu y vx yx y II EwIIwuvouv XY 其中 为窗口内的灰度变化度量 为窗口函数 一般定义为 x y E x y w 222 xy x y we I为图像灰度函数 略去无穷小项有 222222 2 2 x yx yxyxy EwuIvIuvI IAuCuvBv 2 将化为二次型有 x y E 3 x y u Eu v M v M为实对称矩阵 4 2 2 xy x x y xy y II I Mw III 通过对角化处理得到 5 11 2 0 0 x y ERR 其中 R 为旋转因子 对角化处理后并不改变以 u v 为坐标参数的空间曲面的形状 其特征值反应了两个主轴方向的图像表面曲率 当两个特征值均较小时 表明目标点附近 区域为 平坦区域 特征值一大一小时 表明特征点位于 边缘 上 只有当两个特征值 均比较大时 沿任何方向的移动均将导致灰度的剧烈变化 Harris 的角点响应函数 CRF 表 达式由此而得到 6 2 det CRF x yMk trace M 其中 det M 表示矩阵 M 的行列式 trace M 表示矩阵的迹 当目标像素点的 CRF 值 大于给定的阈值时 该像素点即为角点 下面是图像一用 Harris 角点检测算法得到的角点坐标位置 x21230130935358201178582021863291612025857201306 y26568779494142143144150150170177178228228228 在图像一上画出该角点的坐标位置如下图所示 其中蓝色小方块代表的是检测出来的角点坐标位置 2 匹配 将两幅图像进行 Harris 角点检测后 分别得到角点对应与该图像的坐标位置 以该坐标位置为中心 分别取其附近的 8 个像素值 然后进行与另一幅图像进行匹配 找 出距离最小的点作为匹配点 例如下面是图像一角点坐标位置 x21230130935358201178582021863291612025857201306 y26568779494142143144150150170177178228228228 与该位置对应的 8 个像素值分别为 角点 1角点 2角点 3 角点 17 x 1 y 1 30735 142 x 1 y 485917 9 x 1 y 1 37108128 63 x y 1 3111415 101 x 1 y 1 14318332 95 x 1 y 10117725 20 x 1 y 1 29224 49 x y 1 32230 198 接着 将图像一中的角点 1 与图像二中的所有角点进行相减 得到一个最小误差值 并记录下该位置 这样依次将图像一中的角点 2 角点 3 一直到角点 17 都进行相减 即可 得到两幅图像之间的最佳匹配点 下面是两幅图像角点匹配的最佳坐标位置 匹配点010131415161700040512000 误差值03361056453341040003890204400000 其中匹配点的值为 0 代表没有找到匹配点 3 显示匹配点 对已经找出的匹配点 在图像上进行显示 这样有利于人眼判断该算 法是否匹配正确 下面是第一次显示找到的匹配点 两幅图像中共有 9 个匹配点 下面是第二次显示找到的匹配点 比上一次少一个 判断依据是将误差值最大的点去 除 从上面可以看出 14 号点已经被删除 原因是该点的误差值最大 下面是最后一次显示找到的匹配点 只留下最后三个匹配点 如果少于三个匹配点 则很难进行两幅图像的合并 所以当 只有留下三个匹配点的时候 程序退出 2 实验结果实验结果 实验一实验一 原始图像 第一次匹配的结果 最后一次匹配的结果 实验二实验二 原始图像 第一次匹配的结果 最后一次匹配的结果 实验三实验三 原始图像 第一次匹配的结果 最后一次匹配的结果 实验四实验四 原始图像 第一次匹配的结果 最后一次匹配的结果 可以看出 利用该算法进行两幅图像匹配结果还算正确 算法代码 用 matlab 语言写的 function test The test function gives an example of keypoint extraction using the methods Harris Example test Harris import the first picture img11 imread door1 jpg img11 imread gx21 jpg img11 imread woman1 jpg img1 double img11 1 img11 imread 91 jpg img1 rgb2gray img11 img1 double img1 pt1 kp harris img1 draw img11 pt1 Harris import the second picture img21 imread door2 jpg img21 imread gx22 jpg img21 imread woman2 jpg img2 double img21 1 img21 imread 92 jpg img2 rgb2gray img21 img2 double img2 pt2 kp harris img2 draw img21 pt2 Harris match key points within two pictures result match img1 pt1 img2 pt2 result 1 intersect find result 1 0 find result 2 0 0 result pause while length find result 1 0 3 result draw2 img11 img21 pt1 pt2 result find result 1 0 pause index index max result 2 result 1 index 1 0 result 2 index 1 0 result 1 I 1 result 2 I 1 0 end draw2 img11 img21 pt1 pt2 result end function draw2 img1 img2 pt1 pt2 result h figure set gcf outerposition get 0 screensize subplot 1 2 1 hold on imshow img1 subplot 1 2 2 hold on imshow img2 s size pt1 2 subplot 1 2 1 for i 1 size pt1 1 rectangle Position pt1 i 2 s pt1 i 1 s 2 s 2 s Curvature 0 0 EdgeColor b LineWidth 2 text pt1 i 2 3 pt1 i 1 3 num2str i BackgroundColor 1 1 1 text pt2 i 2 pt2 i 1 num2str i plot pt2 i 2 pt2 i 1 end subplot 1 2 2 for i 1 size pt2 1 rectangle Position pt2 i 2 s pt2 i 1 s 2 s 2 s Curvature 0 0 EdgeColor b LineWidth 2 end result size pt1 size pt2 for i 1 size result 2 if result 1 i 0 subplot 1 2 1 text pt1 result 1 i 2 3 pt1 result 1 i 1 3 num2str i BackgroundColor 1 1 1 result 1 i pt1 result 1 i 2 pt1 result 1 i 1 subplot 1 2 2 text pt2 i 2 3 pt2 i 1 3 num2str i BackgroundColor 1 1 1 end end end function result match img1 pt1 img2 pt2 得到标定点周围的像素值 regionValue1 getRegionValue img1 pt1 len1 size regionValue1 2 regionValue2 getRegionValue img2 pt2 len2 size regionValue2 2 找出最佳匹配点 result zeros 2 len2 for i 1 len1 B regionValue1 i abs regionValue2 B ones 1 size regionValue2 2 sum abs regionValue2 B ones 1 size regionValue2 2 value index sort sum abs regionValue2 B ones 1 size regionValue2 2 value 1 index 1 save index and value if result 1 index 1 0 result 2 index 1 value 1 result 1 index 1 i result 2 index 1 value 1 end end end function regionValue getRegionValue img pt len size pt 1 regionValue zeros 8 len maxX size img 1 maxY size img 2 for i 1 len x pt i 1 y pt i 2 1 if x 1 1 y 1 1 regionValue 1 i 100 else regionValue 1 i img x y img x 1 y 1 end 2 if x 1 1 regionValue 2 i 200 else regionValue 2 i img x y img x 1 y end 3 if x 1maxY regionValue 3 i 300 else regionValue 3 i img x y img x 1 y 1 end 4 if y 1 maxY regionValue 4 i 400 else regionValue 4 i img x y img x y 1 end 5 if x 1 maxX y 1 maxY regionValue 5 i 500 else regionValue 5 i img x y img x 1 y 1 end 6 if x 1 maxX regionValue 6 i 600 else regionValue 6 i img x y img x 1 y end 7 if x 1 maxX y 1 1 regionValue 7 i 700 else regionValue 7 i img x y img x 1 y 1 end 8 if y 1 t build interest points points r c end function row col max local findLocalMaximum val radius Determine the local maximum of a given value INPUT val the NxM matrix containing values radius the radius of the neighborhood OUTPUT row the row position of the local maxima col the column position of the local maxima max local the NxM matrix containing values of val on unique local maximum EXAMPLE l c