特征提取算子

关于特征提取算子目录基本概念及所需知识Harris算子程序设计及实验结果图像变化特征点的作用角点基本思想数学表达改进的Harris算子第2页,共26页，2024年2月25日，星期天基本概念及所需知识

——图像变化的类型几何变化旋转相似(旋转+各向相同的尺度缩放)

仿射(非各向相同的尺度缩放)

适用于:物体局部为平面灰度变化仿射灰度变化(I

a

I+b)第3页,共26页，2024年2月25日，星期天基本概念及所需知识

——提取特征点的作用图像的点特征是许多计算机视觉算法的基础：使用特征点来代表图像的内容运动目标跟踪物体识别图像配准全景图像拼接三维重建第4页,共26页，2024年2月25日，星期天基本概念及所需知识

——特征点（角点）特征点在许多文献中又被称为兴趣点(interestpoint)、角点(cornerpoint),对特征点目前还没有统一的定义,一般认为特征点产生于两条或多条相对直线交叉的区域。不同的检测方法对特征点有不同的定义。角点（cornerpoints）：局部窗口沿各方向移动，均产生明显变化的点图像局部曲率突变的点典型的角点检测算法：Harris角点检测CSS角点检测第5页,共26页，2024年2月25日，星期天一种好的局部特征应该具有以下性质:(1)可重复性:同一个物体或场景在不同的条件下(如视角、尺度发生变化),两幅图像中对应的特征越多越好。(2)独特性:特征的幅值模式需要呈现多样性,这样的特征才能被区分和匹配。(3)局部性:特征应该是局部的,从而减少被遮挡的可能性,并且允许用简单的模型来近似两幅图像间的几何和成像变形。(4)数量性:一般来说,检测到的特征数目一定要多,但是在图像检索中,特征太多,又会对检索的实时性造成一定影响。理想情况是检测到的特征数量在一个比较大的范围内,然后可以通过一个简单的预知就可以调整。而这个阈值的调整可以通过在检索系统中的实验得以确定。基本概念及所需知识

——特征点（角点）第6页,共26页，2024年2月25日，星期天(5)准确性:得到的特征应该能够被精确定位,包括图像空间和尺度空间上的精确定位。(6)高效性:检测和描述的时间越短越好,以便用于后续的实时应用。这6条性质中,最重要的是可重复性。Moravec[44]于1977年提出Moravec角点算法,是最早提出的角点检测算法之一。该方法中,角点被定义为在各个方向(垂直、水平、对角线)都存在剧烈灰度变化的点基本概念及所需知识

——特征点（角点）第7页,共26页，2024年2月25日，星期天不同类型的角点第8页,共26页，2024年2月25日，星期天Harris角点检测基本思想从图像局部的小窗口观察图像特征角点定义

窗口向任意方向的移动都导致图像灰度的明显变化第9页,共26页，2024年2月25日，星期天Harris角点检测基本思想平坦区域：

任意方向移动，无灰度变化边缘：沿着边缘方向移动，无灰度变化角点：沿任意方向移动，明显灰度变化第10页,共26页，2024年2月25日，星期天Harris检测：数学表达图像灰度平移后的图像灰度窗口函数将图像窗口平移[u,v]产生灰度变化E(u,v)或窗口函数w(x,y)=Gaussian1inwindow,0outside第11页,共26页，2024年2月25日，星期天Harris检测：数学表达写成矩阵形式：式中，Ix为x方向的差分，Iy为y方向的差分，w(x,y)为高斯函数第12页,共26页，2024年2月25日，星期天Harris检测：数学表达窗口移动导致的图像变化：实对称矩阵M的特征值分析

max,

min

M的特征值缓慢变化的方向快速变化的方向(

max)-1/2(

min)-1/2E(u,v)的椭圆形式第13页,共26页，2024年2月25日，星期天Harris检测：数学表达

1

2“Corner”

1

和

2

都较大且数值相当

1~

2;

图像窗口在所有方向上移动都产生明显灰度变化如果

1

和

2

都很小，图像窗口在所有方向上移动都无明显灰度变化“Edge”

1>>

2“Edge”

2>>

1“Flat”region通过M的两个特征值的大小对图像点进行分类:第14页,共26页，2024年2月25日，星期天Harris检测：数学表达定义：角点响应函数R(k–empiricalconstant,k=0.04-0.06)第15页,共26页，2024年2月25日，星期天Harris检测：数学表达

1

2“Corner”“Edge”“Edge”“Flat”

R

只与M的特征值有关角点：R

为大数值正数

边缘：R为大数值负数

平坦区：R为小数值R>0R<0R<0|R|small第16页,共26页，2024年2月25日，星期天Harris检测：算法优化用

Harris

算法进行检测，有三点不足：（1

）该算法不具有尺度不变性；（2

）该算法提取的角点是像素级的；（3

）该算法检测时间不是很令人满意。基于以上认识，主要针对第（3

）点对Harris

角点检测算法提出了改进。

第17页,共26页，2024年2月25日，星期天Harris检测：算法优化Harris

角点检测是基于图像像素灰度值变化梯度的，

灰度值图像的角点附近，是其像素灰度值变化非常大的区域，其梯度也非常大。换句话说，在非角点位置邻域里，各点的像素值变化不大，甚至几乎相等，其梯度相对也比较小。从这个角度着眼，提出了图像区域像素的相似度的概念，它是指检测窗口中心点灰度值与其周围n

邻域内其他像素点灰度值的相似程度，这种相似程度是用其灰度值之差来描述的。如果邻域内点的灰度值与中心点Image

(i,j)

的灰度值之差的绝对值在一个阈值t范围内，那就认为这个点与中心点是相似的。与此同时，属于该Image

(i,j)

点的相似点计数器nlike(i,j)

也随之加一。在

Image

(i,j)

点的n

邻域

全部被遍历一边之后，就能得到

在这个邻域范围内与中心点相似的点个数的统计值nlike(i,j)

。根据nlike(i,j)

的大小，就可以判断这个中心点是否可能为角点。第18页,共26页，2024年2月25日，星期天Harris检测：算法优化由于我选择3*3

的检测窗口，所以，

对于中心像素点

,

在下面的讨论中只考虑其8

邻域内像素点的相似度。

计算该范围的像素点与中心像素点的灰度值之差的绝对值

(

记为

Δ

)

,

如果该值小于等于设定的阈值

(

记为

t)

,

则认为该像素点与目标像素点相似

。

nlike(i,j)=sum(R(i+x,j+y))从定义中可以看出

:0

≤

nlike(i,j)

≤

8

。

现在讨论

nlike(i,j)

值的含义

。(1)

nlike(i,j)=8,

表示当前中心像素点的

8

邻域范围内都是与之相似的像素点

,

所以该像素点邻域范围内的梯度不会很大

,

因此角点检测时

,

应该排除此类像素点，不将其作为角点的候选点。(2)

nlike(i,j)=0,

表示当前中心像素点的

8

邻域范围内没有与之相似的像素点

,

所以该像素点为孤立像素点或者是噪声点

,

因此角点检测时

,

也应该排除此类像素点

。第19页,共26页，2024年2月25日，星期天Harris检测：算法优化(3)

nlike(i,j)=7,

可以归结为以下的两者情况

,

其他情形都可以通过旋转来得到

(

图中黑色区域仅表示与中心像素相似

,

而两个黑色区域像素可能是相似的

,

也可能不相似

)

。

对于图

1

(a)中

,

可能的角点应该是中心像素点的正上方的那个像素点

,

1(b)

图中可能的角点应该是中心像素点右上方的那个像素点

,

故这种情况下

,

中心像素点不应该作为角点的候选点

。图1（a）图1（b）第20页,共26页，2024年2月25日，星期天Harris检测：算法优化(4)

nlike(i,j)=1,

可以归结为图

2

中的两种情况

(

图中白色区域仅表示与中心像素不相似,

而两个白色区域像素可能是相似的

,

也可能不相似

),

在这两种情况下

,

中心像素点也不可能为角点

。图2（a）图2（b）(5)

2

≤

nlike(i,j)

≤

6,

情况比较复杂

,

无法确认像素点准确的性质。我采取的方法是先将其列入候选角点之列，对其进行计算CRF

等后续操作。第21页,共26页，2024年2月25日，星期天Harris角点的性质旋转不变性：椭圆转过一定角度但是其形状保持不变（特征值保持不变）角点响应函数

R

对于图像的旋转具有不变性第22页,共26页，2024年2月25日，星期天Harris角点的性质对于图像灰度的仿射变化具有部分的不变性

只使用了图像导数=>对于灰度平移变化不变

I

I+b

对于图像灰度的尺度变化:I

a

IRx

(imagecoordinate)阈值Rx

(imagecoordinate)第23页,共26页，2024年2月25日，星期天Harris角点的性质随几何尺度变化，Harris角点检测的性能下降Repeatabilityrate:#correspondences

#possi