图像特征提取PPT演示课件

图像特征提取,彭小江，陈曦,1,主要内容,1、图像特征介绍1.1特征简介1.2图像特征提取思路1.3图像特征分类及选择2、面向匹配的特征提取2.1图像一维投影特征2.2图像区域、边缘特征2.3图像角点特征2.3.1Moravec特征点2.3.2Beaudet特征点2.3.3Harris&Stephens特征点2.3.4Forstner特征点2.3.5KLT特征点2.2.6SUSAN特征点2.3.7SIFT特征点2.3.8SURF特征点,2,3、面向模式分类的特征提取3.1图像小波特征3.1.1Haar特征3.1.2Gabor特征3.1.3Log-Gabor特征3.2图像子空间特征3.2.1主成分分析3.2.2线性鉴别分析3.2.3局部保持投影3.2.4（2D)2PCALDA算法3.3图像局部描述特征3.3.1梯度方向直方图特征（HOG）3.3.2局部二值模式特征（LBP）3.3.3其他,主要内容,3,1图像特征介绍,4,1.1特征提取简介,5,1.1特征提取简介,图像特征能够最大化表达图像，在同一场景下具有“可重复性”的信息。,6,1.2图像特征提取思路,7,1.3图像特征分类及选择,图像特征分类按特征性质分为：颜色特征、纹理特征、形状特征、空间关系特征、边缘、角点、区域、脊等按用途分为：面向图像增强的特征、面向图像匹配的特征、面向模式分类的特征。图像特征选择与后续处理紧密联系具有可重性、鉴别性提取算法复杂度尽量小,8,2面向匹配的特征提取,9,2.1图像一维投影特征,10,2.2图像区域、边缘特征,11,2.3图像点特征,1Moravec特征点（1977）0：将要判断的点置于一个3*3或5*5的图像块的中心，如下图用红色的线环绕的图像块。1：将红色的框朝8个方向移动一格，得到蓝色的框（下图为向右上角移动）。2：将红色的框和蓝色的框的相同坐标值的点的像素值相减，并求平方和，可以得到8个值。3：将8个值中的最小的值作为角点像素的变化值，提取局部最大的变化值点作为特征点。,12,2Beaudet特征点（1978）Hessian矩阵满足：并且为局部最大值，判为特征点,2.3图像点特征,H矩阵特征值与角点所处曲面的曲率成正比,13,3Harris&Stephens特征（1988）,2.3图像点特征,Harris矩阵：响应函数：,当R为局部最大值并且大于阈值时，判为特征点。M的特征值与角点的曲率有关,14,4Forstner特征点（1994）,2.3图像点特征,对Harris矩阵进行SVD分解：1)Weightofapoint:2)Likelihoodofapoint:,当W,q都为局部最大值并且大于阈值时，判为特征点。,15,5KLT特征点（1994）,2.3图像点特征,1-首先计算所有像素点的Harris矩阵或不经高斯处理的梯度矩阵M.2-计算M矩阵的最小特征值,当最小特征值为局部最大值并且大于阈值时，判为特征点。,16,SUSAN特征点（1995）-Smith&Brady,2.3图像点特征,SUSAN:SmallestUnivalueSegmentAssimilatingNucleus（可译为：最小吸收同值核区）,1、用一个类圆形模板在图像中移动2、模板内部每个点的灰度与中心点（r0）比较3、USAN点的个数：4、USAN特征图像：5、R中局部最大值点判为特征点,17,SUSAN特征点,g=3max/4,(minnum,maxnum)=(30,60),HarrisMat,maxnum=60,GradientMat,maxnum=60,18,2.3图像点特征-SIFT简介,1999年BritishColumbia大学大卫.劳伊（DavidG.Lowe）教授总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子SIFT（尺度不变特征变换），这种算法在2004年被加以完善。,SIFT提出的目的和意义,DavidG.LoweComputerScienceDepartment2366MainMallUniversityofBritishColumbiaVancouver,B.C.,V6T1Z4,CanadaE-mail:lowecs.ubc.ca,19,将一幅图像映射（变换）为一个局部特征向量集；特征向量具有平移、缩放、旋转不变性，同时对光照变化、仿射及投影变换也有一定不变性。,2.3图像点特征-SIFT简介,20,目标的自身状态、场景所处的环境和成像器材的成像特性等因素影响图像配准/目标识别跟踪的性能。而SIFT算法在一定程度上可解决：,目标的旋转、缩放、平移（RST）图像仿射/投影变换（视点viewpoint）光照影响（illumination）目标遮挡（occlusion）杂物场景（clutter）噪声,SIFT算法可以解决的问题,2.3图像点特征-SIFT简介,21,Scale-spaceextremadetectionKeypointlocalizationOrientationassignmentKeypointdescriptor,2.3图像点特征-SIFT简介,SIFT实现步骤（原文）,22,1.Scale-spaceextremadetection,2.3图像点特征-SIFT简介,根据文献Scale-spacetheory:Abasictoolforanalysingstructuresatdifferentscales我们可知，高斯核是唯一可以产生多尺度空间的核，一个图像的尺度空间，L（x,y,),定义为原始图像I(x,y)与一个可变尺度的2维高斯函数G(x,y,)卷积运算。,高斯函数,尺度是自然存在的，不是人为创造的！高斯卷积只是表现尺度空间的一种形式,23,高斯金子塔的构建过程可分为两步：（1）对图像做高斯平滑；（2）对图像做降采样。为了让尺度体现其连续性，在简单下采样的基础上加上了高斯滤波。一幅图像可以产生几组（octave）图像，一组图像包括几层（interval）图像。,高斯金字塔,24,高斯图像金字塔共o组、s层，则有：,尺度空间坐标；ssub-level层坐标；0初始尺度；S每组层数（一般为35）。,25,DoG高斯差分金字塔,对应DOG算子，我们要构建DOG金字塔,我们可以通过高斯差分图像看出图像上的像素值变化情况。（如果没有变化，也就没有特征。特征必须是变化尽可能多的点。）DOG图像描绘的是目标的轮廓。,26,27,中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的92个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。,DoG的局部极值点,关键点是由DOG空间的局部极值点组成的。为了寻找DoG函数的极值点，每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。,28,在极值比较的过程中，每一组图像的首末两层是无法进行极值比较的，为了满足尺度变化的连续性，我们在每一组图像的顶层继续用高斯模糊生成了3幅图像，高斯金字塔有每组S+3层图像。DOG金字塔每组有S+2层图像右图为不同尺度不同层间极值检测示意图。,P.S.:我们只牺牲了-1组的第0层和第N组的最高层,29,关键点精确定位-去除低对比度点,为了提高关键点的稳定性，需要对尺度空间DoG函数进行曲线拟合。利用DoG函数在尺度空间的Taylor展开式：,其极值点,由于DoG值对噪声和边缘较敏感,因此,在上面DoG尺度空间中检测到局部极值点还要经过进一步的检验才能精确定位为特征点。,2.Keypointlocalization,30,上式去除那些对比度较低的不稳定极值点。Lowe的试验显示，所有取值小于0.04的极值点均可抛弃（像素灰度值范围0，1）。,在计算过程中，分别对图像的行、列及尺度三个量进行了修正，其修正结果如下：,为修正值,将修正后的结果代入式,求解得,2.Keypointlocalization,31,关键点精确定位-去除边缘响应,仅仅去除低对比度的极值点对于极值点的对于特征点稳定性是远远不够的。DoG函数在图像边缘有较强的边缘响应，因此我们还需要排除边缘响应。DoG函数的（欠佳的）峰值点在横跨边缘的方向有较大的主曲率，而在垂直边缘的方向有较小的主曲率。主曲率可以通过计算在该点位置尺度的22的Hessian矩阵得到，导数由采样点相邻差来估计：,表示DOG金字塔中某一尺度的图像x方向求导两次,2.Keypointlocalization,32,在两特征值相等时达最小，随r的增长而增长。Lowe论文中建议r取10。,D的主曲率和H的特征值成正比，为了避免直接的计算这些特征值，而只是考虑它们的之间的比率。令为最大特征值，为最小的特征值，则,时将关键点保留，反之剔除,2.Keypointlocalization,33,3.Orientationassignment,通过尺度不变性求极值点，可以使其具有缩放不变的性质，利用关键点邻域像素的梯度方向分布特性，我们可以为每个关键点指定方向参数方向，从而使描述子对图像旋转具有不变性。,像素点的梯度表示,梯度幅值：,梯度方向：,我们通过求每个极值点的梯度来为极值点赋予方向。,34,方向直方图的生成,确定关键点的方向采用梯度直方图统计法，统计以关键点为原点，一定区域内的图像像素点对关键点方向生成所作的贡献。,35,1.直方图以每10度方向为一个柱，共36个柱，柱所代表的方向为像素点梯度方向，柱的长短代表了梯度幅值。2.根据Lowe的建议，直方图统计半径采用3*1.5*。3.在直方图统计时，每相邻三个像素点采用高斯加权，根据Lowe的建议，模板采用0.25,0.5,0.25，并连续加权两次。,关于方向直方图的几点说明,36,确定计算关键点直方图的高斯函数权重函数参数；生成含有36柱的方向直方图，梯度直方图范围0360度，其中每10度一个柱。由半径为图像区域生成；对方向直方图进行两次平滑；求取关键点方向（可能是多个方向）；对方向直方图的Taylor展开式进行二次曲线拟合，精确关键点方向；,方向分配实现步骤,图像的关键点已检测完毕，每个关键点有三个信息：位置、尺度、方向；同时也就使关键点具备平移、缩放、和旋转不变性。,37,38,4.Keypointdescriptor,描述的目的,描述的思路,通过对关键点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象，具有唯一性。,描述的目的是在关键点计算后，用一组向量将这个关键点描述出来，这个描述子不但包括关键点，也包括关键点周围对其有贡献的像素点。用来作为目标匹配的依据，也可使关键点具有更多的不变特性，如光照变化、3D视点变化等。,39,下图是一个SIFT描述子事例。其中描述子由228维向量表征，也即是22个8方向的方向直方图组成。左图的种子点由88单元组成。每一个小格都代表了特征点邻域所在的尺度空间的一个像素，箭头方向代表了像素梯度方向，箭头长度代表该像素的幅值。然后在44的窗口内计算8个方向的梯度方向直方图。绘制每个梯度方向的累加可形成一个种子点，如右图所示：一个特征点由4个种子点的信息所组成。,40,41,SIFT算法目前在军事、工业和民用方面都得到了不同程度的应用，其应用已经渗透了很多领域，典型的应用如下：,物体识别机器人定位与导航图像拼接三维建模手势识别视频跟踪笔记鉴定指纹与人脸识别犯罪现场特征提取,42,周正龙的老虎,周正龙的华南虎照片与年画上的华南虎照片12点匹配,周正龙的华南虎照片与真实的华南虎照片0点匹配,43,SIFT在图像的不变特征提取方面拥有无与伦比的优势，但其并不是完美的，仍然存在着实时性不高、有时特征点较少、对边缘模糊的目标无法准确提取特征点等缺陷。自从1999年，SIFT算法问世以来，人们从未停止对它的优化和改进。,44,SURF特征点,2.3图像点特征,45,3面向模式分类的特征,46,3.1图像小波特征,Harr小波变换特征,47,3.1图像小波特征,Gabor小波变换特征,48,3.1图像小波特征,Log-Gabor小波变换特征,49,3.2图像子空间特征,50,主成分分析PCA方法,51,主成分分析PCA概况,问题描述为给定输入：n维图像空间中的m个点（图像）寻求一个维的变换矩阵使得，各维之间数据的相关性最小亦即一个去相关的过程,W,52,如何去相关？,相关性的度量：协方差两个随机变量各自离差的乘积的数学期望称为这两个随机变量的协方差（也叫相关矩），记作：协方差矩阵随机向量X=(x1,x2,.,xn)的各个元素之间协方差组成协方差矩阵C，即：Cij=cov(xi,xj),53,PCA：协方差矩阵的特征值分解,协方差矩阵的性质实对称矩阵半正定矩阵所有的特征值大于或等于0特征值分解存在一个变换W，满足对角线元素为特征值，W列向量为特征向量即：去相关Y=WTX，则Y的协方差矩阵为“对角阵”，对角线元素非0(特征值，方差)，非对角线元素为0，即：Y的不同元素之间的协方差为0,对角阵,54,PCA：协方差矩阵计算,输入训练样本集合的协方差矩阵定义为：其中是样本均值。记：则上述公式变为：,55,PCA：计算方法,计算过程为：,计算样本均值m,中心平移每个训练样本xi,变换重构,56,PCA：用于降维,PCA:Reducespacedimensionalitywithminimumlossofdescriptioninformation.,原始高维数据,57,PCA降维:Theory,在变换后的特征空间中，每个特征向量wi对应的特征值i的大小代表该特征向量所描述的方向上的方差的大小所以从W中去掉那些对应较小特征值的特征向量，意味着在信息丢失最小的意义上降维!,58,PCA降维:Practice,按照其所相应的特征值的大小对特征向量排序选择头d个对应最大特征值的特征向量构成变换矩阵Wnxd,59,数据约减：理想情况图示,原始数据空间中，其中一维数据的方差为0，没有信息，可以完全去掉，而没有任何损失！,60,数据约减：非理想情况图示,原始数据空间中，其中一维数据的方差比较小，包含少量信息，去掉后有少量损失！,61,PCA降维:数据损失分析,投影后数据部分丢失，但是可以证明：在只使用前d个特征向量的情况下，xi与其逆PCA重构xi之间的均方误差为：最小均方误差意义下的最佳变换,62,Eigenface人脸识别方法,x为输入图像y作为提取的特征S(x1,x2)=S(y1,y2)可以采用欧式距离也可以采用Cosine,63,可视化的“特征脸”Leading8D:validsignalLast8D:Noise,64,线性鉴别分析：LDA,65,Fisherface：子空间线性判别分析,EigenfaceandFisherfaceEigenface:PCAorKLTTurk&Pentland,(MIT)1991最佳的描述特征MostExpressiveFeatures(MEFs)FisherfaceBelhumeur,Hespanha&Kriegman,1997,TPAMIFisherLinearDiscriminantAnalysis最佳的判别特征MostDiscriminatingFeatures(MDFs),66,Fisher判别分析Fisherface,PCAsproblem!,67,基本思想,FLD选择一种最优的投影变换，满足:,类间散度矩阵,类内散度矩阵,68,LDA的计算,优化分析表明，满足上述最大化的W是下述方程的解：进一步假设是非奇异的。则可以通过求解下面的广义特征值问题来得到W如果Sw是奇异的，怎么办？,69,局部保持投影分析：LPP,70,局部保持投影：LPP,动机PCA和LDA保持数据的全局结构,而保持局部结构在一些实际应用中也非常重要.LPP的目标是保持数据内在的局部结构.优化目标(如果样本点在原始空间距离很小,那么在投影后它们的距离也很小):Sij反映原始空间点的距离度量,构成邻接矩阵,可通过-近邻或者k近邻定义,若xi和xj越接近,则Sij值越大.,71,通过推导(展开),可得:L:拉普拉斯矩阵.D:反映了数据点的重要性,值越大表示该点越重要(值越大,该点离其他样本点的距离之和越小,该点则越有可能成为其他样本点组成cluster的中心).增加约束:对W的值做限制,因为目标是求最小值,保证W的解唯一.保持数据点的重要性:在原始空间中,若数据点为cluster中心,则在投影空间中也尽可能保持是投影后cluster中心(如果