SURF算法在图像检索中的应用

1、图像检索 与 SURF:Speeded-Up Robust Features快速稳健特征点Herbert Bay, Andreas Ess, Tinne Tuytelaars, and Luc Van GoolComputer Vision and Image Understanding, 200812:31:03SURF适用的领域1、图像检索2、图像配准3、目标识别12:31:03图像检索简介1、基于文本的图像检索，TBIR(Text-Based Image Retrieval)2、基于内容的图像检索，CBIR(Content-Based Image Retrieval)12:31:03TB

2、IR(Text-Based Image Retrieval)沿用传统文本检索技术将图像名称、大小、压缩类型、作者、年代，以及其他标签信息保存在数据库中，查询检索12:31:03CBIR(Content-Based Image Retrieval)支持传统的文本查找也支持特征值查找、草图查找、示例查找等12:31:03Google气味搜索12:31:03Tencent SOSO气味搜索12:31:03CBIR的两个关键问题1、特征提取2、特征匹配12:31:03特征提取1、低层，视觉特征颜色、纹理、形状等2、高层，语义内容图像中包含的物体物体之间的语义关系12:31:03特征提取12:31:03

3、语义鸿沟人和计算机之间，对于图像相似性的判别依据的不同弥补的方法：相关反馈（Relevance Feedback）图像分割（Image Segmentation）建立更复杂的分类模型12:31:03低层视觉特征的提取1、颜色2、纹理3、形状12:31:03低层视觉特征的提取：颜色1、颜色直方图(Color Histogram)2、颜色相关图(Color Correlogram)3、颜色矩(Color Moment)4、颜色一致性矢量(Color Coherence Vectors, CCV)12:31:03低层视觉特征的提取：纹理1、统计法2、结构法3、模型法4、变换域检测12:31:03低层

4、视觉特征的提取：形状1、基于边缘检测2、基于区域分割12:31:03SURF：介绍SURF (Speeded-Up Robust Feature)是一种高稳定性的局部特征点检测和描述算法，可用来检测两幅图像之间的具有相同特征的点。12:31:03SURF：可用领域图像检索目标识别图像配准3D重建12:31:03SURF：作者目标快速兴趣点检测高鉴别度的兴趣点描述快速描述子匹配对常用图像变换的不变性图像旋转尺度变化亮度变化视角轻微变化12:31:03SURF：兴趣点检测 积分图积分图中任意一点I(I,j)的值，等于原图像左上角区域像素的和：, I ()( ,)ii jjp iji jBCADSA

5、BCD = D B C + A12:31:03SURF：兴趣点检测 尺度变换图像为I0(X)，X = (x, y)；图像I( X, t )为初始图像I0(X)经过尺度参数为t ( t 0 )的尺度变换所得到的图像；则算子Tt : I0(X) I( X, t )定义为尺度空间算子，算子族Ttt0就定义为尺度空间。12:31:03SURF：兴趣点检测 高斯函数经过高斯变换得到的尺度空间称为高斯尺度空间；高斯尺度空间的概念是由Witkin最早提出的，并经Koenderink等人的研究工作得到进一步的发展；Koenderink证明了高斯核函数是线性核函数，而Lindeberg又证明了高斯核函数是唯一的

6、线性核函数。12:31:03SURF：兴趣点检测 高斯函数模式分类，SVM，数据在低维线性不可分时，使用高斯核函数，映射到高维后可分。12:31:03SURF：兴趣点检测 高斯函数-5-4-3-2-1012345-5-4-3-2-101234500.020.040.060.080.10.12二 维 高 斯 曲 面 ， =1.212:31:03SURF：兴趣点检测 Hessian矩阵对图像中的点X = (x, y)，尺度为的Hessian矩阵H(X, )定义为：其中Lxx(X, )是尺度为的二维高斯函数的二阶倒数与图像I在X点处的卷积：12:31:07SURF：兴趣点检测 Hessian矩阵高斯

7、二阶倒数的离散化和近似：LyyDyyLxyDxy12:31:07用矩形滤波近似高斯函数，其近似Hessian行列式为：w is needed for the energy conservation between the Gaussian kernels and the approximated Gaussian kernels计算过程可用积分图进行加速SURF：兴趣点检测 Hessian矩阵12:31:07Lowe的SIFT中通过不断缩小图像得到金字塔SUFT中只是增大高斯矩形滤波器，计算量小SURF：兴趣点检测 尺度空间12:31:07SURF将尺度空间划分成若干组(Octaves),一个

8、组代表了固定数目的、逐步放大的滤波模板对同一个输入图像的一系列响应。SURF：兴趣点检测 尺度空间3x23x2x212:31:073 x 3 x 3非最大化抑制SURF：兴趣点检测 尺度空间12:31:07通过计算尺度空间的Haar小波响应在x，y方向的偏导数，来生成64D的描述子。1、以兴趣点为中心，以6s（s为兴趣点所在尺度）为半径的圆形区域内，确定主方向，以实现旋转不变性；2、构建一个沿主方向的正方形，并从中提取SURF描述子。SURF：兴趣点描述12:31:07以兴趣点为中心，6s为半径的圆形区域内，计算Haar小波响应，小波边长为4s；用中心位于兴趣点的=2s的高斯滤波器加权SURF

9、：兴趣点描述 主方向12:31:07以兴趣点为中心，用中心角为/3的滑动窗口,计算窗口内的x、y方向加权小波响应的和，输出一个向量，向量长度最长的方向，即为主方向SURF：兴趣点描述 主方向12:31:07旋转到主方向主方向以兴趣点为中心，沿主方位构建一个边长为20s的正方形，再等分为4*4的子区域在每个子区域等间距选取5*5个采样点SURF：兴趣点描述 描述子12:31:07旋转到主方向主方向计算这些点的相对于主方向的Haar小波响应（边长为2s），得到dx，dy用=3.3s的高斯滤波器加权SURF：兴趣点描述 描述子12:31:07旋转到主方向主方向每个4x4子区域的4D描述向量如下，一共64Dv = (dx, dy, |dx|, |dy|)SURF：兴趣点描述 描述子12:31:07SURF：示例12:31:07SIFT的计算基于梯度方向SURF基于主方向，抗噪声性更好SURF：示例12:31:07兴趣点检测时，计算了Hessian矩阵，可用拉普拉斯算子，即Hessian矩阵的迹，排除一大部分不匹配的点。SURF：快速匹配12:31:07马氏距离（