总结SIFT(更新版).docx

平台：OpenCV依赖：GSLOpenCV1 影像处理图像滤波几何图像变换及其他图像变换直方图结构分析和形状描述运动分析与对象跟踪特征检测目标检测2 高级别的图形用户界面和媒体文件读写用户界面图像和视频的读写Qt上的使用 3 视频分析运动分析与对象跟踪4 摄像机标定及三维重建摄像机标定及三维重建5 2D功能框架特征检测和描述：特征检测器、描述符提取器、描述符匹配、通用描述符匹配器关键点匹配的绘制对象分类6 目标检测级联分类Latent SVM （支持向量机算法(Support Vector Machine, SVM)）7 机器学习统计模型普通贝叶斯分类器K-近邻支持向量机决策树Boosting梯度Boosted树随机树极随机树期望最大化神经网络MLData8 多维空间中的聚类和搜索快速近似最近邻搜索 FLANN聚类9 GPU加速计算机视觉影像处理矩阵减少目标检测特征检测和描述图像滤波摄像机标定及三维重建视频分析10 计算摄影学图像修补去噪11 图片拼接拼接管道相机特征查找和图像匹配旋转估计自动校准图像扭曲缝估计曝光补偿图片调和其他12 其他立体匹配人脸识别运动分析期望最大化直方图平面细分（C API）OpenCL的加速计算机视觉Android APIGNU Scientific LibraryMathematical FunctionsComplex NumbersPolynomialsSpecial FunctionsVectors and MatricesPermutationsCombinationsMultisetsSortingBLAS SupportLinear AlgebraEigensystemsFast Fourier TransformsNumerical IntegrationRandom Number GenerationQuasi-Random SequencesRandom Number DistributionsStatisticsHistogramsN-tuplesMonte Carlo IntegrationSimulated AnnealingOrdinary Differential EquationsInterpolationNumerical DifferentiationChebyshev ApproximationsSeries AccelerationWavelet TransformsDiscrete Hankel TransformsOne dimensional Root-FindingOne dimensional MinimizationMultidimensional Root-FindingMultidimensional MinimizationLeast-Squares FittingNonlinear Least-Squares FittingBasis SplinesPhysical ConstantsIEEE floating-point arithmetic数学函数复数多项式特殊功能向量和矩阵排列合并多集排序基本线性代数子程序（BLAS）支持线性代数Eigensystems快速傅立叶变换数值积分随机数生成器准随机序列随机分布统计直方图N-元组蒙特卡罗积分模拟退火算法常微分方程插值数值微分切比雪夫逼近系列加速度小波变换离散汉克尔变换一维求根一维最小化多维求根多维最小化最小二乘法拟合非线性最小二乘法拟合基础样条曲线物理常数IEEE浮点运算sift.h文件参考检测SIFT图像功能。#include“cxcore.h”算法步骤：1.建立尺度空间为了让尺度体现其连续性，在简单降采样的基础上加上了高斯滤波。一幅图像可以产生几组（octave）图像，一组图像包括几层（interval）图像。 2.寻找极值点3.去除不稳定的极值点（低对比度）利用公式 确定精确定位后的极值点的像素值，进行对比度的检测。若像素值满足大于contr_thr / intvls（程序中为0.04/3），则该点才能最终确定为极值点。4.去除边界影响点使用Hessian矩阵去除边界影响点： 如果该点满足则保留，否则被排除 为最大特征值， 为最小的特征值 ,在程序中r=10.5.特征点方向计算公式：scl_octv = *2.0 intvl / intvls，式中： scl_octv 为关键点的尺度， intvl为关键点在高斯差分金字塔中所处于的层数以关键点为中心，划定一个邻域，利用所有在此区域内的点的梯度形成一个方向直方图。偏移为rad的正方形区域，rad=四舍五入（3*1.5* scl_octv ）梯度加权系数w的确定： w = exp( -( i*i + j*j )/exp_denom )，每个像素点的梯度值都必须乘以该点所对应的高斯权，这样才能得到最终的梯度值。根据Lowe的建议，模板采用0.25,0.5,0.25，并连续加权两次。生成含有36柱的方向直方图，梯度直方图范围0360度，其中每10度一个柱。由半径为图像区域生成对方向直方图进行两次平滑求取关键点方向（可能是多个方向）对方向直方图的Taylor展开式进行二次曲线拟合，精确关键点方向6.特征点描述描述子采用448128维向量表征，综合效果最优（不变性与独特性）。程序中 histSIFT_DESCR_WIDTH SIFT_DESCR_WIDTH SIFT_DESCR_HIST_BINS最终以一维数组保存在feature 数据结构宏SIFT_INTVLS3每组octave的取样间隔SIFT_SIGMA1.6默认情况下，初始高斯平滑的标准差sigmaSIFT_CONTR_THR0.04默认阈值，像素灰度值范围0，1。去除那些对比度较低的不稳定极值点。SIFT_CURV_THR10关键点的原则曲率比，默认阈值，去除边界点影响点SIFT_IMG_DBL1双倍图像大小后再金字塔？SIFT_DESCR_WIDTH4描述符直方图数组的默认宽度SIFT_DESCR_HIST_BINS8描述符阵列中每个直方图的默认bin数 函数文档int sift_features(IplImage * img, struct feature * feat)查找图像中SIFT特征。使用默认参数值，参见以上宏定义。int _sift_features(IplImage *img,structfeature*feat,intintvls,doublesigma,doublecontr_thr,intcurv_thr,intimg_dbl,intdescr_width,intdescr_hist_bins)参数IMG被检测的图像。OpenCVstructfeature*返回特征点的数据结构，采用连续存放的数组结构。Intvls每组octave的尺度空间采样的间隔数。sigma建立octave金字塔时使用的高斯平滑量。contr_thr尺度空间过程的一个评价参数阈值，是一个向量，确定特征位置和尺度大小。该阈值用于去掉不稳定的特性点，假定像素值的范围是0，1。curv_thr去除边界点影响点中的参数。img_dbl是否双倍图像大小后再建立尺度空间？1是，0否。descr_width使用宽度的阵列计算直方图方向，用于计算特征描述符。descr_hist_bins每个阵列中的用于计算的特征的描述符的直方图的方向数。返回返回的特征点数据的大小feature 数据结构 表示图像中尺度旋转不变性的特征。a(x-u)(x-u) + 2b(x-u)(y-v) + c(y-v)(y-v) = 1#include Data Fieldsdoublexx 坐标doubleyy 坐标doublea仿射特性参数 Oxford-typedoubleb仿射特性参数 Oxford-typedoublec仿射特性参数 Oxford-typedoublesclLowe-style特征的大小doubleoriLowe-style特征的方向intd描述符号的数目doubledescrFEATURE_MAX_D描述符号 128个inttype特征类型, OXFD 或 LOWEintcategory多用途特征种类structfeature*fwd_match前一副图片的配对特征structfeature*bck_match后一副图片的配对特征structfeature*mdl_match模型中的配对特征CvPoint2D64fimg_pt图像中点的位置CvPoint2D64fmdl_pt模型中点的位置void *feature_data自定义数据imgfeatures.h File Reference#include cxcore.hint import_features (char *filename, int type, struct feature *feat) 从文件中读取特征数据int export_features (char *filename, struct feature *feat, int n) 导出n个特征数据到文件 void draw_features (IplImage *img, struct feature *feat, int n) 在图片上显示特征描述double descr_dist_sq(structfeature*f1,structfeature*f2)计算两个描述子的欧式距离。descr 128kdtree.h File Reference#include cxcore.hstruct kd_node * kdtree_build (struct feature *features, int n)构建kd树。int kdtree_bbf_knn (struct kd_node *kd_root, struct feature *feat, int k, struct feature *nbrs, int max_nn_chks)使用Best Bin First搜索算法最佳（k近邻）匹配的特征向量，返回特征数组。int kdtree_bbf_spatial_knn (struct kd_node *kd_root, struct feature *feat, int k, struct feature *nbrs, int max_nn_chks, CvRect rect, int model)使用Best Bin First搜索算法最佳（指定空间范围的k近邻）匹配的特征向量，返回特征数组。void kdtree_release (struct kd_node *kd_root)释放 kd tree 内存空间。实验表明BBF算法性能很好，因为我们仅考虑Ratio（最近邻距离/次最近邻距离）n，从P中随机抽取包含n个样本的P的子集S初始化模型M；余集SC=PS中与模型M的误差小于某一设定阈值t的样本集以及S构成S*。S*认为是内点集，它们构成S的一致集(Consensus Set)；若#(S*)N，认为得到正确的模型参数，并利用集S*(内点inliers)采用最小二乘等方法重新计算新的模型M*；重新随机抽取新的S，重复以上过程。在完成一定的抽样次数后，若未找到一致集则算法失败，否则选取抽样后得到的最大一致集判断内外点，算法结束。由上可知存在两个可能的算法优化策略。如果在选取子集S时可以根据某些已知的样本特性等采用特定的选取方案或有约束的随机选取来代替原来的完全随机选取；当通过一致集S*计算出模型M*后，可以将P中所有与模型M*的误差小于t的样本加入S*，然后重新计算M*。RANSAC算法包括了3个输入的参数：判断样本是否满足模型的误差容忍度t。t可以看作为对内点噪声均方差的假设，对于不同的输入数据需要采用人工干预的方式预设合适的门限，且该参