图像处理软件及驱动课件lecture5ii

1、与图像处理技术及其应用南京理工大学自动化学院41-1 411 411自动化学4院11房4间11 4房11间房间Lecture5检测与识别n 3.点特征检测 点特征检测子：Harris角点、SUSAN、SIFT 特征描述子（descriptor） *区域特征：MSER 特征匹配：RANSAC方法 *应用举例：图像拼接具有不变性的局部特征（InvariantFeatures）Localn 在图像中寻找局部特征，这些特征对平移、旋转、尺度伸缩等具有不变性SIFT Features局部特征的优点n 局部性：由于特征具有局部性，因此对遮挡或混杂环境具有稳健性（因为不需

2、要进行分割）n 唯一性：具有唯一性的特征可用于在大的目标数据库中进行匹配n 数量：许多特征即使在小目标上也能提取获得n 有效性：接近实时提取n 可扩充性：可轻易地扩展到许多不同类型的特征，且这些特征都能保持稳健性（robustness）局部特征的广泛应用n 局部特征点可以用于： 图像配准（registration） 三维重构（3D reconstruction） 运动追踪（Motion tracking） 目标识别（Object recognition） 检索（Indexing and database retrieval）人导航（Robot navigation） 全景拼接 += 三维重构D

3、ebevec, Taylor, and Malik, SIGGRAPH 1996Harris角点检测角点（corner）检测的信息 角点包含比如，当做特征点匹配的时候，线上的点很难做匹配角点包含的信息n 而对角点则容易得多在角点处，梯度不好定义（ill defined）；接近角点，梯度有 两个不同的值寻找角点的基本想法n 观察一个小窗口所包含的区域：在角点附近向任何方向移动窗口，在灰度值上都会有大的变化寻找角点的方法“平坦”区域:在任何方向灰度值都没有变化“边缘”:沿着边缘方向灰度值无变化“角点”:在多个灰度值都有变化Harris角点检测在平移u,v下的灰度变化为：窗函数平移的灰度值(x,y)

4、点灰度值窗函数 w(x,y) =或1 in window, 0 outsideGaussianE(u, v) = w(x, y)I (x + u, y + v) - I (x, y)2x, yHarris角点检测假设(u,v)很小22 I 2I I uI (x + u, y + v) - I (x, y) I u + I v= u, vxxy xyI II 2 vxyy I (x + u, y + v) - I (x, y) I u + I v = I u + I vxyxyI (x + u, y + v) = I (x, y) + I u + I v + O(x2 , y2 )xyHarri

5、s角点检测对小平移u,v我们可以采线性（bilinear）函数近似：uE(u, v) u, vMv M是一个22矩阵由图像的导数得来： I 2I I M = w(x, y) xxy I II 2x, y xyyHarris角点检测平移窗口中的灰度变化： 特征值分析l1, l2 M的特征值变化最快的方向椭圆 E(u,v) = const变化最慢的方向(lmax)-1/2(lmin)-1/2E(u, v) u, v Muv Harris角点检测l2采用 M的特征值来区分点的类型l1 和l2 都很小；E 在所有方向乎为常数l1 l2l1region“Edge”l2 l1“Corner”l1 和l2都

6、很大,l1 l2;E 在所有方向都增大“Flat”“Edge”Harris角点检测计算特征值计算量较大，可以采用角点响应函数来检测角点：(k 经验常数, k = 0.04-0.06)det M = l1l2trace M = l1 + l2R = det M - k (trace M )2Harris角点检测l2 R 依赖于M的特征值 R 较大时，为角点 R 值较大且为负时，为边缘 |R| 较小，为平坦区域l1“Edge”“Corner”R 0“Flat”“Edge”|R| smallR 阈值) 寻找局部极大值的R的点Harris角点检测流程Harris角点检测流程计算角点响应函数 RHarr

7、is角点检测流程寻找大的角点响应函数的点： R阈值Harris角点检测流程只取R具有局部极大值的那些点Harris角点检测流程Harris角点检测：总结n 在u,v的平均灰度变化可采线性形式表达：n 用M的特征值来描述每一个点：角点响应函数定义为：都具有大的灰度变化，也就是：R应该n 一个角点应该在各个为一个大的正值R = l l - k (l + l )21212E(u, v) u, v Mu v Harris角点的性质n 旋转不变性椭圆旋转其形状（对应特征值）保持不变角点响应函数 R对旋转保持不变Harris角点的性质n 部分的仿射不变特性 由于只用到导数 =亮度平移不变性I I + b

8、亮度尺度的伸缩： I a IRthresholdRx (image coordinate)x (image coordinate)Harris角点的性质n 但是不具有尺度的不变性所有的点都被检测为边缘点角点！SUSAN算子检测边缘与角点SUSAN边缘检测n SUSAN算子是一种很有特色的检测算子，不仅可以检测图像中的目标边界点还能较鲁棒的检测目标的角点SUSAN边缘检测原理USAN: Univalue Segment Assimilating Nucleus(核同值区)核同值区：相对于模板的核，模板中有一定的区域与它有相同/相似的灰度USAN原理 USAN的面积携带了关于图象中核象素处结构的主

9、要信息 当核象素处在图象中的灰度一致区域， USAN的面积会达到最大。该面积当核处在直边缘处约为最大值的一半， 而当核处在角点处则为最大值的1/4 使用USAN面积作为特征起到了增强边缘和角点 的效果 (不需要微分计算，对噪声不敏感)SUSAN边缘检测SUSAN：最小（Smallest） 核同值区检测模板：37个象素, 半径为3.4象素ct0-27271如果 f (x0, y0) - f (x, y) T C(x0, y0; x, y) = 0如果 f (x0, y0) - f (x, y) TSUSAN边缘检测 检测对模板中的每个象素进行得到输出的游程和（running total） 边缘响

10、应几何阈值G = 3Smax/4，其中Smax是S所能取的最大值对于37个像素的模板最大值为36G - S( x0 , y0 )如果 S( x0 , y0 ) I0 提取连通区域(“Extremal Regions”) 寻找使得“extremalregion”为“ally Stable”时的阈值,也就是：相对面积增长最小时的区域 用椭圆来逼近找到的小的区域。J.Matas. “Distinguished Regions for Wide-baseline Stereo”. Research Report of CMP, 2001.特征匹配RANSAC方法-特征匹配问题?特征匹配问题n 穷举搜索

11、 对图像中的每个特征，寻找另一幅图像中所有可能的特征与之匹配n 散列（Hashing） 从每一个特征向量计算一个短的描述子，或者计算长的描述子的Hash值（随机值）n 最近邻技术（Nearest k-trees及其变种neighbortechniques）如何处理野点（outlier）？n 我们能从两幅图像相应的吗？ 不，仍然还有很多野点！点中计算出变换阵H如何处理野点（outlier）？ 如何处理“坏”匹配?RAndomSAmpleConsensus随机采样，一致检验：选择一个认为“好”的匹配，记符合的点数RAndomSAmpleConsensus随机采样，一致检验：选择一个认为“好”的匹配

12、，记符合的点数RAndomSAmpleConsensus对符合点集，用最小二乘法寻找“平均”变换向量RANSAC用于估计阵（homography）RANSACloop: 1. 随机选择组特征点对2. 准确计算阵H3. 计算所有符合点（inliers）的SSD(pi, H pi） 4. 选择符合点最多的5. 用所有符合点重新计算H（最小二乘法算）RANSACreading参考阅读：1 C. Harris, and M. A. Stephens. combined corner and edge detector. Proceedings Fourth Alvey Vision Conferenc

13、e, Manchester, UK, 1988: 147-151.2 M. Stephen, and J. Michael. SUSAN - a new approach to low-level image processing. International Journal of Computer Vision, 1997, 23(1): 45-78.3 H. P. Moravec. Obstacle avoidance and navigation in the real world by a seeing robot rover. CMU-RI-TR3, 1980.4 T. Lindeb

14、erg. Feature Detection with Automatic Scale Selection. International Journal of Computer Vision. 1998, 30(2): 79-116.5 Lowe, D. G. Distinctive International Journal of6 C. Schmid, R. Mohr, and detectors. InternationalImage features from scale-invariant key-points. Computer Vision. 2004, 60(2): 91-11

15、0.C. Bauckhage. Evaluation of interest point Journal of Computer Vision. 2000, 37(2): 151-172.7 J. Matasa,uma, M.Urbana, and T. Pajdla. Robust wide-baselinestereo fromally stable extremal regions. Image and Vision Computing,2004, 22: 761-767.8 M. Aschler, and R. C. Bolles. Random Sample Consensus: A paradigmfor mfitting with apphcatlons to image analysis and automatedcartography. Communications of the ACM. 1981, 24(6): 381-395.Acknowledgem