DObjectiveRecognition模板匹配

1、1机电工程与自动化学院视觉检测技术第4单元2D 目标识别与匹配Part3: 模板匹配20132机电工程与自动化学院视觉检测技术目标识别的基本思路基于特征的方法基于模板的方法方法利用先验知识，提取物体特征判断利用已知图像做为模板进行匹配优点执行效率高通用性好缺点针对特定的物体，需要开发专用的算法，如果目标变化，则需要重新开发算法执行效率不是最优的举例圆形目标的检测机器人视觉识别3机电工程与自动化学院视觉检测技术主要内容模板匹配的思想及分类基于灰度基于边缘三个关键问题应对变化相似性度量：SSD, NCC，相关函数加速计算：图像金字塔4机电工程与自动化学院视觉检测技术HALCON的实际应用：模板匹配

2、的实际应用：模板匹配5机电工程与自动化学院视觉检测技术模板匹配是摄影测量和计算机视觉的一个基本问题，它是数字摄影测量自动化的关键。图像匹配的核心问题是将不同的分辨率、不同的亮度属性、不同的位置 （平移和旋转）、不同的比例尺、不同的非线性变形的图像对应起来。应用领域广泛：目标物体运动跟踪， 目标识别，三维重建，全景图，目标定位3.1 模板匹配的概念6机电工程与自动化学院视觉检测技术3.2 模板匹配的基本方法基于灰度的模板匹配(gray-value-based)利用模板图像的所有灰度值，不能适应光照变化、缩放变化、多通道图像等用于简单图像 基于形状的模板匹配（shape-based）使用边缘特征定

3、位物体对于很多干扰因素不敏感，例如光照变化、聚焦模糊，缩放变化等，适用于多通道图像不适用于纹理图像7机电工程与自动化学院视觉检测技术3.3 模板匹配举例基于灰度的匹配车牌字符识别 商标图案标志识别 基于形状匹配8机电工程与自动化学院视觉检测技术3.4 基于灰度值的模板匹配以统计的观点将图像看成二维信号，采用统计的相关方法寻找信号的相关匹配。利用两个信号的相关函数，评价他们的相似性以确定他们的同名点灰度匹配通过某种相似度量，如相关函数、协方差函数、差平方和、差绝对值和等测度极值，判断两幅图像的相应关利用灰度匹配的有一个很大的缺陷就是计算量很大，所以一般用于简单的图像 9机电工程与自动化学院视觉检

4、测技术影像匹配实质上是在两幅（或多幅）影像之间识别同名点 ， 影像匹配实质上是在两幅（或多幅） 它是计算机视觉和数字摄影测量的核心。 模板 待匹配图像下面列举了几种在灰度匹配中常见的几种算法10机电工程与自动化学院视觉检测技术(1)相关函数离散灰度数据对相关函数的估计公式为：则c0, r0为搜索区影像相对于目标区影像的位移行、列参数。 为搜索区影像相对于目标区影像的位移行 列参数。若cjriminjjiftcrR,11,),(),(),(00crRcrR0, 0ccrrDvududvvcurfvutcrR),(),(),(),(11机电工程与自动化学院视觉检测技术(2) 协方差函数若 为搜索区

5、影像相对于目标区影像的位移行、列参数dudvvcurfEvcurfvutEvutcrCDvu),(),(),(),(),(),(DvududvvutDvutE),(),(|1),(DvududvvcurfDvcurfE),(),(|1),(连续数据对协方差函数的估计为00,cr),(),(00crCcrC0, 0ccrr12机电工程与自动化学院视觉检测技术离散数据对协方差函数的估计为:),()11,),(),(crmfmtcrCfcjritminjji mt是模板的平均灰度值，mf(r,c)是平移到图像当前位置的模板ROI中图像所有点的平均灰度值。 若 为搜索区影像相对于目标区影像的位移行、列

6、参数),(),(00crCcrC0, 0ccrr00,cr13机电工程与自动化学院视觉检测技术(3) 差平方和离散灰度计算公式： 若 则为搜索区影像相对于目标区影像的位移行、列参数dudvvcurfvutcrSDvu),(22),(),(),( 连续灰度计算公式：minjcjrijiftcrS112,2)(),(),(),(2002crScrS00,cr14机电工程与自动化学院视觉检测技术 (4) 计算模板与图像之间差值的绝对值的总和(SAD)或所有差值的平方和(SSD)Dvuvcurfvutncrsad),(| ),(),(|1),(Tvuvcurfvutncrssd),(2),(),(1)

7、,(Tvuvcurfvutncrssd),(2),(),(1),(15机电工程与自动化学院视觉检测技术HALCON的具体例子这个例子是基于SAD（计算模板与图像之间差值的绝对值的总和）具体实现的流程如右图：16机电工程与自动化学院视觉检测技术 SAD和SSD在光照情况保持不变的情况下可以使用，否则会返回特别大的结果。从而在图像中找到许多错误的位置。 理想情况下，相似度量应该不随任何线性的光照变化而变化的。归一化互相关系数（NCC）便可以达到这种效果。),(),(),(),(1),(2),(2crscrmvcurfsmvutncrnccffTvutt(5)计算归一化互相关系数(NCC)17机电工

8、程与自动化学院视觉检测技术下图使用图1的模板计算NCC的结果。 (a) (b) (c) 图 2(a)包含一个基准标志的PCB板的图像，该图像的白色矩形框中的部分用作模板。这个图像与图1中的图像相同；(b)图(a)与(a)图中模板的归一化互相关系数；(c)使用阈值0.75对图像(b)进行阈值分割的结果。18机电工程与自动化学院视觉检测技术 3.5 使用图形金字塔进行匹配使用图形金字塔进行匹配 使用上述的停止标准的情况下，在整个图像中计算相似度量也是一件非常耗时的工作。为了得到一个更快的搜索策略，我们注意到模板匹配的运行时间的复杂度取决于需要检查的平移数量，也就是位姿的数量。这里采取的是对模板和图像进行二次抽样。我们将图像从大到小依次向上堆放。由于每层图像的宽度都比上层减半，因此形成了金字塔形状。参见图3. 图319机电工程与自动化学院视觉检测技术图4给出了金字塔中的模板 图420机电工程与自动化学院视觉检测技术 图5给出了如何进行分层搜索 (a) (b) (c) (d) 图 5 模板是图1(a)中显示的基准标志。 在金字塔第4层上，在整幅图像中进行匹配并得到12个可能的匹配位置；(b)紧接着在第3层的白色矩形表示的感兴趣区域中进行匹配，在12个感兴趣区域中找到了一个可能的匹配位置。匹配结果周围的感兴趣区域中的相似度