9.6图像匹配(数字图像处理-清华大学出版社)解析

1、2022-4-13图像匹配29.6 图像匹配v所谓图像匹配，就是指将不同时间、不同成像条所谓图像匹配，就是指将不同时间、不同成像条件下对同一物体或场景获取的两幅或多幅图像在件下对同一物体或场景获取的两幅或多幅图像在空间上对准空间上对准，或根据已知模式到另一幅图像中寻，或根据已知模式到另一幅图像中寻找相应的模式。找相应的模式。v早期的图像匹配技术主要用于几何校正后的多波早期的图像匹配技术主要用于几何校正后的多波段遥感图像的匹配，借助于对段遥感图像的匹配，借助于对互相关函数求极值互相关函数求极值来实现。来实现。v图像匹配包括图像匹配包括模板匹配模板匹配、直方图匹配直方图匹配、形状匹配形状匹配等多种

2、匹配方法，图像匹配技术已经在许多方面等多种匹配方法，图像匹配技术已经在许多方面得到了广泛的应用。但三维图像匹配依然是一个得到了广泛的应用。但三维图像匹配依然是一个值得深入研究的课题。值得深入研究的课题。2022-4-13图像匹配39.6.1 模板匹配v模板匹配模板匹配是指用一个较小的图像，即模板与源图像是指用一个较小的图像，即模板与源图像进行比较，进行比较， 以确定在源图像中是否存在与该模板相以确定在源图像中是否存在与该模板相同或相似的区域，若该区域存在，还可确定其位置同或相似的区域，若该区域存在，还可确定其位置并提取该区域。并提取该区域。v模板匹配常用的一种测度模板与原图像对应区域的模板匹配

3、常用的一种测度模板与原图像对应区域的误差平方和误差平方和。设。设f(x, y)为为MN的原图像，的原图像，t (j, k)为为JK(JM，KN)的模板图像，则误差平方和测度的模板图像，则误差平方和测度定义为定义为10102),(),(),(JjKkkjtkyjxfyxD2022-4-13图像匹配4将上式展开可得将上式展开可得 10102101010102),(),(),(2),(),(JjKkJjKkJjKkkjtkyjxfkjtkyjxfyxD(9-27) 9.6.1 模板匹配2022-4-13图像匹配5令令 10102101010102),(),(),(),(2),(),(),(JjKkJ

4、jKkJjKkkjtyxDTkyjxfkjtyxDSTkyjxfyxDS9.6.1 模板匹配2022-4-13图像匹配6vDS(x,y)称为原图像中与模板对应区域的能量称为原图像中与模板对应区域的能量,它与像素位置它与像素位置(x,y)有关，但随像素位置有关，但随像素位置(x,y)的的变化，变化，DS(x,y)变化缓慢。变化缓慢。vDST(x,y)称为模板与原图像对应区域的称为模板与原图像对应区域的互相关互相关,它随像素位置它随像素位置(x,y)的变化而变化，当模板的变化而变化，当模板t(j,k)和原图像中对应区域相匹配时取得和原图像中对应区域相匹配时取得最大值最大值。vDT(x,y)称为模板

5、的能量，它与图像像素位置称为模板的能量，它与图像像素位置(x,y)无关，只用计算一次即可。无关，只用计算一次即可。9.6.1 模板匹配2022-4-13图像匹配7 上述分析，若设上述分析，若设DS(x, y)也为常数，则用也为常数，则用DST(x, y)便可进行图像匹配，当便可进行图像匹配，当DST(x, y)取取最大值最大值时，便时，便可认为模板与图像是匹配的。但假设可认为模板与图像是匹配的。但假设DS(x, y)为为常常数数会产生误差，严重时将无法正确地完成匹配，因会产生误差，严重时将无法正确地完成匹配，因此可用此可用归一化互相关归一化互相关作为误差平方和测度，其定义作为误差平方和测度，其

6、定义为为 10210102101010),(),(),(),(),(KkJjKkJjKkJjkjtkyjxfkyjxfkjtyxR(9-30) 9.6.1 模板匹配2022-4-13图像匹配8v图图9-279-27给出了模板匹配的示意图，其中假设原给出了模板匹配的示意图，其中假设原图像图像f f( (x,yx,y) )和模板图像和模板图像t t( (k k, ,l l) )的原点都在左上的原点都在左上角。对任何一个角。对任何一个f f( (x,yx,y) )中的像素点中的像素点( (x,yx,y) )，根，根据式（据式（9-309-30）都可以算得一个）都可以算得一个R R( (x,yx,y)

7、 )值。值。v当当x x和和y y变化时，变化时，t t( (j,kj,k) )在原图像区域中移动并在原图像区域中移动并得出得出R R( (x,yx,y) )所有值。所有值。R R( (x,yx,y) )的的最大值最大值便指出了便指出了与与t t( (j,kj,k) )匹配的最佳位置，若从该位置开始在匹配的最佳位置，若从该位置开始在原图像中取出与模板大小相同的一个区域，便原图像中取出与模板大小相同的一个区域，便可得到匹配图像。可得到匹配图像。9.6.1 模板匹配2022-4-13图像匹配9图图9-27 模板匹配示意图模板匹配示意图 Oyiyi kixijixijikikJKjNMyx9.6.1

8、 模板匹配2022-4-13图像匹配10v用归一化互相关求匹配的计算工作量非常大，用归一化互相关求匹配的计算工作量非常大，因为模板要在因为模板要在( (M MJ J1)1)( (N NK K1)1)个参考位个参考位置上做相关计算，其中，除最佳匹配点外，置上做相关计算，其中，除最佳匹配点外， 其余做的都是无效运算，所以其余做的都是无效运算，所以有必要对其进行有必要对其进行改进，以提高运算速度改进，以提高运算速度。常用的方法有序贯相。常用的方法有序贯相似性检测算法、幅度排序相关算法、似性检测算法、幅度排序相关算法、FFTFFT相关相关算法、分层搜索序贯判决算法等。算法、分层搜索序贯判决算法等。v模

9、板匹配的主要模板匹配的主要局限性局限性在于它只能进行平行移在于它只能进行平行移动，如原图像中要匹配的目标发生旋转或大小动，如原图像中要匹配的目标发生旋转或大小变化，该算法无效。变化，该算法无效。v如原图像中要匹配的目标只有部分可见，该算如原图像中要匹配的目标只有部分可见，该算法也无法完成匹配。法也无法完成匹配。应用模板进行匹配时应注意几点：应用模板进行匹配时应注意几点：9.6.1 模板匹配2022-4-13图像匹配119.6.1 模板匹配 模板匹配法结果图模板匹配法结果图 2022-4-13图像匹配129.6.1 模板匹配 平方差匹配平方差匹配 标准平方差匹配标准平方差匹配 相关匹配相关匹配2

10、 标准相关匹配标准相关匹配2 2022-4-13图像匹配139.6.2 直方图匹配v颜色是描述图像内容的一个重要特征。人们已经颜色是描述图像内容的一个重要特征。人们已经提出了多种借助颜色特征对图像进行检索的方法。提出了多种借助颜色特征对图像进行检索的方法。v常用的颜色空间有常用的颜色空间有R R、G G、B B和和H H、S S、I I（色调、饱色调、饱和度和强度和度和强度 ）。实际上，利用）。实际上，利用H H、S S、I I颜色空间颜色空间进行检索的效果更好一些，但以下讨论主要以进行检索的效果更好一些，但以下讨论主要以R R、G G、B B空间为例。空间为例。v要利用图像的颜色特征描述图像

11、，可借助图像特要利用图像的颜色特征描述图像，可借助图像特征的征的统计直方图统计直方图。利用直方图进行图像的匹配，。利用直方图进行图像的匹配，这便是直方图匹配。这便是直方图匹配。2022-4-13图像匹配141. 1. 直方图相交法直方图相交法 设设H HQ Q( (k k) )和和H HD D( (k k) )分别为查询图像分别为查询图像Q Q和数据库图像和数据库图像D D的的特征统计直方图，则两图像之间的匹配值特征统计直方图，则两图像之间的匹配值d d( (Q Q, D, D) )为为 1010)()(),(min),(LkQLkDQkHkHkHDQd(9-31) 9.6.2 直方图匹配20

12、22-4-13图像匹配152. 2. 欧几里得距离法欧几里得距离法 为减少计算量，可采用直方图的均值来粗略地表为减少计算量，可采用直方图的均值来粗略地表达颜色信息，对图像的达颜色信息，对图像的R R、G G、B B三个分量，匹配的特三个分量，匹配的特征矢量征矢量f f是是 TBGRf式中式中, R、G、B分别是分别是R、G、B三个分量直方图的三个分量直方图的0阶距。此时查询图像阶距。此时查询图像Q和数据库图像和数据库图像D之间的匹配值之间的匹配值为为 2,2)()(),(DQBGRDQffDQd(9-32) 9.6.2 直方图匹配2022-4-13图像匹配163. 3. 参考颜色法参考颜色法欧

13、几里得距离法太粗糙，直方图相交法计算量太大，一欧几里得距离法太粗糙，直方图相交法计算量太大，一种折衷的方法是将图像颜色用一组参考色表示，这组参种折衷的方法是将图像颜色用一组参考色表示，这组参考色应能覆盖视觉上可感受到的各种颜色。参考色的数考色应能覆盖视觉上可感受到的各种颜色。参考色的数量要比原图像少，量要比原图像少， 这样可计算简化的直方图，这样可计算简化的直方图， 所以所以匹配的特征矢量匹配的特征矢量 f f= =r r1 1, , r r2 2，r rN NT T 式中：式中：r ri i是是第第i i种颜色出现的频率，种颜色出现的频率，N N是参考颜色表的尺寸。加权是参考颜色表的尺寸。加

14、权后的查询图像后的查询图像Q Q和数据库图像和数据库图像D D之间的匹配值为之间的匹配值为 NiiDiQirrWDQd12)(),(9-33)9.6.2 直方图匹配2022-4-13图像匹配17式中式中： 00,100,iDiQiDiQiQirrrrrW或如果或如果 9.6.2 直方图匹配2022-4-13图像匹配184. 中心矩法中心矩法 对直方图来说，均值为对直方图来说，均值为0阶矩，更高阶的矩也可使用。设用阶矩，更高阶的矩也可使用。设用分别表示查询图像分别表示查询图像Q的的R、G、B三个分量直三个分量直方图的方图的i(i3)阶中心矩；用阶中心矩；用 分别表示数据库分别表示数据库图像图像D

15、的的R、G、B三个分量直方图的三个分量直方图的i(i3)阶中心矩，则它们之阶中心矩，则它们之间的匹配值为间的匹配值为 iQBiQGiQRMMM,iDBiDGiDRMMM,31313122)()()(),(iiiiDBiQBBiDGiQGGiDRiQRRMMWMMWMMWDQd式中，式中，WR，WG，WB为加权系数。为加权系数。 (9-34)9.6.2 直方图匹配2022-4-13图像匹配19v前面前面4 4种方法中，后种方法中，后3 3种主要是从减少计算量的种主要是从减少计算量的角度对第角度对第1 1种方法进行简化，种方法进行简化， 但直方图相交法但直方图相交法还有另外一个问题。还有另外一个问

16、题。v当图像中的特征并不能取遍所有的可取值时，当图像中的特征并不能取遍所有的可取值时，统计直方图中会出现一些零值。这些零值的出统计直方图中会出现一些零值。这些零值的出现会给直方图的相交带来影响，有可能导致利现会给直方图的相交带来影响，有可能导致利用直方图相交法求出的匹配度并不能正确反映用直方图相交法求出的匹配度并不能正确反映两图间的颜色差别。两图间的颜色差别。9.6.2 直方图匹配2022-4-13图像匹配20v值得注意的是，由于直方图不能反映颜色的位值得注意的是，由于直方图不能反映颜色的位置信息，因此有可能出现两幅内容完全不同，置信息，因此有可能出现两幅内容完全不同，但直方图相似的情况。所以

17、仅用简单的颜色直但直方图相似的情况。所以仅用简单的颜色直方图匹配可能造成识别错误。方图匹配可能造成识别错误。v有必要对直方图匹配进行适当改进，改进的基有必要对直方图匹配进行适当改进，改进的基本思路是利用匹配过程中的位置信息。本思路是利用匹配过程中的位置信息。v例如将图像划分为若干可以在一定程度上反映例如将图像划分为若干可以在一定程度上反映位置信息的子块，分别对各个子块进行匹配，位置信息的子块，分别对各个子块进行匹配，从而提高直方图匹配法的适用性。从而提高直方图匹配法的适用性。9.6.2 直方图匹配2022-4-13图像匹配21 由于直方图丢失了颜色的位置信息，由于直方图丢失了颜色的位置信息，

18、因此因此两幅图像可能内容完全不同，但直方图相似。所两幅图像可能内容完全不同，但直方图相似。所以，仅用简单的颜色直方图匹配也容易造成误识以，仅用简单的颜色直方图匹配也容易造成误识别。一种改进的方法是将图像划分成若干子块，别。一种改进的方法是将图像划分成若干子块，分别对各子块进行匹配。分别对各子块进行匹配。 19911991年，年，A.NagasakaA.Nagasaka和和Y.TanakaY.Tanaka提出了一种提出了一种将视频帧或图像分割成将视频帧或图像分割成4 44 4相同大小的子块并比相同大小的子块并比较相应子块的方法。这种方法对两幅视频帧或图较相应子块的方法。这种方法对两幅视频帧或图像

19、的相应子块进行比较，废弃差别最大的一对，像的相应子块进行比较，废弃差别最大的一对，其余的比较结果参与最后的识别。其余的比较结果参与最后的识别。9.6.2 直方图匹配2022-4-13图像匹配225. X X2 2直方图匹配直方图匹配X X2 2直方图匹配的计算公式如下：直方图匹配的计算公式如下： 102)()()(),(LkDDQkHkHkHDQd(9-35) 对于对于R R、G G、B B图像，图像，X X2 2直方图匹配的计算公式又可以变为直方图匹配的计算公式又可以变为 10222)()()()()()()()()(),(LkbDbDbQgDgDgQrDrDrQkHkHkHkHkHkHkH

20、kHkHDQd(9-36) 9.6.2 直方图匹配2022-4-13图像匹配23vX2X2直方图匹配与模板匹配或颜色直方图匹配相直方图匹配与模板匹配或颜色直方图匹配相比具有更好的识别率，识别镜头切换比具有更好的识别率，识别镜头切换(Abrupt (Abrupt Scene Change)Scene Change)上效果良好。上效果良好。vA.NagasakaA.Nagasaka和和Y.TanakaY.Tanaka通过对灰度和、灰度模通过对灰度和、灰度模板匹配、灰度直方图匹配、板匹配、灰度直方图匹配、 彩色模板匹配、彩色模板匹配、 颜色直方图匹配和颜色直方图匹配和X2X2直方图匹配六种匹配方法直

21、方图匹配六种匹配方法进行了实验比较。进行了实验比较。v结果表明，采用图像分块加上结果表明，采用图像分块加上X2X2直方图匹配在直方图匹配在镜头切换识别上具有很好的效果，但对镜头渐镜头切换识别上具有很好的效果，但对镜头渐变识别效果不好。变识别效果不好。9.6.2 直方图匹配2022-4-13图像匹配246. . 明可夫斯基距离法明可夫斯基距离法 若两幅图像若两幅图像Q和和D的直方图分别为的直方图分别为HQ和和HK，则颜色直方图匹，则颜色直方图匹配的计算方法可以利用度量空间的明可夫斯基配的计算方法可以利用度量空间的明可夫斯基 (=1, 也叫也叫“街坊街坊”（City Block）距）距离离)， 按

22、如下方法进行匹配按如下方法进行匹配1)|(),(iiyxd10| )()(|),(LkDQkHkHDQd(9-37) 9.6.2 直方图匹配2022-4-13图像匹配25 R、G、B图像颜色是由不同亮度的红、绿、蓝三图像颜色是由不同亮度的红、绿、蓝三基色组成，基色组成， 因此式因此式(9-16)可以改写成：可以改写成：10|)()(| )()(| )()(|),(LkbDbQgDgQrDrQRGBkHkHkHkHkHkHDQd(9-38) 式式(9-38)在具体实施时，必须从所读取的各像素颜在具体实施时，必须从所读取的各像素颜色值中分离出色值中分离出R、G、B三基色的亮度值。三基色的亮度值。9

23、.6.2 直方图匹配2022-4-13图像匹配26vB.ShahrarayB.Shahraray也曾提出类似的方法：将视频帧或图也曾提出类似的方法：将视频帧或图像分割成子块并进行块匹配，对所有子块匹配的像分割成子块并进行块匹配，对所有子块匹配的结果采用一种非线性的统计算法进行综合评价。结果采用一种非线性的统计算法进行综合评价。v由于子块的位置固定，由于子块的位置固定， 各子块的直方图在一定程各子块的直方图在一定程度上反映了颜色的位置特征，因此子块划分与匹度上反映了颜色的位置特征，因此子块划分与匹配的方法可以对物体运动、摄像机运动、镜头缩配的方法可以对物体运动、摄像机运动、镜头缩放等情况有更好的

24、适应性。放等情况有更好的适应性。9.6.2 直方图匹配2022-4-13图像匹配279.6.3 形状匹配v形状形状也是描述图像内容的一个重要特征，也是描述图像内容的一个重要特征， 利用形利用形状进行匹配需要考虑三个问题。状进行匹配需要考虑三个问题。v首先，形状常与目标联系在一起，所以相对于颜色，首先，形状常与目标联系在一起，所以相对于颜色， 形状特征可以看作是更高层次的图像特征。要获得形状特征可以看作是更高层次的图像特征。要获得有关目标的形状参数，常常要先对图像进行分割，有关目标的形状参数，常常要先对图像进行分割，所以形状特征会受图像分割效果的影响。所以形状特征会受图像分割效果的影响。v其次，

25、目标形状的描述是一个非常复杂的问题，至其次，目标形状的描述是一个非常复杂的问题，至今还没有找到能与人的感觉相一致的图像形状的确今还没有找到能与人的感觉相一致的图像形状的确切数学定义。切数学定义。v最后，从不同视角获取的图像中目标形状可能会有最后，从不同视角获取的图像中目标形状可能会有很大差别，为准确进行形状匹配，需要解决平移、很大差别，为准确进行形状匹配，需要解决平移、 尺度、尺度、 旋转变换不变性的问题。旋转变换不变性的问题。2022-4-13图像匹配28v目标的形状常常可以用目标的轮廓来表示，而目标的形状常常可以用目标的轮廓来表示，而轮廓是由一系列边界点所组成的。一般认为，轮廓是由一系列边

26、界点所组成的。一般认为，在较大尺度下常常能较可靠地消除误检并检测在较大尺度下常常能较可靠地消除误检并检测到真正的边界点，到真正的边界点， 但在大尺度下对边界的定但在大尺度下对边界的定位不易准确。位不易准确。v相反，在较小尺度下对真正边界点的定位常比相反，在较小尺度下对真正边界点的定位常比较准确，但在小尺度下误检的比例会增加。较准确，但在小尺度下误检的比例会增加。v所以，可考虑先在较大尺度下检测出真正的边所以，可考虑先在较大尺度下检测出真正的边界点，再在较小尺度下对真正边界点进行较精界点，再在较小尺度下对真正边界点进行较精确的定位。确的定位。v小波变换和分析作为一种多尺度、多通道分析小波变换和分

27、析作为一种多尺度、多通道分析工具，比较适合对图像进行多尺度的边界检测，工具，比较适合对图像进行多尺度的边界检测，可参考有关文献。可参考有关文献。9.6.3 形状匹配2022-4-13图像匹配29 目前，常用的形状匹配方法主要有几何参目前，常用的形状匹配方法主要有几何参数法（数法（NiblackNiblack，19931993）、（）、（ScassellatiScassellati， 19941994）、特征模表示法（）、特征模表示法（PentlandPentland，Picard Picard and Sclaroffand Sclaroff，19961996）、不变矩法（）、不变矩法（MehtreMehtre， 19971997）、边界方向