（机械电子工程专业论文）机器视觉支票印鉴鉴别系统中的关键技术研究.pdf

华中科技大学硕士学位论文 摘要 2 ，结束搜索，将该点座标存入链表k 。项： ，( 七，o ) ，= f ，l u p ( k ，o ) o = j ，若搜索不到满足条件的点，则三。 ，o ) = ( 0 ，j ) ； ( 2 ) 项l p ( ，o ) 做5 个窗口的中值滤波； ( 3 ) 对表项厶，( 女，o ) 进行差分运算，记入差分项： ，( t ，1 ) = v2 l p ( k ，o ) = ( 。g ，o ) ，一， + l ，o ) ， ，o ) 。一，q + l ，o ) 。) 由差分阶跃点将链表分为两段，取其中差分值小的一段重新记入，“ ( 4 ) 利用。拟合出上边框直线方程，记为，。 假设求得的四条边框直线为，可根据各边框的直线方程求出比例参数和偏转 角度。 3 4 支票图像平滑处理 通过摄象机输入的印鉴图像，由于印鉴本身色彩、光照的非均匀性和输入系统本 身的非线性，获取图像具有明显的浓淡变化，如果将其进行简单的平滑、二值化处理， 则随所取二值化阈值的不同会使字符笔划粗细不均，产生断线或连线等缺陷，这对于 后续的匹配处理将会带来较大的困难。 通常的平滑滤波器能减弱或消除傅立叶空间的高频分量，但不影响低频分量。因 为高频分量对于图像中的区域边缘和噪声等灰度值具有较大较快变化的部分，滤波器 华中科技大学硕士学位论文 将这些分量去除可使图像平滑。但是通常这样得到的效果是以损失图像清晰度为代价 的，这对于印鉴识别这一高精度模式识别应用来说是不合算的。本文介绍一种既能保 留边界又能平滑图像的高通滤波器，它可以产生双峰比较明显的直方图，克服了一般 算法在平滑图像的同时也使边界变模糊的不良效果。 设定平滑处理的卷积模板为5 5 大小，在5 5 区域内取4 个尖劈形、4 个菱形和 1 个正方形3 种类型共9 个模板，如图3 3 所示。设9 个模板分别为m i ，m 2 ，m 9 ， 每个模板为若干个象素的集合，即 m ，= y ( x ，y f ( x l ，y 1 厂b 2 ，y 2 ” ( 3 - 3 ) 计算每一个模板m 的方差，设其方差为0 - ? ，盯；，盯。2 ，仃。2 。显然，存在噪声的模 板其方差值必然较高，当边缘沿水平、垂直或对角线方向经过5 5 模板时，其中与边 缘取向相同的模板必具有较小的方差，比较9 个模板的方差并选取其最小者，设为 盯? = m i n i 0 ? ，仃；，盯0 ，盯； 。对应于盯? 的m 是可能有边缘穿过的模板，以此模板的 灰度平均值作为中心点向，川的灰度值，b g f ( x ，圳= e f m i 。经迭代运算至每个象素的灰 度值确不再有较大的变化为止。在本实验中对图像经过1 2 次的处理运算即可获得笔 划浓淡比较均匀和保留字符边界的良好效果。 圜圜 r li lj l ) 夤辫謦n 麓带如藏痒膨 图3 - 3 图像平滑模板 3 5 图像色通道分割 支票背景上除印有彩色防伪花纹，还有手写签名，他们和印鉴图像叠加在一起。 通常印鉴为朱红或红色，而背景元素颜色红色分量相对较弱，手写签名为黑色。因此， 可以使用颜色信息将支票图像分为三个区域：印鉴、背景和签名，本文主要关一t ：, e p 鉴 图像的提取。根据支票图像各元素己知颜色信息，对彩色分量数据进行变换： ，：尺一( g + b ) 7 2 矿( r 一( g + b ) 2 ) 0(4-9) p ( u j 2 1 0i f g ( i ，) ：0 由上可知在计算有效平均梯度删占时只用到具有非零梯度的象素，这就是“有效” 的来历。e a g 是图中非零梯度象素的平均梯度，它代表了图像的一个有选择的统计量。 为了减少各种干扰的影响，提出一种特殊的剪切( c l 印) 变换，它与一般剪切的 不同之处是它把被剪切了的部分设成剪切值。根据剪切部分的灰度与全图灰度的关系， 这类剪切可分为高端剪切与低端剪切两种。设为剪切值，则剪切后的图可分别表示 为： 华中科技大学硕士学位论文 m 胪，孑纂籍 j ( z ，) = f f 7 矿i f g f ( 。( i , ) j 工 ( t - - ) 如果对这样剪切后的图求梯度，则其梯度函数必然与剪切值有关，由此得到的e 4 g 也变成了l 的函数e a 6 化 注意尉口化j 与剪切的方式也有关，对应高端和低端剪 切的e a g 化j 可分别写成倒矗，。化) 和剧西。，化j 。 4 3 2 有效平均梯度的极值点和过渡区 典型的删而。化j 和翩簖。，化) 曲线都是单峰单线。也就是说它们都各有个极 值。设倒g 。化j 和删g 。，化) 曲线的极值点分别为厶，。和厶则他们可由下式表 不： 三 ，巾= a r g m a x e a g h 耐( 三) 】) ( 4 一l2 ) l 。= 彳曙( 彬露 点瓯。( ) 】) ( 4 - 1 3 ) 这两个极值点对应集合f 中的两个值。它们在灰度上限定了过渡区的范围。事实 上过渡区是一个二维区域其中象素的灰度级是由两个一维灰度空间的边界所限定的。 这两个边界的灰度分别是厶。和l 。这两个极值点有三个重要的性质； ( 1 ) 厶，。和厶总是存在并且各只存在一个； ( 2 ) 。和。所对应的灰度值都具有明显的象素特性区别能力； ( 3 ) l 。不会比厶。，小，在实际图像中厶。总大于。； 过渡区的存在性和唯一性可由上述剧占“j 极值点的第一个性质来保证。过渡区 内的象素点其灰度在厶。和l l o 之间且邻近象素点的灰度变化较大，它们一般具有比区 外象素点较大的灰度对比度。从这里可看出厶。和。，具有把不同特性的象素点区分 开来的能力。这里特性既包括点本身特性也包括由于点所处位置而具有的与邻点间的 关系。这就是上述第二个性质的含义。 根据前面的推导本文可计算出厶，。和l i o 从而确定出过渡区。注意这里过渡区的确 定是完全自动的，不需预先设定任何参数。它与目标和背景的相对灰度变化也没有关 系。确定的方法也是通用的，对目标的形状尺寸都没有要求。另外由于对梯度和剪切 的运算都可并行完成，所以该方法效率是很高的。 4 3 3 基于过渡区的分割方法及与其它方法的比较 华中科技大学硕士学位论文 一旦把过渡区找了出来，进一步对图像分割就比较容易了。因为真正的边界是在 过渡区之中，所以可借用过渡区里象素的信息来帮助分割，一种简单的方法是用这些 象素确定一个阂值来分割。这里阈值可根据过渡区内象素的灰度均值或过渡区内象素 的直方图的极值来确定由于。和。限定了边界线灰度值的上下界，阈值也可直接借 助它们来计算。另一方面过渡区是一个环绕目标边界的带状区，所以也可把这个区加 以细化来得到边界线。无论是从灰度还是从区域着手，由于过渡区的确定都保证了它 们的范围，所以分割偏差太大的可能性很小，也可以说这样方法的抗干扰能力较强。 将此算法与常用的基于直方图和直方图变换的闽值选取方法进行比较，在基于直 方图的方法中只有一维的灰度信息不同灰度级的象素的量得到了利用，且所 有象素对阈值的选取起相同的作用。在基于直方图变换的方法中，局部对比度信息也 得到了利用。每个象素对阈值选取所起的作用根据其边缘值给予了加权，但是这里并 没有区分真正的边缘值和由于噪声产生的边缘值。在基于过渡区的方法中各个象素对 阈值选取所起的作用既与它的梯度值也与它本身的灰度相对于全图的灰度分布有关。 概况来说，它结合使用了几种先验知识，除了直方图法中的灰度分布信息和直方图变 换法中的二维局部对比度信息外，二维全局信息，包括象素的二维几何分布( 这主要 体现在消除噪声的剪切变换上) 也结合到算法中去了。除去所结合的先验知识的种类 和数量，这些先验知识如何被利用对分割算法的性能也有很大影响。 下面用一维曲线简单地分析一下基于过渡区分割算法的优越性。先假设图像在某 一点沿梯度方向剖面线如图，( f ) ，首先有： 一一= 搿 m 图中f ( a ，b ) 时，有g ( f ) = 厂( f ) 0 ，所以在连续曲线的情况下考虑厶，。和厶。，的取值有： 尉g ：+ _ f g ( o d 7 ：避幽( 4 嗡) 上式给出了删占的几何意义，这样就不难理解厶。和l j o , 的来历了。 显然相对于普通的区域阈值选取和二维直方图阈值选取，基于 n 2 渡区的分割算法 将分割阈值的选取确定到了更小的象素范围内，大大提高了分割的精度。 华中科技大学硕士学位论文 图4 2 过渡区分割一维示意图 事实上，由实验我们确实可以得到同样的结果。请看图4 3 ，其中( a ) 是一个真 实的印文图。( b ) 是用基于二维散射图的算法所得到的分割结果，( c ) 是用基于过渡 区的算法所得到的分割结果，很容易看出( c ) 的效果优于( b ) 的结果。为什么后一 种方法是好呢? 在前一种方法中，为了得到变换的直方图需要对每个灰度级计算平均 边缘值阳f ”。因为每次只有灰度相同的象素参加运算所以比较易受噪声或其它不需 要结构( 例如原图右上方的几个较深灰度的块状区域) 的影响。这些干扰会使变换后 的真方图在对应的地方出现虚极值从而干扰正确阂值的选取。在后一种方法中，剧占 的计算是基于所有非零梯度的象素，即在计算中总有属于一段灰度级的象素参与。因 而后一种方法抗干抗的能力比较强，所以取得了较好的分割效果。 图4 - 3 过渡区分割实例 4 4 本章小结 本章首先回顾了已往文献中提过的印文切分算法，然后深入分析了影响印文分割 的具体原因，找到了解决盖印条件对分割影响的处理方案。本章给出了图像分割技术 的简单介绍，然后在此基础上对本文采用的基于过渡区分析的分割算法进行了详细的 探讨，并在理论和实验中证明了该方法的优越性。 华中科技大学硕士学位论文 5 印文细化、校正与特征点提取 5 1 引言 印文切分之后，在单个文字区域内进行精确文字分割。然后可以进行印文笔划细 化，然后根据汉字笔划的曲率特征进行文字笔划编码，对照待验印鉴和预留印鉴的笔 划进行合理的修正，既要消除盖印条件干扰，又不改变印文本身的关键信息，最大限 度地提高信噪比。同时在得到印文骨架之后，按照一定规则标记出印文特征点，为后 继特征点松弛匹配做准备。本文采用数学形态学细化算法，下面首先介绍基本的形态 学运算，然后给出本文具体的印文细化、校正与特征点集的提取三个部分。 5 2 数学形态学 数学形态学( 腑t h e m a t i c a m o r p h o o g y ) 是法国和德国的科学家在研究岩石结构 时建立的一门学科。形态学的用途主要是获取物体拓扑和结果信启、，它通过物体和结 构元素相互作用的某些运算，得到物体更本质的形态。它在图像处理中的应用主要是 ( 1 ) 利用形态学的基本运算，对图像进行观察和处理，从而达到改善图像质量的目 的： ( 2 ) 描述和定义图像的各种几何参数和特征，如面积，周长，连通度，颗粒度，骨 架和方向性。 限于篇幅，本文只涉及二值图像的形态学运算。先来定义一些基本符号和关系 ( 1 ) b 击中( h i ) 若存在这样一个点，它即是口的元素，又是r 的元素，则称口击中z 记作口，m ( 2 ) 补集 设有一幅图像z 所有爿区域以外的点构成的集合称为的补集，记作屁； ( 3 ) 对称集 设有一幅图像晶将占中所有元素的坐标取反，即令伍，变成r 吖，_ ，所有 这些点构成的新的集合称为曰的对称集，记作宦r ； ( 4 ) 平移 设有一幅图像尻有一个点a 仅毋y 彩，将占平移a 后的结果是，把口中所有元 素的横坐标加z 口，纵坐标加y o , 即令伍，变成白+ x o ，r 秒剀，所有这些点构 成的新的集合称为宦的平移，记作毖； 现在应用这些符号和关系，来看一下形态学的基本运算 ( 1 ) 腐蚀( e r o s i o n ) 把结构元素口平移a 后得到肋，若历包含于z 我们记下这个丑点，所有满足上 华中科技大学硕士学位论文 述条件的a 点组成的集合称做被口腐蚀的结果。用公式表示为： e ( z ) = 扛f 日口cx = x b ( j 1 ) 如图5 一l 所示： 卜一 ，l 阿一，l il 丫 复 图5 2 膨胀的示意图图5 一l 腐蚀的示意图 ( 2 ) 膨胀( 以l a e i o n ) 膨胀可以看做是腐蚀的对偶运算，其定义是：把结构元素占平移a 后得到屁，若 如击中x ，我们记下这个盆点，所有满足上述条件的a 点组成的集合称做被曰膨胀 的结果。用公式表示为： d 伍) = 蚓肋1 、爿 - o b ( j 一2 ) 如图5 2 所示。 ( 3 ) 开( o p e n ) 先腐蚀后膨胀称为开，即o p e n 化) 司陋秒，。 来看个开运算的例子( 图5 3 ) ： oo0 oo0 oooo o0 ooo00oo 0ooo 0 0 o o o o ；：；：k ： o0ooooo0oo口岫 o0oooo0ooooooo0 0o0oo o0oooooo00ooo 0oooooo ooo0 o0o0 口o 0 0 0 oo 000 0o o 0 0 ooo oo0 o 0oo o 4 o o 0oo0o0 o 0o0o ooo o 0o00 x e _o p r = n ( x ) 图5 - 4 闭运算 ( 4 ) 闭( c _ o s e ) 先膨胀后腐蚀称为闭，即c l o s e 化) 巧仞桫，。 来看一个闭运算的例子( 图5 4 ) 。 ；：k ； o ooa o x $ 。 c l o s e f x ) 图5 - 3 开运算 l 华中科技大学硕士学位论文 5 3 图像细化算法 细化算法有很多，本文介绍的是一种简单而且效果很好的算法，用它就能够实现 从文本抽取骨架的功能。我们的对象是白纸黑字的文本，但在程序中为了处理的方便， 还是采用2 5 6 级灰度图，不过只用到了调色板中o 和2 5 5 两项。 所谓细化，就是从原来的图中去掉一些点，但仍要保持原来的形状1 4 0 “。实际上， 是保持原图的骨架。所谓骨架，可以理解为图像的中轴，例如一个长方形的骨架是它 的长方向上的中轴线：正方形的骨架是它的中心点；圆的骨架是它的圆心，直线的骨 架是它自身，孤立点的骨架也是自身。那么如何来判断一个点是否能去掉，显然要根 据它的八个相邻点的情况来判断，我们给几个例子。 分析图5 5 中的各种情况： 图5 - 5 根据某点的八个相邻点的情况来判断该点是否能删除 ( 1 ) 不能删，因为它是个内部点，我们要求的是骨架，如果连内部点也删了，骨架 也会被掏空的：( 2 ) 不能删，和( 1 ) 是同样的道理；( 3 ) 可以删，这样的点不是骨架； ( 4 ) 不能删，因为删掉后，原来相连的部分断开了；( j ) 可以删，这样的点不是骨架： ( 6 ) 不能删，因为它是直线的端点，如果这样的点删了，那么最后整个直线也被删了， 剩不下什么：( 7 ) 不能删，因为孤立点的骨架就是它自身。 总结一下，有如下的判据：1 内部点不能删除；2 孤立点不能删除；3 直线端点不 能删除4 如果p 是边界点，去掉p 后，如果连通分量不增加，则p 可以删除。 可以根据上述的判据，事先做出一张表，从o 到2 5 5 共有2 5 6 个元素，每个元素要 么是0 ，要么是1 。我们根据某点( 当然是要处理的黑色点了) 的八个相邻点的情况查 表，若表中的元素是l ，则表示该点可删，否则保留。查表的方法是，设白点为l ，黑 点为0 ；左上方点对应一个8 位数的第一位( 最低位) ，正上方点对应第二位，右上方 点对应的第三位，左邻点对应第四位，右邻点对应第五位，左下方点对应第六位，正 下方点对应第七位，右下方点对应的第八位，按这样组成的8 位数去查表即可。也可 以给出一个模板序列，分别对照图像上的各点，如果符合其中一种情况，就将此点作 为边缘点剥除。本文采用的模板序列如下图给出： 3 0 田仍酗惭圈缁圈似围锄田曲 华中科技大学硕士学位论文 1 o1o oi l 。lo1 o ： 1 1 1 lol 。l 1 l l 1 。1 i0f1 1 o f1 1 0 l 1i 1 f 1 f 1 * 1 j 0 x ：00 1 1 1 j + f1i | 0 1 l00+ 】 j ” 1il 01 r 10 1 | 1 011 i ) o10 】o11 o5o 1 m 1 1 o 1 l1x ：11x l 图5 - 6 骨架提取所采用的形态学算子 其中$ 代表为任何数值都可以，其实由8 邻域的概念可以看出就是如果一个点8 邻域内 如果处在任一方向的边缘跃迁位置，就可以认为他是边缘点而将他剥除。当然，这种 方法也有他的固有缺陷，比如笔划的端点得不到保留，点的搜索顺序往往决定了不同 的细化结果等等。但是本文只采用稳定性较高的笔划交叉点作为后继松弛匹配的特征 点集，所以就不在详细叙述其改进方法了。 5 4 印文骨架提取、缺陷修正和特征点提取算法实现 印鉴文字笔划偏差可以分为两种情况，一种是笔划内部象素点丢失，另一种是笔 划象素块状残缺和冗余。前者可以通过形态学闭运算直接进行填充，但是对后者就失 去效果。我们的方案是首先对已有= 值图进行形态学填充，然后根据提取的预留印鉴 和待验印鉴的笔划形位信息，修正预留印鉴笔划的骨架和边缘。详细流程如下图： 印蓝文 字丹块 形态学 填充 文字骨架提取 jj 启发式笔划断 文字骨架宽度图il i 裂充填 空字笔划节点 文字笔划丹段 笔划骨架拟和 宽度图校正 图5 7 比划填充和骨架校正流程 ( 1 ) 首先由求得的偏转角度和中心坐标值将分割掩模对正到二值印鉴图像上，将印鉴 边框和内部的文字分割成为两部分，分别存入图像f r a m e 和c h a r a c l e t 厂f ，。其中 印鉴分割掩模是由预留印鉴生成，目的是将印鉴图像所有文字以及边框分成独立 的小区域，使得后继处理可以针对单个文字图像进行。分割掩模可以由聚类算法 生成，本文直接在印鉴建库时由人工完成； ( 2 ) 对待测印鉴各文字二值图作形态学闭运算。以其中某个文字为例，所得二值图记 做： ( 3 ) 提取的骨架图像，我们采用前文提供的代表了8 个边缘方向的形态学算子对 边缘象素点逐次腐蚀，将边缘象素全部去除直至剩下骨架图。我们在其基础上增 加一个环节来记录笔划的宽度。也就是将腐蚀运算中得到的边缘点存储在另一个 华中科技大学硕士学位论文 图像数据d e 中相应的位置，第，轮得到的边缘点赋值为，。最后留下来的就是骨 架象素点，对应d e 中的点赋值2 5 5 ； ( 4 ) 搜索待测印鉴的d e 图，将赋值2 5 5 的象素点8 邻域内最小值赋予另一图像数据 的相应点，此图记录了印文笔划的宽度，记做臃，通常分辨率应该保证笔划中 部骨架点取值为3 ，也就是说笔划平均宽6 个象素，预留印鉴的印文笔划宽度数 据图记为r i v e 。 ( 5 ) 搜索w e ，将其8 邻域内的骨架点数记入矗，其中l 值点表示笔划端点，2 值点表 示笔划中部值，值大于2 的点表示笔划交叉点。提取以上值为1 的点，如点p ， 搜索对应于r d e 上相应点q 的8 邻域内骨架象素，如果没有1 值点，则可以认为 p 点处笔划断裂。将r w e 上q 点8 邻域内最小值f 赋予阮上p 点，相应图矿上 以点p 为中一t l , 处作f x f 的结构膨胀。返回i v ；直到没有变化为止； ( 6 ) 笔划端点和交叉点一起作为文字的节点，由节点将文字笔划分割成不同的笔划段， 将各段骨架点坐标值存入链表。然后计算每一段上各点的曲率： 1 、 c r j ：毕立丝i 当翠生王些掣；( 5 3 ) j x ，+ f x j ，y + r y ，l i x ，一f x ，y ，一，y ，j 其中，表示第r 段笔划，表示链表上第，点，t = 3 ，表示向量点乘。 若存在m a x c r j 一o 5 ，表示该点就是该段的笔划折点，将该段分给为两段，其骨 ，e u 架点坐标值存入新的链表； ( 7 ) 依据各段链表提供的坐标值搜索所对应各点的笔划宽度，如果某处存在急剧变化， 则可认为是笔划残缺或是笔划连接造成，将这一部分点标示为异常点集。为了 简化计算，我们只对该段各点作直线拟合来纠正骨架形态。事实上这对通用的标 准字体具有很好的效果，但是对于采用曲线笔划的私章就失效了，这种情况可以 采用二次曲线拟合。然后修正该段笔划的宽度，妙内各点宽度值由该段各点宽度 值序列拟合生成。 5 5 算法验证 为验证本文提出的印鉴预处理和匹配算法，分别对两组矩形章和一组圆章进行了试 验，其中印鉴文字笔划宽度为5 6 个象素。实验表明本文算法具有良好的效果，通过 预处理、笔划填充和骨架校正基本可以获得完整清晰的印鉴图像和相应的文字骨架信 息，如图5 8 所示。算法对于盖印倾斜具有良好的稳定性，可以消除由于填充度不够、 手写签名覆盖和局部过填充造成的笔划断裂、块状冗余象素和笔划骨架变形。对于过 填充造成的笔划连接问题，通过启发式骨架校正，也有明显改善。 华中科技大学硕士学位论文 ( c 2 ) r c 3 1 图5 _ 8 骨架校正算法处理结果 ( a ) 印鉴二值图 ( b ) 匹配后的骨架图 5 6 本章小结 本章首先介绍了基本的形态学运算，然后探讨了基于形态学运算的细化算法，给 出了细化策略及其优缺点。然后结合具体的盖印条件影响分析了印鉴文文字的缺陷和 偏差成因，并利用形态学方法给出了具体的印文细化、校正与特征点集提取算法。最 后通过一组印鉴的实验处理验证了算法的有效性。 华中科技大学硕士学位论文 6 印鉴的匹配与鉴别 6 1 引言 印鉴匹配是指将二值化之后的待验印鉴和预留印鉴相比对，使得两者之间差距的 统计特征值最小。印鉴匹配包括两个参数：印鉴几何中心。和相对预留印鉴的偏转角 度o 。印鉴的匹配精度决定了后继印鉴相似度计算的可靠性，而且一直是印鉴自动识 别应用中的瓶颈。 由于存在支票背景和印刷文字，经过二值化分割之后的支票图像仍然不是单纯的 印鉴。本文根据实际应用中印鉴外形、文字形态和印鉴清晰度的变化，提出了一种简 化的、逐步细化的印鉴图像匹配的算法，具有更普遍的应用。本文首先通过序贯相似 性检测( s s d aj 粗略匹配，找出待验印鉴的几何位置参量，然后再进行点特征精确匹 配。本章对s s d a 匹配和特征点匹配分开介绍，而特征点的提取参照前面的特征提取 一童。 6 2 图像匹配算法 机器视觉系统中，把不同传感器或同一传感器在不同时间、不同成像条件下的同 一或是同类物体获取的两幅或是多幅图像在空间上对准，或是根据己知模式到另一幅 图中寻找相应的模式，这就叫匹配。 图像匹配可分成两个层次：模板匹配法和关系结构匹配法【4 2 j 小”。其中模板匹配法 直接利用图像之间的空间相关性进行匹配，而关系结构匹配法是将匹配理解为用一组 描述结构一致性和似然度的规则去检验结构的过程，他是在两种不同的图像表示之间 进行匹配。本文涉及的印章图像匹配属于前者，下面主要介绍模板匹配法。 模板匹配法可以进一步分为两个层次：基于灰度相关的方法和基于特征的匹配方 法。 基于灰度相关的方法是将模板按某种相似性度量在输入图像上顺次进行搜索匹配 的办法。他适合于以明确的目标检测为目的的情况，可以通过优化算法达到很高的匹 配精度。但是当图像有较大的比例尺差异或扭曲的区域，匹配难免失败。同时灰度相 关匹配计算量往往很大。 基于特征的图像匹配包括特征提取和特征匹配两大环节。特征匹配的匹配效率高， 对图像的各种非本质变化( 旋转、缩放和光照强度变化等等) 不敏感，是计算机采用 的主要方法。他能利用图像中的本质信息，区分不同对象的能力强，特别是在十分复 杂的图像环境下有效地工作。但是，由于图像的特征信息提取往往比较困难，而且其 特征值会随着提取方式的不同而出现较大变化，限制了算法的可靠性和精确度。 华中科技大学硕士学位论文 印鉴图像的匹配主要有三个问题，首先是印鉴的旋转角度为随机变量；其次印鉴 图像随着不同的盖印条件而有明显得改变，但为了识别出伪造的印鉴，必须要求很高 的匹配精度；另外，匹配的速度也是衡量算法的重要参数。所以必须结合灰度相关和 特征匹配的优点，提高匹配精度，加速搜索速度。 6 3 基于灰度相关的图像匹配算法 6 3 1 简单的灰度相关匹配算法 模板匹配一种常见的简单情形是判断在一幅图中是否存在某种图案。设模板r 叠 放在搜索图s 上平移，模板覆盖下的那块搜索子图叫。( f ，) 为这块子图的左上角像 点在s 图中的坐标，叫参考点，不难从图中看出来，( f ，- ，) 的取值范围是： 1 i ，n m + 1 。现在可以比较r 和的内容，若两者一致，则7 1 和之差为零， 否则不为零。所以可以用一下两种测度之一来衡量r 和的相似程度，假设模板是 m * m 维的，而搜索图是w 维的： m州r1 d ( i ，) = 砂( 肌，n ) 一t ( m ，n ) j 2 ( 6 - 1 ) 或 m m d ( i ，) = 2 2 s “( ，”，”) 一t ( m , n ) f ( 6 - 2 ) 若展开6 1 式，有 d ( i ，) ：兰兰b u ( m ，。) 2 + m mp ( 肌，”) 】22 兰兰p ，( 。，”) + 丁( 埘，胛) ( 6 - 3 ) 其中等号右边第一项表示模板覆盖下的图像子块的能量，他随( f ，) 位置而改变； 第二项表示模板的总能量，他是一个常数：而第三项式子图与模板的互相关，他的值 随( f ，) 变化，当r 和匹配时这项的取值最大，因此可以用下列相关函数来作为相似 性测度： 华中科技大学硕士学位论文 s ”( m ，n ) + 7 1 ( m ，h ) 烈d 2 瓠， 4 或归一化为： s 。( 川，n ) + z ( m ，”) 烈力。匮瓦m 2 ln=丽l丽 。5 = lh = io l = l = l 由于图像中的平均分量常会使得相关峰值同背景的差减小，并且使相关峰变宽 这给判断套准点带来了困难，为此常从图像和模板中减去各自的均值再作相关处理。 6 3 2 序贯相似性检测( s 5 别) 匹配算法 用相关法求匹配的计算量很大，因为模板要在 升f j2 个参考位置上做相关 计算，其中除一点外都是在非匹配点上做“无用”工作。因此，人们自然希望有一种 快速有效的算法，当一旦发现模板所在的参考位置为非匹配点就丢弃不再计算下去， 立刻换到下一个参考点。这就是b a r n e a 等人的想法。他们提出了s s d a 算法，其要点 是： ( 1 ) 定义绝对误差值 s ( f ，j ，m 。，”。) = s “。，门。) 一雪( f ，) 一r ( m 。，n 。) + 于f ( 6 - 6 ) 式中( f ) 3 嘉磊磊y mm ，行) ； 1 ( 6 7 ) 于= 去z r ( m ，”) ( 6 8 ) 1 1 1 m in = i ( 2 ) 取一不变阈值砌 ( 3 ) 在子图p ，( m ，n ) 中选取随机像点，计算它同t 中对应点的误差值s ，然 后把此误差值同其他点对的差值累加起来，当累加r 次误差超过砌则停止累加， 并记下次数r ，定义s s d a 的检测曲面为： m 小h 黪融_ 叫 睁。， 华中科技大学硕士学位论文 把，( f ，_ ，) 最大的( f ，j ) 点作为匹配点。 6 4 基于改进的s s d a 算法的印鉴边框匹配 得到经过粗分割的支票图像二值图之后，就必须在支票图像中将印鉴图像切分出 来，形成单一目标的印鉴图像，方便后继的精确分割和印鉴匹配。对于背景比较干净 而且只有一枚印鉴的支票图像而言，可以采用边界扫描方法，来进行印鉴边框搜索。 但是通常情况下，由于存在难以滤除的背景花纹、交叉覆盖的手写签名、以及票多 章的干扰，前述方法往往失败。所以本文采用改进的分层搜索s s d a 算法进 t r e p 鉴的 粗匹配。 实验表明支票印鉴的边框图像相对内部文字更不容易受盖章条件影响，因此我 们采用印鉴边框作为定位依据。对于圆形印鉴，直接利用一对弧形边框作为匹配模板 搜索圆形边框中，h 如图6 1 所示。 、 ，、 ! 、 ， _ l 一7 图6 - 1 圆形印鉴匹配模板 对于矩形印鉴，由于考虑到印鉴相对支票存在一定的旋转角度，如果采用底边与 支票边缘平行的边框模板进行匹配，就很可能失配。如图6 2 所示，假设印鉴边长为 + m ，偏转角为n ，边框宽d ，则偏转造成的水平方向匹配误差为毛：尝三， z c o s a 若形o 0 2 5 ，贝f j e a = 1 5 。时，矗0 5 d ，所以此时采用1 5 倍边框宽度的边框模板 可以达到匹配的旋转不变性效果。在一定偏转角度范围内有效的矩形印鉴边框角点匹 配模板如图6 3 所示。 oy 华中科技大学硕士学位论文 图6 - 2 矩形印鉴边框匹配旋转误差 图6 3 矩形印鉴匹配模板 s s d a 算法在前文已经详细介绍了，下面主要介绍其改进部分。对于s s d a 算法 可以在几个方面作进一步的改进，办法有： ( 1 )对于m m 十j 。个参考点的选用顺序可以不逐点推进，即模板不一定每点都 平移到，譬如可用粗细结合的均匀搜索，即先每隔m 点搜索一下匹配好坏，然后在有 极大匹配值周围的局部范围内对各参考点位置求匹配，这个策略能否不丢失真正的匹 配点将取决于表面球) 的平滑性和单峰性； ( 2 ) 在参考点( j ，) 处，对模板覆盖下的 ，各点对的计算顺序可以与f - ，无关的随机 方式计算误差，也可以采用适合图像内容的方式，按模板中突出特征，如边缘点、角 点等，选取伪随机序列、决定计算误差的先后顺序，以便及早抛弃非匹配点。或者是 对于模板图像的各点赋予不同的权值，显然通过给模版的特征点集赋予较高的权值可 以达到很好的效果； ( 3 )不用固定的阈值砀，而采用单调递增的阈值序列，是非匹配点用更少的计算就 达到闽值而被抛弃，真匹配点则需要更多次的误差累计才达到阈值。由于除一点外， 绝大多数情况下都是非匹配点计算，显然，越早抛弃非匹配点将越节省时间。对于分 层搜索的阈值序列构造，可以采用不同层上特征点集数目的倍数作为阈值的稳定分量， 可以更加突出特征点的重要性： ( 4 )对于二值图，s s d a 还可以简化，这时模板与对应于子图中的成像点的差值为 s ( m ，n ) 一t ( m ，竹) = s 。( m ，n ) o t ( m ， ) ， 式中。表示异或处理，由此 d ( i ，- ，) = s u ( 卅，”) 0 t ( m ，”) ，这常称为二进制的h a m m i n g 码。d 越小，则子图同模板 越相似。 华中科技大学硕士学位论文 6 5 圆形印鉴角度匹配 由于通过s s d a 算法只能得到圆形印鉴的圆心座标，无法得到其旋转参数，所以 必须用额外的方法来求得其旋转角度。这里假设得到的印鉴圆心0 座标： o x z l 。“jm ， o y = l yo j 加。先将印鉴图像部分区域由x y 坐标系变换到r ，0 坐 标系，在一目坐标系内与预留印鉴做循环卷积，计算偏转角度目。 圆形印鉴匹配对中心定位要求有较大的精度，所以我们取d 的8 连通邻域作为中 心的候选点，然后按照下述方法计算偏转角度0 。获得最大吻合度的点作为中心点， 下述步骤以其中一点为例，其余各点直接从( 2 ) 开始。首先由中心和重心的连线方向 确定搜索区域，然后由卷积求出最大吻合角度和最小差异角度： ( 1 ) 计算出印鉴图像的重心点w o ，即： w o x = x i n ，w o y = y i l n tsb|esb r 6 1o ) 其中，”表示s b 的面积。向量瞄一历) = ( o x w o x ，o y 一 ) 表示印鉴正方向臼。 由于受到盖印倾斜的干扰，瞄一面西) 所表示的方向并不准确，因此将在其宽度为3 0 。 邻域内搜索偏转角； ( 2 ) 以0 为圆心，取印鉴内径为r 3 ，外径为2 r 3 圆环区域象素点，分别记做& 和 r a 。将勋和r a 分别变换到，一口坐标系，记做s r 和肼。如： 1 1 s r ( r ，护) = o 黧( 0 ，m 刚，。，坩s i n 口) = l ( 6 - 1 1 ) 其他 其中，整数0 曰一3 0 。，0 + 3 0 。 ，实数f 取值在( 1 3 ，2 3 ) ，( o x ，g ) 为印鉴几 何中心坐标。得到的图像数据矩阵6 0 m ，m 等于内径为r 3 到外径为2 r 3 的象素点 数； ( 3 ) 在，一0 域中对p ，和月，作循环卷积，计算二图的吻合度s u ： ，m 一3 5 91 盯- i3 5 9 s u ) = l r ，( f ，j ) s ，( f ，( ，+ 七) 。) l s ，( f ，) ( 6 - 1 2 ) 、t = o ，。0，l = 0 ，= o 其中，女= 四一3 0 ，曰一2 9 ，曰+ 3 0 ；n = 3 6 0 。由式( 8 ) ，当k = k i 有r ( k o r t h 为最 大时，即有蜀是待验印鉴相对预留印鉴的偏转角度：若r 倒 0 ) 时，( 见，q 。) 对( 只，q j ) 的支持度不仅依赖于p 与吼的位置 差别，而且也依赖于s 1 ( 仇，q 。) 值，即允许局部支持度的反馈。这两个因素可以不同 的方式结合在一起，这里，我们取它们中的最小值，因此有： s 协= 志善学曲仇七) n s p - ( 孙】( 6 - 1 6 ) 华中科技大学硕士学位论文 得到的s r ( 仇，q 。) 同样要经过门限p ，的剪切，逐渐淘汰非匹配点对。对于门限序列 和。， 的选取可以采用逐步降低的原则，这样可以使得算法对于p 中存在 漏点、误点的情况有一定的稳定性。该迭代一直进行到对每一尸除最可能的点对以外 其余所有点对的支持度均小于给定的门限。 6 7 2 旋转不变的点特征松弛匹配算法 由基本点特征松弛匹配算法可以看出，其松弛迭代是以点对( 只，q ，) 为基础的，在 p ，与q ，正确配对的条件下，判断p 。与吼是否正确配对，只有在两特征点集间仅存在平 移变化的情况下才是成立的，而当两特征点集间还存在旋转变化时，则无法判断q 。相 对于q ，是否等同于见相对于只，此时当p 。与q ，配对时( 仅作平移) ，p 。- 5 q 。间的距离 既有可能是由于p 。与吼的错误配对造成的，也有可能是由于旋转变化所造成的。为了 得到具有旋转不变的点特征松弛匹配算法，必须在算法中引入估计图像问旋转变化的 机制，这可以通过将以点对为( p 。，q j ) 基础的基本点特征松弛匹配算法扩充为以四元组 ( p ，g ，p ，q 。) 为基础的基本点特征松弛匹配算法而达到。 考虑两特征点集p = 肼，p 2 ，p 。) 及q = q l , q 2 ，q 。 ，其中p 为 9 的某一子集经过平移及比例变化后，再迭加一定的随机游动误差而得到的点集，对 每一四元组( p ，q ，p h q 。) ，定义两特征点集间的相对偏移。令占帅。( “，v ) 为当p ，与q ，配 对且协与q 。配对时p 。与g ，间的距离。而在点集p 和点集q 间存在旋转变化时，为了 让p ，与g ，p 。与g 。能配对，除了需要作平移外，还需要进行旋转变化。采用以下方法 计算让p ，与q ，、p 。与q 。能配对，所需进行的旋转变化的大小： 令： a p = p 一p 。，g = 可i q ，。 则由四元组( p ，g ，p h , q 。) 可求得在p ，与g ，配对且见与吼配对的情况下，从点q 到点 4 2 华中科技大学硕士学位论文 = ；= 2 = 一 集p 的旋转变化0 为： 0 ：2a r c s i n , p - a q 2 p 于是可以得到民。( “，v ) 的计算公式如下 ( 6 1 7 ) 气“( “，v ) = 0 。一p ，) + 爿0 。一g ，】f ( 6 1 8 ) 其中a 为0 决定的旋转变化矩阵。 假如j 。“( “，v ) 为零，则表示g 。相对于吼与g ，等同于n 相对于风与n ，因此点对 ( p “，q 。) 应当给予( 只，q ，p 一，吼) 以最大的支持。随着民。( “，v ) 的增加，其支持度应减 小。与基本松弛法类似，令( 以，吼) 对( 只，叮，p 。，吼) 的支持度为： 砂慨小，v ) ) ：10 + 0 ( “，叫) 2 ) ( 6 - 1 9 ) 若要求只与g ，配对且仇与吼配对的情况下，p 。仅与和其相联系的、对( n ，g ，既，g 。) 以 最大的支持的玑相配对，则得到如下支持度表达形式： 要强0 ( ) j( 6 2 0 ) 取所有以之和的平均得到( 只，g ，p h q 。) 的初始支持度为： s o ( p f 2 而1 。磊。v m 怒妒( 堋) ( 6 _ 2 1 ) 及( p 。g ，) 的初始支持度为： s t 。( 只，g ，) = m 。a x , e 。b 棚，既，吼)( 6 - 2 2 ) 在这里我们同样采用门限剪切，对非匹配状态进行直接标识，即匹配支持度无法 达到o 的点对( 只，g ，) 的j lo ( b ，g ，) 为0 。 在第，次迭代p 时，( 见，q ，) 对( 只，g ，p 。，q i ) 的支持度同时依赖于p 。与q 。的相 对位置及他们的_ 1 ( 成，吼) 值，为了体现出这两个因素的相互作用，我们取它们中的 最小值，因此有 一。 华中科技大学硕士学位论文 “帆嘞旭) = 左。互m ，a x ，。m i n 岛( “，州l s i r l ( q 。) ( 6 - 2 3 ) 及s ir ( p ，g ，) = 吧铲5 q ，p hq j ( 6 2 4 ) 对于s 。7 ( p ：，q ，) 的剪切门限序列弘。，p ， 同样可以采用逐渐下降的形式。 这里定义：d ，= y 57 ( p ，q ，p 。，g 。) 一s r - i ( 只，g ，p 。，g 。) 1 ，当d ，ss 时，迭代终 ”【j “糌：i j 止，这里占为一个预先设定的极小正数。 显然在连续的情况下，当不存在随机游动误差时，本方法对任意的旋转变化可 以实现两点集的正确匹配的。但在离散的情况下，某一整数坐标上的点经过旋转变化 后得到的结果点并不一定恰好落在整数坐标上，实际是用与该点最接近的整数坐标点 来近似该点的，因此对旋转变化参数估计会产生定的误差。特别当i i a p _ | 和f 纠越小 时，该近似对旋转变化参数的估计所产生的影响越大。 6 7 3 印鉴精确匹配的简化 不难看出旋转不变的特征点松弛匹配算法计算复杂度极大，如果用于实时鉴别， 很难满足实时性的要求。所幸的是通过印鉴的粗匹配，待验印鉴和预留印鉴之间的平 移和旋转误差都比较小，而我们选取的用于特征点匹配的印鉴文字特征点是文字的笔 划交叉点，点模式相对较为分散，而且出现漏点和误点的可能性较小。这给旋转不变 的特征点松弛匹配带来了简化的可能。 事实上由于采用边框模板的s s d a 算法实现印鉴的粗匹配，得到的匹配中心点位 置相对特征点集的密度而言是比较准确的。而相对来说，偏转角度更可能出现较大的 误差。也就是说我们可以假设两个点集，q 中心部分的点集中，至少存在一个平移 匹配点对( p ，g ，) ，他们的位置差别不超过特征点集的平均密度。这样特征点的松弛匹 配可以将平移匹配点对( p ，可，) 的搜索范围缩小到中，t ； l n r 邻域中来。而基于( 只，q ，) 点 的旋转支持匹配点对( 仇，q 。) 则在，邻域之外的印鉴特征点中旋转。这样就大大减小了 搜索的范围。同时对于旋转支持匹配点对( 凤，q 。) 的选取还可以进一步进行范围限制， 比如在点p 。的与距离j p 。一p ，t 成正比的半径邻域内搜索。 华中科技大学硕士学位论文 6 8 基于差图像的最佳匹配状态微调 实验中发现差图像特征参数对于印鉴的匹配十分敏感，尤其是正负差图像面积比。 匹配失误产生的正负差模式与伪印正负差模式具有相同的特征，这将直接导致误识。 而且由于离散化处理，最佳匹配位置可能并不在计算得到的匹配点，而是在其一定大 小的邻域内。所以有必要进行最佳匹配状态微调。 在某一匹配位置上，将待验印鉴和预留印鉴相比对，待验印鉴上比预留印鉴多出 的那部分1 值象素为正差c 。，而预留印鉴比待验印鉴多出的1 值象素为负差c 。分别 表述如下式： c 。= i 。+ ， ( 6 - 2 5 ) c 。= ，幸，。 ( 6 2 6 ) 其中 表示待验印鉴，表示预留印鉴，+ 表示计算二图的吻合面积，表示对图像取 逆。 为了简化计算，先要对正差图像进行聚类运算，聚类准则是凡八连通邻域内相连 的就属于同一类。同时为了消除笔划毛刺，类内样本数少于d 的不计，这里d = 4 。聚 类后的某印文正差图可以描述为 z = 舻，( 6 1 ，k 1 1 p ：，k ：l ( 毛，也x )( 6 2 7 ) 其中i 是正差图重心，j ，是某模式重心，岛是其质量。 矩形印鉴的微调参数区域可描述为： 缈。= 0 ：，o ，口】 。，一。| l ， d ，一d 。1 ，i o 一岛 1 ( 6 2 8 ) 其中r 仇口仇d ) 是匹配中心，80 是匹配偏转角。 圆形印鉴的微调参数区域可描述为： p 。= 0 ，。，曰】j d ，一。 1 ，。，一d 。l ，0 k 。，( 6 - 2 9 ) 砭是在粗略匹配中具有最大吻合度的转角集。 在微调区域内，对印鉴整体差图像使用的统计特征值有： 吻合度 s u = i + ，以，( 6 3 0 ) 其中 表示待验印鉴，表示预留印鉴，+ 表示计算二图的吻合面积，j ， 表示预 华中科技大学硕士学位