第10章 模式识别的理论与方法

数字图像处理学第10章模式识别的理论和方法（第七讲）,10.5模式识别的几种应用,模式识别的应用较广，大致可有如下几个方面：字符识别；医学诊断；遥感图像解译；人脸和指纹鉴别；污染监测；自动检查和自动化；可靠性；社会经济；语音识别和理解；考古等。下面介绍一些实例。,1051生物特征识别,生物特征是人的内在属性，具有很强的自身稳定性和个体差异性，因此是身份验证的最理想依据。生物特征包括人脸、指纹、虹膜、掌纹、DNA等。人脸包含丰富的人类思想和情感信息，利用人脸特征进行身份验证由于具有直接、方便、友好、使用者无任何心理障碍等优点，因而有着极其广泛的应用前景。,41指纹识别,指纹具有两大特性:1)没有两个人的指纹是相同的；2)当指纹不受损伤时终生不变。所以它是识别人最有力的手段之一。,指纹本身是一个无穷类问题，在应用中有不同的情况。一种情况是对指纹进行核对查找，这是一个匹配问题。当然不是匹配每根隆线，而是匹配特征。如果档案数目很大，就要进行分类，把无穷类问题变成有限类问题，以减轻匹配负担。指纹分析是标准的结构分析，分成小块后只需测量隆线的斜率，通常采用0到7，八个方向。,首先，指纹分为七类（平斗、左箕、右箕、平弓、帐弓、左双箕、右双箕）。第一类再分为十八个小类，然后测量斜率。总的过程是分类、分层、分窗口，在这个过程中包括细化，连接断线等处理;尔后整个窗口用一个树代表，树的每一个分支是窗口中的一根隆线，然后找出文法;最后做一树状自动机。,据有关专家说，实验中大约有10的指纹由于噪声大而难以识别。识别一个指纹大约要50s钟，40s用于前后处理，10s钟用于结构分析。美国在1965年开始进行指纹识别自动化研究，在1972年完成了叫做FINGER的系统。北京大学模式识别国家实验室的指纹识别研究历经十几年的研究，已在公安部门及银行中得到了实际应用。,2人脸识别,人脸识别技术（FaceRecognition）就是利用计算机分析人脸图像，从中提取有效的识别信息，用来辨认身份的一门技术，它是典型的模式识别问题。完整的人脸识别问题不仅涉及图像处理、计算机视觉、人工智能、优化理论等诸多学科的知识，同时与认知学、神经科学、生理心理学的研究领域都有密切联系。如同人的指纹一样，人脸也具有唯一性。人脸识别有广泛的应用前景，如：,在国家安全、公共安全领域有广泛用途，如：身份认证、智能门禁、智能视频监控、海关身份验证、司机驾照验证等都是典型的应用；在刑事侦察领域，参照脸像库对特定人进行跟踪识别；在民事和经济领域中，各类银行卡、金融卡、信用卡、储蓄卡的持卡人的身份验证，社会保险的身份验证等都具有重要的应用价值。,网络信息安全领域：网络信息安全是随着网络技术发展出现的一个需要解决的迫切问题。而利用人脸识别技术可以进行网络安全登录控制，应用于程序安全使用、数据库安全访问、文件加密、局域网和电子商务安全控制等。,家庭娱乐领域：人脸识别也具有一些有趣的应用，比如能够识别主人身份的智能玩具、家政机器人，具有真实面像的虚拟游戏玩家等等。人机交互领域：人脸识别技术是当前“多模态”人机交互研究的主要内容之一，其目的是使人与计算机交互如同人与人之间交互一样轻松，自然。,虚拟现实领域：虚拟环境中，有效的人脸识别与跟踪研究成果可以借助人像库和三维人脸重建技术，构造更加逼真的人脸。虚拟主持人便是其应用之一。人脸的识别、跟踪与重建也是MPEG-4标准中的重要内容，是先进的人机界面、可视电话/会议电视、计算机动画领域的关键技术。,人脸识别系统取样方便，可以不接触目标就进行识别，具有方便性和直观性，从而开发研究的实际意义更大。与指纹图像不同的是，人脸图像受到很多因素的干扰，如：人脸表情的多样性；在成像过程中的光照、图像尺寸、旋转、姿势变化等，使得同一个人，在不同环境下拍摄所得到的人脸图像不同，给识别带来很大难度。因此人脸识别是一项具有挑战性的模式识别课题。,人脸识别技术（FaceRecognitionTechnology,简称FRT）的研究可以追溯到19世纪末。英国的高尔顿爵士发明的一套机械装置，利用人的侧脸轮廓上的五个代表点及其导出的一组特征进行人脸的匹配和识别。,此后，一直到20世纪60年代中后期，W.Bledsoe最先建立了半自动的人脸识别系统。该系统使用手工方式确定一些点，然后利用这些点建立参数进行分类器的设计。进入20世纪70年代，人脸识别的研究形成了第一次高潮。这些方法基本上采用人脸的一些几何特征点，进行人脸识别。这些方法对图像的约束条件较多，提取的特征数目较少，自动提取特征的准确度较低。,从20世纪70年代到80年代末，人脸识别陷入低谷。进入20世纪90年代以来，人脸识别研究受到了前所未有的重视。其原因是多方面的：首先是来自于信息安全和商贸系统的需要，如证件核实、保安监视、身份鉴别等的需求带动了人脸识别技术研究的兴起；其次是计算机运算速度的提高，为人脸识别系统实用化提供了条件；另外，计算机网络的广泛应用，神经网络分类器的一些研究成果也推动了这一领域的发展。,20世纪90年代前期，研究的重点在人脸分割，特征提取，基于统计或神经网络的分类器设计方面。该时期的人脸识别数据库比较小，且研究多集中在静态人脸图像上。存在的主要问题是：静态图像识别存在局限性，识别复杂场景中人脸图像比较困难，相比之下，动态视频图像序列下的识别相对容易解决。,后来一些学者把注意力从静态图像转为动态的视频图像序列来识别人脸。但是，在将理论诸实用的过程中，人们发现单样本进行识别的重要性和困难性，单单一张照片很难反映出人脸丰富的三维信息，所以，一些研究小组把注意力放在通过多张照片构造出三维人脸图像上来。主要方法有基于代数特征的方法（AlgebraicFeaturesBased）和基于神经网络的方法（NeuralNetworkBased）等。,（1）人脸识别系统的基本组成,（2）.人脸识别基本算法,1）基于几何特征的方法基于几何特征的方法(GeometricalFeaturesBased)是早期的人脸识别算法。该方法要求选取的特征矢量有一定的独特性，既要反映不同人脸的差异，还要具有一定的弹性，以减少或者消除光照差异等影响。几何特征向量是以人脸器官的形状和几何关系为基础的特征向量，其分量通常包括人脸指定两点间的欧式距离、曲率、角度等。,该方法的主要优点是：该算法提出较早，由于现在各种优秀特征提取算法（如动态模板、活动轮廓等）的提出，使得人脸的几何特征描述越来越充分，在表情分析方面，人脸的几何特征仍然是最有力的判据；,基于几何特征的人脸识别算法符合人类识别的机理，易于理解；对每幅图像只需要存储一个特征矢量，存储量小；对光照变化不太敏感,算法的不足是：对图像的约束条件较多，提取的特征数目较少，自动提取特征的准确度较低；从图像中抽取稳定的特征比较困难，特别是特征受到遮挡时更是如此；,对强烈的表情变化和姿态变化的鲁棒性较差；一般几何特征只描述了部件的基本形状与结构关系，忽略了局部细微特征，造成部分信息丢失，因此，该方法较适合于粗分类。,2）基于神经网络的方法神经网络用于（NeuralNetworkBased）人脸识别较早。早期用于人脸识别的神经网络主要是Kohonen自联想映射神经网络，当人脸图像受噪声污染严重或部分缺损时，用Kohonen网络恢复完整的人脸的效果较好。Cottrell等人使用级联BP神经网络进行人脸识别，对部分受损的、光照有所变化的人脸图像识别能力也较好。,基于神经网络的方法将人脸直接用灰度图（二维矩阵）表征，通过训练把模式的特性隐含在神经网络的结构和参数之中，即设计特定结构神经网络作为决策分类器。所选用的神经网络有：反向传播神经网络（BackPropagationNN）,卷积神经网络（ConvolutionNN）,支持向量机（SVM）等。,该算法的主要优点是：神经网络作为分类器具有很好的适应性和扩展性；可以通过学习的过程获得其它方法难以实现的关于人脸识别的规律和规则的隐性表达。对于复杂的、难以显式描述的模式具有一定的优势；,神经网络在结构上更类似于人脑，编码存储方式是分布式，信息处理方式是并行的，能显著提高速度。其缺点是：构造模型太大，参数繁多。由于原始图像数据量十分庞大，因此神经元数目通常很多，训练时间很长。当网络结构比较复杂，网络有许多参数（网络的层数、节点个数、学习速度等）需要调整时可能导致过训练（Overfitting）问题。,3）基于代数特征的方法这类算法是采用代数特征向量，即人脸图像在由“特征脸”张成的降维子空间上的投影。基于代数特征识别的主要原理是利用统计方法提取特征，从而形成子空间进行识别。,基于代数特征的方法的基本处理过程为：将图像看作一个数值矩阵，对其进行SVD分解，得到的奇异值作为人脸图像的描述。由于奇异值向量与图像有一一对应关系而且具有较好的稳定性和各种变换的不变性，代数特征反映了图像的本质，可以用做人脸特征的描述。,该方法将K-L变换用于人脸图像的最优表示；Turk和Pentland进一步提出了“特征脸”方法，该方法以训练样本集的总体散布矩阵为产生矩阵，经K-L变换后得到相应的一组特征向量，称作“特征脸”，这样，就产生了一个向量张成的子空间，每一幅人脸图像通过投影都可以获得一组坐标系数，这组坐标系数表明了人脸在子空间中的位置。实验表明其具有较强的稳定性，可以作为人脸识别的依据。,由于代数特征向量具有一定的稳定性，识别系统对不同的倾斜角度，甚至不同的表情均有一定的鲁棒性。其主要不足是对表情的描述不够充分，难以用于表情分析。,（3）当前主流算法,1）特征脸（eigenface）算法特征脸方法的优点：图像的原始灰度数据直接用来学习和识别，不需要任何低级或中级处理；不需要人脸的几何和反射知识；通过低维可以有效的对高维数据进行压缩；与其它匹配方法相比，识别简单有效。,特征脸方法存在的不足：图像中所有的像素被赋予了同等的地位，可是角度、光照、尺寸及表情等干扰会导致识别率下降，因此，须先进行尺度归一化处理；在姿态和光照变化时识别率明显下降；要求背景单一，；学习时间长，只能离线计算。,2）基于Fisher线性判别分析算法Fisher线性判别准则是模式识别里的经典算法，Fisher准则假设了不同类别在模式空间是线性可分的，而引起它们可分的主要原因是不同人脸之间的差异。,Fisher脸方法是对特征脸方法的一种很好的改进，特征脸很大程度上反映了光照等的差异，而Fisher脸压制了图像中与识别信息无关的差异。根据P.N.Beelhumeur的实验结果，采用K-L变换的识别率是81%，采用Fisher方法的识别率为97.4%。很显然的，采用Fisher脸有了很大的改进。,3）弹性图匹配方法弹性图匹配方法（ElasticGraphMatching）是一种基于动态链接结构(DynamicLinkArchitecture，DLA)的方法。它将人脸用格状的稀疏图（即拓扑图）表示，图中的节点用图像位置的Gabor小波分解得到的特征向量标记，图的边用连接节点的距离向量标记。,匹配时，首先寻找与输入图像的最相似的模型图，再对图中的每个节点位置进行最佳匹配，这样产生一个变形图，其节点逼近模型图的对应点的位置。Wiscott等人使用弹性图匹配方法，以FERET图像库做实验，准确率达到97.3%。,其优点是：人脸稀疏图（即拓朴图）的顶点采用了小波变换特征，对光照、位移、旋转及尺度变化都不敏感。弹性图匹配法能保留二维图像的空间相关信息。而特征脸方法在将图像排成一维向量后，丢失了很多空间相关信息。,4）局部特征分析算法局部特征分析算法（LFA:LocalFeatureAnalysis）是利用人脸的先验结构知识和人脸图像的灰度分布知识，先粗略找出人脸的特征点，然后利用人脸弹性图来对其进行调整，最后在各个特征点处计算Gabor变换系数集合，并以此来表示人脸的特征。,Penev和Atick提出基于局部特征分析的方法，用于克服主成分分析法PCA不能提取物体局部结构性特征。由于主成分分析（PCA）本质上是一个非拓扑的线性滤波器，降维后损失的结构信息无法在后续过程中弥补。,而局部信息和拓扑性质在模式识别分类中非常重要，同时这些特征更符合生物神经系统的识别机制。此方法对基于全局PCA模型提出一种局部特征的拓扑表示。相对于传统的弹性图匹配方法，特征点预先被估算出来，而不是在整个图中检索，因此大大的降低了计算量。,5）非线性子空间算法非线性子空间分析法（Non-LinearSubSpace）它代表了一种主流发展趋势。主要有基于内核机方法（如：K-SVM，K-PCA、K-LDA）、局部线性嵌入方法（LLE）、拉普拉斯特征脸方法（LE）等。其主要思路：用较少数量的特征对样本进行描述，采用非线性映射实现降维，构造人脸特征子空间，进而通过分类器，实现人脸识别与跟踪。,非线性子空间算法的最大特点：能够用非线性映射表示高阶人脸特征所含的有效信息，除具有线性子空间方法基于事例、特征学习与降维的特点以外，还具有更有效建模（Leadmoresensiblemodeling）和固有特征维发现（Discoverintrinsicdimension）的优点。,但是在高阶带来的计算量增加和寻找有效映射上仍需要改进。以核主分量分析（KPCA）为例，KPCA是基于数据的高阶统计的低维表示基础上，引入了更高阶统计独立分量（相关性）分析，具有比主分量分析（PCA）更有效的识别效果。,（4）人脸识别中的相似度比较方法,将待识别图像映射到特征空间后，需要确定训练集中的哪幅图像与之最相似。一般有两种方法确定图像间的相似程度。一种方法是比较两幅图像N维像素向量间的距离；第二种方法是估算两幅图像的相似度。,计算向量间距离和相似度的五种方法。1）准则准则又称城市阻塞准则或和准则，实际上它来自明氏距离（Minkowskidistance）。明氏距离的定义如下：当时，就是绝对距离。,2）准则准则又称欧式准则，它同样来自明氏距离。当时，即得到准则，它的平方根又称欧式距离。图像A和图像B的准则为：,3）协方差协方差方法也被称作角度方法，它计算两个归一化向量间的角度。通过两个归一化向量的点积来计算。图像A和图像B之间的协方差为：,4）马氏距离当特征向量之间具有相关性，而且各个特征向量对距离测度的贡献不一样的时候，可以采用马氏距离（Mahalanobisdistance）。其定义为：,其中，代表特征向量的协方差矩阵。,5）相关性相关性表示了两幅图像像素间的变化速度。它计算出来的结果在-1到1之间，-1表示两幅图像互不相关，1表示两幅图像完全一样。图像A和图像B之间的相关性可表示为：,其中，表示A的平均数，表示A的标准差。,（5）.非线性子空间算法实现人脸识别,人脸识别中特征的维数通常都是非常高的，实际上在这样高维空间中的分布很不紧凑，因而不利于分类，计算上的复杂度也非常大。为了得到人脸图像的较紧凑分布，Kirby和Turk等人首次把主分量分析的子空间思想引入到人脸识别中，并获取了较大的成功。,子空间分析的思想就是根据一定的性能目标来寻找一线性或非线性的空间变换，把原始数据压缩到一个低维子空间，使数据在子空间中的分布更加紧凑，为数据的更好描述提供了手段。从而，使计算的复杂度也得到了大大降低。,目前在人脸识别中较为成功应用的线性子空间方法有：主分量分析（principalcomponentanalysis,PCA）线性判决分析(lineardiscriminantanalysis,LDA)、,矢量量化（vectorquantization,VQ）、独立元分析(independentcomponentanalysis,ICA)非负矩阵因子(non-negativematrixfactorization,NMF)，,基于核技术的非线性子空间分析方法有：核主分量分析（kernelprincipalcomponentanalysis,KPCA）核Fisher判决分析(kernelfisherdiscriminantanalysis,KFDA)等。,1）主分量分析法（PCA）主分量分析法的主要思想是选择样本点分布方差大的坐标轴进行投影，来降低维数而使信息量损失最少，这样就把问题转化为求样本数据协方差矩阵的特征值问题。,PCA方法将包含人脸图像区域看作一种随机变量，因此，可以采用K-L变换得到正交变换基，对应其中较大的特征值的基底具有与人脸相似的形状。,PCA利用这些基底的线性组合可以描述和逼近人脸，因此可以进行人脸的识别和重建。识别过程就是把待识别人脸映射到由特征脸张成的子空间中，与库中人脸的子空间位置进行比较或匹配。,计算特征脸特征脸是通过计算一系列训练集图像的像素点的协方差矩阵的特征向量确定的。假设训练集中有P幅人脸图像，每幅图像的像素值构成一个N维列向量中，,这P幅图像的平均值向量为：,每个人脸图像与平均值向量m的差值向量为：,将所有图像的向量结合在一起，形成了一个大小的矩阵，,将矩阵的转置矩阵与相乘得到其协方差矩阵：,假设PN，求解协方差矩阵的非零特征值及其对应的特征向量。将计算出来的特征值由大到小排列，对应的特征向量也按顺序排列。最大特征值对应的特征向量反映了图像间的最大差异，第二个最大特征值对应的特征向量反映了图像间的第二大差异，以此类推，最小的特征值对应的特征向量反映了图像间的最小差异。,通过特征空间映射标识人脸有三个基本步骤。首先，通过对训练集图像进行训练创建特征空间；其次，训练集图像被映射到特征空间；最后，将待测图像映射到特征空间，通过与映射到特征空间的训练集图像进行比较，实现人脸识别。,4.1.2.1创建特征空间,计算每幅图像像素矩阵与均值矩阵的差值：每一幅训练集中的图像都必须进行这项操作，因为主分量分析的前提是。所以，计算训练集中图像的均值矩阵和计算图像像素矩阵与均值矩阵的差值，即为所得。,创建数据矩阵：训练集图像完成了步骤1的计算后，就把它们结合在一个的数据矩阵中，其中：P为训练集中图像的个数，矩阵中的每一列代表一幅图像的所有像素，如式（10186）计算所得。,计算协方差矩阵：数据矩阵乘以其转置矩阵就得到了数据矩阵的协方差矩阵，如式（10187）所示。,计算协方差矩阵的特征值和特征向量：协方差矩阵的特征值和特征向量满足下式，,这里，V为特征值所对应的特征向量的集合。,对特征向量进行排序：将协方差矩阵的特征值按由大到小的顺序进行排序，特征值所对应的特征向量也按同样的顺序排列。,排序只针对非零特征值所对应的特征向量。这个排序后的特征向量集就是特征空间V，V中的每一列代表一个列向量。,4.1.2.2映射训练集图像,每一个减去均值矩阵之后的训练集图像向量（）都要映射到特征空间。通过计算特征空间矩阵的转置矩阵与每一幅图像的像素向量（）的乘积，将训练集图像向量（）映射到特征空间。,4.1.2.3识别待测图像,每一幅待测图像首先都要通过减去均值向量得到一列向量，然后被投影到由V定义的特征空间中。即：,其中,且,将待测图像的投影与每一个训练集的投影进行比较，与待测图像投影最接近的训练集图像就是我们要识别的训练集中的图像。可以用类似的方法对图像进行比较；最普通的是使用标准。,（6）.人脸识别的统计结果,根据图5.1和图5.2所示的训练和识别的流程图在MicrosoftVisualC+6.0环境下编程测试KPCA人脸识别效果，采用美国的Yale人脸库，,图像库中共15人，每人11张照片，人脸数目共计为165。每人10幅图像作训练，一幅做测试，识别率定义如下：,其中，n为正确识别出的人脸个数，N为训练集中的人数。利用PCA进行人脸识别的实验结果为：87.5,42模式识别在医学上的应用,模式识别在医学图像方面的应用还不多，主要是医学图片在预处理和分割等方面的问题还没有解决，大部分工作尚在解决此类问题。,染色体分类是句法方法的一个例子，目前只用于形状分类，其实真正染色体的分类还要用到染色体本身灰度的变化。一般作法是先找到染色体，然后扫描、分开、找到染色体的方向，找到中心，测量臂长、灰度等参数，然后加以识别。染色体分类系统的框图如图1034所示。目前有资料谈到染色体的正确识别率为93.7。,除染色体分类，在医学中的应用还有血球分类。目前有的医院使用5类分类器，可以做到95的正确分类。分类方法与染色体分类大致相同。此外，还有细胞分类，光透视照片分析等等。,43模式识别在自动检测中的应用,模式识别的一个较为广泛的应用领域是自动检测，它包括自动视觉检查及工业零件的自动识别等等。在生产过程中，为了排除次品和查出与故障有关的零件隐患等，要在生产过程中用目测方法对产品进行外观检查，但目测法有因人而异和漏检的问题。,为此，有必要研制能在一定的标准条件下定量的一个不漏地进行检查的装置，这就是利用模式识别技术的自动外观检查装置。,目前已实用的自动外观检查装置有很多:漆包线自动外观检查装置彩色显像管阴罩的自动外观检查装置二极管基片检查电话交换机继电器接点检查印刷电路板自动外观检查等等都已付诸实用。下面简略介绍其中几种检测原理。,431印刷电路板自动外观检查装置,在电子技术高度发展的今天，几乎所有的电气装置中都要用到印刷电路板，特别是电子计算机中的印刷电路板，已达到高密度多层化。因此，用目测法检查缺陷相当困难甚至已不可能。,大部分印刷电路板的缺陷都是由一些细微的疵点造成的，只要从图案中检查出细微的图案差错，就能防止大部分缺陷。,在识别微细伤痕时，要从可能含有伤痕的输入图像中先做出不包含任何伤痕的图像作为模板，这种模板称为准正常图像。然后将准正常图像与输入图像进行比较，识别出与准正常图像有差别的部分，判定其为疵点或伤痕。,准正常图像的制作方法如图1035所示。图(a)是输入图像，其中有微小的斑疵。为消除图像中的疵点，首先把图像放大，如图(b)，(c)把黑色部分放大，紧接着再把黑色部分等量缩小，则图中的白色疵点去掉了。然后均匀放大白色部分，再等量缩小，如图(d),(e)所示，此时黑色疵斑也去掉了。最后得到图(e)所示的准正常图像。,印刷电路板外观检查装置的方框图如图1036所示。这种装置用摄像机来检查，首先把图像转换成240320个点阵像素，然后作二值处理，提取细微部分，从而判定伤痕。这种方法处理一张图像约需。,432彩色显像管阴罩底板的自动外观检查,彩色显像管阴罩的作用是要确保每种颜色的所有荧光点仅受其相应的电子束的轰击，所以阴罩的制造精度直接关系到显像管色彩的准确度与图像的鲜明度。阴罩板上精确地开有几十万个宽0.3mm，长0.6mm的带式图案。,在阴罩的制作过程中，采用光刻法。首先在钢板上涂上光致抗蚀剂，将要使用的玻璃底板紧贴于阴罩的原板上曝光，以便使玻璃底板上的图案转印到阴罩原板上，所以要求玻璃底板图案尺寸精度高，而且无缺陷。,图1037示出了玻璃底板和带式图案的缺陷。图(a)的玻璃底板上有两张底板图案。带式图案中的缺陷示于图(b)。由于10m以上的缺损，边缘突起，内部缺陷，多余部分以及带式图案的尺寸误差等均与阴罩质量的低劣有关，,所以要对上述各项进行全面检查，然后予以修正。过去，上述检查都是在显微镜下用目测法进行，现在可用图像识别技术自动检出缺陷。,检测原理如图1038所示。从玻璃底板背面照明，用物镜放大底板图案，然后用光敏阵列器件检测。该阵列器件是在纵向排列有128个大小为25m25m的光敏元件。,玻璃底板在方向上往复运动，这时，电光源、照明透镜、物镜及光电阵列器件组成一个整体，在y方向上间歇地以一定节距作进给运动，这样就可全面检测底板图案。,检查内容如下：（）测量图案宽度、长度及中心线的偏