（信号与信息处理专业论文）面向身份认证的人脸识别研究.pdf

哈尔滨工业大学工学硕士学位论文 摘要 智能化管理是由生产力的不断发展所推动的，会极大地方便人们的生活， 同时给社会的发展提供巨大的动力。生物识别技术和计算机技术在理论上面已 经得到了很大发展，并已在工程中有着广泛的应用，它们是促进智能化管理的 重要因素。 在生物识别及模式识别领域中，与人脸相关的技术如人脸检测、跟踪、特 征定位等，因其应用面广、难度大，一直是近年来的研究热点。人脸识别技术 作为综合以上诸方面的一种应用，对其进行深入研究是具有实际意义的。 人脸识别就是对于输入的人脸图像或者视频，首先判断其中是否存在人 脸，如果存在人脸，则进一步地给出人脸的位置、大小和各个主要面部器官的 位置信息，并依据这些信息，进一步提取人脸中所蕴含的身份特征，并将其与 已知人脸库中的人脸进行对比，从而识别人脸的个人身份。 人脸检测和人脸识别技术是一项非常复杂精细的技术，它糅合了数字图像 处理、模式识别以及其他很多理论的内容。本论文主要论述了彩色静态图像的 一种人脸检测及其识别判断模型。检测手段采用了色彩模型对面部肤色建模并 分割得到人脸区域，识别技术使用主元分析得到投影基向量( 特征脸) 提取特 征，再利用支持向量机训练数据及判断。最后给出了模型的仿真分析，结果证 明了人脸检测和人脸识别是可以在一定的环境下实现的。 人脸识别技术具有广泛的应用前景，在国家安全、军事安全和公共安全领 域，在民事和经济领域，在家庭娱乐等领域，都具有一些有益的应用。 关键词人脸检测；人脸识别；特征脸；支持向量机 哈尔滨工业大学工学硕士学位论文 a b s t r a c t i n t e l l i g e n tm a n a g e m e n ti sm o t i v a t e db yt h ei m p r o v e m e n to fp r o d u c t i v i t y , a n di t w i l la c c o r df a c i l i t i e sf o rh u m a nl i f ea sw e l la sa f f o r d g i g a n t i cp o w e rf o rs o c i a l d e v e l o p m e n t t h et h e o r i e sa b o u tb i o m e t r i ci d e n t i f i c a t i o nt e c h n o l o g ya n dc o m p u t e r t e c h n o l o g yw h i c ha r e t h eb a s eo fi n t e l l i g e n tm a n a g e m e n th a v eb e e na d e q u a t e l y d e v e l o p e d i nt h er e g i o no fb i o m e t r i ci d e n t i f i c a t i o na n dp a t t e mr e c o g n i t i o n ，t h et e c h n o l o g y a s s o c i a t i n gw i t ht h ef a c el i k e st h ef a c ed e t e c t i o n ，t r a c e ，a n df e a t u r el o c a l i z a t i o ni s v e r yp o p u l a r b e c a u s eo fi t sw i d e a p p l i c a t i o n t h e r e i s p r a c t i c a ls i g n i f i c a t i o n r e s e a r c h i n g t h ef a c er e c o g n i t i o nw h i c h s y n t h e s i z e st h ec o n t e n t sa b o v e t h ef a c er e c o g n i t i o nw o r k sa sb e l l o w ：f i r s td e t e c ta n dg e tt h es p e c i f i cr e g i o no f t h e f a c e ，t h e ng e tt h ef a c i a lf e a t u r el o c a t e da n de x t r a c tf e a t u r ef o rt h ec l a s s i f i e ra c c o r d i n g t ot h el o c a t i o no ff a c i a lf e a t u r e a tl a s ts e n tt h ef e a t u r ee x t r a c t e di n t ot h ec l a s s i f i e r a n d g e t t h er e s u l t i no r d e rt od e s i g na s y s t e mf o r f a c ed e t e c t i o na n d r e c o g n i t i o n ，c o m p l e xt e c h n o l o g y i sr e q u i r e d ，s u c ha st h ek n o w l e d g eo f d i g i t a li m a g ep r o c e s s 、p a t t e mr e c o g n i t i o na n d o t h e rs u b j e c t s f a c ed e t e c t i o ni san e c e s s a r yf i r s t s t e pi nf a c er e c o g n i t i o ns y s t e m s ， w i t ht h ep u r p o s eo fl o c a l i z i n ga n de x t r a c t i n gt h ef a c er e g i o nf r o mt h eb a c k g r o u n d t h i st h e s i sp r e s e n t sa na p p r o a c hb a s e do nt h ec o l o r - m o d e lf o rf a c ed e t e c t i o n ，a n d a l s oa ne f f i c i e n tm e t h o du s i n gt h ee i g e n f a c ea n ds v mf o rf a c er e c o g n i t i o n i ti st h e s i m u l a t i o na n a l y s i si nt h ee n da n dt h ee x p e r i m e n t a lr e s u l t sp r o v et h a ti ti sp o s s i b l et o r e c o g n i z e t h ef a c e r e c o g n i t i o n h a sab r i g h t p r o s p e c ta n d h a sb e e na p p l i e di naw i d e a p p l i c a t i o n i nt h e r e g i o no fs e c u r i t y , e c o n o m i c s ，f a m i l ya n dg o v e r n m e n tt o s o m e e x t e n t k e y w o r d s f a c ed e t e c t i o n ；f a c er e c o g n i t i o n ；e i g e n f a c e ；s v m 哈尔滨工业大学工学硕上学位论文 1 ，1 课题背景 1 1 1 计算机视觉 第1 章绪论 视觉使人类得以感知和理解外在的环境。计算机视觉就是用计算机代替人 眼来做测量和判断，通过电子化地感知和理解图像复制人类视觉的效果。使计 算机具有视觉能力不是一件容易的事情，当计算机试图分析三维空间的物体 时，可利用的视觉传感器通常只能给出二维图像，而这个向低维的映射导致了 信息的巨大丢失。 计算机视觉技术使用包括数学、模式识别、人工智能、电子学以及其他科 学领域的结果和方法。为了简化计算机视觉理解的任务，通常将其分为两个层 次：低层的图像处理和高层图像理解。 低层的方法一般包括图像压缩、去除噪声、边缘提取和图像锐化等预处理 方法。高层的处理取决于知识、目标以及如何达到这些目标的计划，人工智能 的方法是被广泛使用的。高层计算机视觉试图模仿人类的认知和根据包含在图 像中的信息进行决策的能力。 计算机视觉的目标是获得生物系统所能提供的类似结果，期望用它来解决 非常复杂的问题。 1 1 2 生物识别技术 生物识别技术是指通过对人体特征的数字化测量来进行身份鉴别的技术。 指纹、人脸、声音、虹膜、视网膜、签名等特征都可被用来进行身份鉴别的研 究。它对生物特征进行取样，提取其唯一的特征并且转化成数字代码，并进一 步将这些代码组成特征模板，入们同识别系统交互进行身份认证时，识别系统 获取其特征并与数据库中的特征模板进行比对，以确定是否匹配，从而决定接 受或拒绝该人。 人脸检测识别技术是生物识别技术的一个重要课题，用人脸信息来识别一 个个体，是计算机视觉和模式识别领域中一个热点i lj i ”，它在商业、司法、监 哈尔滨工业大学工学硕士学位论文 控等领域有着广泛的应用。与利用指纹、视网膜、虹膜等其它人体生物特征进 行个人身份鉴别方法相比，人脸识别具有直接、友好、方便的特点，特别是对 于个人来说无任何心理障碍。人类在日常生活中，可以毫不费力的在任意的场 景中发现一张人脸并识别它，但科学界至今也并不了解人类的视觉系统和大脑 是如何实现这个任务的。将这样的一个任务用计算机实现，也是较为困难的问 题。尽管如此，这个问题仍然因为它的价值和效益而吸引了诸多的研究者，并 在各方面取得了一定的成果。 1 2 国内外综述 1 2 1 人脸检测跟踪方法 目前做人脸检测的方法大致可分为以下几种：神经网络的方法【3 h 4j i 、基 于特征的方法【6 】【7 1 和基于色彩的方法( 8 】【9 j 【l j l 等。其中，神经网络的方法是用 许多的训练数据( 一部份是脸部的、一部份是非脸部的) 去训练神经网络，使 其可以辨识出什么图像是脸、什么图像不是脸。基于特征的方法是利用人脸部 的一些特征来检测人脸，例如：人脸上有眼睛、鼻子、嘴巴，而这些器官都有 固定的相对位置；就整张脸而言，大概是呈椭圆形，而脸和背景之间大致会有 边缘线；诸如此类，有许许多多的特征可利用。而基于色彩的方法，则是利用 人脸部的颜色来判断某图像是否是脸，若图像是彩色的，知道脸的颜色是黄、 白、褐、深褐色，若图像是灰度的，人脸的灰度颜色的变化并不会太大，而眼 睛、嘴巴、头发会是较黑的部份。 其中基于色彩的方法是用统计方法对目标的色彩建模，利用人脸部皮肤在 色彩空间中具有的聚合性来检测人脸，在直接建模方面，f u 等在y e s 色彩空间 中使用自增长概率决策神经网络对瞳孔的e 和s 分量建模【12 j 达到了较好的结 果。r e i n l i e nh s u 使用，ec r 色彩模型对脸部特征色彩信息迸行了研究。 色彩信息用于人脸检测具有运算量小，对光照、肤色、位置、尺寸、方向、 3 d 姿态和表情变化等具有一定的鲁棒性。 1 2 2 脸部特征定位方法 在人脸检测的基础上，面部关键特征检测试图检测人脸上主要的面部特征 哈尔滨工业大学工学硕士学位论文 点的位置如眼睛和嘴巴等主要器官的形状及位置信息。 近年来，国内外学者们已提出了多种脸部特征定位方法，大致可分为基于 先验规则、基于关联信息、基于几何形状等几类。 先验规则是关于脸部特征一般特点的经验性描述。人脸图像有一些明显的 基本特征，如脸部区域包括两只眼睛、一个嘴巴和一个鼻子，而它们的亮度一 般来说低于其周围区域亮度，其中两只眼睛大致对称。先验规则就是根据脸部 区域的这些特点总结出一些基本的经验约束，定位前先对图像作变换从而使目 标特征得到强化，然后根据之前的经验约束寻找特征点。这类方法对图像质量 要求较高 1 4 1 15 】【1 6 ” 【1 8 l ，人脸姿态、光照等影响大，准确率较高，运算量较 大。 关联信息是在局部信息的基础上，利用脸部特征之间存在着的较稳定的相 对位置关系来缩小候选点范围，与前面基于先验规则的方法不同，此类方法所 使用的关联信息是通过统计学习得到的。这类方法的具体应用有概率网络i l 、 动态链接模型【2 0 】、小波网络f 2 l 】等。此类方法对图像质量要求较低，人脸姿态、 光照等影响较小，准确率高，运算量较大。 基于几何形状方法根据脸部特征的形状特点构造一个带可变参数的几何模 型，并设定一个评价函数度量被检测区域与模型的匹配度。搜索时不断调整参 数使评价函数最小化，从而使模型收敛于待定位的脸部特征。如可变形模板方 法就是其中之一，其主要思想是根据待检测人脸特征的先验的形状信息，定义 一个参数描述的形状模型，该模型的参数反映了对应特征形状的可变部分，如 位置、大小、角度等，它们最终通过模型与图像的边缘、峰、谷和灰度分布特 性的动态交互适应来得以修正。由于模板变形利用了特征区域的全局信息，因 此可以较好地检测出相应的特征形状。但是对参数初值的依赖程度高，评价函 数很容易陷入局部极小，且计算时间长。此类方法对图像质量要求高，人脸姿 态、光照等影响大，准确率高，运算量较大口2 】【2 3 】 2 4 】。 1 2 3 人脸识别方法 主流的人脸识别技术基本上可以归结为三类 2 5 】【2 6 f 2 7 】【2 8 】【2 9 】【3 0 1 1 3 1 】 3 2 】，即：基 于几何特征的方法、基于模板的方法和基于模型的方法。基于几何特征的方法 是最早、最传统的方法，通常需要和其他算法结合才能有比较好的效果：基于 模板的方法可以分为基于相关匹配的方法、特征脸方法【3 3 1 1 3 4 【3 5 】【3 6 、神经网络 方法【3 7 】、动态连接匹配方法等。基于模型的方法则有基于隐马尔柯夫模型，主 哈尔滨工业大学工学硕士学位论文 动形状模型和主动外观模型的方法等。特征脸方法是9 0 年代初期由t u r k 和 p e n t l a n d 提出的目前最流行的算法之一，具有简单有效的特点，现在特征脸算 法已经与经典的模板匹配算法一起成为测试人脸识别系统性能的基准算法。 近年来，国内外学者在对特征脸技术进行认真研究的基础上，尝试了基于 特征脸的提取方法和各种后端分类器相结合的方法，并提出了各种各样的改进 版本或扩展算法，主要的研究内容包括线性非线性判别分析( l d a k d a ) 、 b a y e s i a n 概率模型、支持向量机( s v m ) 3 8 】【3 9 】【40 1 、人工神经网络( n n ) 以及类内 和类间双子空间分析方法等等。 针对特征脸算法的缺点，也提出了特定人脸予空间( f s s ) 算法。该技术来 源于但在本质上区别于传统的特征脸人脸识别方法：特征脸方法中所有人共有 一个人脸子空间，而该方法则为每一个体人脸建立一个该个体对象所私有的人 脸子空间，从而不但能够更好地描述不同个体人脸之间的差异性，而且最大可 能地摈弃了对识别不利的类内差异性和噪声，因而比传统的特征脸算法具有更 好的判别能力。另外，针对每个待识别个体只有单一训练样本的人脸识别问 题，提出了一种基于单一样本生成多个训练样本的技术，从而使得需要多个训 练样本的个体人脸子空间方法可以适用于单训练样本人脸识别问题。 实际环境中，同一个人在不同光照和姿态下的人脸图像在外观上的差别， 往往比不同人在几乎相同的光照和姿态下在外观上的差别还要大。同一个人在 不同环境下采集的数据的离散性，成为提高人脸识别正确率的重要障碍。 j d a u g m a n 【4 1 l 和m a x i ma g r u d i n 4 2 在分析和比较了现今流行的几乎所有人脸识 别方法后指出，现有人脸识别算法还都不足以做到对光照、姿态方法等的鲁棒 一睦。 1 3 主要研究的内容 人脸识别是一个很复杂的问题，分析人脸的模式，人脸属于三维非刚体目 标，具有以下特点： ( 1 )人脸具有结构的恒常性：人类脸部具有相同的生理结构，眼睛、鼻 子、嘴等脸部器官的排列和相对位置不因个体差异和外界因素而改 变； ( 2 )人脸外观具有很强的可变性：个体外貌差异、表情变化、光照的影 响、位姿变化的影响、眼镜和化妆等脸部附属物的影响 ( 3 )人脸模式包含特征具有复杂性和多样性：人脸图像所包含模式特征 d 哈尔滨工业大学工学硕士学位论文 十分丰富，如肤色颜色特征、椭圆轮廓特征、对称结构特征、直方 图特征等。 本文目的是要开发出一种基于个人身份认证的有效人脸识别算法。算法基 本流程如下： 图卜l 算法流程 其中第2 章讨论了肤色建模及分割，解决了人脸检测、眼睛定位及人脸的 标准化问题。以后各章都是针对识别问题，第3 章探讨了模式识别领域关于分 类器的一些问题，第4 章针对本课题使用的支持向量机，第5 章涉及到具体的 人脸识别方法及操作，最后为本文结论部分。 哈尔滨工业大学工学硕士学位论文 第2 章人脸检测 要识别图像中的人脸，首要的一点就是要找到人脸。人脸检测与跟踪研究 就是如何从静态图片或者视频序列中找出人脸的所在区域，如果存在人脸，则 输出人脸的位置及其大小。人脸跟踪就是要在检测到人脸的基础上，在后续的 人脸图像中继续捕获人脸的位置及其大小等性质。人脸检测是人脸身份识别的 前期工作。同时，人脸检测作为完整的单独功能模块，在智能视频监控、视频 检索和视频内容组织等方面有直接的应用。 如前文所述，一种可实现的在复杂背景下的人脸检测与跟踪系统，可采用 神经网络的方法、基于特征的方法和基于色彩的方法等人脸检测技术。 同灰度图像相比，彩色图像能够提供更多有关于目标物体的信息，彩色图 像处理方法具有比灰度图像处理方法更大的优越性。基于色彩的方法运算量 小，肤色是人脸的重要信息，不依赖于面部的细节特征，对于旋转、表情等变 化情况都能适用，具有相对的稳定性并且和大多数背景物体的颜色相区别，因 此肤色特征在人脸检测中是最常用的一种特征。并且由于人脸检测这一部分在 本课题中只是起到粗定位的作用，因此将采用基于色彩信息的方法来实现人脸 检测。 肤色特征主要由肤色模型描述，使用何种形式的肤色模型与色度空间的选 择密切相关。本文使用y c 。c ，色度空间。在确定肤色模型之后，就可以进行 肤色检测并分割出人脸了。 2 1 肤色模型 人的皮肤颜色分布在颜色空间中很小的一个范围内，呈聚类特性，特别是 在排除了光照亮度和在经过某种变换的色彩空间中。所以利用肤色这一线索可 以排除掉在灰度图像中很像人脸而对应到彩色图像中根本不是肤色的区域，这 在人脸检测中会起到积极的作用，肤色模型正是建立在此基础之上的，并且人 们提出了不同色彩空间的肤色模型表示方法。 肤色建模是为了有效地分割人脸，属于颜色空间聚类算法。人脸肤色大致 上分为黄色、棕色、黑色和白色等，它们在颜色空间都对应着一定的分布区 域，形成特定的模式。常见的色彩表示方法是基于三基色理论的r g b 空间，由 r g b 空间经过变换，可以得到各种色度空间表示。常用的有h i s 、托j c ，( y u v ) 哈尔滨工业大学工学硕士学位论文 等。 y c bc _ 颜色空间广泛用于电视的色彩显示等领域： f y 20 2 9 9 r + 0 5 8 7 g + o 1 1 4 b c ，= ( o 5 0 0 r - 0 4 1 8 7 g - 0 0 8 1 3 b ) + 1 2 8 ( 2 1 ) l c b = ( o 1 6 8 7 r o 3 3 1 3 g + o 5 0 0 b ) + 1 2 8 其中，y 表示亮度，e 表示色彩的蓝色分量，e 表示色彩的红色分量。g c ， 分量组成的二维聚类区域排除了大部分非人脸区域，但由于c e 是直接由 r g b 色彩格式通过线性变换得到，没有完全分离出亮度信息，因此对光照比 较敏感。肤色聚类呈两头尖的纺锤形状。若只采用二维的肤色g c ，模型，在值 较大和较小的部分，被错误检测为肤色的区域将大大增加。在进行肤色建模的 时候，r c c ，空间中的亮度和色度的分离度越大越好，但是实际操作中这二者 总是存在一定的依赖关系，要做的就是尽量消除它们之间的依赖关系，下面这 个分段的非线性转换就是为了这一目的： f孵 一 c ( 即= p 班啄功南托f ，f 罐皇i y 2 ) ic j ( 】，) ( y ) = wl。竖二圣!丛垦二坠!c k 一匕。 w h c , + 坠挚 竖二丛! ! ! 二! 堕 蜀一。 ( 1 ，一瓦) ( 11 8 1 0 8 ) 圪。一 ( k 一】，) ( 1 5 4 1 4 4 ) 局一匕。 ( y e ) ( 1 5 4 1 3 2 ) 匕。一邑 移y ( k | 矿民 + + ) + +痧+ + ( 一 + + + + + a )b )c ) 图3 - 2 模式空间分布方式 可以用紧致性这一概念描述上述情况，它具有下列性质： ( 1 )临界点的数量与总的点数相比很少； ( 2 )集合中任意两个内点可以用光滑线连接，在该连线上的点也属于这 个集合： ( 3 )每个内点都有一个足够大的邻域，在该领域中只包含同一集合中的 点。 显然如果每个模式在特征空间的分布都满足上述要求的话，模式识别的问 题在原则上就不会有什么困难。然而很多实际问题并不满足这个条件。许多问 题在模式空间表示时往往不满足紧致性。但是如果它们的确是可分的话，这就 意味着可以通过一种变换，使它们在相应的特征空间中界线分明，也就是具有 了紧致性。模式识别系统设计的任务就是要寻找这样一种变换，即选择一种特 征空间，使不同类别的样本能正确地分开。因此在讨论模式识别的问题时，通 常假设同一类的各个模式在该空间中组成一个紧致集。 同类物体之所以属于同一类，在于它们的某些属性相似，因此可选择适当 的度量方法检测出它们之间的相似性。人们也正是依据物体之间的相似程度将 它们分类的。问题在于物体之间的相似性具有确定性与不确定的性质，有时相 似性与不相似性很难用明确的定量表示。而计算机却适合符号运算或数值计 算。如果采用数值运算，则必须将赖以区别物体的相似性与不相似性用定量表 示，这显然是非常困难的。如果采用符号运算来说明两个物体在什么方面相似 与不相似，则往往也要从定量分析的基础得出定性的符号描述，这也正是许多 实际模式识别问题的困难所在。在特征空间中用特征向量描述样本的属性，就 是把相似性度量用距离度量表示。在找到合适的特征空间情况下，同类样本应 具有聚类性，或紧致性好，而不同类别样本应在特征空间中显示出具有较大的 距离。统计模式识别各种方法实际上都是直接或间接以距离度量为基础的。 1 _ + + + +中 ， +一+ 卜十十 哈尔滨工业大学工学硕士学位论文 3 2 分类原理 统计分类器具有 个输入端和1 个输出端，每个输入端接收从待分类物体 测量得到的n 个特征五，矗，中的一个。个月一类分类器的输出为 ，中的一个，用户将这个输出符号视为对待分类物体的类别判断。输 出符号俎就是类别标志符。 决策规则函数d ( x ) = q 将特征空间分成尺个不相交的子集墨，r = 1 ，胄， 每个子集包含所有满足d ( x 1 ) = 戤的物体特征表示向量x 。子集墨间的边界构 成了分类超曲面。它可由r 个标量函数晶( _ = c ) ，9 2 0 ) ，踟( z ) 定义，这些函数被 称为判别函数。对所有z 置，和任意s 1 ，r ) ，s ，判别函数的设计应该满 足以下条件： g ，( x ) g ，( x ) ( 3 - 1 ) 也就是，类别区域世，和世。间的分类超曲面由下式定义： 毋( 砷一岳( 砷= 0 ( 3 - 2 ) 这一定义也就确定了决策规则。物体模式z 将被识别为判别函数具有最大输出 值的类别： d ( x ) 。q 营毋( x ) - 。m a x 。g , ( x ) ( 3 - 3 ) 另一种方法是基于最小距离准则构造分类器。假设特征空间中定义了r 个 点v 1 ，v 2 ，为类c _ q ，鸣，的样本模式。最小距离分类器将待分类模式x 识别为距其最近的代表所在的类别。 d ( z ) = q 铮| v ，一x 1 2 。m i n 。v , 一x f ( 3 4 ) 如果每类仅由一个模式表示，则分类器将是线性的。如果一类中可能具有 多个模式，则分类器为分段线性的超平面。 非线性分类器通常利用某些适当的非线性函数中，将原始特征空间z ”变 换到一个新的特征空间x ”，其中n ，m ( n m ) 表示空间的维数。 o = ( 西，呜，唬，) ：x ”斗x “ ( 3 5 ) 所有分类超平面都垂直平分线段u u ，见图3 - 3 。 堕尘堡三些奎兰三兰塑圭兰堡篁三 ? k sx 。v sk 、ll-、il即一一 卜7 八 r - k t a ) 两分类问题b ) 三分类问题 图3 - 3 分类面 经过非线性变换后，模式由低维映射到高维空间，在这个新的高维空间中 就可以采用线性分类器了，函数的作用在于将原始特征空间中的非线性分类 超曲面变成新特征空间中的超平面。巾- 分类器的判别函数为： g ，( x ) = 吼o + g ，1 萌( x ) + + g ，丸( x ) ( 3 - 6 ) 3 3 分类器设置 基于判别函数的分类器是一种具有确定性的机器，同一种模式x 总会被分 到同一类，模式z 可能来自不同类别的物体，也就是说分类器的决策对于某些 物体来说是正确的，而对另一些是错误的。因此，最优分类器的设置应该是概 率方式的。错分情况会给用户带来某些损失，根据损失的定义，可以得出不同 的最优分类器设置标准。 将分类器视为一种通用机，可以表示规则集合d 中的任一决策规则。集合 d 可以根据某个与特定判别规则有关的参数向量q 进行排序。损失j ( q ) 的平均 值依赖于所采用的决策规则：国= d ( x ，q ) ，其中参数向量q 表示分类器使用的 特定决策规则。使得损失j ( g ) 均值最小的决策规则： 彩= d ( x ，q ) ( 3 7 ) 称为最优决策规则，q 称为最优参数向量。 j ( q ) = m i n j ( q ) d ( x ，q ) d ( 3 - 8 ) q 误差最小准则采用的损失函数形式为2 ( o j , j q ) ，它定量地表示了当类q 的模式x 被错分为类啦时所带来的损失。损失均值为： r j ( g ) = l a d ( x ，g ) i c o j p ( xlc o , ) e ( c o , ) d x ( 3 9 ) 啥尔滨工业大学工学硕士学位论文 其中p ( q ) 为类的先验概率，p ( x i q ) 为物体石在类q 中的条件概率密度。采 用判别函数可以很容易地构造基于最小损失准则的分类器，通常采用单位损失 函数， 丑( 啡f q ) = 【1 0 当当r s r = s ( 3 1 。) 判别函数为： 毋( 工) = p ( x c o , ) e ( c o , ) r = 1 ，r( 3 - 11 ) 其中g ，( x ) 对应于后验概率以致1 x ) ，它描述了z 来自于类q 的可能性有多 大。显然最优分类决策就是将模式j 分到所在后验概率最大的那一类n 。 显然，分类器的性能取决于训练集合的性质和规模，而训练集合通常都是 有限的，因此，不可能在设计分类器时用到所有将来可能要处理的情况，也就 是说除了训练集合中的模式外，分类器还要面对那些在设计和设置分类器时没 有出现过的模式。分类器设置方法应该是归纳式的，从训练集合中获取的信息 将被推广到整个特征空闯，这就要求分类器对所有可能的模式都是( 近似) 最 优的，而不是仅仅针对训练集合。 3 4 描述量选择及特征的组合优化 以上讨论的分类器设计问题是一个选择什么准则、使用什么方法，将已确 定的d 维特征空间划分成决策域的问题。对分类器设计方法的研究固然重要， 但如何确定合适的特征空间是设计模式识别系统另一个十分重要，甚至更为关 键的问题。如果所选用的特征空间能使同类物体分布具有紧致性，即各类样本 能分布在该特征空间中彼此分割开的区域内，这就为分类器设计成功提供良好 的基础。反之，如果不同类别的样本在该特征空间中混杂在一起，再好的设计 方法也无法提高分类器的准确性。 可以使用样本的离散程度来度量类内、类间的距离。类间离散矩阵： 最= ( 霸一而2 ) ( 而一m 2 ) 2 ( 3 一1 2 ) 类内离散度矩阵s w = s l + s 2s = ( z 一历f ) ( z 一历f ) 7 i = i ，2 ( 3 一1 3 ) e z 以上是针对两分类情况，也可以推广至多类。计算特征向量间平均距离的判据 厶( x ) = t r ( 勘+ & ) ( 3 1 4 ) 哈尔滨工业大学工学硕士学位论文 其中，表示矩阵的迹。判据以( x ) 是计算特征向量的总平均距离，以下一些判 据则基于使类间离散度尽量大，类内离散度尽量小的考虑而提出： l ai j o 、7 j a x ) = t r ( 断1 & ) ，厶( z ) = l n ( i o 浆i ) ，j a x ) = “u 6 形r q 、 ( 3 1 5 ) i u “、一阿7 特征提取在这里的意义是指对原始的d 维特征空间进行一个降维的变换， 从而使用维数减少后的特征空间。因此特征提取在这里意咪着找到一个交换 矿，对原始特征向量y = y l ，y 2 ，_ y 。r 实行映射变换彤：y 斗x ，得到维数减 少的向量x = k ，x 2 ，南 7 ，即x = w 7 y 。以判据的值是矩阵的全部特征值之 和，那么由对应于d 个最大的特征值的特征向量所组成的矩阵形( d d ) ，就能 使所得到的d 维特征满足厶判据最大的要求。虽然以以以所采用的计算方法各 不相同，但都得到一个同样的结论，如果矩阵的特征值 ，如，如按大小顺序 列为：丑 厶则选择前d 个特征值所对应的特征向量组成变换矩阵 ，都可使这些判据达到最大值。 除了按距离度量的特征提取方法外，还有按概率距离判据、基于熵函数的 可分性判据及基于k a r h u n e n l o e v e 变换的特征提取方法( 第5 章详述) 等。 特征提取各个方法中都有一个共同的特点，即判别函数的极值往往演变为找有 关矩阵的特征值与特征向量，由相应的特征向量组成坐标系统的基向量。计算 有关矩阵的特征值矩阵与特征向量，选择前d 个大特征值，以它们相应的特征 向量构成坐标系统。 3 5 聚类方法 当出于某种原因无法得到训练集合或无法得到标有类别的样本时，可以采 用聚类分析方法。它根据待处理模式集合中各元素间的相似度将其分为若干集 合( 聚类) ，每个聚类所包含的模式代表了在被选择特征及相似准则意义下比 较相近的物体，如何聚类则取决于聚类的准则函数，以使某种聚类准则达到极 值为最佳。 r 蕞”，五，1 设有”个样品，p 个指标，数据矩阵为j 1 ，元素矗表示第i 个样 h ，x m p j 品的第_ ，个指标。因每个样品有p 个指标，故每个样品可以看成p 维空间中的 一个点， 个样品就构成p 维空间中的h 个点，通常可以用距离来度量样品之 间接近的程度。 略尔滨工业大学工学硕士学位论文 明氏距离：吒( g ) = ( 窆) 劫，1 9 ) ，当g = 】时为绝对距离，孽= 2 时为歇氏距 离。 计算任何两个样品薯与之间的距离略，其值越小表示两个样品接近程度 越大，d , j 值越大表示两个样品接近程度越小，把任两个样品的距离都算出来后 r 碣， 得到矩阵d = i l 破，。 其中碣。= 吐：= = 叱，d 是一个实对称阵，根据 d 可对胛个点进行分类，距离近的点归为一类，距离远的点归为不同的类。 正如样品之间的距离可以有不同定义方法一样，类与类之间的距离也有各 种定义，可以定义为两类之间最近、最远样品的距离、两类重心之间的距离 等。归类的步骤基本上是一样的，所不同的仅是类与类之间的距离有不同的定 义方法，从而得到不同的计算距离的公式。 3 6 本章小结 本章论述了模式分类器的分类原理及设计准则，包括采取何种度量方法， 怎样优化特征，如何确定合适的特征空间等，特征空间的组合优化是指对待识 别事物或训练样本等必须进行各种度量，这就得到了一个特征空间。但是对于 不同类事物的分类来说，这个特征空间并不一定是最好的，为了降低维数，要 利用训练样本等来对原特征空间进行改造，这就叫特征的组合优化。模式识别 问题最后总要转化到分类器的设计。 、l，ll， 叱 k 哈尔滨工业大学工学硕士学位论文 第4 章支持向量机 支持向量机是一种前馈网络类型的线性机器，是建立在统计学习理论的 陀维理论和结构风险最小化方法的基础之上，它根据有限的样本信息在模型 的复杂性和学习能力之间寻求最佳折衷，以期获得最好的推广能力。它的主要 思想是建立一个超平面作为决策曲面，使得正例和反例之间的隔离边缘被最大 化。在支持向量和输入空间抽取的向量之间的内积核是构造支持向量机算法的 关键，将输入样本空间非线性变换到一个高维特征空间然后在这个新的空间中 求取样本的最优线性分类面，而这种非线性变换是通过定义适当的内积核函数 实现的，依赖于这个内积核的不同产生方式，可能产生不同的学习机器，由它 们自己的非线性决策曲面所表征。 它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅 仅是样本数趋于无穷大时的最优值：算法最终将转化成为一个二次型寻优问 题，从理论上说，得到的将是全局最优点，解决了在神经网络方法中无法避免 的局部极值问题；算法将实际问题通过非线性变换转换到高维的特征空间，在 高维空间中构造线性判别函数来实现原空间中的非线性判别函数，特殊性质能 保证机器有较好的推广能力，同时它巧妙地解决了维数问题，其算法复杂度与 样本维数无关。 4 1 如何构造支持向量机 支持向量机的思想建立在两个数学运算上： ( 1 )输入向量到高维特征空间的非线性映射，特征空间对输入和输出都 是隐藏的； ( 2 ) 构造一个最优超平面用于分离在上一步中发现的特征。 图4 - i 非线性映射妒( ) 对于由非线性可分模式构成的输入空间，c o v e r 定理表明如果变换是非线 性的并且特征空间的维数足够高，那么输入空间能变换为一个新的特征空间， 眙尔滨工业大学工学硕士学位论文 使得在特征空间中模式以较高的概率为线性可分的。 4 2 线性可分模式的最优超平面 考虑训练样本 ( ，z ) ) ：，其中t 是输入模式的第f 个例子，一是对应的期 望响应( 目标输出) 。假定由子集一= + 1 代表的模式类和4 = 一1 代表的模式是 线性可分的。用于分离的超平面形式的决策曲面方程是： w x + b = 0( 4 - 1 ) 其中x 是输入向量，w 是可调的权值向量，b 是偏置。可以写成： w 7 置+ 6 o ，对于嚷= + 1w 7 + 6 1 ，数据点落到分类面错误的一侧。 为了找到分离超平面使其在训练集上的平均错误分类误差最小，通过对权 值向量w 最小化泛函 啡) = 善n1 ( 纠) ，讹) _ 等嚣 ( 4 - 9 ) 中( ) = ( t 一1 ) ， 讹) = i ：二： ( 4 9 ) 为了使最优化问题数学上易解，使写逼近泛函o ( 占) ，得到对权值向量w 最 百 小化泛函的简化公式 西( w ，占) = 1 w 7 w + c ( 4 1 0 ) 正参数c 是控制分类器的复杂性和不可分离点数之间的平衡，它由使用者选 定，通常由试验通过使用标准训练测试集来决定。项c 对错分样本超到 百 惩罚的作用，c 越大则惩罚力度越大。 对不可分模式，确定最优分离超平面就是对给定训l 练样本 ( 薯，d 。n ，寻 找权值向量w 和偏置b 的最优值，使得它们满足约束条件： f z ( w 7 薯+ 6 ) 1 一，f = 1 ，2 ，“，( 4 - 1 1 ) l o ，i = 1 2 并且使得权值向量w 和松弛因子最小化代价函数( 4 1 0 ) 。 利用三昭r 册优化方法可以把上述最优分类面问题转化为其对偶问题，而 如何高效地求解对偶问题就要涉及到内积核函数。 4 ，4 内积核 令x