（计算机软件与理论专业论文）人脸识别算法的研究及其应用.pdf

摘要 ，上物特征谚 别是利用人类特有的! l 理或行为特征柬识别个人身份的技术， 它提供了一种高町靠性、高稳定性的身份鉴别途径。人脸检测和识别是同前生物 特征识别中最受人们关注的一个分支，是当前图像处理、模式识别和计算机视觉 领域内的一个热门研究课题，在公安部门罪犯搜索、安全部门动态监视谚 别、银 行密码系统等许多领域有广泛的应用。与指纹、视网膜、虹膜、掌纹等其他人体 生物特征识别方法相比，人脸识别具有直接、友好，使用者无心理障碍等特点。 本文对此进行了较为深入的研究，论文的主要工作和成果有以下几个方面： 1 基于支持向量机的人脸检测 人脸检测l 、u j 题作为人脸识别系统中的一个关键环节，但随着人脸应用范围的不断 扩大和丌发实际系统要求的不断提高，人脸检测的最初研究不再能满足需求。由 此，人脸检测丌始作为一个独立的课题受到研究者重视。到目前为止，人脸检测 算法的研究已经相当深入，但是对于复杂背景下的多姿态人脸检测( 如侧面人脸、 遮挡脸) 仍然难以取得较好的效果。此外，对于一个人脸检测系统，同时达到速 度和精度要求也是众多研究者关注的问题之一。本文提出构建支持向量机分类器 来对人脸和非人脸进行区分，在对视频图像的实时人脸检测实验中取得良好的结 果。 2 基于支持向量机的人脸识别 人脸识别是一项极具有发展潜力的生物特征识别技术，研究人脸识别技术具 有十分重要的理论和应用价值。最近几年，人脸识别技术取得了前所未有的发展， 但其在实际应用中的识别精度仍然难以满足人们的预期要求，特别是采集图像中 存在光照变化、摄像方位变异以及其它干扰。我们首先使用二二维g a b o r 小波变换， 能够将相邻区域的像素联系起来，从丌i 同的频率尺度和方向反映局部范罔内图像 像素灰度值的变化。：与直接采用图像像素的狄度值进行人脸识别时，模式特征容 易受到人脸表情、光照条件和各种几何变换的影响，难以取得很高的识别精度。 ：维g a b o r 小波变换能够捕捉对应于空m 位置、空i 日j 频率及方向选择性的局部结 构信息，适合用于表示人脸图像。一：维g a b o r 小波变换系数描述了图像上各给定 位置附近区域的灰度特征，在人脸图像的二维g a b o r 小波变换系数的基础上进行 特征提墩。然后构造支持向镀机的多类分类器对这些特征进行识别处理。最后通 过实验评估分析了这一方法。 关键字：人脸谚 别，支持向量机，模式识别，g a b o r 小波变换 b i o m e t r i a b s t r a c t e n c ea n dt e c h n o l o g yu s i n gi n d i v i d u a lp h y s i o l o g i c a lo r b e h a v i o r a lc h a r a c t e r i s t i c st ov e r i f yi d e n t i t y i tp r o v i d e sah i 曲l yr e l i a b l ea n dr o b u s t a p p r o a c ht ot h ei d e n t i t yr e c o g n i t i o n 。a u t o m a t i cf a c ed e t e c t i o na n dr e c o g n i t i o ni so n e o ft h em o s ta t t e n t i o nb r a n c h e so fb i o m e t r i c sa n di ti sa l s ot h eo n eo ft h em o s ta c t i v e a n dc h a ll e n g i n gt a s k sf o ri m a g ep r o c e s s i n g ，p a t t e r nr e c o g n i t i o na n dc o m p u t e rv i s i o n i ti sw i d e l ya p p l i e di nc o m m e r c i a la n dl a wa r e a ，s u c ha sm u gs h o t sr e t r i e v a l ，r e a l t i m e v i d e os u r v e i l l a n c ei n s e c u r i t ys y s t e ma n dc r y p t o g r a pi nb a n ka n ds oo n f a c e r e c o g n i t i o nh a sd i r e c t ，f r i e n d l yc h a r a c t e r i s t i c sa n di ti sn op s y c h o l o g i c a lo b s t a c l ef o r u s e r s t h i st h e s i sm a i n l ys t u d i e st h ea p p r o a c h e st of a c ed e t e c t i o na n dr e c o g n i t i o n t h e m a i nr e s e a r c hw o r k sa n dc o n t r i b u t i o n sa r ea st h ef o l l o w i n g ： 1 f a c ed e t e c t i o nb a s e do ns u p p o r tv e c t o rm a c h i n e f a c ed e t e c t i o np r o b l e mi sf i r s t l yp r o p o s e da sak e ys t e po ff a c er e c o g n i t i o ns y s t e m a n dw i t ht h ee x t e n s i v ed e v e l o p m e n to ff a c e r e c o g n i t i o na n da d v a n c e m e n to f d e v e l o p i n gp r a c t i c a ls y s t e m ，f a c ed e t e c ti sd e v e l o p i n gi n t oa ni n d e p e n d e n tr e s e a r c h f i e l d u pt on o w , t h er e s e a r c ho ff a c ed e t e c t i o na l g o r i t h mi sr a t h e rt h o r o u g h ；h o w e v e r , t h em u l t i p o s ef a c ed e t e c t i o ni nc o m p l e xb a c k g r o u n di ss t i l lad i f f i c u l tp r o b l e m i n a d d i t i o n ，m e e t i n gt h er e q u i r e m e n to fb o t hs p e e da n dp r e c i s i o ni naf a c ed e t e c t i o n s y s t e mi sa n o t h e rk e yi s s u e w ep r o p o s eam e t h o df o rf a c ed e t e c t i o nb a s e do ns u p p o r t v e c t o rm a c h i n e w ec o n s t r u c ts v mc l a s s i f i e r st od e t e c tf a c e s t h ee x p e r i m e n t a l r e s u l t sr e v e a lt h a tt h ep r o p o s e dm e t h o dh a sa c c u r a t ed e t e c t i o nr e s u l t sa n dh i g h d e t e c t i o nr a t eo nv i d e oi m a g e s 2 f a c er e c o g n i t i o nb a s e do ng a b o ra n ds u p p o r tv e c t o rm a c h i n e a u t o m a t i cf a c er e c o g n i t i o n ，t h o u g hb e i n gah a r dp r o b l e m ，h a saw i d ev a r i e t yo f a p p l i c a t i o n s s u p p o r tv e c t o rm a c h i n e ( s v m ) ，t ow h i c hm o d e ls e l e c t i o np l a y sak e y r o l e ，i sap o w e r f u lt e c h n i q u ef o rp a t t e r nr e c o g n i t i o np r o b l e m s r e c e n t l yl o t so f r e s e a r c h e sh a v eb e e nd o n eo nf a c er e c o g n i t i o nb ys v m sa n ds a t i s f y i n gr e s u l t sh a v e 4 ：i 、i kj 、卅- 负卜；i f 沦上 b e e nr e p o r t e d f i r s t l y , g a b o rt r a n s f o r m a t i o ni su s e dt oc o m p u t ef e a t u r e so fa ni m a g e t h e nt h e s ef e a t u r e sw i l lb ei n p u tf o rs v mc l a s s i f i e r s s v m si n c o r p o r a t ew i t hab i n a r y t r e er e c o g n i t i o ns t r a t e g ya r ep r o p o s e dt ot a c k l et h em u l t i c l a s sf a c er e c o g n i t i o n p r o b l e m t h ef e r e tf a c e d a t a b a s e di su s e dt oe v l u a t et h ep r o p o s e dm e t h o d p r o m i s i n gr e s u l t sr e v e a li t se f f e c t i v e n e s s k e yw o r d s ：f a c ed e t e c t i o n ，f a c er e c o g n i t i o n ，s u p p o r tv e c t o rm a c h i n e s ，g a b o r w a v e l e t ，p a t t e r nr e c o g n i t i o n i v 列! 刨，川u j 独创性声明 秉承学校严谨的学j x l 与优良的科学道德，本人声明所旱交的论文是我个人在 导! j f i j 的指导下进行的研究上作及墩得的研究成果。尽我所知，除了义中特别加以 标注和致谢的地方外，论文中不包括其他人已经发表或撰写过的研究成果，不包 含本人或其他用途使用过得成果。与我一同工作的同志对本研究所做的任何贡献 均已在论文中作了明确的声明，并表示了谢意。 本学位论文成果是本人在广东t 业大学读书期间在导师的指导下取得的，论 文成果归广东工业大学所有。 申请学位论文与资料若有不实之处，本人承担一切相关责任，特此声明。 指导教师签字： 论文作者签字： 懈步峰 碑彤 2 0 0 8 年5 月同 1 1 人脸识别问题描述 第一章绪论 人类本身具备人脸识别能力，如“察颜观色”推知人的牛理状态。赋予计算 机同样的能力便是人脸识别研究的范畴。简单地说，人脸识别研究试图赋予计算 机根据人脸照片来判断人物身份的能力。这种识别能力包括不同功能的任务，如 图卜l 所示。 图卜1 人脸识别功能模块示意图 f i g i lt h eo v e r v je wo ff a c er e c o g n i t i o nm o d u l e s 1 人脸检测与跟踪 人脸检测任务要求计算机判断输入图片中是否存在人脸。如果存在，需要同 时给出人脸区域的坐标位胃、人小等信息。人脸跟踪需要进一步输出所检测 到的人脸位置、大小等状态随时问的连续变化情况。 2 面部特征提取 这一任务既要确定衙部图像巾眼睛、鼻子、嘴巴等器官的位置，还要对这些 器官及其面部轮廓的形状信息作出描述。 3 人脸属性分类 根据面部特征提取结果，对枪测到的人脸性别、种族、年龄、表情等属性做 4 ；iq kj 、产 l ! i ! r 似i 色文 少0 断。 4 皋j 二人脸图像对比的身份识别 即通常意义上的人脸识别| 、u j 题。通过将输入人脸图像与人脸数据库中的所有 已知人脸图像计算相似度并对其排序来给出输入人脸的身份信息。 5 基= 二人脸图像对比的身份验让 即通常意义上的人脸身份确认问题。系统在输入人脸图像的同时输入一个用 户宣称的该人脸身份信息，系统要求对该输入人脸图像身份与宣称的身份是 否相符做出判断。这与日订面提到的身份识别任务不同。前者是一个多类分类 的问题，后者是一个二类判别的问题。 1 2 研究意义 人脸识别作为生物特征识别的一个重要分支，人们对其研究开始于二十世纪 六十年代，近几十年取得了长足的发展，尤其是近几年来，更是成为一个热门的 研究课题。国内外各知名大学、研究所、i t 公司等都得到了大量项目支持。之 所以各方非常重视人脸识别研究，是因为有其重要的研究意义，突出表现在对学 科发展的贡献和巨大的应用胁景。 人脸识别作为一个典型的图像模式分析、理解与分类计算问题，它为模式 识别、图像处理、图像分析与理解、计算机视觉、人工智能、人机交互、计算机 图形学、认知科学、神经计算机、生理学、心理学等多学科提供了一个良好的具 体问题，有利于构建这些学科领域的基础实验平台用于尝试新方法。人脸识别也 是智能人机接口领域的重要研究内容之一。人脸识别本质上是赋予计算机区分不 同人类个体的能力。这将极人改善人机交互环境，一定程度_ 匕改变人们的生活方 式。 近年来，由于反恐、困土安全、和社会安全的需要，世界上各个国家都对安防 领域加大了投入。而身份谚! 别i i j 足安防的一个核心l 、u j 题。在这种人朋：境卜- ，生物 特征识别迎来了一个快速发展的时期。据专门提供生物识别产业相关咨询服务的 美国公司i n t e r n a t i o n a i ；i o m e t r i cg r o u p 近期出版的一本关于乍物识别市场 及产业趋势的调查分析报告书”b i o m e t r i c sm a r k e ta n dt n d u s t r yr e p o r t 2 0 0 7 2 0 1 2 ”显示，2 0 0 7 年全球生物识别市场收入超过3 0 亿美元，并且今后5 2 鹚一尊绻沧 年内将以超过每年8 亿美元的幅度递增。至2 0 0 7 年将达剑7 4 亿美元。而截止 2 0 0 7 年，人脸识别的市场份额l j i 原来的微不足道，迅速i ：升到1 2 9 ，市场份 额仅小，：指纹谚 别，并且比重还在不断增加，打破了幽际生物识别市场上“指纹” 一统火下的局面。如图1 2 所示。 a n n u a lb i o m e t r ki n d u s t r yr e v e n u e s ，2 0 0 7 - 2 0 1 2 s mu s d c e p y t e h tf 彤2 0 0 & - 2 0 0 7 蛔l t r n t i 甜，引勘口m c p 堰g r o 册 图卜2 生物特征识别市场年收入分析 i ：i g 1 2a n n u a lbi o m e t r ici n d u s t r yr e v e n u e s 因为与传统的身份验证方法相比，生物特征识别突出的优势表现在生物特征可以 从根本上杜绝伪造和窃墩，而起是人类自身独有，从而具有更高的可靠性、安全 性和可用性。而人脸识别作为埽中典型生物特征谚 别技术，以其自然性、高可接 受性的优点受到人们青睐，在市场份额中占有重要的一部分，如图卜3 所示。 。m u l t i p 1 e 8 i c o 。m p v r e l # t h r t i 密c 2 m 。6 a 2 r k e 7 t f 。t b 。y 。_ t l e 轴c n 。h i 蠢n ；。o m l o 。l g ，k y , g 2 哺0 u p 0 7 2 9 o t h e 8m o d a l i t i e s 1 k ，m “8 m n 8 j i d d l e 洲e 32 。s4 【矧1 一：j 生物特征市场份额图示。 l ? j g 1 ：3b io m e t r i cm a r k el 熏 o o o o o o o o o 藿 瞄 o 8 ， b s 矗 ? ； 尔i , i k 人。二f 哆! i ”$ - 2 f 、论殳 人脸识别已被应j jj ：各行各、f 】， 袭l _ l 表l li 广总了人脸识别的，。些典征! 应用。 人脸 叭1 1 ，j 1 uj 哑用实例 t a b l e 1 1f a c er e c o g n it i o ni 1 3 s t a n c e si 1 3c e a 】w o r l d 具体心川特t i 说明应用领域 h 入境管理过滤敏感人物( 问公共安全 谍、恐怖份子等) 嫌疑人 ”对比公交系统川j i 确公共安全。 定犯罪嫌疑人身 份 网上追逃在p d a 等移动终端公共安全 上进行现场对比 会议代表身份识防止非法人员入公共安全 别会 关键场所视频监如银行大厅，预警公共安全 控可能的不安全因 素 家政服务机器人能够识别家庭成人机交互 员的智能机器人 真实感虚拟游戏提供真实感的人人机交互 物面像，增加交互 性 自动系统登陆自动识别用户身人机交互 份，提供个性化界 面 门禁系统避免钥匙和密码公共安全 被窃造成失窃 面像考勤系统方便，快捷，杜绝企业应用 代考勤 电子商务身份验安全可靠的身份金融安全 证验证手段 当前人脸识别市场，特别是在中国的市场，正经历着迅速的发展，而且发展的脚 步也将越来越快。主要有三大原因： 1 是科技界和社会各个方面都认识到人脸识别技术的重要性，国家政策对人脸 识别技术研究给予了很大支持，使得我国人脸识别技术取得了很大进展。国际上， 荚固目家标准技术局( n i s t ) 举办的f a c er e c o g n itj0 1 3v e l 3 d o rt e s t 2 0 0 6 ( f r v t 2 0 0 6 ， 1 ) 通过大规模的人脸数据测试表明，当今世界l ：人脸识别方法的 识别精度比2 0 0 2 年的f r v t 2 0 0 2 至少提高了一个数最级( 1 0 倍) 。其中一些方 法的识别精度已经超过人类的平均水平。而对于高清晰，高质量人脸图像识别， 机器的识别精度几乎达到1 0 0 。 4 2 各种应用需求彳i 断涌现。人脸谚 别市场的快速发展一方面归功于卜物识别需 求的多元化，另一方面o 1 l 是 l 于人腧识别技术的进步。从需求上来说，除了传统 的考勤、门禁等应用外，视频监控环境下的身份识别j f 成为一种迫切的需求，即 在一个较复杂的场景巾，在较远的距离上识别出特定人的身份，这显然是指纹识 别的方法所1 i 能满足的。i f i j 人脸识别即是一个极佳的选择。 3 第三个是人u 基数凶素。人脸识别系统的市场大小，很大程度上是和人【_ 的 数量大小相关的。而我国有1 3 亿人口，这从本质上决定了我国是世界上规模最 大的生物识别市场。 随着人脸识别研究理论和应用的相互影响和推进，基于3 d 的人脸识别成为人 脸识别领域中的一支生力军，表现出良好的发展前景。如图1 4 所示。 2 dv s 3 df a c er e c o g n iti o nr e v e n u e s t h r o u g h2 0 1 2 ( $ 曩) 6 9 9 7。渤 ，6 1 5 7叠 一 矗z ，?虚自 li l 盆 il4 | l 瓤r 篇。 震 ll目。l l9 4 3 l 恙 1 3 5孽翔 ”一 一 il 重l f l 一 l l b j 。葛 黧k 一翟2 9 5 k _ _ 滋囊 2 0 0 _2 0 0 82 0 0 92 0 1 02 0 ll2 0 1 2 图1 42 d 和3 d 人脸识别年收入对比分析 f i g 1 42 dv s 3 d f a c er e c o g n it i o nr e v e n u e s 因为基于3 d 的人脸谚 别技术相对2 d 而言，能较好的表征人脸信息，矫正姿态和 光照的影响，所以在应用中表现出较好的性能。 1 3 人脸识别的优势和劣势 在不同的生物特征识别方法中，人脸谚 别有其自身特殊的优势，因而在牛物 识别中有着重要的地位。( 1 ) 非侵扰性。人脸识别无需i ：扰人们的j 下常行为就能 较好地达到识别效果，无需j ：日心被识别者足否愿意将于放在指纹采集设备卜，他 们的眼睛是否能够对准虹膜扫描装置。只要在摄像机j ，j 自然地停留片刻，用户的 o o o o o o o o o o 加 乏、iq k 人二f 映卜f ? ，i 2 爻 身份就会被f 卜确识别。( 2 ) 采集设备简单，使快捷。般来 兑，常见的摄像头 就可以用来进行人脸图像的采集，小需特别复杂的专用设备。采集一般j 存数秒 内完成。( 3 ) 通过人脸识别身份，与人类的习惯一致。也就是说，人和机器都可 以使用人脸图片进行识别，这使得人和机器可以配合工作。而指纹，虹膜等方法 没有这个特点。一个没有经过特殊训练的人，尢法利川指纹和虫j 膜图像对其他人 进行身份识别。人脸识别拥有这些良好的特性，使其具有非常广泛的应用自订景。 传统的人脸识别技术主要基于可见光图像的人脸识别，这也是是人们最熟悉 的识别方式，有3 0 多年的研发历史。但这种方式有着难以克服的缺陷，尤其在 环境光照发生变化时，识别效果会急剧下降，无法满足实际系统的需要。比如， 拍照时遇到侧光时出现的“阴阳脸”现象，就可能无法f 确识别。解决光照问题 的方案有三维图像人脸识别，和热成像人脸识别。但目前这两种技术还远不成熟， 识别效果不尽人意，并且，这两种方法有他们先天的劣势：( 1 ) 采集设备极其复 杂和昂贵；( 2 ) 无法和现有可见光人脸图像数据兼容，这些都大大限制了它们 的应用。最近迅速发展起来一种解决方案是基于主动近红外图像的人脸识别技 术。它可以克服光线变化的影响，已经取得了卓越的识别性能，在精度、稳定性 和速度方面的整体系统性能超过三维图像人脸识别。这项技术由我国中科院自动 化所主导，近两三年发展迅速，并且在红外图像对可见光图像混合识别的研究也 取得了突破进展，使其可以和现有可见光人脸数据兼容，也真正使人脸识别技术 更加实用化。 1 4 本文的主要贡献 1 研究了当前人脸检测的主要算法，实现了基于支持向量机的人脸实时检测算 法。 2 研究了g a b o r 特征对人脸图像特征表达的作用，实现了提取算法，并用于人脸 识别算法的实验。 3 对支持向量机算法的研究现状和发展进行了深入研究，实现和分析了多类分类 在人脸识别算法的应用。 6 心争绪论 1 5 本文的组织结构 第一章介绍了人脸识别算法的研究背景和现状，面临的i u j 题。 第：章对于模式识别的支持向量机原理进行了全面介绍，为应用i 【作奠定理论 基础。 第三章研究了基于支持向量机的人脸检测算法。提出了研究动机，完成了实验 中的算法实现。 第四章介绍了g a b o r 小波的， i 物学背景、二维g a b o r 小波变换：研究了二维g a b o r 滤波器组的参数和二维g a b o r 滤波器的响应特性。 第血章介绍了支持向量机在人脸识别中的应用，分析了多类分类的问题，提出 了基于支持向量机的人脸识别算法。 最后对全文做了总结，并对进一步的工作做了展望。 7 j 力：i 、i kj 、j i f ! i f 一论，乏 2 1 理论背景 第二章支持向量机原理 通过对训练样本的学习，从中归纳出一般的函数关系，并用这种函数关系去 估计或预测未来数据的输出是机器学习的核心问题。统计学是机器学习方法的数 学基础，传统统计学研究的是样本数目趋于无穷大时的渐近理论，建立在传统统 计学基础之上的各种学习方法只有在样本数趋向无穷大时其性能才有理论保证。 而在多数实际应用中，样本数目通常是有限的，这时很多学习方法都难以取得理 想的效果。统计学习理论是一种专门研究小样本情况下机器学习规律的理论。 v a p n i k 等人从六、七十年代开始致力于此方面的研究，由于当时这些研究尚小 十分完善，加上正处于其它学习方法飞速发展的时期，这些研究一直没有得到充 分的重视。到九十年代中期，随着其理论的不断发展和成熟，也由于神经网络等 学习方法在理论上二缺乏实质性的进展，统计学习理论开始受到越来越广泛的重 视。支持向量机是在这一理论的基础上发展起来的一种新的通用学习方法，它在 解决小样本、非线性以及高维模式识别等问题中表现出许多独特的优势。近年来， 支持向量机由于其出色的学习性能，已成为机器学习领域的一个研究热点，并在 许多领域中得到应用，如人脸检测、人脸识别、手写体自动识别、文本自动分类、 图像检索等。 机器学习的目的是根据给定的训练样本求对某系统输入输出之间依赖关系 的估计，使它能够对未知输出作出尽可能准确的预测。可以一般地表示为：变量 y 与x 之间存在一定的未知依赖关系，即遵循某一未知的联合概率f ( x ，y ) ，机 器学习问题就是根据n 个独立同分布的观测样本： ( x i y 。) ，( x 2 , y 2 ) ，( x 。y 。) 在函数集合 f ( x ，w ) 中求一个最优的函数f ( x ，w 。) 对依赖关系进行评估，使期望 风险最小，期望j x l 险r 定义为： r ( w ) = i l ( y ，f ( x ，w ) ) d f ( x ，y ) 2 1 式中， f ( x ，w ) 称作预测函数集，w 为函数的广义参数，l ( y ，f ( x ，w ) ) 为用f ( x ，w ) 对y 进j r 预测造成的损失，不同类型的学习问题有不同形式的损失函数。预测函 数也称作学习函数、学习模型或学爿机。 在上面的问题表述中，学习的目标在于使期望风险最小化，但是山于可以利用 的信息只有n 个样本，因而期望风险无法理论计算，因此传统的学习方法中采用 了所谓的经验风险最小化准则，即用样本定义经验风险尺唧： r e i n p ( w ) = 吉l ( y ，f ( x i ，w ) ) 2 2 用经验风险作为对期望风险的估计，设计学习算法使得经验风险最小。事实上， 用经验j x l 险最小化代替期望风险最小化并没有经过充分的理论论证，只是直观上 合理的想当然做法，但是这种思想却在多年的机器学习方法中研究中占据了主要 地位。人们多年来将大部分注意力集中到如何更好地最小化经验风险上，而实际 上，即使假定当样本数量n 趋向于无穷大时( 2 2 ) 式可以趋近于( 2 1 ) 式，但在很 多问题中的样本数目却离无穷大的假定条件相去甚远。经验风险准则不成功的一 个例子是神经网络的过学习问题。丌始，很多注意力都集中在如何使尺更小， 但很快就发现，训练误差小并不总能导致好的顶测效果。某些情况下，训练误差 过小反而会导致推广能力的下降，即真实风险的增加，这就是过学习问题。之所 以出现过学_ 习现象，一是因为样本不充分，二是学习机器设计不合理，这两个问 题是互相关联的。在神经网络中，若对有限的样本来说网络学习能力过强，足以 记住每个样本，此时经验风险很快就可以收敛到很小甚至零，但却根本无法保证 它埘未来样本能给出好的预测。由此可看出，在有一限样本情况下，1 ) 经验风险 最小并不定意味着期望j x l 险最小：2 ) 学习机器的复杂性不但应与所研究的系统 有关，而且要和有限数目的样本相适应。所以，需要一种能够指导我们在小样本 情况下建立有效地学习和推广方法的理论。 为了研究学习过程一致收敛的速度和推广性，统计学习理论定义了一系列有 关函数集学习性能的指标，其中最重要的是v c 维。模式一识别办法中v c 维的直 观定义是：对一个指示函数集，如果存在h 个样本能够被函数集中的函数按所有 可能的2 ”种形式分丌，则称函数集能够把h 个样本打散：函数集的v c 维就是它 9 能打散的最大样本数hh 。若对任意数日的样小都有函数能将它们手1 。散，则函 数集的v c 维是无穷大。有界实函数的v c 维- 叮以通过用一定的闭值将它转化成指 示函数来定义。v c 维反映了函数集的学习能力，v c 维越人则学习机器越复杂。 统计学爿理论系统地研究了对于各种类蓰! 的函数集，经验j x l 险和实际j x l 险之问 的关系，即推j 性的界。关。j i 两类分类问题，结论是：时指j ：函数集l j 的所自函 数( 包括使经验风险最小的函数) ，经验风险r 。r a p ( w ) 和实际风险r ( w ) 之间以至少 l 一刁的概率满足如一下关系： r ( w ) 尺唧( w ) + 丛坠兰坐出 2 3 y 以 式中是函数集的v c 维，n 是样本数。这一结论从理论上说明了学习机器的实际 风险是由两部分组成的：一是经验风险( 训练误差) ，另一部分称作置信范围， 它和学习机器的v c 维及训练样本数有关，可以简单地表示为： r ( w ) 尺鲫，( w ) + ( 鲁) 2 4 它表明，在有限训练样本下，学习机器的v c 维越高则置信范围越大，导致真实 风险与经验风险之间可能的差别越大。这就是为什么会出现过学习现象的原因。 机器学习过程不但要使经验风险最小，还要使v c 维尽量小以缩小置信范围，才 能取得较小的实际风险，即对未来样本有较好的推广性。从上面的结论看到，经 验风险最小化原则在样本有限时是不合理的，我们需要同时最小化经验风险和置 信范围。其实，在传统方法中，选择学习模型和算法的过程就是调整置信范围的 过程，如果模型比较适合现有的训练样本( 相当于告值适当) ，则可以取得比较好 的效果。但因为缺乏理论指导，这种选择只能依赖先验知识和经验，造成了如神 经网络等方法对使用者技巧的过分依赖。统计学习理论提出了一种新的策略，即 把函数集构造为一个函数子集序列，使各个子集按照v c 维的大小( 办即的大小) 排列：舀：每个了集中寻找最小经验风险，在了集f n j 折衷考虑经验风险和霄信范围， 取得实际风险的最小。这种思想称作结构风险最小化即结构j x l 险最小化准则。统 计学习理论还给出了合理的函数子集结构应满足的条件及在结构风险最小化准 则一f 实际j x l 险收敛的性质。实现结构风险最小化原则可以有两种思路，一是在 每个子集中求最小经验风险，然后选择使最小经验风险和置信范围之和最小的子 1 0 i ；i t 乡齐i 色 集。显然这种方法比较费时，当子集数日很大甚至是无穷时4 i 可行。因此有第二： 种思路，| 】设计函数集的某种结构使每个子集中都能取得最小的经验风险( 如使 训练误差为0 ) ，然后只需选择适当的子集使置信范围最小，则这个子集中使经 验风险最小的函数就是最优函数。支持向量机方法实际上就是这种思想的具体实 现。 2 2 线性分类问题 支持向量机理论足从线性可分情况下的最优分类面发展而来的。在二维平面中， 所谓最优分类线就是要求分类线不但能将两类样本讵确分开，而且使分类问隙最 大。正确分f ：是保汪经验风险最小，而使分类i 日j 隙最大实际上就是使置信范围最 小，从而使真实风险最小。在高维空间中，最优分类线就成为最优分类超平面。 考虑线性可分情况，设样本集为( 一y 。) ， ：y ：) ， ( _ y ，) ，x f r ”，y f + l ，- 1 ) 为n 维向量x i 的类别号，其中i = 1 ，2 ，1 。设两 类样本之间的分类面方程为： w x + b = 0 则对于所有的训练样本应满足： y ，【( w 石f ) + 6 卜1 0 ，i = l ，1 2 5 此时分类问隙等于而，使间隙最大等价于使州i ( 或m 1 2 ) 最小。所以满足 2 5 式且使得譬最小的分类面就叫做最优分类面，最优分类面上的训练样本 就称作支持向量。求线性可分的分类问题变成条件约束下求下列函数的极小 值： 痧( = w ! = 吉( w w ) 2 6 这个优化问题的解町以由下面拉格朗同函数的鞍点给出： ， l ( w ，b ，口) = 号( w w ) 一口， y ， w 石j + b - i 2 7 i = l 尔iq l ，尺；j 帧i ? ：1 z 论义 式巾为拉格朗f 1 乘子，我们需要对；f 盘格朗同函数l 关- fw 、b 求其最小值， 关于口j 0 求其最人值。将拉格朗n 函数分别对w 和b 求偏导并令其等于0 ， 可得： ， 口，y ，= 0 ， f = l 口，0 ，i = l ，l ， w = 口f y f x f ，口f 0 ，i = l ，l f = l 2 8 2 9 由于式2 9 是一个凸二次规划问题，存在唯一最优解。根据 k a r u s h - k u h n - t u c k e r ( k k t ) 条件，最优解须满足： 口， ( w x ，) + 6 卜1 ) = 0 ，i = l ，1 2 1 0 显然，上式中只有支持向量x i 对应的下标i 可能使w 的展开式中具有非零的系 数口? ，这时w 可表示为： w - = c c i y i x i ，s y 式中，s v 为支持向量下标的集合。将2 1 0 和2 1 l 式代入2 9 式得到下面的 泛函： tll ( 口) = 口f j i 口f 口j y f y ，( x f x j ) f = li = 1i = j 2 1l 问题变为2 1 0 式的约束下求使得上式取得最大值时所对应的向量口。假如 口。= ( ，口：，口，) 为问题的解，通过选择i 使口j 0 ，由式7 1 2 可以解得： b 。= 号【w x ，( 1 ) + ，w x ，( 一1 ) 】 式中，x i ( 1 ) 表示属于第一类的任意一个支持向量，x i ( - 0 表示属于第二类的任 意一个支持向量。基于最优超平面的分类规则就是f 面的分类函数： 厂c 石，= s 驴- l i e s v a ? y ，c x ，x i ，+ 6 。j 2 1 2 式中，x ，为支持向量。由上式可以看出，支持向量机方法构造的分类函数的复 杂程度取决于支持向量的数目。在处理线性不可分问题时，情况变得复杂起来， 1 2 够- 绪论 闪为此时2 1 2 式中目标函数的最大值为无穷人，为解决这个问题，引入非负 的松弛变量手= ( 夤，孝：，当) ，将2 5 式中放宽为： y ， ( w 。x i ) + 6 】一1 + 缶2 0 ，缶o ，i ：1 ，l ， 显然当划分出现错误时，缶0 。因此，i = 矢是训练集中划分错误的样本 个数的上界。引入错误惩罚分量之后2 6 式变为： ， 矽( w ，孝) = 专( w w ) + c 缶 2 1 3 式中c 为惩罚因子，c 越人对错分样本的惩罚程度越重。为了求解2 1 3 式的 最优问题，引入拉格朗同乘子口和： ltl l ( w ，b ，口，孝) = 号( w w ) + c z 茧一口j ( y ，【( w x ，) + 6 卜1 + 参) 一，量 2 1 4 i = jj = lf = i 将拉格朗同函数分别对w 和b 求偏导并令其等于0 ，其结果与线性可分情况下 得到的式2 1 4 完全相同，只是条件2 1 0 的口，变为： ， 口，y ，= 0 ， f = l 0 口i c ，i = 1 ，l 2 3 非线性分类问题 最优超平面是针对线性可分问题的，而对于非线性问题，支持向量机的思 路是：先通过非线性映射：矽：r ”寸f ，把问题从现有空问r ”转化为某个高维 空问f 中的线性i u j 题，然后在高维空间求最优分类面。这种变换可能比较复杂， 因此这种思路在一般情况卜1 易实现。但是注意到，在构造最优超平面的过程 中，彳 论是寻优函数2 1l 还是分类函数2 1 2 都只涉及训练样本之间的内积运 算。这意味着在高维窄f u jfl 1 实际上只需要进行内积运算，没有必要知道映射 矿的具体形式。根捌t t il b e r t s c h m i d t 理论，只要一种函数k b i ，x ，) 能满足 m e r c e r 条件，它就对应某。变换空间中的内积，即： k b j ，x ，j = 矽( ) 矽( x ，) 2 1 5 这样，在高维特征空州中实际一 ：三s 需要进行内积运算，i 叮这种内积运算是町以 川原空间中的函数实现的，k b ，x ，) 通常被称为核函数。冈此，采用适当的核 函数k b j ，x ，) 就可以将输入空m 【f l 的非线性分类面对应j 二某个非线性变换后 。岛维窄| 、n j 的最优超甲面，而计筛复杂度却没有增加，此时目标函数2 1 5 变为： 而相应的分类函数7 1 6 式也变为： 厂( x ) = s 印_ l i 。s v 口；) y ，k ( x ，x ) + 6 。 i 2 1 7 构造2 1 7 式类型的决策函数的学习机器叫做支持向量机。这一特点提供了解 决算法可能导致的“维数灾难”问题的方法：在构造判别函数时，不是对输入 空问的样本作非线性变换，然后在特征空间中求解；而是先在输入空间比较向 量，对结果再作非线性变换。这样，大的工作量将在输入空问而不是在高维特 征空间中完成。s v m 分类函数形式上类似于个神经网络，输出是中| 日j 节点的 线性组合，每个中间节点对应一个支持向量。函数k 称为点积的卷积核函数， 它可以看作在样本之间定义的一种距离。 2 4 小结 本章对支持向量机进行了简单介绍。阐述了基本数学原理。首先，我们对必要的 背景进行了回顾，介绍了结构j x l 险最小化准则，v c 边界和维度等重要概念。在 此基础上着重介绍了线性支持向量机的工作原理，进而将其扩展到非线性支持向 量机，并从实现角度介绍了核技巧。 1 4 62 、， x 一 ，l k y y 口口 ，闰 ，商 -z 一口 ，渊 = 、， 口 ，l 肜 并j7 jj j 乏十jf i t j 五：f j lr | 勺，、f f o f 0 _ f 1 0 第三章基于支持向量机的人脸检测 支持向量机方法( s u p p o r tv e c t o rm c h i n e ，s v m ) 是近年来倍受瞩目的一种处 理高度非线性分类、心归等问邀的机器学爿方法，目自订它j f 成为机器学爿领域中 新的研究热点。支持向量机是一种有坚实理论基础的新颖的小样本学习方法，它 基本上不涉及概率测度和大数定律等，冈此不同于现有的统计方法。从本质上看， 它是一种非参数机器学习方法，以往困扰机器学习方法的问题，如神经网络中的 模型选择问题，过学习与欠学习的问题，非线性和维数问题及局部极小点等问题 在支持向量机中得到了较好的解决。将支持向量机用于人脸检测研究，引起了广 大研究者的关注。 3 1 研究动机 人脸检测是人脸分析的第一步，指对于任意一幅给定的图像，采用一定的 策略对其进行搜索以确定其中是否含有人脸，如果含有则返回人脸的位置、大小 和姿态。早期的人脸识别研究主要针对有较强约束条件的人脸图像( 如室内无背 景图像) ，往往假设人脸位置已经获得或很容易获得，因此人脸检测问题并未受 到重视。随着人脸应用范围的不断扩大和丌发实际系统需求的不断提高，人们开 始关注在复杂背景下实时地进行人脸检测。虽然人类可以毫不困难地检测到空f a j 中的人脸，但计算机进行完全自动的人脸检测仍存在许多困难。它是一个复杂的 具有挑战性的模式分类问题。由于各种变化因素的影响，还有很多需要解决的问 题： 1 由于人脸模式的多样性，人脸图像的空间分布非常复杂，有限的样本集难以 覆盖全部人脸图像子空| 日j ，在高维空问中建立准确的分布模型又很困难。因此， 如何有效地描述人脸存r 7 ；- - f h j 的分御值得研究。非线性变换和混合模型将是描述 人脸特征分和的一个有效方法，也需要研究新的人脸描述方法以获得准确的人脸 描述和与非人脸的区别信息。人脸局部和整体信息的相互结合能较好地描述人脸 特征，有效地提取和组合局部与整体信息也是提高系统性能的一个途径。 2 对于复杂背景的图像，如何有效地区分类似人脸的区域和真j f 的人脸区域很 重要。神经网络、s v m 、贝叶斯分类器等通常能扶得盘r 的分类结果，研究新的 分类方法是提高检测性能的另一个蕈要途径。也可以借鉴字符、语音、指纹等识 别r | l