基于人脸的性别识别

1、Forpersonaluseonlyinstudyandresearch;notforcommercialuse基于人脸的性别识别GenderIdentificationBasedonFace院系：电子信息与技术学院姓名：陈泽腾学号：13213070摘要人脸是重要的生物特征之一，人脸图像上蕴含了大量的信息，例如性别、年龄、人种、身份等。人脸的性别识别就是试图赋予计算机根据输入的人脸图像判断其性别的能力。本文基于人脸正面图像进行性别分类。一般而言，人脸性别识别系统分为图像预处理，人脸特征提取和分类器识别三部分。本文针对这三个部分展开研究，并比较了几种不同方案的识别性能。通过对性别识别的重要理论的

2、研究，为了提高性别识别率，本文提出了采用AdaBoost算法提取整体特征，主动表观模型提取局部特征，组合局部与整体特征后使用支持向量机（SVM）进行分类的方法。本文在一个由AR、FERET、CAS-PEAL-R1、网上收集和实验室自行采集所共同组成的，包含21,300余张人脸的数据库上，进行了大量有意义的实验。实验结果显示，融合了整体特征和局部特征后，识别率比基于（单独）整体特征的、基于（单独）局部特征的有很大的提高，达到了90%以上。本文还通过精心设计的对比实验对预处理过程中人脸有效区域的截取和AdaBoost的结构选择等方面给出了合理的建议。关键词：性别识别，局部特征，整体特征，AdaBo

3、ost，支持向量机，主动表观模型第一章绪论1.1 性别识别问题描述人脸是重要的生物特征之一，人脸图像上蕴含了大量的信息，例如性别、年龄、人种、身份等。人机交互技术（HCI）的发展使得计算机视觉、人工智能在监控、GUI人机界面设计等方面发挥了越来越重要的作用。随着技术的进步，基于人脸图像模式识别问题也成为近年来研究的热点。其中包括人脸检测、人脸身份识别、人脸属性（性别、年龄、表情、种族等）识别等各类识别问题。基于人脸的性别分类就是让计算机根据输入的人脸图像判断其性别的过程。人脸的性别识别似乎是人们“与生俱来”的能力，但让计算机识别并不容易，即使有大量来自计算机视觉、模式识别、人工智能、心理学等各

4、领域的研究人员的努力，这个问题仍然困扰着他们。赋予计算机同样的能力一直是人类的梦想之一，如果把照相机、摄像头、扫描仪等外设看作计算机的“眼睛”，数字图像就是它看到的“影像”，性别识别的目标就是让计算机从“影像”中找到人脸并正确判断其性别。这种识别过程大体上分为以下步骤： 人脸检测/定位计算机首先检测“影像”中是否存在人脸。如果存在，则给出其位置坐标、旋转角度、人脸区域大小等信息，以将人脸分离出来，供后续处理。这一步骤主要受到光照、噪声、面部姿态以及各类遮挡的影响。人脸检测是人脸性别识别的前期工作。同时，它也可以作为独立的完整功能模块用于监测、安保系统。特征提取在检测到的人脸上提取性别特征，即采

5、用某种编码方式表示检测出的人脸。常用的特征包括以亮度分布信息为代表的整体特征和以五官的位置和形状轮廓信息为代表的局部特征。特征提取之前往往还需要进行预处理，将这些人脸几何上、颜色上归一化，以削弱遮挡、姿态、光照、饰物等因素的影响。性别识别根据提取的面部特征，对待识别人脸的性别做出判断。1.2 性别识别的研究意义与典型应用人脸的性别识别的研究始于二十世纪九十年代，问题起初是由心理学家进行研究的12，他们致力于了解人类是如何分辨男女性别的。接着，有人从计算机视觉的角度进行研究，主要目标是要得到一个性别分类器。十多年来人脸的性别识别得到了长足的发展，尤其在近些年，更成为一个热门的研究课题，得到大量来

6、自计算机视觉、模式识别、人工智能、心理学等各领域的研究人员的关注。人脸的性别分类几乎涉及到模式识别的不同方法，如人工神经网络（ANN）、主分量分析（PCA）、贝叶斯决策、支持向量机以及AdaBoost算法等等。性别识别在各个方面都有潜在的广阔的应用前景。性别识别在身份识别中可以充当“过滤器”的功能，利用检测出来的性别信息可以显著降低进行身份识别的搜索数量，从而提高身份认证识别速度与精度。3性别识别也是智能人机接口领域的重要研究内容之一。让计算机理解人脸面相的丰富信息并能加以分类，这恰是智能人机接口研究需要解决的问题之一，也是机器智能的重要表现。它的最终解决可以极大的改善目前呆板、不方便的人机交

7、互环境，提供更为个性化的服务。例如可以在大型游乐场所、主题公园的导游车上配备这类系统，让计算机根据使用者不同的性别分布，随机应变地推荐一些更具针对性的商品或者旅游景点。也可以为超市、商店等提供分类更详细的统计信息，提供收集潜在客户数据的自动化途径，帮助其向消费者提供更具针对性的促销服务，从而在一定程度上改变人们的生活质量和生活方式。自2001年美国“9211”恐怖袭击发生以来，安全性成为了人们日益关注的主要问题。为此，各国都投入大量物力人力研究并发展各类识别技术。性别识别也能在安保系统、身份验证系统中起到很大的作用，例如在某些需要限制异性出入的场所可以提供实时的视频监控。又例如可以在奥运会中用

8、来监测，防止个别参赛选手“男扮女装”，利用力量、速度、耐力、爆发力等方面的优势，窃取奖牌的舞弊行为。1.3 性别识别的研究现状(1) 使用人工神经网络进行的探索性的研究从上世纪90年代起国外一些学者开始了人脸性别识别问题的研究，他们致力于理解人类判定性别的视觉处理机制，主要采用的是人工神经网络的方法。如Golomb等1训练了两层神经元网络SEXNET，用来识别30330的人脸图像的性别。Cottrell和Metcalfe2差不多同时做了类似的实验，他们先对样本进行主分量分析，然后训练BP神经元网络用于识别人脸的表情和性别oBrunelli和Poggio4训练了一个HyperBF网络，使用16个

9、几何特征进行性别分类。Tamura等人训练了一个三层BP网络，在838的低分辨率人脸图像上取得了93%的分类结果。Abdi等人用RBF网络和一个感知器进行实验，他们比较了基于几何特征和基于像素分布特征的性别识别方法，两者基本达到了相近的准确率。(2) 支持向量机算法Moghaddam等人使用基于RBF核的SVM分类器对21312的“缩略图”人脸图像进行性别分类，并与一些传统的神经网络方法和线性分类器方法进行了系统的比较，他们发现SVM的分类效果显著好于其他分类器。实验中使用FERET人脸图像库进行了训练和测试，达到了96.6%的准确率。(3) AdaBoost分类算法Shakhnarovich

10、等人8将Viola和Jones提出的基于类Haar基特征的AdaBoost方法应用于性别分类问题，训练并完成了一个自动检测、跟踪、性别识别系统，使用普通网络图片的测试正确率达78%，甚至稍好于他们同时训练用作比对的基于RBF核的SVM分类器的分类精度，而且在识别速度上比之快了约1000倍,达到了很好的效果。清华大学的武勃、艾海舟等人使用AdaBoost算法对基于类Haar基特征的LUT弱分类器进行训练分类。实验中使用了FERET图像库以及从互联网获得的一些人脸图像，将所有人脸图像归一化到36336大小。他们发现比起普通基于阈值若分类器的AdaBoost方法，LUTAdaBoost方法收敛更快识

11、别效果更佳。他们还将LUTAdaBoost方法使用在人脸图像的年龄分类上，分辨成年人和儿童。Baluja和Rowley9使用像素比较操作加上AdaBoost分类器，识别率超过93%，高于相同输入的SVM分类器的结果。(4)基于柔性模型的分类算法Saatci和Town3提出了基于主动表观模型的性别与表情识别方法。他们用AAM提取的特征来训练SVM分类器。他们在AR、IMM和FEEDTUM人脸库上对符合条件的正面图像进行测试，识别率达到了97.6%。他们还尝试在性别识别之前先用表情识别进行分类，期望能一定程度地提高性别分类的精度，但实验结果却并不理想，识别率不升反降，他们指出可能的原因是训练样本数

12、目太小。Costen等10提出了稀疏矩阵SVM分类方法，目的是选择出最重要的特征，并尽量使类间的距离最大化。在他们300幅正面并手工标定76个特征点的日本人脸图像构成的测试集上，识别率达到了94.42%。(5) 基于主分量分析特征的分类算法(PCA)由于面部图像存在大量冗余信息，PCA技术，或者说KL变换11在人脸识别领域也有大量成功的应用，性别识别也是如此。Balci和Atalay12使用PCA和多层感知器网络(MLP)进行性别识别。Wilhelm和Backhaus13结合PCA和独立分量分析(ICA)进行特征选择，他们分别使用最近邻分类器、MLP和一个RBF网络进行识别。Alice等14系

13、统地研究了人脸女性化程度、男性化程度、可识别程度和漂亮程度之间的关系，并用PCA模型对人脸中所含信息的统计结构进行了定量计算，他们还用PCA方法从人脸的三维模型(结构和纹理)中提取特征，并用于训练性别分类的感知机15。清华大学的武勃、艾海舟15等人通过实验系统地分析了几种解决方案，包括基于象素特征的SVM方法、PCA+SVM方法、PCA+Adaboost方法、PCA+Adaboost+SVM方法和最佳特征提取即FLD+CSCIE(CentralizedSample'sClassificationInformationExtracting)+SVM方法，并比较了这5种方法之间的优劣。实验

14、结果表明采用主分量分析进行特征抽取后的本征向量作为分类器的输入和直接采用原始象素作为分类器输入，最终的分类正确率并没有很大差别。(6) 其他的分类方法Nishino等人17借鉴了生物医学知识：不同性别的面部的热量分布是不一样的，男性的温度较女性稍高，提出了基于热成像仪获取的人脸图像进行性别分类的方法。但从实验结果来看，其识别率并不高，只能达到75%左右。上海交通大学的吕宝粮等人18利用最大最小模块化支持向量机进行性别分类，他们将结果与传统支持向量机方法进行了对比，实验结果表明，最大最小模块化方法有效地提升了支持向量机的分类能力，在两个测试集上准确率都提高了约6个百分点。1.4常用人脸图像库进行

15、人脸识别问题的研究或实验都需要建立包含各种典型人脸的图像库，尤其是在统计学习占主导地位的今天，模型训练所采用的人脸库的人数规模、覆盖的成像条件变化在很大程度上影响着算法的精度和鲁棒性能。目前大部分人脸方面问题的研究和实验都是基于一个或若干个人脸图像库来进行的。下面简单介绍人脸识别领域比较常用的人脸图像数据库的情况。FERET人脸图像库19为了促进人脸识别算法的研究和实用化，美国国防部的国防高级项目研究组和美国军方研究实验室开展了人脸识别技术工程(FacialRecognitionTechnology)计划，简称FERET,并建立了用于测试人脸识别算法的通用标准人脸图像库FERET，FERET人

16、脸图像库是目前最大的人脸性别识别方法研究图像库，其中每人8幅图像，包括正面人脸图像，以及向左右侧面旋转不同角度(不大于45度)的图像。该图像库中的图像在拍摄条件上有一定的限制，人脸的大小约束在某个规定的范围内。目前包含14,051幅多姿态、不同光照条件的灰度人脸图像，并严格划分了训练集合、Gallery、不同的测试集合等，是人脸识别领域应用最广泛的人脸数据库之一。该图像库的图像数目在逐年增加。 ORL人脸图像库20由剑桥大学AT&T实验室创建，该图像库由不同时段的，背景为黑色的，姿态、表情和面部饰物均有变化的40人共400幅灰度图像组成，该库在人脸识别研究的早期经常被采用，由于变化较少

17、，所以常常能达到很好的分类效果。 Yale人脸图像库21Yale人脸图像库是由耶鲁大学计算视觉与控制中心创建，包含15人，每人11幅图像组成，主要包括光照条件和人脸表情的变化oYale人脸图像库B包含了10个人的5850幅多姿态、多光照的图像。 PIE人脸数据库22由美国卡耐基梅隆大学创建，包含68位志愿者的41,368张多姿态、光照和表情的面部图像。其中的姿态和光照变化图像也是在严格控制的条件下采集的。 AR人脸图像库23该人脸库是由西班牙巴塞罗那计算机视觉中心于1998年创建的，包括116人光照变化，佩戴墨镜，尺度变化，表情变化和佩戴围巾等情况的人脸图像共3,288幅。CAS-PEAL人脸

18、数据库24该人脸库包含了1,040名中国人共99,450幅头肩部图像。所有图像在专门的采集环境中采集，涵盖了姿态、表情、饰物和光照四种主要变化条件，部分人脸图像具有背景、距离和时间跨度的变化。1.5论文结构本章介绍了人脸性别的研究意义、研究背景和典型应用，并详细介绍了人脸性别识别的国内外主要研究状况。本章在最后简要介绍了几个人脸识别领域中常用的人脸图像库。本文余下章节的组织如下：第二章探讨了常用的性别提取方法，以及他们各自的优缺点，并提出了本文所用的融合整体和局部特征的识别方法。第三章论述了性别分类器的选择，并对本文采用的支持向量机理论进行了系统的介绍和研究。第四章是系统效果图。第五章是全文的

19、总结和展望。第二章性别特征提取方法性别分类是一个典型的二类问题，人脸性别分类问题需要解决的两个关键问题是人脸特征提取和分类器的选择。特征的选择与提取是非常重要的，它强烈地影响着后面的分类器的设计及其性能。在数学上，特征提取就是从测量空间到特征空间的一种映射变换。这种变换要符合两个主要准则：特征空间必须保留测量空间的主要分类信息，特征空间的维数必须远远低于测量空间的维数。由于在很多实际问题中常常不容易找到那些最重要的特征，或受条件限制不能对它们进行测量，这就使特征选择和提取的任务复杂化而成为构造模式识别系统最困难的任务之一。性别识别按照提取特征方法的不同大致分为两种：基于整体特征的方法和基于局部

20、特征的方法。一般而言，进行性别识别的过程中，整体特征进行粗略的识别，局部特征在细节上提供补充。但当有独特的局部特征(如光头、络腮胡等)出现，则会首先被用来确定性别。一种常见的观点认为：二者对识别都是必要的，且能互相补充在识别过程中共同起作用25。2.1整体特征的提取整体特征主要是指二维图像信息。它并不在意图像究竟是什么样子的，也不需要依赖额外的知识。通常来说，这种分类方法将一副图像视作一个高维的向量，然后利用统计方法分析物体在高维空间的分布。它对遮挡、姿态、光照、饰物等各种变化比较敏感。事实上，要求寻找和使用具有明确物理意义的特征限制了那些对于性别分类有用的但无法清晰描述的特征的可能性，近年来

21、，统计学习方法逐渐成为模式识别领域的主流技术之一，在许多经典问题上，统计学习方法都有成功的应用，人脸的性别识别即为一例。本文整体特征的提取主要利用AdaBoost算法。通过快速提取图像的类Harr基弱特征，利用AdaBoost学习方法组合成强特征，从而实现人脸性别整体特征的快速检测。2.1.1类Harr基特征PaulViola等人在2001年首先将AdaBoost用于人脸检测26，他们将弱分类器与弱特征等价起来，从而实现了通过AdaBoost算法寻找、选择并组合“对分类有用的”弱特征的目标。Viola采用的矩形特征来源于Papageorgiou等27提出的扩展二维Harr小波基的图像表征方法，

22、因此，这些矩形特征也被称为“类Harr基特征”。Viola的另一大贡献是引入“积分图像”的概念，使得这些矩形特征可以快速计算：事先求出积分图像的所有值，其中坐标(x,y)处的值T(x,y)等于源图像(x,y)左上方所有像素之和。2.1.2AdaBoost学习算法AdaBoost(AdaptiveBoosting的缩写)是Boosting方法的一个典型特例29。通常可以用来将多个弱分类器整合成一个强分类器。做法是首先根据已有的训练样本集合训练出来一个分类器，要求这个分类器的准确率要比平均性能好，然后顺序地加入多个分量分类器，最终形成一个组合的总体分类器。Boosting方法的这种机制可以保证最终

23、的分类器在训练样本集合上有任意高的准确率。作者给它取名叫作AdaBoost是因为这个算法和以前的Boosting算法不同，它不需要预先知道假设的错误率下限，而是根据弱学习的反馈适应性地(adaptively)调整假设的错误率也就是说，AdaBoost算法不需要任何关于弱学习器性能的先验知识，加上它和原来Boosting算法的效率一样，因此可以非常容易地应用到实际问题中。在AdaBoost方法中，每个训练样本都被赋予了一个权值，表明它能否被当前弱分类器正确分类。AdaBoost逐步选择弱分类器，并根据一定规则调整训练样本的权值，使算法在后续的学习中集中对比较难的训练样本进行学习，最终达到某个预定

24、的足够小的错误率，AdaBoost本质上是一个贪心算法。所得到的所有弱分类器的一个线性组合即为所求的强分类器。其主要步骤是：设置每个正负样本的初始权值，在接下去的每一次迭代中，首先计算每个弱分类器的分类误差，即该弱分类器对每个样本分类误差的加权和；然后保留误差最小的作为该轮的最佳弱分类器；最后根据该最佳弱分类器的分类结果和分类误差调整样本的权值，如果一个训练样本已经被正确分类，其权值就被下调，否则，其权值就要被调高，以便使下一轮的弱分类器专注于这些被错误分类的样本。最终得到的分类器则是训练得到的所有弱分类器的一个线性组合。由于上述这些“弱分类器”通常能够快速方便地获得，因而组合出来的强分类器也

25、有实时性强的特点。AdaBoost用于人脸检测是将弱分类器与弱特征等价，从而现了通过AdaBoost算法寻找、选择并组合“对分类有用的”弱特征的目标，排除了大量“无用特征”。最终的分类结果取决于强分类器H(x)的符号。Freund和Schapire证明了强分类器的分类误差随学习轮数的增加成指数下降30。AdaBoost学习算法可以将一定数量的弱分类器构成一个强分类器。为了使单独的强分类器具有较高的检测率和较低的误检率，所需弱分类器的数目较多，在每个检测窗口中进行目标检测所需计算量较大。为了分散计算量，提高系统速度，Viola等人采用了多级分类器结构，训练产生多个强分类器，通过它们的级联来实现目

26、标的检测。2.2局部特征的提取2.2.1基于几何特征的性别分类基于脸部五官几何特征的分类方法通常更关注于人脸的局部。通过寻找人脸部的几何特征例如：眉毛的粗细、鼻翼的宽窄、嘴唇的厚度等等来进行分类。由于五官在人脸相对位置的不变性，因此它的优点在于对遮挡、姿态、光照、饰物等各种变化不敏感，显示出一定的可靠性，但它需要事先定位五官位置的要求，增加了特征提取的难度和时间。该分类方法往往需要一些先验知识，比如按照传统经验，男性和女性在脸部结构上区别比较明显的有：女性的脸庞轮廓较为柔和，而男性的则较为刚直。女性的眼睛稍大，睫毛较长，眉毛细长，嘴唇有体积感与光泽并且曲线平缓，没有胡须，男性的上半脸通常较短，

27、下巴较大，眉毛较粗，眼睛和眉毛较为靠近等。一些研究数据能支持这样的经验3334，Brunelli和Poggio4训练了HyperBF网络使用16个几何特征进行的性别分类，他们发现眼眉间距离、眉毛的粗细和鼻翼的宽窄这三种几何特征对最终的分类贡献最大，他们最终的分类准确率达79%。Samal等人使用F测试和t测试检测出男女之间大约85%左右的几何特征有很大的区别，他们的性别分类器使用了18-20个几何特征，达到了96%的准确率35。2.2.2主动表观模型算法面部特征精确配准是鲁棒实用的人脸识别系统的基本前提，也是提取人脸几何特征的基本前提。柔性模型(FlexibleModels),是目前解决该问题

28、的主流方法。Kass等人36在1987年首先提出了称为Snake的主动轮廓线模型(ActiveContourModel，ACM),Snake是能量极小化的一种模型，内力约束它的形状，外力引导它的行为，图像力将其拖向显著的图像特征。Snake模型的引人之处在于它对范围广泛的一系列视觉问题给出了统一的解决方法。随后，T.F.Cootes37等人在1995年又提出了一种基于统计模型的方法一一主动形状模型(ActiveShaperModel，ASM)，该方法对训练集中大量所描述的形状实例进行统计，建立起反映目标形状变化规律的形状统计模型和反映灰度分布规律的局部灰度模型，通过循环迭代，得到理想的匹配结果

29、。在主动形状模型基础之上，T.F.Cootes等人38又在1998年中提出了主动表观模型(AAM)。AAM方法是对ASM的直接扩展，与ASM相比，AAM同样采用统计分析的方法建立先验模型，然后，利用先验模型对图像中的人脸进行匹配运算。其优点在于该模型不仅仅包含人脸的形状信息，而且还包含有人脸的内部纹理信息。ASM/AAM将人脸描述为2D形状和纹理两个分离的部分，分别用统计的方法进行建模(PCA),然后再进一步通过PCA将二者融合起来对人脸进行统计建模。柔性模型具有良好的人脸合成力，可以采用基于合成的图像分析技术来对人脸图像进行特征提取与建模。柔性模型目前已被广泛用于人脸特征对准(FaceAli

30、gnment)和识别中，并出现了很多的改进模型。AAM将预先定义的特征点及样本影响经过统计后，留下较低维度但对于我们很有用的特征信息。应用在人脸图像上，这类特征包括了人脸的形状信息以及五官的轮廓变化，或者颜色纹理咨询，肤色变化等等。其基本概念可以用式2-6表达。其中M是已经训练好的统计模型矩阵，可以表示脸部的轮廓变化或纹理变化，c是一个向量。则一个新脸部图像X等于用平均脸X加上c通过模型M产生的变化量。由控制参数矢量c控制形状和纹理的变化，调节c可以得到不同的形状和脸部纹理，从而合成不同的人脸。主动表观模型的搜索过程如图2-6所示。主动表观模型方法充分利用了人脸训练样本的纹理灰度值，对其进行统

31、计分析，具有很高的通用性，其定位能力强，相比ACM和ASM而言，AAM利用了更多的信息，因而具有了更高的准确性。本实验中几何特征的提取主要利用AAM算法，利用虹软公司提供的GVS工具，直接从一幅人脸图像中得到83个特征点(见图2-7)，从这83个特征点两两相连可以得到3403283C个距离，再使用逐步判别分析法从这3403个特征中找出10个对性别分类贡献度最大的特征来。以此作为局部特征。2.3特征的融合整体特征和局部特征可以在识别过程中互相补充。三种常见的特征融合算法有min-max规范化、z-score规范化和双曲正切函数规范化。min-max规范化方法39相较另两种能得到更好的结果。尤其是

32、，min-max规范化方法极其简单容易计算。因此，本实验在特征融合环节选择min-max算法规范输入数据。这里，因为最终要使用SVM方法得出分类结果，将原始数据统一规范到-1,1这个闭区间。于是得到：2.4 本章小结本章主要介绍了性别分类中常用的两类特征整体特征和局部特征，以及他们各自的优缺点。详细介绍了本文所采用的提取方法。在本章的最后提出了将整体特征和局部特征相结合之后进行性别识别的思想，并给出了本文所采用的特征融合方法。第三章性别识别的分类方法人脸性别分类问题需要解决的另一个关键问题是性别分类器的选择。这其实是一个机器学习(MachineLearning,ML)的问题。由于性别分类是一个

33、典型的二类问题，本文选用支持向量机SVM进行性别分类。3.1SVM的理论背景基于数据的机器学习是现代智能技术中的重要方面，机器学习的目的是根据给定的训练样本求对某系统输入输出之间依赖关系的估计，使它(这种关系)能够对未知输出做出尽可能准确地预测。机器学习至今没有一个精确的公认的定义。作为人工智能(ArtificialIntelligence，AI)的一个重要研究领域，ML的研究工作主要围绕学习机理、学习方法和面向任务这三个基本方面进行研究。从观测数据(样本)出发寻找规律，利用这些规律对未来数据或无法观测的数据进行预测。模式识别、函数逼近和概率密度估计是三类基本的ML问题。机器学习的实质就是从函

34、数集合中选择合适的逼近函数并进行参数化的过程。从数学的角度来考虑，机器学习问题就是已知n个独立同分布的观测样本，在同一组预测函数中求一个最优的函数对依赖关系进行估计，使期望风险Rf最小。损失函数是评价预测准确程度的一种度量，它与预测函数f(x)密切相关。而f(x)的期望风险依赖于概率分布和损失函数，其中，前者是客观存在的，后者是根据具体问题主观决定的。但是，只有样本却无法计算期望风险，因此，传统的学习方法用样本定义经验风险Rempf作为对期望风险Rf的估计，并设计学习算法使Rempf最小化。即所谓的经验风险最小化(EmpiricalRiskMinimization，ERM)归纳原则。经验风险是

35、用损失函数来计算的。对于模式识别问题的损失函数来说，经验风险就是训练样本错误率；对于函数逼近问题的损失函数来说，就是平方训练误差；而对于概率密度估计问题的损失函数来说，ERM准则就等价于最大似然法。理论表明，当训练数据趋于无穷多时，经验风险收敛于实际风险。因此经验风险最小化原则隐含的使用无穷多训练样本的假设。然而在人脸性别分类问题中，样本数目往往是有限的，这样基于经验风险最小化原则推导的各种理论上很优秀的学习方法在有限样本下ERM准则就不一定能使真实风险较小，在实际中就会遇到如小样本、高维数、学习器结构和局部极值等问题。神经网络经常遇到的过学习问题即为一例。传统的科学哲学的目标是“发现普遍的自

36、然规律”。但是，这一目标在需要用很多变量描述的复杂世界中不一定可行。因此，在一个复杂世界中，有时需要有放弃寻找一般规律的目标，而考虑其他目标的智慧和勇气。Vapnik在40中对复杂世界的推理提出了如下法则：“在解决一个感兴趣的问题时，不要把解决一个更一般的问题作为一个中间步骤。要试图得到所需要的答案，而不是更一般的答案。很可能你拥有足够的信息来很好地解决一个感兴趣的特定问题，但却没有足够的信息来解决一个一般性的问题。”传统统计学主要研究渐进理论，即当训练样本数趋向无穷大时的解决方案，与实际问题中的有限样本数是矛盾的，导致了包括参数估计和神经网络等在内的学习机器存在一个根本的缺陷。与传统的统计学

37、方法相比，统计学习理论(StatisticalLearningTheory,SLT)是一种专门研究小样本情况下机器学习规律的理论。该理论针对小样本统计问题建立了一套新的理论体系，在这种体系下的统计推理规则不仅考虑了对渐近性能的要求，而且追求在现有有限信息的条件下得到最优结果。V.Vapnik等人从六、七十年代开始致力于此方面研究40,到九十年代中期，随着其理论的不断发展和成熟，也由于神经网络等学习方法在理论上缺乏实质性进展，统计学习理论开始受到越来越广泛的重视。在此理论框架下产生的支持向量机（SVM）方法，使抽象的统计学习理论转化为实际的学习方法。统计学习理论和支持向量机建立了一套较好的有限训

38、练样本下机器学习的理论框架和通用方法，既有严格的理论基础，又能较好地解决小样本、非线性、高维数和局部极小点等实际问题，其核心思想就是学习机器F要与有限的训练样本相适应。在学习算法中需要选择恰当的F,这里的关键因素是F的大小，或者F的丰富程度，或者说F的“表达能力”，VC维（Vapnik-ChervonenkisDimension）就是对这种，表达能力”的一种描述。VC维的定义如下：对于一个指示函数集，如果存在h个样本能够被函数集中的函数按所有可能的2的h次幕种形式分开，则称函数集能够把h个样本都打散，h的最大值就是函数集的VC维。VC维是SLT中的一个重要概念，它是函数集学习性能的重要指标。目

39、前尚没有通用的关于任意函数集VC维计算的理论，只知道一些特殊的函数集的VC维。对于给定的学习函数集，如何（用理论或实验的方法）计算其VC维是当前统计学习理论中有待研究的一个问题。由上文可知，在有限样本情况下，仅仅用ERM来近似期望风险是行不通的。SVM是一种基于统计的学习方法，它是对SRM的近似。概括地说，SVM就是首先通过用内积函数定义的非线性变换将输入空间变换到一个高维空间，然后再在这个空间中求（广义）最优分类面的分类方法。它的特点就是能够同时最小化经验误差与最大化几何边缘区。3.2SVM的主要软件工LIBSVMLIBSVM是一个开源的软件包42，是台湾大学林智仁博士等开发的，它操作简单、

40、易于使用、快速有效，可以解决分类问题（包括C-SVC、n-SVC）、回归问题（包括e-SVR、n-SVR）以及分布估计（one-class-SVM）等问题，提供了线性、多项式、径向基和S形函数四种常用的核函数供选择，可以有效地解决多类问题、交叉验证选择参数、对不平衡样本加权、多类问题的概率估计等。LIBSVM是一个开源的软件包，需要者都可以免费的从作者的个人主页.tw/cjlin/处获得。他不仅提供了LIBSVM的C+语言的算法源代码，还提供了Python、Java、R、MATLAB、Perl、Ruby、LabVIEW以及C#.net等各种语言的接口

41、，可以方便的在Windows或UNIX平台下使用。也便于科研工作者根据自己的需要进行改进（譬如设计使用符合自己特定问题需要的核函数等）。另外还提供了WINDOWS平台下的可视化操作工具SVM-toy，并且在进行模型参数选择时可以绘制出交叉验证精度的等高线图。LIBSVM使用的一般步骤是：1）按照LIBSVM软件包所要求的格式准备数据集；2）对数据进行简单的缩放操作；3）选用核函数，一般为RBF核函数；4）采用交叉验证选择最佳参数C与g；5）采用最佳参数C与g对整个训练集进行训练获取支持向量机模型;6）利用获取的模型进行测试与预测。3.3本章小结本章阐述了统计学习理论SLT和支持向量机SVM的相关原理。SVM在小样本情况下机器学习问题上有很好的应用，而且非常适合二类问题的分类。因此本文采用SVM作为性别分类器。本章在最后对本文使用的台湾大学林智仁博士等开发的LibSVM工具进行了简要的介绍。4.1人脸检测图4-1单人脸检测4.2眼睛、鼻子、嘴巴定位4