基于人脸的性别识别

基于人脸的性别识别 陈泽腾 基于人脸的性别识别基于人脸的性别识别 Gender Identification Based on Face 院 系 电子信息与技术学院 姓 名 陈泽腾 学 号 13213070 基于人脸的性别识别 陈泽腾 2 摘摘 要要 人脸是重要的生物特征之一 人脸图像上蕴含了大量的信息 例如性别 年龄 人种 身份等 人脸的性别识别就是试图赋予计算机根据输入的人脸图像判断其性别的能力 本 文基于人脸正面图像进行性别分类 一般而言 人脸性别识别系统分为图像预处理 人脸 特征提取和分类器识别三部分 本文针对这三个部分展开研究 并比较了几种不同方案的 识别性能 通过对性别识别的重要理论的研究 为了提高性别识别率 本文提出了采用 AdaBoost 算法提取整体特征 主动表观模型提取局部特征 组合局部与整体特征后使用支 持向量机 SVM 进行分类的方法 本文在一个由 AR FERET CAS PEAL R1 网上收 集和实验室自行采集所共同组成的 包含 21 300 余张人脸的数据库上 进行了大量有意义 的实验 实验结果显示 融合了整体特征和局部特征后 识别率比基于 单独 整体特征 的 基于 单独 局部特征的有很大的提高 达到了 90 以上 本文还通过精心设计的对 比实验对预处理过程中人脸有效区域的截取和 AdaBoost 的结构选择等方面给出了合理的 建议 关键词关键词 性别识别 局部特征 整体特征 AdaBoost 支持向量机 主动表观模型 基于人脸的性别识别 陈泽腾 3 第一章第一章 绪论绪论 1 1 性别识别问题描述性别识别问题描述 人脸是重要的生物特征之一 人脸图像上蕴含了大量的信息 例如性别 年龄 人种 身份等 人机交互技术 HCI 的发展使得计算机视觉 人工智能在监控 GUI 人机界面 设计等方面发挥了越来越重要的作用 随着技术的进步 基于人脸图像模式识别问题也成 为近年来研究的热点 其中包括人脸检测 人脸身份识别 人脸属性 性别 年龄 表情 种族等 识别等各类识别问题 基于人脸的性别分类就是让计算机根据输入的人脸图像判 断其性别的过程 人脸的性别识别似乎是人们 与生俱来 的能力 但让计算机识别并不容 易 即使有大量来自计算机视觉 模式识别 人工智能 心理学等各领域的研究人员的努 力 这个问题仍然困扰着他们 赋予计算机同样的能力一直是人类的梦想之一 如果把照 相机 摄像头 扫描仪等外设看作计算机的 眼睛 数字图像就是它看到的 影像 性别 识别的目标就是让计算机从 影像 中找到人脸并正确判断其性别 这种识别过程大体上分 为以下步骤 人脸检测 定位 计算机首先检测 影像 中是否存在人脸 如果存在 则给出其位置坐标 旋转角度 人脸区域大小等信息 以将人脸分离出来 供后续处理 这一步骤主要受到光照 噪声 面部姿态以及各类遮挡的影响 人脸检测是人脸性别识别的前期工作 同时 它也可以作 为独立的完整功能模块用于监测 安保系统 特征提取 在检测到的人脸上提取性别特征 即采用某种编码方式表示检测出的人脸 常用的特 征包括以亮度分布信息为代表的整体特征和以五官的位置和形状轮廓信息为代表的局部特 征 特征提取之前往往还需要进行预处理 将这些人脸几何上 颜色上归一化 以削弱遮 挡 姿态 光照 饰物等因素的影响 性别识别 根据提取的面部特征 对待识别人脸的性别做出判断 1 2 性别识别的研究意义与典型应用性别识别的研究意义与典型应用 人脸的性别识别的研究始于二十世纪九十年代 问题起初是由心理学家进行研究的 1 2 他们致力于了解人类是如何分辨男女性别的 接着 有人从计算机视觉的角度进行研 究 主要目标是要得到一个性别分类器 十多年来人脸的性别识别得到了长足的发展 尤 其在近些年 更成为一个热门的研究课题 得到大量来自计算机视觉 模式识别 人工智 能 心理学等各领域的研究人员的关注 人脸的性别分类几乎涉及到模式识别的不同方法 如人工神经网络 ANN 主分量分析 PCA 贝叶斯决策 支持向量机以及 AdaBoost 算法等等 性别识别在各个方面都有潜在的广阔的应用前景 性别识别在身份识别中可以 充当 过滤器 的功能 利用检测出来的性别信息可以显著降低进行身份识别的搜索数量 从而提高身份认证识别速度与精度 3 性别识别也是智能人机接口领域的重要研究内容之 一 让计算机理解人脸面相的丰富信息并能加以分类 这恰是智能人机接口研究需要解决 的问题之一 也是机器智能的重要表现 它的最终解决可以极大的改善目前呆板 不方便 的人机交互环境 提供更为个性化的服务 例如可以在大型游乐场所 主题公园的导游车 上配备这类系统 让计算机根据使用者不同的性别分布 随机应变地推荐一些更具针对性 的商品或者旅游景点 也可以为超市 商店等提供分类更详细的统计信息 提供收集潜在 客户数据的自动化途径 帮助其向消费者提供更具针对性的促销服务 从而在一定程度上 改变人们的生活质量和生活方式 自 2001 年美国 9 11 恐怖袭击发生以来 安全性成为了 基于人脸的性别识别 陈泽腾 4 人们日益关注的主要问题 为此 各国都投入大量物力人力研究并发展各类识别技术 性 别识别也能在安保系统 身份验证系统中起到很大的作用 例如在某些需要限制异性出入 的场所可以提供实时的视频监控 又例如可以在奥运会中用来监测 防止个别参赛选手 男 扮女装 利用力量 速度 耐力 爆发力等方面的优势 窃取奖牌的舞弊行为 1 3 性别识别的研究现状性别识别的研究现状 1 使用人工神经网络进行的探索性的研究 从上世纪 90 年代起国外一些学者开始了人脸性别识别问题的研究 他们致力于理解 人类判定性别的视觉处理机制 主要采用的是人工神经网络的方法 如 Golomb 等 1 训练 了两层神经元网络 SEXNET 用来识别 30 30 的人脸图像的性别 Cottrell 和 Metcalfe 2 差 不多同时做了类似的实验 他们先对样本进行主分量分析 然后训练 BP 神经元网络用于 识别人脸的表情和性别 Brunelli 和 Poggio 4 训练了一个 HyperBF 网络 使用 16 个几何 特征进行性别分类 Tamura 等人 5 训练了一个三层 BP 网络 在 8 8 的低分辨率人脸图 像上取得了 93 的分类结果 Abdi 等人 6 用 RBF 网络和一个感知器进行实验 他们比较 了基于几何特征和基于像素分布特征的性别识别方法 两者基本达到了相近的准确率 2 支持向量机算法 Moghaddam 等人 7 使用基于 RBF 核的 SVM 分类器对 21 12 的 缩略图 人脸图像进 行性别分类 并与一些传统的神经网络方法和线性分类器方法进行了系统的比较 他们发 现 SVM 的分类效果显著好于其他分类器 实验中使用 FERET 人脸图像库进行了训练和 测试 达到了 96 6 的准确率 3 AdaBoost 分类算法 Shakhnarovich 等人 8 将 Viola 和 Jones 提出的基于类 Haar 基特征的 AdaBoost 方法 应用于性别分类问题 训练并完成了一个自动检测 跟踪 性别识别系统 使用普通网络 图片的测试正确率达 78 甚至稍好于他们同时训练用作比对的基于 RBF 核的 SVM 分 类器的分类精度 而且在识别速度上比之快了约 1000 倍 达到了很好的效果 清华大学 的武勃 艾海舟等人使用 AdaBoost 算法对基于类 Haar 基特征的 LUT 弱分类器进行训练 分类 实验中使用了 FERET 图像库以及从互联网获得的一些人脸图像 将所有人脸图像 归一化到 36 36 大小 他们发现比起普通基于阈值若分类器的 AdaBoost 方法 LUT AdaBoost 方法收敛更快识别效果更佳 他们还将 LUT AdaBoost 方法使用在人脸图像的年 龄分类上 分辨成年人和儿童 Baluja 和 Rowley 9 使用像素比较操作加上 AdaBoost 分类 器 识别率超过 93 高于相同输入的 SVM 分类器的结果 4 基于柔性模型的分类算法 Saatci 和 Town 3 提出了基于主动表观模型的性别与表情识别方法 他们用 AAM 提取 的特征来训练 SVM 分类器 他们在 AR IMM 和 FEEDTUM 人脸库上对符合条件的正 面图像进行测试 识别率达到了 97 6 他们还尝试在性别识别之前先用表情识别进行分 类 期望能一定程度地提高性别分类的精度 但实验结果却并不理想 识别率不升反降 他们指出可能的原因是训练样本数目太小 Costen 等 10 提出了稀疏矩阵 SVM 分类方法 目的是选择出最重要的特征 并尽量使类间的距离最大化 在他们 300 幅正面并手工标定 76 个特征点的日本人脸图像构成的测试集上 识别率达到了 94 42 5 基于主分量分析特征的分类算法 PCA 由于面部图像存在大量冗余信息 PCA 技术 或者说 KL 变换 11 在人脸识别领域也 有大量成功的应用 性别识别也是如此 Balci 和 Atalay 12 使用 PCA 和多层感知器网络 MLP 进行性别识别 Wilhelm 和 Backhaus 13 结合 PCA 和独立分量分析 ICA 进行 特征选择 他们分别使用最近邻分类器 MLP 和一个 RBF 网络进行识别 Alice 等 14 系 基于人脸的性别识别 陈泽腾 5 统地研究了人脸女性化程度 男性化程度 可识别程度和漂亮程度之间的关系 并用 PCA 模型对人脸中所含信息的统计结构进行了定量计算 他们还用 PCA 方法从人脸的三维模 型 结构和纹理 中提取特征 并用于训练性别分类的感知机 15 清华大学的武勃 艾 海舟 15 等人通过实验系统地分析了几种解决方案 包括基于象素特征的 SVM 方法 PCA SVM 方法 PCA Adaboost 方法 PCA Adaboost SVM 方法和最佳特征提取即 FLD CSCIE Centralized Sample s Classification InformationExtracting SVM 方法 并 比较了这 5 种方法之间的优劣 实验结果表明采用主分量分析进行特征抽取后的本征向量 作为分类器的输入和直接采用原始象素作为分类器输入 最终的分类正确率并没有很大差 别 6 其他的分类方法 Nishino 等人 17 借鉴了生物医学知识 不同性别的面部的热量分布是不一样的 男性 的温度较女性稍高 提出了基于热成像仪获取的人脸图像进行性别分类的方法 但从实验 结果来看 其识别率并不高 只能达到 75 左右 上海交通大学的吕宝粮等人 18 利用最 大最小模块化支持向量机进行性别分类 他们将结果与传统支持向量机方法进行了对比 实验结果表明 最大最小模块化方法有效地提升了支持向量机的分类能力 在两个测试集 上准确率都提高了约 6 个百分点 1 4 常用人脸图像库常用人脸图像库 进行人脸识别问题的研究或实验都需要建立包含各种典型人脸的图像库 尤其是在统 计学习占主导地位的今天 模型训练所采用的人脸库的人数规模 覆盖的成像条件变化在 很大程度上影响着算法的精度和鲁棒性能 目前大部分人脸方面问题的研究和实验都是基 于一个或若干个人脸图像库来进行的 下面简单介绍人脸识别领域比较常用的人脸图像数 据库的情况 FERET 人脸图像库 19 为了促进人脸识别算法的研究和实用化 美国国防部的国防高级项目研究组和美国军 方研究实验室开展了人脸识别技术工程 Facial Recognition Technology 计划 简称 FERET 并建立了用于测试人脸识别算法的通用标准人脸图像库 FERET FERET 人脸图 像库是目前最大的人脸性别识别方法研究图像库 其中每人 8 幅图像 包括正面人脸图像 以及向左右侧面旋转不同角度 不大于 45 度 的图像 该图像库中的图像在拍摄条件上有一 定的限制 人脸的大小约束在某个规定的范围内 目前包含 14 051 幅多姿态 不同光照条 件的灰度人脸图像 并严格划分了训练集合 Gallery 不同的测试集合等 是人脸识别领 域应用最广泛的人脸数据库之一 该图像库的图像数目在逐年增加 ORL 人脸图像库 20 由剑桥大学 AT T 实验室创建 该图像库由不同时段的 背景为黑色的 姿态 表 情和面部饰物均有变化的 40 人共 400 幅灰度图像组成 该库在人脸识别研究的早期经常 被采用 由于变化较少 所以常常能达到很好的分类效果 Yale 人脸图像库 21 Yale 人脸图像库是由耶鲁大学计算视觉与控制中心创建 包含 15 人 每人 11 幅图 像组成 主要包括光照条件和人脸表情的变化 Yale 人脸图像库 B 包含了 10 个人的 5850 幅多姿态 多光照的图像 PIE 人脸数据库 22 由美国卡耐基梅隆大学创建 包含 68 位志愿者的 41 368 张多姿态 光照和表情的面 部图像 其中的姿态和光照变化图像也是在严格控制的条件下采集的 AR 人脸图像库 23 基于人脸的性别识别 陈泽腾 6 该人脸库是由西班牙巴塞罗那计算机视觉中心于 1998 年创建的 包括 116 人光照变 化 佩戴墨镜 尺度变化 表情变化和佩戴围巾等情况的人脸图像共 3 288 幅 CAS PEAL 人脸数据库 24 该人脸库包含了 1 040 名中国人共 99 450 幅头肩部图像 所有图像在专门的采集环境 中采集 涵盖了姿态 表情 饰物和光照四种主要变化条件 部分人脸图像具有背景 距 离和时间跨度的变化 1 5 论文结构论文结构 本章介绍了人脸性别的研究意义 研究背景和典型应用 并详细介绍了人脸性别识别 的国内外主要研究状况 本章在最后简要介绍了几个人脸识别领域中常用的人脸图像库 本文余下章节的组织如下 第二章探讨了常用的性别提取方法 以及他们各自的优缺点 并提出了本文所用的融合整 体和局部特征的识别方法 第三章论述了性别分类器的选择 并对本文采用的支持向量机理论进行了系统的介绍和研 究 第四章是系统效果图 第五章是全文的总结和展望 基于人脸的性别识别 陈泽腾 7 第二章第二章 性别特征提取方法性别特征提取方法 性别分类是一个典型的二类问题 人脸性别分类问题需要解决的两个关键问题是人脸 特征提取和分类器的选择 特征的选择与提取是非常重要的 它强烈地影响着后面的分类 器的设计及其性能 在数学上 特征提取就是从测量空间到特征空间的一种映射变换 这 种变换要符合两个主要准则 特征空间必须保留测量空间的主要分类信息 特征空间的维 数必须远远低于测量空间的维数 由于在很多实际问题中常常不容易找到那些最重要的特 征 或受条件限制不能对它们进行测量 这就使特征选择和提取的任务复杂化而成为构造 模式识别系统最困难的任务之一 性别识别按照提取特征方法的不同大致分为两种 基于 整体特征的方法和基于局部特征的方法 一般而言 进行性别识别的过程中 整体特征进 行粗略的识别 局部特征在细节上提供补充 但当有独特的局部特征 如光头 络腮胡等 出现 则会首先被用来确定性别 一种常见的观点认为 二者对识别都是必要的 且能互 相补充在识别过程中共同起作用 25 2 1 整体特征的提取整体特征的提取 整体特征主要是指二维图像信息 它并不在意图像究竟是什么样子的 也不需要依赖 额外的知识 通常来说 这种分类方法将一副图像视作一个高维的向量 然后利用统计方 法分析物体在高维空间的分布 它对遮挡 姿态 光照 饰物等各种变化比较敏感 事实上 要求寻找和使用具有明确物理意义的特征限制了那些对于性别分类有用的但 无法清晰描述的特征的可能性 近年来 统计学习方法逐渐成为模式识别领域的主流技术 之一 在许多经典问题上 统计学习方法都有成功的应用 人脸的性别识别即为一例 本文整体特征的提取主要利用 AdaBoost 算法 通过快速提取图像的类 Harr 基弱特征 利用 AdaBoost 学习方法组合成强特征 从而实现人脸性别整体特征的快速检测 2 1 1 类类Harr 基特征基特征 Paul Viola 等人在 2001 年首先将 AdaBoost 用于人脸检测 26 他们将弱分类器与弱 特征等价起来 从而实现了通过 AdaBoost 算法寻找 选择并组合 对分类有用的 弱特征 的目标 Viola 采用的矩形特征来源于 Papageorgiou 等 27 提出的扩展二维 Harr 小波基的 图像表征方法 因此 这些矩形特征也被称为 类 Harr 基特征 Viola 的另一大贡献是引 入 积分图像 的概念 使得这些矩形特征可以快速计算 事先求出积分图像的所有值 其 中坐标 x y 处的值 T x y 等于源图像 x y 左上方所有像素之和 2 1 2 AdaBoost 学习算法学习算法 AdaBoost Adaptive Boosting 的缩写 是 Boosting 方法的一个典型特例 29 通常可 以用来将多个弱分类器整合成一个强分类器 做法是首先根据已有的训练样本集合训练出 来一个分类器 要求这个分类器的准确率要比平均性能好 然后顺序地加入多个分量分类 器 最终形成一个组合的总体分类器 Boosting 方法的这种机制可以保证最终的分类器在 训练样本集合上有任意高的准确率 作者给它取名叫作 AdaBoost 是因为这个算法和以前的 Boosting 算法不同 它不需要 预先知道假设的错误率下限 而是根据弱学习的反馈适应性地 adaptively 调整假设的错 误率 也就是说 AdaBoost 算法不需要任何关于弱学习器性能的先验知识 加上它和原 来 Boosting 算法的效率一样 因此可以非常容易地应用到实际问题中 在 AdaBoost 方法中 每个训练样本都被赋予了一个权值 表明它能否被当前弱分类 器正确分类 AdaBoost 逐步选择弱分类器 并根据一定规则调整训练样本的权值 使算法 在后续的学习中集中对比较难的训练样本进行学习 最终达到某个预定的足够小的错误率 AdaBoost 本质上是一个贪心算法 所得到的所有弱分类器的一个线性组合即为所求的强分 基于人脸的性别识别 陈泽腾 8 类器 其主要步骤是 设置每个正负样本的初始权值 在接下去的每一次迭代中 首先计 算每个弱分类器的分类误差 即该弱分类器对每个样本分类误差的加权和 然后保留误差 最小的作为该轮的最佳弱分类器 最后根据该最佳弱分类器的分类结果和分类误差调整样 本的权值 如果一个训练样本已经被正确分类 其权值就被下调 否则 其权值就要被调 高 以便使下一轮的弱分类器专注于这些被错误分类的样本 最终得到的分类器则是训练 得到的所有弱分类器的一个线性组合 由于上述这些 弱分类器 通常能够快速方便地获得 因而组合出来的强分类器也有实 时性强的特点 AdaBoost 用于人脸检测是将弱分类器与弱特征等价 从而现了通过 AdaBoost 算法寻找 选择并组合 对分类有用的 弱特征的目标 排除了大量 无用特征 最终的分类结果取决于强分类器 H x 的符号 Freund 和 Schapire 证明了强分类器的分类 误差随学习轮数的增加成指数下降 30 AdaBoost 学习算法可以将一定数量的弱分类器构成一个强分类器 为了使单独的强分 类器具有较高的检测率和较低的误检率 所需弱分类器的数目较多 在每个检测窗口中进 行目标检测所需计算量较大 为了分散计算量 提高系统速度 Viola 等人采用了多级分 类器结构 训练产生多个强分类器 通过它们的级联来实现目标的检测 2 2 局部特征的提取局部特征的提取 2 2 1 基于几何特征的性别分类 基于脸部五官几何特征的分类方法通常更关注于人脸的局部 通过寻找人脸部的几何 特征例如 眉毛的粗细 鼻翼的宽窄 嘴唇的厚度等等来进行分类 由于五官在人脸相对 位置的不变性 因此它的优点在于对遮挡 姿态 光照 饰物等各种变化不敏感 显示出 一定的可靠性 但它需要事先定位五官位置的要求 增加了特征提取的难度和时间 该分类方法往往需要一些先验知识 比如按照传统经验 男性和女性在脸部结构上区 别比较明显的有 女性的脸庞轮廓较为柔和 而男性的则较为刚直 女性的眼睛稍大 睫 毛较长 眉毛细长 嘴唇有体积感与光泽并且曲线平缓 没有胡须 男性的上半脸通常较 短 下巴较大 眉毛较粗 眼睛和眉毛较为靠近等 一些研究数据能支持这样的经验 33 34 Brunelli 和 Poggio 4 训练了 HyperBF 网络使用 16 个几何特征进行的性别分类 他 们发现眼眉间距离 眉毛的粗细和鼻翼的宽窄这三种几何特征对最终的分类贡献最大 他 们最终的分类准确率达 79 Samal 等人使用 F 测试和 t 测试检测出男女之间大约 85 左 右的几何特征有很大的区别 他们的性别分类器使用了 18 20 个几何特征 达到了 96 的 准确率 35 2 2 2 主动表观模型算法 面部特征精确配准是鲁棒实用的人脸识别系统的基本前提 也是提取人脸几何特征的 基本前提 柔性模型 Flexible Models 是目前解决该问题的主流方法 Kass 等人 36 在 1987 年首先提出了称为 Snake 的主动轮廓线模型 Active Contour Model ACM Snake 是能量极小化的一种模型 内力约束它的形状 外力引导它的行为 图像力将其拖向显著 的图像特征 Snake 模型的引人之处在于它对范围广泛的一系列视觉问题给出了统一的解 决方法 随后 T F Cootes 37 等人在 1995 年又提出了一种基于统计模型的方法 主动 形状模型 Active Shaper Model ASM 该方法对训练集中大量所描述的形状实例进行统 计 建立起反映目标形状变化规律的形状统计模型和反映灰度分布规律的局部灰度模型 通过循环迭代 得到理想的匹配结果 在主动形状模型基础之上 T F Cootes 等人 38 又 在 1998 年中提出了主动表观模型 AAM AAM 方法是对 ASM 的直接扩展 与 ASM 相比 AAM 同样采用统计分析的方法建 基于人脸的性别识别 陈泽腾 9 立先验模型 然后 利用先验模型对图像中的人脸进行匹配运算 其优点在于该模型不仅 仅包含人脸的形状信息 而且还包含有人脸的内部纹理信息 ASM AAM 将人脸描述为 2D 形状和纹理两个分离的部分 分别用统计的方法进行建模 PCA 然后再进一步通过 PCA 将二者融合起来对人脸进行统计建模 柔性模型具有良好的人脸合成力 可以采用基 于合成的图像分析技术来对人脸图像进行特征提取与建模 柔性模型目前已被广泛用于人 脸特征对准 Face Alignment 和识别中 并出现了很多的改进模型 AAM 将预先定义的 特征点及样本影响经过统计后 留下较低维度但对于我们很有用的特征信息 应用在人脸 图像上 这类特征包括了人脸的形状信息以及五官的轮廓变化 或者颜色纹理咨询 肤色 变化等等 其基本概念可以用式 2 6 表达 其中 M 是已经训练好的统计模型矩阵 可以 表示脸部的轮廓变化或纹理变化 c 是一个向量 则一个新脸部图像 X 等于用平均脸 X 加上 c 通过模型 M 产生的变化量 由控制参数矢量 c 控制形状和纹理的变化 调节 c 可 以得到不同的形状和脸部纹理 从而合成不同的人脸 主动表观模型的搜索过程如图 2 6 所示 主动表观模型方法充分利用了人脸训练样本的纹理灰度值 对其进行统计分析 具有 很高的通用性 其定位能力强 相比 ACM 和 ASM 而言 AAM 利用了更多的信息 因 而具有了更高的准确性 本实验中几何特征的提取主要利用 AAM 算法 利用虹软公司提 供的 GVS 工具 直接从一幅人脸图像中得到 83 个特征点 见图 2 7 从这 83 个特征点 两两相连可以得到 3403 283 C 个距离 再使用逐步判别分析法从这 3403 个特征中找出 10 个对性别分类贡献度最大的特征来 以此作为局部特征 2 3 特征的融合特征的融合 整体特征和局部特征可以在识别过程中互相补充 三种常见的特征融合算法有 min max 规范化 z score 规范化和双曲正切函数规范化 min max 规范化方法 39 相较另两种能得到更好的结果 尤其是 min max 规范化方 法极其简单容易计算 因此 本实验在特征融合环节选择 min max 算法规范输入数据 这 里 因为最终要使用 SVM 方法得出分类结果 将原始数据统一规范到 1 1 这个闭区间 于是得到 2 4 本章小结本章小结 本章主要介绍了性别分类中常用的两类特征 整体特征和局部特征 以及他们各自 的优缺点 详细介绍了本文所采用的提取方法 在本章的最后提出了将整体特征和局部特 征相结合之后进行性别识别的思想 并给出了本文所采用的特征融合方法 基于人脸的性别识别 陈泽腾 10 第三章第三章 性别识别的分类方法性别识别的分类方法 人脸性别分类问题需要解决的另一个关键问题是性别分类器的选择 这其实是一个机 器学习 Machine Learning ML 的问题 由于性别分类是一个典型的二类问题 本文选 用支持向量机 SVM 进行性别分类 3 1 SVM 的理论背景的理论背景 基于数据的机器学习是现代智能技术中的重要方面 机器学习的目的是根据给定的训 练样本求对某系统输入输出之间依赖关系的估计 使它 这种关系 能够对未知输出做出 尽可能准确地预测 机器学习至今没有一个精确的公认的定义 作为人工智能 Artificial Intelligence AI 的一个重要研究领域 ML 的研究工作主要围绕学习机理 学习方法和 面向任务这三个基本方面进行研究 从观测数据 样本 出发寻找规律 利用这些规律对 未来数据或无法观测的数据进行预测 模式识别 函数逼近和概率密度估计是三类基本的 ML 问题 机器学习的实质就是从函数集合中选择合适的逼近函数并进行参数化的过程 从数学的角度来考虑 机器学习问题就是已知 n 个独立同分布的观测样本 在同一组预测 函数中求一个最优的函数对依赖关系进行估计 使期望风险 R f 最小 损失函数是评价预 测准确程度的一种度量 它与预测函数 f x 密切相关 而 f x 的期望风险依赖于概率分布和 损失函数 其中 前者是客观存在的 后者是根据具体问题主观决定的 但是 只有样本却无法计算期望风险 因此 传统的学习方法用样本定义经验风险 Remp f 作为对期望风险 R f 的估计 并设计学习算法使 Remp f 最小化 即所谓的经验风 险最小化 Empirical Risk Minimization ERM 归纳原则 经验风险是用损失函数来计算 的 对于模式识别问题的损失函数来说 经验风险就是训练样本错误率 对于函数逼近问 题的损失函数来说 就是平方训练误差 而对于概率密度估计问题的损失函数来说 ERM 准则就等价于最大似然法 理论表明 当训练数据趋于无穷多时 经验风险收敛于实际风 险 因此经验风险最小化原则隐含的使用无穷多训练样本的假设 然而在人脸性别分类问 题中 样本数目往往是有限的 这样基于经验风险最小化原则推导的各种理论上很优秀的 学习方法在有限样本下 ERM 准则就不一定能使真实风险较小 在实际中就会遇到如小样 本 高维数 学习器结构和局部极值等问题 神经网络经常遇到的过学习问题即为一例 传统的科学哲学的目标是 发现普遍的自然规律 但是 这一目标在需要用很多变量描述 的复杂世界中不一定可行 因此 在一个复杂世界中 有时需要有放弃寻找一般规律的目 标 而考虑其他目标的智慧和勇气 Vapnik 在 40 中对复杂世界的推理提出了如下法则 在解决一个感兴趣的问题时 不要把解决一个更一般的问题作为一个中间步骤 要试图得 到所需要的答案 而不是更一般的答案 很可能你拥有足够的信息来很好地解决一个感兴 趣的特定问题 但却没有足够的信息来解决一个一般性的问题 传统统计学主要研究渐进理论 即当训练样本数趋向无穷大时的解决方案 与实际问 题中的有限样本数是矛盾的 导致了包括参数估计和神经网络等在内的学习机器存在一个 根本的缺陷 与传统的统计学方法相比 统计学习理论 StatisticalLearning Theory SLT 是一种专门研究小样本情况下机器学习规律的理论 该理论针对小样本统计问题建立了一 套新的理论体系 在这种体系下的统计推理规则不仅考虑了对渐近性能的要求 而且追求 在现有有限信息的条件下得到最优结果 V Vapnik 等人从六 七十年代开始致力于此方面 研究 40 到九十年代中期 随着其理论的不断发展和成熟 也由于神经网络等学习方法 在理论上缺乏实质性进展 统计学习理论开始受到越来越广泛的重视 在此理论框架下产 生的支持向量机 SVM 方法 使抽象的统计学习理论转化为实际的学习方法 统计学习 基于人脸的性别识别 陈泽腾 11 理论和支持向量机建立了一套较好的有限训练样本下机器学习的理论框架和通用方法 既 有严格的理论基础 又能较好地解决小样本 非线性 高维数和局部极小点等实际问题 其核心思想就是学习机器 F 要与有限的训练样本相适应 在学习算法中需要选择恰当的 F 这里的关键因素是 F 的大小 或者 F 的丰富程度 或者说 F 的 表达能力 VC 维 Vapnik Chervonenkis Dimension 就是对这种 表达能力 的一种描述 VC 维的定义如下 对于一个指示函数集 如果存在 h 个样本能够被函数集中的函数按所有可能的 2 的 h 次 幂种形式分开 则称函数集能够把 h 个样本都打散 h 的最大值就是函数集的 VC 维 VC 维是 SLT 中的一个重要概念 它是函数集学习性能的重要指标 目前尚没有通用的关 于任意函数集 VC 维计算的理论 只知道一些特殊的函数集的 VC 维 对于给定的学习函 数集 如何 用理论或实验的方法 计算其 VC 维是当前统计学习理论中有待研究的一个 问题 由上文可知 在有限样本情况下 仅仅用 ERM 来近似期望风险是行不通的 SVM 是一种基于统计的学习方法 它是对 SRM 的近似 概括地说 SVM 就是首先 通过用内积函数定义的非线性变换将输入空间变换到一个高维空间 然后再在这个空间中 求 广义 最优分类面的分类方法 它的特点就是能够同时最小化经验误差与最大化几何 边缘区 3 2 SVM 的主要软件工具 LIBSVM LIBSVM 是一个开源的软件包 42 是台湾大学林智仁博士等开发的 它操作简单 易于使用 快速有效 可以解决分类问题 包括 C SVC n SVC 回归问题 包括 e SVR n SVR 以及分布估计 one class SVM 等问题 提供了线性 多项式 径向基和 S 形函数四种常用的核函数供选择 可以有效地解决多类问题 交叉验证选择参数 对不 平衡样本加权 多类问题的概率估计等 LIBSVM 是一个开源的软件包 需要者都可以免 费的从作者的个人主页 http www csie ntu edu tw cjlin 处获得 他不仅提供了 LIBSVM 的 C 语言的算法源代码 还提供了 Python Java R MATLAB Perl Ruby LabVIEW 以及 C net 等各种语言的接口 可 以方便的在 Windows 或 UNIX 平台下使用 也便于科研工作者根据自己的需要进行改进 譬如设计使用符合自己特定问题需要的核函数等 另外还提供了 WINDOWS 平台下的 可视化操作工具 SVM toy 并且在进行模型参数选择时可以绘制出交叉验证精度的等高线 图 LIBSVM 使用的一