（应用数学专业论文）基于lbp和混合2dpcapca的人脸识别研究.pdf

a b s t r a c t t h e t e c h n o l o g y o f f a c e r e c o g n i t i o n i s a t e c h n o l o g y t h a t u s e s t h e c o m p u t e r t o a n a l y z e t h e i m a g e a n d d i s c r i m i n a t e i d e n t i t y o r r e c o g n i z e s t a t u s f r o m t h e w o r k e d i m a g e . i t i s a r e s e a r c h a r e a s p a n n i n g s e v e r a l d i s c i p l i n e s s u c h a s i m a g e p r o c e s s i n g , p a t t e r n r e c o g n i t i o n , c o m p u t e r v i s i o n , p h y s i o l o g y a n d p s y c h o l o g y . i t i s o n e o f t h e k e y i s s u e s . t e x t u r e f e a t u r e a b s t r a c t i o n r e f e r t o a b s t r a c t c h a r a c t e r i s t i c f r o m i m a g e b y s o m e w a y t h a t d e f i n i t e i m a g e p r o c e s s i n g t e c h n i q u e s . t h e r e b y o b t a i n v e i n e d r a t i o n o r q u a l i t a t i v e d e s c r i p t i v e t r e a t i n g p r o c e s s . t h i s p a p e r u s r l b p v e i n o p e r a t o r t o a n a l y s i s i m a g e t e x t u r e f e a t u r e . i t u s e s t r u c t u r e d i d e a a n a l y s e s w i n d o w c h a r a c t e r , t h e n u s e s t a t i s t i c s i n t e g r a l f e a t u r e e x t r a c t i o n . i n f a c e r e c o g n i t i o n , f i r s t u s r f a c e p l o t s o m e n o n r e d u n d a n t r e g i o n , c o u n t e v e r y r e g i o n a l a l b p h i s t o g r a m , t h e f a c e v e i n w a s d e s c r i p t e b y e a c h r e g i o n a l a l b p h i s t o g r a m , t h e n u s e c o u n t d i s t a n c e o f e a c h e i g e n v e c t o r . b y u s e f e r e t d e m o n s t r a t i o n , a l b p a d o p t t a m u r a a l g o r i t h m a n a l y s e w i d o w s i z e , p r o c u r e k n o w c l e a r l y f a v o r a b l e e f f e c t u p . i n t h e p e r i o d o f f e a t u r e e x t r a c t i o n w e m a k e u s e o f m a n y t e c h n i q u e s i n c l u d i n g p c a , 2 d p c a , ( 2 d ) z p c a ， a c o m b i n e d 2 d p c a p l u s p c a f r a m e w o r k w a s p r o p o s e d t o m a k e f u l l u s e o f t w o k i n d s o f d i s c r i m i n a t i v e i n f o r m a t i o n d e r i v e d f r o m h o r i z o n t a l 2 d p c a a n d v e r t i c a l 2 d p c a . i n t h i s f r a m e w o r k , t h e h o r i z o n t a l f e a t u r e m a t r i x a n d t h e v e r t i c a l f e a t u r e m a t r i x a r e , r e s p e c t i v e l y , p r o c e s s e d b y a w h i t e n e d p c a f o r f u r t h e r d i m e n s i o n a l i t y r e d u c t i o n . t h e n , t w o k i n d s o f f e a t u r e s a r e n o r m a l i z e d a n d f u s e d b y a s u m m e d w e i g h t e d - d i s t a n c e b a s e d f u s i o n s t r a t e g y . o u r e x p e r i m e n t a l r e s u l t s o n f e r e t d a t a b a s e a n d a r d a t a b a s e d e m o n s t r a t e t h a t f u s i o n o f t h e t w o k i n d s o f f e a t u r e s , h o r i z o n t a l a n d v e r t i c a l , c a n a c h i e v e b e t t e r r e c o g n i t i o n p e r f o r m a n c e a n d , t h e p r o p o s e d m e t h o d , c o m b i n e d 2 d p c a p l u s p c a , i s m o r e p o w e r f u l t h a n p c a a n d 2 d - 2 d p c a p l u s p c a . k e y w o r d : f a c e r e c o g n i t i o n l b p t e x t u r e f e a t u r e a b s t r a c t i o n p c a 2 d p c a 声明 本学位论文是 我在导师的指导下取得的 研究成果， 尽我所知， 在 本学位论文中， 除了 加以标注和致谢的部分外， 不包含其他人已 经发 表或公布过的研究成果， 也不包含我为获得任何教育机构的学位或学 历 而使用过的材料。 与我一同工作的同事对本学位论文做出的贡献均 己 在论文中作了 明确的说明。 。签 名 : 私一 选; 二年 ， 月 。 学位论文使用授权声明 南京理工大学 有权保存本学位论文的电 子和纸质文档， 可以 借阅 或上网公布本学位论文的部分或全部内容， 可以向 有关部门 或机构送 交并授权其保存、 借阅或上网公布本学位论文的部分或 全部内 容。 对 于保密论文，按保密的有关规定和程序处理。 。签 名 二 秘 叠- 、年 二日 硕 士论 文 墓于l b p和混合2 d p c a + p c a的人脸识别研究 第一章 绪论 人脸因人而异，绝无相同，即使一对双胞胎，其面部也一定存在着某方面的差 异。虽然人类在表情、年龄或发型等发生巨大变化的情况下，可以毫不困难地由脸 而识别出某一个人，但要建立一个能够完全自 动进行人脸识别的系统却是非常困难 的， 它牵涉到模式识别、图像处理、 计算机视觉、 生理学、 心理学以 及认知科学等 方面的诸多知识，并与基于其他生物特征的身份鉴别方法以及计算机人机感知交互 领域都有密切联系。与指纹、视网膜、虹膜、基因、掌形等其他人体生物特征识别 系 统相比， 人脸识别系统更加直接、 友好，使 用者无任 何心理障碍， 并且通过人脸 的表情和姿态分析，还能获得其他识别系统难以得到的一些信息。 2 0 世纪9 0 年代以 来， 人脸识别技术成为 一个热门的 研究话题。 1 . 1人脸识别定义及主要研究内 容 人脸识别 ( f a c e r e c o g n i t i o n ) 是指 基于已 知的人 脸样本库， 利用图 像处理和 模式识别技术从静态或动态场景中，识别或验证一个或多个人脸。从广义上来说， 人脸识别主要包括人脸检测、 人脸表征、 人脸鉴别、 表情分析和物理分类五个方面。 ( 1 ) 人脸检测( f a c e d e t e c t i o n ) :即 从各种不同的场景中 检测出人脸的存在 并 确定其位置、 尺度和 姿势。 这一任务主要受光 照、噪 声、 头部倾斜度以 及各种遮 挡的影响。 ( 2 ) 人脸表征( f a c e r e p r e s e n t a t i o n ) : 即 确定 表示检测出的人脸和数据库中 的己知人脸的描述方式。 通常的表示方法有几何特征( 如欧氏距离、 曲率、角度等) 、 代数特征( 如矩阵特征矢量) 、固定特征模板、特征脸等。 ( 3 ) 人脸鉴别 ( f a c e i d e n t i f i c a t i o n ) :即通常所说的人脸识别，就是将待 识别的人脸与数据库中的已 知人脸比 较， 得出 相关信息。 这一过程的核心是选泽适 当的人脸表示方式与匹配策略。 ( 4 ) 表情分析( f a c i a l e x p r e s s i o n a n a l y s i s ) :即 对待识别人脸的表情 进行 分析，并对其分类。 ( 5 ) 物理分类 ( p h y s i c a l c l a s s i f i c a t i o n ) :即对 待识别人脸的 物理特征进 行分类，得出 其年 龄、 性别、种族 等相关信息. 一个人脸 自 动识别系统包括以下几个主要技术环节，如图 1 - 1 所示: 硕 士论 文基于l b p和混合2 d p c a , p c a的人脸识别研究 图像集 人脸定位 不存在 图1 一 1人脸识别过程 首 先是 人脸检测与定位， 即检测图像中 有没有人 脸， 若有， 将其 从背景中分割 出 来， 并确定其在图 像中 的位置。其次是 特征提取。 特征提取 之前一 般需要做几何 归一化和灰度归一化。其中前者是指根据人脸定位结果将图像中的人脸变化到同一 位置 和大小 :后者是指 对图 像进行光照补 偿等处理，以 克服光照变化的影响。 具体 的特征形式随识别方法的不同而不同。比如在基于几何特征的识别方法中，这一步 主要是提取特征点，然后构造特征矢量;在统计识别方法中， 特征脸方法是利用图 像相关 矩阵的 特征矢量构造 特征 脸， 而隐 马尔可夫方法则是对多个样本图像的 空间 序列训 练出 一个隐 马尔可夫 模型， 它的参 数就是 特征 值; 模板匹配法用相关系数做 特征; 而大部分神经网络 方法则直接用归 一化后的灰 度图 像做为 输入， 网络的 输出 就是识别结果，没有专门的特征提取过程。最后是人脸识别。数据库里预先存放了 已 知的人脸图 像或 有关的 特征值， 识别的目 的就是将待识别的图像或 特征与 库里 的 进行匹配。 识别的 任务主要 有两个:一个是 人脸辨认， 即确定输入图像为库中的 哪 一个人， 是一对多的匹配过程;另一个是人脸证实， 即验证某个人的身份是否属实， 是多对一的匹 配过 程。 根 据输入图像的性 质， 可以 将人脸识别分为静态图像的人 脸 识别和动态图 像序列的 人脸识别 两大 类. 前 者主要是 用静态图 像如从 证件照片、罪 硕士 论 文基于l b p和混合2 d p c a + p c a的人脸识别研究 犯照片、 场景照片 上扫描的图 像进行识别;后者则 是用 摄像机摄取的 时间图像序列 进行识别。 1 . 2人脸识别的国内 外研究情况 人脸识别的研究已 有很长的历史，早在 1 9 世纪后期， f r a n c i s g a l t o n 就曾 对此问题进行了研究， 他用一组数字代表不同的人脸侧面特征来实现对人脸侧面图 像的识别。到 2 0世纪9 0年代以前，典型的人脸识别技术始终是用人脸正面或侧面 的特征点之间的距离量度.而且早期的人脸识别多集中于对侧影图像的研究。 h a r m o n等人利用与g a l t o n类似的方法识别人脸，他采用 9个基准点表征侧影，在 此基准点 上导出 一组特征， 如基准点 之间的 距离和角 度、由 基 准点形 成的 三角形区 域的面 积等， 然后 利用特征 之间的归一 化欧氏 距离进 行识别。 其后期的 工作又增加 了两个基准点和一些新的特征， 而且人脸侧影轮廓曲线可从侧影图像中自 动抽取得 到。 k a u f m a n 和b r e e d i n g 也设计了 一个对人 脸侧影进行识别的 系统， 他们采用基于 特征的方法， 其中特征为极坐标形式的自 相关函 数的 系数， 他们同时对 动量 不变性 特征 进行了实验。 b a y l o u 等人选择1 0 个特征点对人 脸侧影进行识别， w u 和 h u a n g 采 用三次b 样条函数 抽取6 个侧影 基准点， 利用从中导出 的2 4 个特征 对东方人的 侧影 人脸图像进 行匹 配识别。 l a p r e s t e 等人利用距离 探测器来获得人脸 侧影图像并 从中 抽取特征点， 然后用欧氏 距离对人脸进行匹配。 l e e 和m i l i o s 同样利用距离图 像来匹配两幅人脸侧影的相似特征。由于侧影识别对获取图像的约束较多，人们逐 渐 转向 对正面人 脸的识别 研究。 最早的 半自 动正面人 脸识别 系统由b l e d s o e于 2 0 世纪6 0年代提出，在该人脸识别系统中，首 先由 操作员定出 面部特征点并将其位 置输入 计算机， 给定这些特征点之间 的距离， 采用最近 邻原 则或其他分类规则即可 识别出 待测试的人脸。 k a n a d e 设 计了 一个高速的且 有一定知识引导的 识别系 统， 他 创造性 地运用积分投影法从单幅图像上计算出一 组人脸几何 特征参 数， 再利用模式 匹配技术与标准人脸相比较。 b a r o n先将图像灰度归一化， 再利用四个掩膜( 眼、 鼻、 嘴及眉毛以下的整个脸部) 表示人脸，然后分别计算这四个掩膜与数据库中的每幅 标准图 像的 相应掩膜之间的互相关函数，以 此作为 判别依 据。 总的 来说， 早期的人脸识别方 法都需要利用操作员的 某些先验知识， 仍然摆脱 不了 人的 千预。 2 0 世 纪 9 0 年代以 来，随着高 速度高 性能计 算机的出 现，人脸识别 方法有了 重大突破， 进入了真正的机 器自 动识别阶段， 人脸 识别 研究也得到了 前所 硕士论文基于l b p 和混合 2 d p c a - p c a的人脸识别研究 未有的重视。 2 0 世 纪9 0 年 代后期以 来， 一些商业性的人 脸识别系 统逐渐进入市场。 美国 遭遇恐 怖袭击后， 这一技术引起广泛关注。作为 最容易隐蔽 使用的识别技术， 人脸识别成为当今国际反恐和安全防范最重要的手段之一。 国内人脸检测与识别的研究自 2 0 世纪8 0 年代起步后，大都集中在基于几何特征、 代数特征、 神经网络和模板匹配的检测和识别这几个方面， 特别是有关神经网络的研 究比重较大。 特别是近几年引入三维特征后， 利用三维与二维信息的融合进行人脸检 测与识别成为另一个亮点。中国科学院计算所的 “ 面像检测与识别核心技术” 这一国 家8 16 3 项目 取得了重大突破，达到了国际先进水平。由清华大学电子系人脸识别课题 组负责人苏光大教 授主持承担的国家“ 十五， 攻关项目 人 脸识别系 统 2 0 0 5 1e通过 了由 公安部主 持r 专家鉴定。 中 科院 计算所 银晨科技面像识别联合实验室的“ 人 脸识别出入控制系统” 还获得了2 0 0 5 年上海工业博览会银奖和第七届中国国际高交 会优秀新产品奖。 为了 防止 恐怖事件的发 生， 2 0 0 8 年北京奥 运会也 将启 用人脸识别智 能 监控报鳌系统， 有效解决 参会人员的身 份管理. 该系统 通过建立自 动 人脸识别报警 服 务网， 对于运动员、 教练、 场馆工作人员. 以 及后 勤、 食品 运送人员 采用摄像机自 动 识别， 对未经过登记 授权进入场馆的可疑人员， 系统则向网 络报警中 心报警。 奥 运 会安 保人员可以迅 速将可疑人员 图像传至各个安全中心，多个安全中 心及时 联动处 理。 这表明 我国的 人脸识别 研究己达到国际先 进水平， 标志 着我国在人 脸识别 这个当 今热点科研领域掌握了一定的核心技术。 虽然人脸检测与识别 受到了国内 学术界的较大关注， 并在2 0 世纪末、 2 1 世纪初取 得了 较大的发展， 但目 前 仍处于起步阶段， 研究大都基于几何 特征或 代数特征， 与国 际水平仍存在较大差距。 1 . 3 人脸识别技术的 研究难点 人类具有很强的人脸识别能力。研究发现，婴儿己经可以很快学会辨认其父母 的脸。 但对计算机 来说， 进行人脸识别则困 难地多。 这种困难一方面源于计算机本 身学习能力的局限性，另一方面是源于人脸识别t r 术所具有的复杂性。人脸具有相 对稳定的特征和结构，这为人脸识别技术带来了实现的可能。但人脸具体形态的多 样性和所处环境的复杂 性又 造成了 识别的巨 大困难。 具体的困难表 现在: 人脸结构 的 复杂性: 人 脸的数目 ; 不同人 脸的差异: 人脸随年龄的变化; 表情的 变化; 发型、胡 须、眼镜 等对人 脸的 干扰: 光照对人脸图像的影响; 成像角度和距离: 成像背景的复 杂度等等。 此外， 人脸识别技术的研究同时涉及到计算 机视觉、 模式识别、 人工智 能 生 理学、 心理学等诸多学科。 这些 使得人脸识别 技术成为一项极富挑战性的研 硕 士 论 文幕于l b p和混合2 d p c a + p c a的人脸识别研究 究课题。 1 . 4 本文研究主要内 容 本文 共分 五部分， 第一部分概括介 绍了 人脸识别的基本内 容和国内 外研究的概 况。 第二章分别总结了人脸检测和人脸识别的常用方法。第三章引入局域二值模式 算子应用在人脸识别中，取得了良好的效果。第四章着重研究了 p c a , 2 d p c a , ( 2 d ) p c a 等 特征提 取方法。通过实验表明， 本文提出 的混合2 d p c a + p c a 特征提取 不仅能大幅度减少特征的提取时间，而且提高了识别率。 硕 士 论 文 基于l b p和混合2 d p c a , p c a 的人脸识别研究 第二章 人脸检测和人脸识别的常用方法 2 . 1 人脸检测的常用方 法 人脸检测( f a c e d e t e c t i o n ) 是指在输入图像中确定所有人脸( 如果存在) 的位 置、 大小和位姿的 过程。 人脸定位的目 的是确定图像中 人脸的 位置。 假设一幅图像 中只存在一张脸，则面部特征检测的目的是检测特征的存在和位置，如眼睛、具子 ( 鼻孔) ( 眉毛) ( 嘴)(嘴唇) 、耳朵等。人脸识别或辨认是将输入图像与数据库中的图 像比 对， 如果存在， 报告匹配结果。 人脸 识别的目 的是 检验输入图 像中 的个体的身 份， 而人脸追踪方 法是实 时地、 连续地估计在图像序列中的 人脸的 位置 和可能的方 向:面部表情识别涉及识别人类的情感状态( 高兴、悲伤、厌恶等) 。很明显，在任 何解决上述问题的自动识别系统中，人脸检测是第一步。 从一幅图像中检测人脸的方法可以分为以下四种: ( 1 ) 基于知识的方法( k n o w l e d g e -b a s e d m e t h o d s ) 。 它将典型的人脸形成规 则库对人脸进行编码。通常，通过面部特征之间的关系进行人脸定位。 ( 2 ) 特征不变方法( f e a t u r e i n v a r i a n t a p p r o a c h e s ) 。该算法的目的 是在姿 态、 视角或光照条件改变的 情况下找到 存在的 结构特征， 然后 使用这些 特征 确定 人 脸。 ( 3 ) 模板匹配方法( t e m p l a t e m a t c h i n g m e t h o d s ) 。 存储几种标准的人脸 模式， 用来分别描 述整个人脸和面部特征; 计算输入k_像和存储的模式间的相互关 系并用 于检测。 ( 4 ) 基于外观的方法( a p p e a r a n c e -b a s e d m e t h o d s ) 。 与模板匹配 方法相反， 从 训练图像集中 进行学习 从而获得 模型( 或模板) ， 并将这些 模型用于检测。 2 . 1 . 1基于知识的方法 基于知识的方法是一 种基于规则的 人脸检测方法， 规则来 源于研究者关于人脸 的 先验知识。 一般比 较容易提出 简单的规则 来描 述人 脸特征和它们的 相互关系. 如 在 一幅图像中出现的人 脸， 通常具有互相 对称的两只眼 睛、 一个鼻 子和一张嘴。 特 征 之间的相互关系可以通 过它们的 相对距离和位置来描述。 在输入图像中首先提取 面部特征，确定基于编码规则的人脸候选区域。 硕 士 论 文 基于l b p和混合2 d p c a i p c a的人脸识别研究 这种方法存 在的问 题是 很难将人类知识转 换为明 确定义的规则。 如果规则是 详 细的( 严格的) ，由于不能通过所有的规则检测可能失败;如果规则太概括( 通用) ， 可能会有较高的错误接收率。此外，很难将这种方法扩展到在不同的位姿下检测人 脸， 因为列举所 有的 情况是 一项很困 难的工作。 y a n g 和h u a n g (z 使用分层的 基于 知识的人脸检测 方法， 他们的 系统由 三级规则 组 成. 在 最高 级， 通过扫描输 入图 像的窗口 和应用 每个位置的规则集找到所有可能的 人 脸 候选区。 较高级的规则通常描述人 脸看起来像什么， 而较低级的规则依赖于面部 特 征的细节。 在人脸的上层周围部分具有相同的灰度。 人脸的中心部分和上层周围的灰 度不同。 将最低分辨率的图 像用于 搜索人脸的候 选区并 在后面较精细的分辨率下作进 一步处 理。 在精 度稍高的图 像中 完成人 脸候选区的 局部直方图均衡化， 并进行边缘检 测。 继 续存在的 候选区在精度最高的图 像中 用其他的人 脸特征， 如眼睛、 嘴等对应的 规则进行检查。 这种方法的特点是用从粗到细的策略来减少所需要的计算， 虽然它没 有很高的检测率， 但采用多分辨率分层的思想和指导搜索的规则已经用到后面的人脸 检测工作中 。 k o t r o p o u l o s 和 p i t a s ( 提出 了 一 种 基 于 规则 的 定 位 方 法 。 用 投 影 方 法 确 定 面 部 特征，工 ( x , y ) 是m xn 图像中( x , y ) 位置的灰度值，图像的水平和垂直投影定义为: h i ( -, ) = 艺 i ( x , y ) 和 v i ( y ) = 艺i ( x , y ) 通过在h i 中的急剧 变化检 测到 两个局部最小点， 它对应 于头部的 左右两 边， 获 得 输入图 像的水平轮廓。类似地，获 得垂直的轮廓，局 部最小点的 确定 用于定 位嘴唇、 鼻尖 和眼睛。 这些检测到的 特征 组成了 面部候选区。 李 华胜等人( 4 1 提出通过区 域增长从人脸图像中分 割出 人脸，再 利用边缘检测、 h o u g h 变换、 模板匹 配和方差投影技术可以 快速有效地提取出人脸面部器官， 如眼睛、 鼻子和 嘴巴 等特征。 实验结果表明 其所采用的方法具有 较高 的准 确率( 9 5 . 5 % ) 和光照 鲁棒性。 姜军等人 ( 5 1 提出了 一种基于知识的 快速人脸检测方法 。采用符合人 脸生理 结构 特征的人 脸镶嵌图 模型。 在分 析了 足够多的人脸图像 样本基础上， 针对人 脸图 像的 灰 度和边 缘信息， 建立了 一种较为完备的知 识库; 为加快检测 速度， 采用了多 级检测步 骤。 实验结果 表明， 其方法具有较强的 鲁棒性， 能够很好地解决复杂背 景下的多 人脸 检测问题。 硕 十论 文 基十l b p 和混合2 d p c a - p c a主1 , 脸识别l 1 究 卢春雨 等人s ; 对 镶嵌图 方法进行了 改进， 按照人脸器官的分布将人脸划分为 3 x 3 个马赛克 块， 在检测中自 适应 地调整各块的大小， 使用一组基于各块灰度和梯度统计 特征的知识规则检验该区域是否为人脸，取得了较好的实验结果. 2 . 1 . 2基于特征的 方法 基于特征的方法不仅可以 从己有的面 部特征而且可以从它 们的几何关系进行人 脸检测。 与基于知识的方法不同， 它 是寻找人脸的不变 特征用于人 脸检 测。 人们已 经 提出了 许多先检测人脸面部 特征， 后推断 人脸是否存在的 方法。面部 特征， 如眉毛、 眼睛、鼻子、 嘴和发际，一般利用边缘检测器提取，根据提取的特征，建立统计模型 描述特征之间的关系并确定存在的人脸。基于特征的算法存在的问题是，由于光照、 噪声 和遮挡等使图像特征被严重地 破坏， 人 脸的特征边界被弱化， 阴影可能引起很强 的边缘，而这些边缘可能使得算法难以使用。 s i r o h e y 提出了 从复杂的背 景中 分割人脸 进行人 脸识别的定位方法:7 ; ， 它使用 边 缘图 和启发式 算法来去除和 组织边缘， 而只 保存一个边缘 轮廓， 然后用一 个椭圆 拟合 头部区域和背景间的边界。 g r a f 等人 提出定位灰度图 像的 面部特征和人 脸的 检测方法 。 在滤波以后， 用形 态学的 方法 增强具有高亮 度、 含有某些形 状( 如 眼睛， 的 区域。l e u n g 等人提出一 种基 于局部 特征检 测器和 任意图 匹配的概率方 法9 i ， 在复 杂场景中定位人脸 。 其目 标是找 到确定的面 部特征的 排列。 典型的人脸用五个 特征( 两只眼睛、两个鼻 孔和鼻 子与嘴 唇的连接处) 来描述。 y o w 和c i p o l l a 提出t一 种基于特征的 方法: 1 9 ; 。 在第一阶段，应用了 二阶微分 g a u s s i a n 滤波器， 在滤波器响应的局部最大点检测感兴趣的点， 指出人脸特征可能的 位置; 第二阶段， 检查 感兴趣点周围的 边缘并将它们组成区域。 这种方法的优点是可 以 在不同的 方向和位姿上检测人脸。 h a n 等人 提出了 一种基于形态学的技术进行眼部 分 割进而实现人脸检测的 方法【 ， 。 他们ti . 1 17 眼睛和眼眉是人 脸最突出和稳定 的特征， 特别适合人脸检测。 彭进业等人 1 1 : 提出了 一种在图 像的 反对称双正交小波分 解数 据域中， 实现多尺 度 对称变换的方法， 并将 它应用于脸部图像中主 要特征点的定位。 王延江等人提出了一 种快速的彩色图像中 复杂背景下人 脸检测方法 。其方 法首先 计算对 彩色图像中与人 的肤色相似的 像素进行聚类和区 域分割， 然后 利用小 波分解对每一个候选区域 进行人 脸特征分析， 如所检测到的 区域 特征分布与 某一预先定义的 人脸模型相似， 则 确认该 硕 士论 文 幕于l b p 和混合 2 d p c a + p c a的人脸识别研究 区域代表人脸。 在 人脸检测和手的 跟踪等许多应 用中， 己 经使用了人类的 皮肤颜色作为 特征。 虽 然不同的人有不同的皮肤颜色， 研究表明主要的不同在于它们的亮度而不是它们的色 度。 标注皮肤像素的颜色空间包括 r g b 、 规格化的r g b , h s v ( 或h i s ) , y c r c b , y i q , y e s , c i e x y z 和c 工 e l u v 。 人们已 经提出了 许多方法用于 构建颜色模型。最简单的模型是使 用c r , c b 值定义一个皮肤色调像素区域，也就是r ( c r , c b ) ，从皮肤颜色像素得到样 本 。 仔 细 选 择 闽 值c n , c , 和 c b , ,c b , ， 如果 像 素 值(c r , c b ) 满 足 c r , c r, c r c r, , c b , - . . . 凡 使得 a= u d v ( 4 . 1 8 ) 其 中 a , ( i = 0 , 1 , , r - 1 ) 为 矩 阵a . 。 的 奇 异 值， 即 考 ( i = 1 , 2 , . ., r ) 分 别 是a a 和 矛a 的 非 零 本 征 值， 。 和v ， 分 别 是 a a 和a a 对 应于 凡 的 正 交归 一本 征向 量。 上 述分解称为矩阵a的奇异值分解。 为了 可利用奇异值分解定理，构 造矩阵r 如下: r= xt x e 5 i 4 m ( 4 . 1 9 ) 也 称r 为 产生 矩阵。 显然产生 矩阵r 的 秩小于或等于训练样本数m - 1 。 容易计 算 出 产 生 矩 阵r 的 本 征 值考及 相 应 的 正 交 归 一 本 征向 量v( i = 1 ,2 ,. . r ) 。 再由 奇 异 值 分 解 定 理 求 出 艺 的 正 交 归 一 特 征 向 量 从 u , = ( 1 / d , ) x v , ( i = 1 , 2 , ， 一 r ) ( 4 . 2 0 ) 这就是图像的 特征向量。 它是计算 较低维矩阵r 的特征值和特征向量而间接求 出 来的。 通过中 心化数 据二 中 心化数据矩阵; 创建协方差矩阵; 计算协方差矩阵的 特 征 值和特征向 量; 排列 特征向量这四个步 骤可以计算出原图象的特征向 量。由 于矩 阵 r 的 维 数 一 般 远 远 低 于 二 矩 阵 的 维 数 ， 所 以 计 算 量 大 大 减 少 特 征 值所 对应 的 特征 向 量 为 从， 即 特征 子 空间 的 正 交 基。 由 于巧 ， 肠 ， 4 4 4， 心、 本身如果 看作图 象的 话都很像人脸图 象， 所以 它们被称为 特征脸( 也叫本征脸) 。 由 这些特征 脸所张 成的空间 称为 特征脸子空间。 需要注 意对于正交基的 选择的不同 考 虑， 对 应较大 特征值的 特征向 量( 正交基) 也称主 分量， 用于表示人 脸的大体形 状， 而 对应于 较小 特征值的 特征向 量则用于描述人 脸的具体细 节， 或者从频域来看， 主 分量 表示了 人脸的低频部分， 而次分量则 描述了 人脸的高 频部分。 3 4 硕 士 论 文基于l b p 和混合 2 d p c 八 十 p c a 的人脸识别研究 4 . 把训练图象和侧试图象投影到特征空间 将每一副 人脸图 象向 特征脸子空间 投影， 得到 一组坐标系数， 就对 应于 子空间 中的一个点门 。同 样， 子空间中 的任一点也对应于 一副图 象. 这组系数便可作为人 脸识别的依据，也就是这张人脸图像的特征脸特征。那么任何一幅人脸图像都可以 表示为这组特征脸的线性组合，各个加权系数就是k 一 l 变换的展开系数，可以作为 图像的识别特征，表明了该图象在子空间的位置，也就是向量 y = u f ( 4 . 2 1 ) 由 这些投影系数和投影矩阵可以 重建图象， 重建的公 式如下: f = u y ( 4 . 2 2 ) 由此得到重建图象的性噪比: 、 = 10 1g ll f it iv 一 4 1 ( 4 . 2 3 ) 可用于人脸检测，如果 它大于某个闽值， 可以 认为f 是人脸图像， 否则 就认为 不是。 这样原来的人脸图象识别问 题就转化为依据子空间的 训练样本点 进行的 分类 问题。 5 . 比 较测试图像和训练图 像， 确定待识样本类 别 这里可以 采用多 种不同的 分类器进行方式: 如曼 哈顿距离、 最近邻分类器、最 小距离分类器、贝叶斯分类器等。 4 . 2 . 3 特征 值的选 择 我们共得到了帆 个特征向量， 虽然m 远小于m ， 但通常m 还是很大。 事实上， 根 据 应 用 的 要 求 ， 并 非 所 有 的 料 都 需 要 保 留 . 下 面 讨 论 几 种 不同 的 特 征 值 选 择 方 法 : ( 1 ) 标准的特征空间投影 所有k 个对 应于非零 特征 值的 特征向量 均被 用于 创建特征脸子空间.该方 法在 k 值比较大的时候，计算速度比较慢，而且不利于分类，没有达到降维的效果。 ( 2 ) 保持前面的c - 1 个特征向量 将特征值 按照降序 排列， 同时只 保留 最前面的c - 1 个 特征向量。 其中c 为训 练 图像的类别数。 ( 3 ) 通过计算阂值来确定维数 该 方法采用保证所保留的特征向 量所对应的特征值之和与总的 特征值之和的比 值大于一定的阐 值e . e 的 值通常取为0 . 9 。 可以 依照下列公式计算: 硕 士 论 文 基于l b p和混合2 d p c a + p c a的人脸识别研究 。 = y ) , % t, 凡 ( 4 . 24 ) 4 . 2 . 4 距离函数的选取 一旦图 像被投影到 特征空间中，剩下的任务 就是 如何判别这些图像的 相似性。 通常有两 种方法来判别图 像间的 相似性: 一种是计算在n 维空间中 图像间的距离 j 另一种方 式是测量图像间的 相似性。 当测量 距离时， 我们希 望距离 尽可能的小， 一 般 选择距离侧试图像最 近的 训练图像作为它 所属的 类别。 而 测量相 似性的时候， 我 们则 希望图像尽可能地 相似， 也就是说具有最 大相似性的 训练图像类别被认为是 测 试图 像所属的类别。有 许多 种计算方法: 3 7 4 . 2 . 5 p c a 的 优缺点 分析 从数学角度看，以k - l 变换为 基础的p c a 人脸识别 方法 是统计最优的， 它使得 压 缩前后的均方误差最小， 且变换 后的 低维空间有很 好的分 辨能力。 但是p c a 方法 也 存在着缺陷。 首先， 它基于图 象的 灰度统计 值， 外在因素带来的图像差异和人脸 本 身带来的差异是无法区分的。因 此由于 光照，角度， 尺寸， 姿态，表情等外界 因 素的 变化会降低识别m。 从 这个角 度而言 进行合适的图 象预处理工作是很必要的; 其 次， 将图 象矩阵转化为图 象向 量后， 造成图 象向 量的维数一般较高，使得整个特 征抽取过程 所耗费的计算量相当可观; 最后， 主 成分 分析的 训练是非监督的， 即p c a 无法利 用训练样本的类别信息. 近年来， 据此发展了 很多对 经典p c a 的改进方法。 4 . 3 基于2 d p c a 的人脸识别 4 . 3 . 1 2 d p c a 的 算 法 ， “ 设x 表示 n 维列向量， 将m x 。 的图 像矩阵 a 通过以下 线性变 换直接投影到x 上 : y = a x ( 4 . 2 5 ) 得到一 个m 维列向 量y , x 为 投影 轴， y 称为 图象a 的投影 特征向量。最佳 投影 轴x 可以根据特征向量y的散布情况来决定，采用的准则如下: j ( x ) = t r ( s , ) ( 4 . 2 6 ) 其中 凡表 示 训练 样 本 投 影 特征 向 量丫 的 的 协方 差 矩阵 ， tr ( 又 ) 代 表凡的 迹 ， 当 i ( x ) = m ( s , ) 取得最大值时的 物理意义是: 找到一个将所有训练样本投影在上面的 的 投影轴 x ，使得投影后所得特征向量的 总体散布矩阵( 即样本类间散布矩阵 ) 最大 化 . 矩阵 s r 可以 记 成下 式: rr (s , ) = e (y 一 e y )(y 一 e y )t ) = e (， 一 。 )x (a 一 。 )x t ( 4 . 2 7 ) 硕 士 论 文荃于 l b p 和混合2 0 p c a + p c a的人脸识别研究 所以， tr (s , ) = x t e ( a 一 e a ) t ( a 一 “ ) ) x 我 们来定 义图 象的 协方差 ( 散布) 矩阵: g , = e ( ， 一 e a ) t ( a 一 e a ) 其中g , 被定义为图象协方差( 散 布) 矩阵，它是一个n x n ( n 值) 的 非负 正定矩阵， 我们也可以直 接利用训练 样本 来计算g , . wi, w z w i ， 每 类 有 训 练 样 本 图 象 n , 似 a . . a , ( m= 艺n , ) 象 ， 每 个 样 本 是m x n 矩 阵 ， 则 仅可 以 用 下 式 计 算 : ( 4 . 2 8) ( 4 . 2 9 ) 是图像的列的象素 设模式类别有 c 个: 为所有训练样本图 叹 = 去 mg ,= 1 y, (aim ,_, 一 ， )t 一 ” ( 4 . 3 0) 其 中 a 二 生夸 、为 训 练 模 式 样 本 的 均 值 矩 阵 。 m ; _ , 相 应 的 j (x ) = tr ( s ,) 准 则 函 数 就 成 了 j ( x ) = x t g x ( 4 . 3 1 ) 这 个 准则 函 数就 叫 做 广 义 总 体 散 布 准 则 函 数 。 若x 使 得j ( x ) = tr (s , ) 最 大 化， 则x 叫做最佳投影轴。物理意义 是: 图象矩阵 在 x 轴上投影后所得特征向量的总 体 分散程 度最大。 实际上，该 最佳投影 轴即为 图像总体散布 矩阵的 最大 特征值 所对应 的单位特征向量。 这 里 的 最 佳 投影 轴心 是归 一 化 向 量 ， 它 使得 j ( x ) 最 大 化， 也 就是 说 g , 的 本 征 向量对 应着最 大本征 值。 一般来说， 在样本 类别较多的情况下， 只选择一个最 佳投 影轴是不 够的， 我们通常选取 一组的满足标 准正 交化条件且极大化准则函 数( 4 . 3 1 ) 的 投 影 轴， 即 设g , 的 特征 值 满 足凡 凡. 二 凡， 则 对 应的 标 准正 交 化 特征 向 量 是 x 1 1 . . . j, ，即 . . . ， x d ) 一 a r g m a x j ( x ) i * j , i , j = 1 , 2 , - - . d ( 4. 3 2 ) 令尸 = xx z . . .x , 】 . p 称 为 最 优 投 影 矩 阵 。 4 . 3 . 2 图 像的 主成分向 量和特征 矩阵 在 获 得 投 影 矩阵 x = l， x 2 . . x i 后， 便 对图 象 进 行 特 征 的 提 取 和 分 类。 对 于 一 个给定的图象样本 a ，令: 硕 士 论 文荃于l b p 和混合 2 d p c a + p c a的人脸识别研究 乙= a x , ( k = 1 , 2 , . . . , d ) ( 4 . 3 3 ) 这 样， 我 们 就 得 到了 一 组 投 影 特 征 向 量万 ， 牲 ， ， 几 ， 叫 图 象人 的 主 成分 向 量 2 d p c a 选取一定数量 d的主成分向量可以组成一个二x d的矩阵，叫图象 a的特征矩阵或 特征图象，即: b = y , y 2 ,. . ., y d ( 4 . 3 4) b = 叮x x 2 弋卜a p (4 . 35 ) 4 . 3 . 3 2 d p c a的分类 2 d p c a处理后，每一个图象都可以得到一个特征矩阵。每个图象矩阵 a对应一 个特征矩阵 b ，利 用最小距 离分类器，可以实现对图象的分类。令 a , = 上 s咸 a , e w . ， 则 a , 为 第i 类 训 练 样 本 图 象 的 均 值 向 量 ， a , 的 特 征 矩 阵 为 _几 一 双二 式 p i = 1 , 2 . . . c ， 对测试样本a 计算， d ( b ,b ) = jib ,- b jif = tr (b , -