（信息与通信工程专业论文）复杂背景下的多姿态人脸识别技术研究.pdf

国防科学技术大学研究生院学位论文 摘要 人脸的表示和识别技术是模式识别、计算机视觉和图像理解系统的研究热 点之一，在公安和安全部门有着广泛的应用，例如搜索罪犯、动态监视、银行密 码系统等。目前研究主要集中在简单背景下的前视人脸识别或前视加侧视人脸识 别，复杂背景下的多姿态人脸识别研究则刚剐起步。 本论文研究了复杂背景下的多姿态人脸识别的基本理论和关键技术，重点 讨论了具有复杂背景的人脸图像中的人脸检测、人脸器官定位、特征提取以及多 姿态人脸识别问题。论文的主要研究工作和成果包括以下几个主要方面的内容。 首先研究了复杂背景下的人脸检测，总结分析了复杂背景下灰度人脸检测技 术j 提出了基于肤色检测和多级证实的彩色人脸检测算法。在肤色统计分析的基 础上，先基于彩色分割检测人脸候选区，后利用形状分析、人脸局部器官特征和 人的头部模型先后进行三次证实。这个算法具有较强的适应性和对各种背景干扰 模式的稳健性等优点，对1 2 0 多幅具有复杂背景的彩色图像实验表明，可以较为 理想地从具有复杂背景的彩色图像中检测出双眼可视的多姿态的人脸。 其后研究了人脸特征提取，一、讨论了适合于多姿态人脸识别的基于三点仿 射变换的人脸图像归一化方法，以克服基于两点仿射变换会引起较大图像信息损 失的缺陷；二、在分析现有器官定位算法的基础上，提出了新多姿态人脸器官特 征定位技术，将多特征和直方图分析、基于置信度函数的迭代搜索和模板匹配相 结合，既提高了器官定位精度，又提高了定位速度。三、分析了现有人脸特征提 取技术基础上，提出基于人脸图像分辨率以及人脸图像质量优劣度量的人脸局部 特征突出度的人脸特征自适应选取准则，选取并提取较为稳定和可靠的人脸特 征。 随后分别研究了基于多视图和单视图的多姿态人脸识别。在基于多视图的多 姿态人脸识别方面，总结分析了经典的前视人脸识别和多姿态人脸识别概念和方 法，提出了基于层次模型和融合决策的多姿态人脸识别技术。该技术先基于姿态 划分的层次模型对多视图训练样本进行分类，后进行各个姿态通道的人脸识别， 直至将各个姿态通道的识别中间结果进行融合决策得到最终的人脸识别结果。该 技术与经典算法相比既提高了识别正确率，又减少了计算时间。 在研究基于单视图的多姿态人脸识别方面，一、详细研究了基于单视图或小 样本的多姿态人脸识别的可能技术途径：二、提出了一种新的基于单视图的多姿 态人脸识别技术，它先基于高次多项式函数拟合方法由单视图通过变形生成多姿 态人脸图像，后基于该单视图和生成的多姿态图像进行多姿态人脸识别，实验结 果表明该算法识别正确率大大高于经典算法；三、详细研究了几种基于单视图或 小样本的多姿态人脸图像生成技术，它们是基于单视图或小样本的多姿态人脸识 别的关键技术。 最后，在前述几个方面研究的基础上，提出了复杂背景下的多姿态彩色人脸 识别技术，并实现了其模型系统。该模型系统完成从具有复杂背景的彩色人脸图 像中检测、识别双眼可视的多姿态人脸目标。实验结果表明了其稳健性和潜力。矗 关键字：人脸检测，人脸识别，多姿态人脸识别系统，特征提取，融合决策 、_ 一、一一一。 第1 页 国防科学技术大学研究生院学位论文 a b s t r a c t i ( e y w o r d s ：f a c e d e t e c t i o n ，f a 蟹r e c o g n i t i o n ，m u l t i - p o s ef a c er e c o g n i t i o n s y s t e m f e a t u r ee x t r a c t i o n f u s i o nd e c i s i o n 第n 页 国防科学技术大学研究生院学位论文 第一章绪论 人脸的表示和识别技术是计算机视觉、图像理解等领域的研究热点之一，在 公安部门罪犯搜索、安全部门动态监视识别、银行密码系统等领域中有广泛的应 用。本论文重点讨论了复杂背景下的多姿态人脸识别技术。 本章将首先介绍课题的背景和研究意义，其后表述论文的主要研究内容，接 着总结论文的主要研究成果，最后说明论文的内容安排。 1 1课题的背景与研究意义 人脸识别是计算机视觉等领域的研究热点之一“1 1 ，在许多领域有广泛的应 用。 l 、人脸识别是计算机视觉和安全保卫等应用领域的迫切需要。在这些应用 领域，都迫切需要解决复杂背景下的人脸识别技术以及多姿态的人脸识 别技术。 2 、人脸识别的要求越来越高：目前应用状况主要针对简单背景下的前视人 脸识别( 或前视+ 侧视人脸识别) ，而很多应用场合需要复杂背景下的多 姿态人脸识别，但是这有许多问题没有解决，值得深入研究。 3 、人脸识别的现状：近期举行的i c p r 、i c c v p r 等国际会议以及p r 、i e e e 等许多杂志都有关于人脸识别方面的专题报道，尤其是近期出现关于人 脸识别方面的专题国际会议，人们对人脸识别的研究越来越多。 人脸识别，就是在一个图像中检测并识别出人脸目标。它作为目标识别的一 个重要内容，该课题研究得到的理论、技术和结论对其它目标识别方面有一定的 借鉴作用，比如人脸识别研究中得到的人脸与局部器官的基于基元结构之间关系 建模等方法可以直接应用于遥感图像中的机场、油库、炼油厂等目标识别中。 1 2 论文的主要研究内容 人脸识别是计算机视觉、图像分析与理解、模式识别、神经网络、人工智 能、感知科学等的交叉学科。人脸识别在公安部门罪犯搜索、安全部门动态监视 识别、银行密码系统等领域中有广泛的应用，人脸的表示和识别技术是计算机视 觉等领域的研究热点之。它分为人脸检测、人脸特征提取、人脸识别三个过程 “4 1 ，见图1 1 所示。依对象分为静态、动态序列图像、多媒体；依背景分为简 第1 页 国防科学技术大学研究生院学位论文 单背景、复杂背景；依视图分为前视、侧视图；依颜色分为灰度、彩色。目前应 用状况主要针对简单背景下的前视人脸识别( 或 前视+ 侧视人脸识别) ，而复杂背景下的多姿态 人脸识别问题需要大量深入研究。本论文重点讨 论了如何从具有复杂背景的人脸图像中检测人 脸、特征提取以及多姿态人脸识别。 有关人脸识别的研究已经3 0 多年的历史， 但真正成为计算机视觉中的研究热点还是在 1 9 9 0 年后的事，这时由于神经网络和计算机硬件 等的迅速发展，使人们看到人脸识别的希望。 近年来的研究重点是针对人脸识别中的局 部算法，主要可分为三个方面： 其一，人脸检测：从图像中检测出是否存在 输入图像或视频 人脸识别结果 图1 1人脸识别流程图 人脸；若有，那么有几个人脸，它们分别在何处。侧重非均匀背景下的人脸检测： 主要偏重两个部分：灰度静态图像中的非均匀背景下的人脸检测和动态序列图像 中的非均匀背景下的人脸检测；其中前者由于信息不足而正确率不高，而后者则 利用目标的运动信息大大提高了正确率。 其二，人脸的特征提取：提取人脸特征，用于人脸的表述、识别。目前人脸 特征提取方法大体分为两大类：统计特征和结构特征，但主要侧重于统计特征的 提取分析。结构特征中最为突出的是基于s n a k e 主动轮廓的人脸器官特征提取。 其三，人脸分类识别算法：分类识别各个人脸，识别出它们分别是谁。主要 研究应用于人脸识别中的分类器研究：如最近邻原则分类、神经网络等分类器： 侧重研究通用分类器具体应用于人脸识别中的特性以及应用于人脸识别的新分 类器、体系框架设计。 从近期会议与杂志资料来看，值得注意的研究动向有两个问题： ( 1 ) 复杂背景下的人脸检测：仅仅利用灰度进行人脸检测，由于信息不足 而正确率不高，那么如何提取和利用人脸的其它信息来提高人脸检测 正确率就很重要。 ( 2 ) 多姿态的人脸识别问题：由于人脸的姿态、光照、服饰等条件的变化 给人脸识别带来很大困难，但这是人脸识别走向实用时必须克服的问 题。 本文将主要研究下面三个方面的问题： 其一，复杂背景下的人脸检测问题。研究如何从具有复杂背景的图像中检测 出人脸。 其二，人脸特征提取问题。研究人脸特征的定位和提取问题，研究如何提取 有效和可靠的人脸分类特征。 第2 页 国防科学技术大学研究生院学位论文 其三，多姿态人脸识别问题。研究多姿态人脸识别分类问题，研究基于单视 图的多姿态人脸识别分类问题。 我们的课题主要具体研究复杂背景下的多姿态人脸识别技术。有关这些问题 的讨论将贯穿我们课题的始终。 1 3 论文的主要研究成果 论文的主要工作和成果包括以下几个主要方面的内容： 一、研究了复杂背景下的人脸检测技术，总结分析了复杂背景下灰度人脸检 测技术；提出了基于肤色检测和多级证实的彩色人脸检测技术。在肤色统计 分析的基础上，首先基于彩色分割检测人脸候选区，其后利用形状分析、人 脸局部器官特征和人的头部模型先后进行三次证实。这个算法具有较强的适 应性和对各种背景干扰模式的稳健性等优点，将其用于1 2 0 多幅具有复杂背 景的彩色图像，可以较为理想地从具有复杂背景的彩色图像中检测出双眼可 视的多姿态的人脸。 二、研究了人脸特征提取技术，总结分析了现有的人脸特征提取技术，讨论 了适合于多姿态人脸识别的基于三点仿射变换的人脸图像归一化方法，克服 了多姿态人脸图像的人脸特征提取时只基于两个瞳孔的仿射变换引起的图 像信息受到较大损失的缺陷；在分析现有器官定位算法的基础上，提出了基 于多特征和直方图分析、基于置信度函数的迭代搜索和模板匹配相结合的新 多姿态人脸器官特征定位算法，既提高了器官定位精度，又提高了定位速度； 在对现有人脸特征提取算法总结分类并对它们优缺点进行详细分析的基础 上，提出了基于人脸图像分辨率以及人脸图像质量优劣度量的人脸局部特征 突出度的人脸特征自适应选取准则，选取并提取较为稳定和可靠的人脸特 征。 三、 研究了基于多视图的多姿态识别技术，总结分析了经典的前视人脸识别 和多姿态人脸识别概念和方法，提出了基于层次模型和融合决策的多姿态人 脸识别算法，该算法首先基于姿态划分的层次模型对多视图训练样本进行分 类，然后进行各个姿态通道的人脸识别，最后对各个姿态通道的识别中间结 果进行融合决策得到最终的人脸识别结果。该方法与经典算法相比，既提高 了识别正确率，又大大提高识别速度。 四、研究了基于单视图的多姿态识别技术，详细研究了基于单视图或小样本 的多姿态人脸识别的可能技术途径；提出了基于单视图的多姿态人脸识别技 术，它首先基于二元高次多项式函数最小二乘拟合方法由单视图通过变形生 第3 页 国防科学技术大学研究生院学位论文 成多姿态人脸图像，然后基于该单视图和生成的多姿态图像进行多姿态人脸 识别，实验结果表明该算法识别正确率大大高于经典算法：详细研究了基于 单视图或4 、样本的多姿态人脸识别的关键技术_ 几种基于单视图或小样 本的多姿态人脸图像生成技术。 五、基于上述研究的基础上，研究并提出了复杂背景下的多姿态彩色人脸识 别技术，并实现了该模型系统，该模型系统完成从具有复杂背景的彩色人脸 图像中检测、识别双眼可视的多姿态人脸，模型系统的实验取得了较好的结 果。 1 4 论文内容安排 论文的主要处理流程如图1 2 所示，它分为四大部分，论文主要内容安排如 下： 第一部分：包含第二章，讲述复杂背景下的人脸检测技术。本章首先总结介 绍了灰度图像中的人脸检测技术，然后提出并详细论述了基于肤色检测和多级证 实的彩色人脸检测技术。它可以较好地从具有复杂背景的彩色图像中检测出双眼 可视的多姿态人脸。 第二部分：包含第三章，讲述人脸特征提取技术。首先总结介绍了已有的人 脸特征提取方法；介绍了适合于多姿态人脸识别的基于三点仿射变换的人脸图像 归一化方法；然后提出并详细论述基于多特征、直方图分析和模板匹配相结合的 新多姿态人脸器官特征定位技术：最后提出并详细论述基于图像质量等的人脸特 征自适应选取技术，它在对现有人脸特征提取算法优缺点进行详细分析的基础 上，提出人脸特征自适应选取准则，选取并提取较为稳定和可靠的人脸特征。 第三部分：包含第四章和第五章，讲述多姿态人脸识别技术。其中第四章介 绍基于多视图的多姿态人脸识别技术：首先回顾介绍了前视人脸识别和多姿态人 脸识别的概念和方法，然后提出了基于层次模型和融合决策的多姿态人脸识别技 术。该技术首先基于姿态划分的层次模型对多视图训练样本进行分类，然后进行 各个姿态通道的人脸识别，最后对各个姿态通道的识别中间结果进行融合决策得 到最终的人脸识别结果。 第五章讲述基于单视图的多姿态人脸识别技术：详细论述我们对基于单视图 或小样本的多姿态人脸识别技术的研究，提出了一种新的多姿态人脸图像生成技 术，该方法采用高次多项式函数进行最j 、, - 乘拟合的方法由单视图生成多姿态人 脸图像。基于单视图产生多姿态人脸图像后，利用该单视图和生成的多视图进行 多姿态人脸识别。最后介绍了基于单视图的多姿态人脸图像生成技术。 第4 页 国防科学技术大学研究生院学位论文 第四部分：包含第六章，介绍复杂背景下的多姿态彩色人脸识别技术及其模 型系统。详细论述复杂背景下的多姿态彩色人脸自动识别模型系统的原理、功能 框图及其实现、实验结果。该模型系统可以从具有复杂背景的彩色人脸图像中自 动检测、识别双眼可视的多姿态人脸，它是第二章、第三章、第四章内容的扩展 组合实现。 第七章，结束语，致谢和参考文献。 r 一一一一一。一一一。一一一一。1 ；人脸特征提取技术； 人脸识别结果人脸识别结果 图1 2本论文人脸识别处理流程图 第5 页 国防科学技术大学研究生院学位论文 第二章复杂背景下的人脸检测技术 2 1 概述 人脸检测：就是从图像中检测出人头或人脸，并确定它们的粗定位信息。人 脸检测的目标至少包含三个：( i ) 检测图像中是否含有人脸。( 2 ) 如有人脸，确定 人脸数目；( 3 ) 确定各个人脸的基本位置。 图像可分为两大部分：人脸目标和背景，其中人脸目标就是我们要检测的， 而背景就是图像中所有非人脸部分，例如图2 1 中的网格部分为背景，剩下部分 为人脸目标。 图2 1 人脸目标与背景图 图像中的背景可分为简单背景、复杂背景2 种，简单背景中又分简单均匀背 景、简单非均匀背景2 种，它们的定义如下： ( 1 ) 简单均匀背景是指图像内容均匀、一致的背景，如图2 2 的( a ) ； ( 2 ) 简单非均匀背景是指实际物理背景是简单均匀一致的、但由于照相的 光照等不定因素导致的背景图像内容不一致的情况，或只存在很少的 线条等简单模式的背景情况，如图2 2 的( b ) ； ( 3 ) 复杂背景就是背景中存在至少2 种模式。往往对应许多杂乱的实际景 物照相形成的形式多变的背景情况，其中的背景模式千变万化，如图 2 2 的( c ) 。 图2 2 不同背景下的人脸图像 人脸目标各个之间有许多差异，各个人脸的脸形等各有差异，并且人脸在拍 第6 页 国防科学技术大学研究生院学位论文 摄时与相机的相对位置和方向的不同形成多姿态的人脸投影成像，如图2 3 所 示。但与背景相比也有许多共同特性( 即共性) ，如一般人脸投影成像的轮廓为 扁长凸形状，投影形成的图像分布模式有一定的相似性等等。 图2 3 不同姿态的人脸图像 作为人脸识别的第一步人脸检测的研究常常被忽略，有很多问题需要广 泛深入的研究和探讨。 从图像中检测人脸需要把人脸模式从千变万化的复杂背景模式中区分出来； 它需要对人脸目标模式进行建立模型，以区分背景模式，我们称之为粗建模( 或 第一次建模) 。 在简单均匀背景和非均匀背景下的图像中由于背景模式都较为简单，从中检 测、粗定位人脸并不是很困难，而复杂背景的图像中背景模式杂乱多变，其中不 乏有跟人脸目标模式相似的背景模式，从中检测人脸是一个非常困难的任务，本 章主要研究复杂背景下的人脸检测技术。 根据图像源可分为静态图像( 即单幅图像) 中的人脸检测、序列图像中的人 脸检测。 静态图像中的人脸检测，可以利用的信息可分为两个部分：人脸的共性以及 与背景模式的差异特性( 即异性) 。两部分相辅相成，一方面要充分利用人脸目 标的共性，利用它们成像中形成共同特性，另一方面要严格区分人脸目标与背景 模式的不同特性，两个有机结合才能够正确检测人脸目标。 但是由于人脸目标本身形状、姿态、穿戴服饰等的差异以及背景模式的千变 万化，使静态图像中人脸目标的共性和与背景模式的异性较难准确描述，或难以 实现于检测算法中，这正是静态图像中进行人脸检测的难点。 动态序列图像中的人脸检测则由于除了静态图像中可以用的信息外，还可以 利用人脸目标的运动信息，避免了与许多无关背景模式的比较，则可以大大提高 人脸检测正确率。其检测过程大致为：利用运动信息进行运动目标检测，然后对 运动目标进行人脸模式的证实，最后对检测得到的人脸目标进行跟踪。但是在有 众多散乱运动的背景时，人脸证实也是难题，它面临的问题类似于静态图像中的 人脸检测问题。所以对静态图像中人脸检测的研究有助于动态序列图像中的人脸 检测。 第7 页 国防科学技术大学研究生院学位论文 所以人脸检测的难点归根结底是静态图像中的人脸检测问题，本章重点研究 静态图像中复杂背景下的人脸检测问题。根据图像颜色可分为灰度图像和彩色图 像，本章首先总结介绍复杂背景下的灰度人脸检测，然后详细论述复杂背景下的 彩色人脸检测技术。 2 2 复杂背景下的灰度人脸检测 复杂背景下的灰度人脸检测，就是从具有复杂背景的灰度图像中检测并粗定 位出人脸目标。它需要把人脸模式从复杂的背景模式中区分出来。 静态图像的灰度人脸检测方法就是充分挖掘人脸目标的共性和与背景模式 的异性，根据考虑角度的不同形成不同的方法途径，它们主要有： l 、基于椭圆或其它对称性形状：利用人脸轮廓的近似椭圆形状或对称性进 行人脸检测。典型方法是s i r o h e y 算法“”3 ：利用灰度信息和边界信息( 利 用c a n n ye d g ef i n d e r “1 ) 。首先进行边界交叉点的定位、给连续的边界 段标记、在交叉点连接最可能相似边界段，然后用椭圆分析工具近似检 测人脸。正确率8 5 ，有虚警1 0 。 2 、基于人脸及其器官曲线变形模板：人脸有其特有的器官结构分布特点， 利用曲线建模，然后提取曲线，并与模型匹配进行人脸检测。典型方法 有：y u i l l e 等人。“基于可变形模板( d e f o r m a b l et e m p l a t e ) 进行人脸检 测；g o v i n d a r a j u “3 基于计算模型启发式提取曲线轮廓，并利用人脸及其 局部器官的结构分布特点进行人脸检测。这种模板由三段( 从人脑外轮 廓线的曲率不连续性得到) 组成：人脑的右边线( 右边竖线) 、左边线( 左 边竖线) 、头发线( 上面水平线) ；每段曲线都有四个属性定义：曲线长度、 弦的方向矢量、由曲线和弦围成的封闭区域面积( a r e a ) 以及该区域的质 心。三段曲线应该按某一种方向出现来检测人脑的存在，三段的中心给 出人脸的中心，这模板容许根据一定的弹簧模型( s p r i n g - b a s e dm o d e l ) 进行平移、尺寸放缩和旋转；构造代价函数来确定假设的候选对象；该 方法对曲线检测、跟踪、连接要求较高，一旦由于图像质量或光照不均 等因素引起曲线检测、跟踪、连接失败，则人脸检测失败。 3 、基于模板匹配：根据人脸模式的成像分布特点，利用人脸灰度模板进行 匹配检测以及局部器官( 如人眼) 模板匹配证实的方法进行人脸检测。 由于人脸的尺寸、方向位置，模板匹配需要考虑尺寸放缩、方向旋转等 变化，所以计算量很大，并且由于光照的不均匀变化往往引起模板匹配 的失败，所以基于模板匹配的人脸检测方法较适合于人脸尺寸、方向、 第8 页 国防科学技术大学研究生院学位论文 光照等有一定约束条件下的情况。速度较慢，正确率8 0 。 4 、基于m o s a i c ：利用多尺度、多分辨率的图像m o s a i c 进行层次匹配检测 人脸，该方法挖掘人脸图像模板的多尺度层次分布特点，进行快速人脸 检测。该方法的实质是进行快速的图像分布模式匹配。g zy a n g t s h u a n g ”3 在复杂背景下进行人脸检测、自动人脸定位，在人脸的数目、位 置、尺寸均未知的情况下，提出一个层次的基于知识的模式识别系统。 利用m o s a i ci m a g e 的三个层次识别。1 ) l e v e l l ：全图扫描，知识引导， 2 ) 候选人脸上8 8 个c e 1 上寻找，规则知识引导，3 ) 眼嘴边界检查。 实验：4 0 幅训练，6 0 幅测试，原图5 1 2 5 1 2 ，容许人脸4 8 6 0 2 0 0 2 5 0 ，正确率8 3 ，6 0 幅中5 0 幅正确，但有2 8 幅虚警，1 0 张错误。 一幅图像定位s u n 4s p a r c 2 ：6 0 1 2 0 s 。 5 、基于神经网络“：利用人脸图像模式和非人脸图像模式对m l p b p n n 进 行大量训练，然后利用训练好的m l p - - b p n n 进行人脸检测。该方法检测 正确率较高。较为成功9 0 。 总体来说，由于静态图像的灰度人脸模式信息较难描述，难以区分人脸模式 和千变万化的背景模式，所以检测效果并不理想。所以我们后面提出了基于肤色 的彩色人脸检测检测技术，它充分利用肤色和人脸模式的特点进行人脸检测，使 检测正确率有了很大提高。 2 3复杂背景下的彩色人脸检测技术 由于静态图像的灰度人脸模式信息较难描述，难以区分人脸模式和千变万化 的背景模式，检测效果并不理想。本节重点研究彩色图像中复杂背景下的人脸检 测技术，充分利用丰富的彩色信息提高人脸检测正确率。 本节提出一种基于肤色和多级证实的彩色人脸检测方法。它首先基于肤色统 计分析和彩色分割，检测出人脸候选区；其后利用形状分析、人脸局部器官特征 和人的头部模型先后进行三次证实。下面进行具体论述。 2 3 1 引言 作为人脸识别的第一步人脸检测的研究常常被忽略，虽然最近也逐渐引 起学者的关注，已有文章论述”，但仍有很多问题需要广泛深入的研究和探讨。 在复杂背景图像中进行人脸检测是很难的，尤其是从具有复杂背景的灰度图 像中进行人脸检测睁”1 则更难。因为由于复杂背景中有众多的模式，只利用灰度 信息来区分人脸与其它模式显然是不够的，而且人脸的灰度受光照不均匀、遮挡 等影响较大，检测中存在很多困难。于是出现利用彩色图像进行人脸检测的方法 第9 页 国防科学技术大学研究生院学位论文 d 6 q7 ，由于利用彩色信息很大程度上弥补只用灰度信息的缺陷，大大提高人脸检 测的正确率。 利用颜色检测人脸的方法中，通常都使用一些假设：( 1 ) 假设人脸已经完全 从背景中分割出来，( 2 ) 假设人脸或局部器官具有某些典型的几何形状( 如椭圆 式) 。这些假设实际只在一定的范围内成立，还有一些例外的情况，例如在有彩 色噪声背景干扰、人穿着与肤色相似的服装、背景中有与肤色相似的景物等环境 中，很难从图像中检测出人脸；又如人脸和局部器官的几何形态应当是判断人脸 的一个特征，但常常不一定完全符合典型的椭圆的成像。我们认为利用颜色检测 人脸必须研究两个问题：如何从复杂背景中提取人脸候选区和如何利用人脸的多 种特征进行证实。基于这种思想本节提出了一个新算法，在肤色统计分析的基础 上，首先基于彩色分割检测人脸候选区，其后利用简单形状分析、人脸局部器官 特征和人的头部模型先后进行三次证实。 2 3 2 基于彩色分割的人脸候选区检测 l 、彩色空间的确定与变换公式 彩色分割可以采用的彩色空间有r g b ( r e d ，g r e e n ，b l u e ) 、c i e ( c o m m i s s i o n i n t e r n a t i o n a ld e1 e c l a i r a g e ) 、h s v ( h u e ，s a t u r a t i o n ，v a l u e ) 。由于r g b 空间中两点之间的距离与人眼视觉不一致，不宜采用作分割；由于在c i e 空间中 常采用聚类方法作分割，处理繁琐且运算量较大，也不采用作分割。h s v 空间中 两点之间距离与人眼视觉一致，而且其中h 分量反映物体的色调信息，比较容易 作彩色图像分割处理。因此，我们选择h s v 空间进行彩色图像分割。 一般图像都采用r g b 中且占、占三个原色表示，需要变换到h s v 空间( 为 色调，5 为饱和度，y 为亮度) ，其变换公式如下： v = m a x ( 尼& 功； f 0当v = o c j “1 1 一丽m m 丽( r , g , b t ) 当矿! = 0 u n d e f i n e d 胁d 蕊丽舞丽两+ 6 0 ，3 6 0 m o d ( 2 - 一一b ，- r ，) + 6 0 ，3 6 0 m o d ( 4 - t 、r - o ，) + 6 0 ，3 6 0 1 当s = o 当r = m a x ( r ，g ，b ) 当g ：掀( r ，g ，b ) ( 2 1 ) 当b = m a x ( r ，g ，b ) 上述公式中，宵、占、b ，矿取值范围为0 2 5 5 ，s 为0 1 ，为0 3 6 0 。 2 、肤色的统计分析及彩色分类 目前彩色图像分割方面的许多工作只利用h 分量，而未考虑s 、v 分量的贡 献，这势必造成只能处理一些较简单的场景图像。h 分量虽然不随亮度、对比度 而发生变化，对颜色分割贡献最大；然而只使用h 分量分割也有一些局限性，特 第l o 页 国防科学技术大学研究生院学位论文 别是人脸检测中无法区分近似白色、或近似黑色的以及与肤色接近的区域。为此 需要综合考虑彩色各分量的贡献，利用h 、s 、v 的信息一起进行分割，提取人脸 候选区。 利用彩色图像作人脸分割时，首先必须对要检测的对象进行h 、v 、s 统计分 析，找出其中的分布规律。这里要注意两个问题：每一种肤色在每个彩色分量上 可能不一定只占一段范围：如何组合利用彩色各分量才最有效，当然也可以采用 线性加权的简单方法，本节只讨论前者。 图2 4 人脸肤色、头发色、嘴唇色区域不意图 确定h s v 范围时要考虑到覆盖肤色全范围，并且能容纳一定的彩色噪声。为 此，我们采样的方法是：首先对一定数量的典型人脸图像人为提取相应的肤色区 域、发色区域、嘴唇色区域( 如图2 4 所示) 作为训练样本，然后对它们的h s v 各 分量分别进行统计分析训练，得到各区域对应的h s v 分量的分布范围，最后据此 分布范围进行相应区域的颜色分割。我们对几十幅有代表性的黄种人脸图像进行 统计分析，得到黄种人脸肤色范围为：舴 0 ，3 5 u 3 5 0 ，3 6 0 ，侈= 4 0 ，s 0 4 ， 1 。其中川拘取值考虑了它的周期性，y 的取值有效防止掺入近似黑色的杂色， f 的取值有效防止掺入近似白色的杂色，认为肤色具有一定的饱和度。然后利用 h s v 分割检测人脸候选区。 2 3 3 基于简单形状分析的的人脸一次证实 对人脸候选区的第一次证实涉及两步处理：对图像进行预处理，以消除彩色 噪声引起的大区域的影响，本算法采用形态学方法解决；其后作简单的形状分析 进行第一次证实，以消除明显不存在人脸的手臂、肤色噪声和背景等区域。由于 人脸区域长宽之比应在一定范围内，本算法利用主轴与辅轴长度之比来进行人脸 形状的粗证实。 现在来定义人脸候选区的主轴与辅轴。主轴方向就是人脸候选区的长轴方 向，其长度为主轴与该候选区边缘相交的最远两个端点之间的距离长度。辅轴方 向就是与主轴垂直的方向，其长度为它与该候选区边缘相交的两点之间的距离长 度。主轴与辅轴长度之比的计算方法如下。 设主轴长度历，辅轴长度现主轴与辅轴长度之比，则，：竺，但由于 d w 候选区边缘的不规则性，辅轴长度往往由于辅轴的位置的不同而变化很大，致使 r 值变化较大。为减少或消除候选区边缘的不规则性引起r 变化的影响，我们采 第l l 页 国防科学技术大学研究生院学位论文 用平均辅轴长度d w a ，d w a 是辅轴在各个位置的辅轴长度的平均值，即 d 。：上争d 。( f ) 其中加矗，是第j 次测量得到的辅轴长度，为辅轴在与候选 冒 区相交的各个位置测量的总次数，这样主轴与辅轴长度之比为r ；毒生。 ( 1 ) 主轴长度历的计算。寻找人脸区主轴是一个迭代过程，先计算候选区轮 廓上每个点对间距离，然后取其最长距离为主轴长度，相应两个边缘点之间的连 线为主轴，显然需要较大计算量。为此我们先用一条直线对人脸候选区进行最小 二乘拟合，将该直线作为主轴，然后利用该直线与人脸候选区边缘相交的最远两 点之间的距离作为主轴长度。最小二乘直线拟合的公式可以参见有关资料。 ( 2 ) 平均辅轴长度o w a 的计算。由于辅轴是垂直于主轴的，辅轴与人脸候选 区的两个交点之间的距离等于这两个交点分别与主轴直线的垂直距离之和。这样 就是说，平均辅轴长度为人脸候选区边缘上各点与主轴直线的距离的平均值的2 倍。这样通过点到直线的距离来确定辅轴长度。设主轴直线方程为a 对6 p c = o ， 人脸候选区边缘上一点( x 例，j ，倒) ，则该点与主轴的距离为 d ：! 竺f ! 坐皇丝! 型， 口2 + 6 2 则平均辅轴长度为 。w a = 2 专套1 1 1 1 拶= j i 南兰：，l a x ( i ) + 印( f ) + c l ( 2 2 ) 篇 口2 + 6 2 d2 + 6 2 h 一 这样开根号计算只在求和后最后一次进行，大大减少计算量。 由此可以形成人脸一次证实的算法步骤： 1 ) 利用形态学中腐蚀、膨胀操作删除肤色噪声区域，并割断因肤色噪声而连 接在一起的不同肤色区域； 2 ) 删除噪声区域：删除面积太小的独立肤色区域； 3 ) 对各个独立人脸候选区均做步骤4 ) 一7 ) ； 4 ) 利用最小二乘拟合计算主轴直线方程参数a ，b ，c 及主轴长度脚； 5 ) 利用该候选区边缘点到主轴直线的距离计算平均辅轴长度d w a ； 6 ) 计算主轴与辅轴长度之比， 7 ) 若，小于一定门限，则保留该候选区，否则删除该候选区； 8 ) 输出形状证实后的人脸候选区。 2 3 4 基于人脸局部特征的人脸二次证实 为了进一步证实人脸，现在利用人脸的局部器官特征。在我们的人脸二次证 实中采用了比较方便使用的嘴唇和眼睛两个器官的特性，它涉及器官的区域、彩 色和一定的结构特性。 ( 1 ) 利用嘴唇的特性证实。人脸上的嘴唇在数目、彩色分布和几何形态上具有 第1 2 页 国防科学技术大学研究生院学位论文 鲜明的特征。文献“”中有方法利用彩色、能量门限、形状等条件来检测嘴唇，然 而我们发现它能够检测到近距离的人脸图像中清晰可见的嘴唇，而不能正常检测 到远距离人脸图像中人的嘴唇。这是因为其中对形状的要求太苛刻，其实在人脸 证实时只需要对器官的检测就可以了。我们认为采用以唇色为主的思路为宜，通 过接近肤色的唇色检测出嘴唇，进而判断其面积和个数，就可以完成嘴唇的证实。 具体处理步骤为： 1 ) 在对嘴唇色进行统计分析的基础上，进行唇色分割。嘴唇色取值范围确 定方法与肤色相同，并考虑有一定程度的冗余，得到唇色范围为侠二 0 ， 1 5 u 3 5 0 ，3 6 0 ，亮区，链o 5 ，侈1 2 8 ；暗区5 0 5 ，峰1 2 8 ； 2 ) 删除面积太小的噪声唇色区域； 3 ) 删除不包含唇色区域的肤色区域。 ( 2 ) 利用眼睛的特性证实。眼睛的瞳孔及其周围区域的成像是，处于中间的 一个圆黑洞以及分布其四周的椭圆形的白色区域，它们呈典型的的峰谷式灰度分 布。常用的检测眼睛方法是，利用h s v 空间中的v 分量积分投影或眼睛灰度模型 匹配进行检测，但需要预先知道眼睛的大致位置和方向，算法比较复杂。考虑到 由于人脸姿态的变化，眼睛灰度分布有时并不完全遵循峰谷式灰度分布，如人脸 部分侧面时眼睛的瞳孔及其外围白圈有一部分被遮挡，瞳孔的成像虽然可见，但 黑洞位置可能偏移。我们可以采用检测瞳孔的方法来检测眼睛。因为瞳孔一般为 人脸候选区( 包含其中的内洞) 中灰度最暗的区域之一，而且瞳孔区域具有一定的 形状，两眼睛黑洞的主轴方向与它们中心连线方向基本一致，这样可以检测是否 包含一定面积和形状的两个黑洞，进行眼睛的证实。其具体步骤如下： 1 ) 对每一个人脸候选区( 包含其中的内洞) 的v 分量进行再次分割。其门限 ，采样p 类方法自动确定：对每一个人脸候选区进行删除内洞并统计该区 域对应的v 分量直方图分布h i s t 2 5 6 ，然后利用p ：上h b f i 1 。实验 j v 盏 分析得出p 取0 1 可以把眼睛的黑洞分割出来，这时即可求得门限l 2 ) 利用寻找具有一定面积和形状的两个黑洞( 即黑洞对) 来检测眼睛的存 在。符合黑洞对的条件为：具有一定面积，且主轴方向与其区域中心连线 方向基本一致的两个黑洞。其方法为：首先删除面积太小或太大的黑洞， 然后计算各个黑洞的主轴方向和主轴辅轴之比，若主轴辅轴之比小于一定 值时设置其主轴方向为任意值( 防止接近圆形黑洞的主轴方向因分割带来 的随机性) ，最后寻找主轴方向与其区域中心连线方向基本一致的两个黑 洞，一旦找到这样的黑洞对即停止搜索。 3 ) 删除没有黑洞对的人脸候选区。 第1 3 页 国防科学技术大学研究生院学位论文 2 3 5 基于人头部模型的人脸三次证实 它首先要建立人的头部模型，然后利用人的头部模型匹配检测进行人脸第三 次证实。 一般情况下人头上是有头发的而且与人脸毗邻，它的模型由彼此毗邻的人脸 肤色区域与头发区域组成。若人为立式姿势时，人的头部模型上面为头发区域， 紧接下面为人脸肤色区域。若为黄种人，其人头部模型为黑头发与黄种皮肤的毗 邻组合。 利用人头部模型检测证实人脸，需要先在人脸候选区的邻域寻找头发区，然 后判断其真假。检测头发区域是关键，同样可以采用基于彩色信息分割的方法， 在大量头发彩色统计分析的基础上确定头发彩色分布范围，并进行彩色分割。头 发彩色取值范围确定方法与肤色相同，统计分析得到黑头发的彩色范围为： 【1 0 0 ，3 4 5 ，s o 4 ，1 i k _ l 扩张变换：可应用于人脸表述，应用于人脸识别“”3 ”。k - l 方 法虽然是最优的，然而其计算复杂度太大。所以很多时候图像压缩 不采用k l 方法而采用d c t 或d s t 。利用图像的k l 表述，一旦得到 特征矢量图( e i g e n v e c t o r so re i g e n p i c t u f e s ) ，就可以利用特征矢 量图的加权来重建图像：其特征矢量图数目越多，重建图像越逼近 原始图像。改进了k l 算法”，特征图( e i g e n p i c t u r e s ) 划分为奇特 征图和偶特征图进行计算。 组合两种k _ l 提高前视人脸分类性能。“：标准图像专一个经验定义 的标准窗口来包围变换后图像k l i p a t ( 即进行亮度模式的k l 变 换) ；2 ) 在标准图像上应用傅里叶变换并用傅里叶频谱专对傅里叶 频谱利用k l 扩展( k l _ f s a t ) ；3 ) 对k l i p a t 和k l s a t 组合构成 人脸特征。 s v d ：认为代数特征能描述图像的固有属性。矩阵奇异值分解( s v d ) 应用 于提取模式的特征。s v d 被认为与k l 变换可抗衡，一个图像的奇异值( s v ) 很稳定，而且能表示图像的代数特性，内在的但不一定可视。当亮度成 比例变化时s v 在优化的判别矢量空间中是呈现不变性，s v 对转置 第2 l 页 国防科学技术大学研究生院学位论文 ( t r a n s p o s i t i o n ) 、旋转、平移( t r a n s l a t i o n ) 、反射( r e f l e c t i o n ) 呈现 不变性。步骤：对原图进行s v d 提取特征值和特征矢量，并用 f o l e y - s a m m o n 变换获取判别矢量的优化集。 由于基于特征脸( e i g e n f a c e s ) 的方法是我们后面主要用到的特征提取方 法，所以下面详细介绍该方法。基于特征脸方法是从主分量分析( p c a ) 导出的 一种人脸描述和识别技术。它基于k _ l 变换获取k l 正交基底，然后基于这些 k l 正交基底的线性组合进行人脸合成、描述、识别。由于k l 正交基底与人 脸相象，所以称为特征脸( e i g e n f a c e s ) 方法。 k - l 变换把图像看做随机场，可根据其统计特性进行正交变换，k l 变换又 称为霍特林( h o t e l l i n g ) 变换或主分量分解。 设随机场几个图像具体实现为( z ，厶) ，其中，( 1 j 肋均表 示为n 1 列矢量， 它们的平均为甲= ， 百 相应图像的差为巾。= ，一甲( 1 j 肋，即( 。，中。) ， 则矩阵a = p 1 o 2 口m 1 为n x m 矩阵， 计算出协方差阵c d v 2 吉善中，。，72 古州7 ，就可以求出它的特征值和特 征矢量( 即特征脸) 。 由于r a n k ( 州7 ) = r a n k ( 爿7 4 ) ，所以a m 7 与4 7 一有相同的非0 特征值， 设删7 的特征矢量为“。，a 7 a 的特征矢量为v ， 则有( 4 4 7 ) “，= 旯，“。，( a 7 a ) v 。= 五。v ， 则州7 4 v ，= 五，一v 。，所以有u 。= a v 一般情况下，n m ，m ：1 0 0 6 0 0 ，n ：1 0 2 4 1 1 0 0 0 ， 所以我们可以实现求首先求a 7 a 的特征值和特征矢量v ，然后用u ，= a v 。 求“7 协方差阵的特征矢量( 即特征脸) 。实际应用中可以根据特征值的从大到 小的顺序排序选取前面m ( m m ) 个特征矢量作为我们用的基。 获取特征脸( 即正交基) 后，就可以对各个训练人脸的典型图像对特征脸 进行投影产生投影权值，该权值矢量就作为该人脸识别的特征。由此由这些权 值矢量形成特征库。 m m o ，z o ( u m ，) = “，w ，即1 = “，7 中，( o j m 。) ( 3 1 ) j = l i - 1 注：相应图像合成为z = m ，+ 甲，( o i m ) 第2 2 页 国防科学技术大学研究生院学位论文 在人脸识别时，输入新图像，则 ( 1 ) 首先求其投影权值。 m = f 一甲，4 6 ( 值w t o = “，m ，( 0 i m ) ( 3 2 ) 权值矢量为w o = w l o ，w 2 0 ，w 0 ) ， ( 2 ) 新图的人脸识别通过权值矢量矽。与训练特征库中的投影权值矢量 缈1 ( o i m + ) 之间计算类似欧氏距离，并取最小距离则为识别的结果。 m 。 距离为d i s ( i ) = 0 。一w 10 = ( w ，。一_ 。) 2 ，( o f 1 ) ，则人脸为半左侧； 若r ：。小于t h r e ，( 低门限 1 ) ，则人脸为半右侧； 否则，人脸为正前视； 两个门限t h r e 。和t h r e ，根据实验具体取值。 4 、基于投影直方图分析和定义的置信度函数迭代搜索以及模板匹配定位特征点 集 算法第四步组合利 用提取的人脸粗步姿 态信息、灰度、梯度投 影直方图以及相应定 义的置信度函数进行 迭代搜索和模板匹配 定位人脸特征点集。首 先由提取的人脸粗步 姿态确定人脸各个器 官的候选区，然后对各 个器官候选区通过基 于灰度、梯度的投影直 方图分析、置信度函数 迭代搜索和模板匹配 图像 垂直投影 定位提取各个器官的 止+ 图3 2 水平投影和垂直投影的谷点在图像上的交点集示意图 忖仳恩o ( 1 ) 眼睛特征点确定。由于眼睛定位的准确是否对人脸特征提取、识别决 策的精度和正确率影响最大，所以采用了置信度函数迭代搜索和模板匹配定位相 结合的方法提取其特征点。由于眼睛的很重要的特征就是其有很黑的瞳孔，为此 基于灰度的水平投影分析确定眼睛的候选垂直坐标，而眼框的水平边缘较明显， 可以通过梯度的垂直投影谷点确定两眼睛的候选左右角点。其中灰度水平投影中 眼睛与眉毛处都会出现谷点，并且它们的垂直投影直方图都会有明显的峰谷分 布，但是眼瞎分布在眉毛的下方，由此利用水平投影的谷点从下到上逐个搜索， 计算并分析相应谷点处的灰度垂直投影直方图特性，建立基于垂直投影直方图峰 第2 7 页 国防科学技术大学研究生院学位论文 谷分布的置信度函数，然后使置信度函数迭代搜索，确定眼睛特征点的坐标。 设在灰度水平投影的第k 个谷点对应的灰度垂直投影中，主峰集合为万， d m a x 仃j 为第个主峰点值，i d m i n f 为相应峰左面的谷点值，r d m y n f 砂为相应 峰右面的谷点值，则p 。为该第k 个谷点为眼睛垂直位置的置信度可以定义为： p 。= m a x ( ( d m a x ( i ) 一，m i n ( i ) ) + ( d m a x ( i ) 一，m i n ( i ) ) ( d m a x ( i ) + d m a x ( i ) ) ) f e p 。应该大于一个门限才可能为眼睛候选垂直坐标，另外利用眼睛的在人脸 上的结构分布，从下到上逐个搜索谷点，找到满足置信度条件的为止。在确定眼 睛的垂直位置后分析垂直投影的左右谷点作为两眼睛的左右瞳孔。若均未达到一 定条件，则取最大置信度对应的谷点为眼睛垂直位置，或用模板匹配进行眼睛定 位，我们采用后者。 在模板匹配中，传统方法是在眼睛附近的候选区内对每一点都滑动匹配，其 计算量大。为减少匹配定位的计算量，我们利用眼睛内有黑的瞳孔的结构分布特 点，瞳孔表现在灰度水平投影和垂直投影对应位置上都出现谷点，因此瞳孔的候 选位置只能在灰度水平投影直方图的所有谷点和垂直投影直方图的所有谷点相 交得到的点集上，见图3 2 所示的图像上6 个红点。这样利用上面提取的人脸粗 步姿态信息进行模板选择并在候选特征点上进行模板匹配定位。每个姿态都对应 几个典型模板，在处理时只选择候选姿态中的模板进行匹配定位。匹配时考虑模 板在尺度、方向上有一定的变化范围。 ( 2 ) 嘴巴特征点确定：由于嘴巴的水平边缘较强，在水平边缘的水平投影 直方图上形成明显的峰，通过其峰