人脸识别中图像预处理的研究

1、 学号：1110012130人脸识别中图像预处理的研究Face Recognition In the Image Of Pretreatment课 程 名 称：数字图像处理学 院：专 业 名 称：电 话：邮 箱：日 期：签 名：人脸识别中图像预处理的研究 学号：1110012130摘要 本设计是一个关于人脸识别中图像预处理的研究,人脸识别技术是计算机模式识别研究领域中一项热门的研究课题。本文主要对人脸图像进行预处理，以便为进行下一步的图像识别做前提准备。文中首先是对人脸识别的背景及国内外相关研究工作的介绍。其次，是对各种预处理法及其在

2、人脸识别中的应用作了详细的介绍，并对各种方法从理论分析和实验结果两方面进行比较，从而让人们对人脸识别图像预处理有更深一层的了解。最后，利用垂直积分投影和水平积分投影法对人脸进行定位。关键词: 锐化，二值化，边缘检测，人脸定位Abstract The design is an image on the pretreatment of face recognition,face recognition technology is the computer pattern recognition research in the field of a hot research topic. This

3、paper mainly preprocessing of face image , the next step in order to carry out the image recognition premise prepared to do. In the fist, this paper is to introduce the background and related research work of the face recognition. And then, text of the law and its various pretreatment in the applica

4、tion of face recognition in detail, and various methods from the theoretical analysis and experimental results to compare the two areas so that people on the face recognition have a better i

5、mage of a pretreatment of understanding. The last but not least, this paper uses the vertical integral projection and horizontal integral projection method to locate human faces. Key words:  Sharpening, Binarization , Edge detection, Face location 1. 引言随着

6、信息技术的发展，以及计算机的软硬件性能的飞速提升，更加高效并且更加友好的人机交互技术被不断地提出并应用于我们周围。这些技术的应用不再依赖于传统的键盘、鼠标、显示器等设备，开始向着多模态人机交互的方向发展。多模态人机交互模拟人类自然交流的方法，包括视觉、听觉、触觉和嗅觉，试图综合图像，声音，文字等手段，达到与计算机进行交流的目的，其中以视觉交流最为方便和易于接受。同时，图像处理设备的性价比也不断地提高，从而使得基于图像处理的人机交互技术成为当前研究领域的热点。视频监控便是其中一个重要的研究方向，简单而言，不仅用摄像机代替人眼，而且用计算机替代人、协助人，来完成监视或控制任务，从而减轻人的负担。智

7、能视觉监控系统能在不需要人干预的情况下，通过摄像机拍录的图像序列进行自动分析来对场景中的变化进行定位、跟踪。早期的人脸信息方面的研究主要集中在人脸识别领域，这一时期的人脸识别算法都是在默认已经得到了一个正面人脸或者人脸很容易获得的前提下进行的。但是随着人脸信息利用的研究范围不断扩大和开发实际系统需求的不断提高，研究者们发现，这种假设下的研究并不能满足实际需求。于是，人脸检测算法开始作为独立的研究内容发展起来，并且发展出了人脸特征定位，人脸跟踪等相关研究。2. 相关工作 1893年，Bertillon采用语句描述方法对人脸分类。  20世纪60年代，Bledsoe提出了人脸识别的半自动

8、系统模型与特征提取方法。  70年代，美、英等发达国家开始重视人脸识别的研究工作并取得进展。 1972年，Harmon用交互式人脸识别方法在理论上与实践上进行了详细的论述。就在这一年，Sakai设计了人脸图像自动识别系统。  80年代初T. Minami研究出了优于Sakai的人脸图像自动识别系统。  90年代，由于计算机技术、数字图像处理、模式识别技术的发展，加上人们对人脸图像自动识别的迫切需求，各国军、警方及有关部门高度重视，大公司鼎力相助，对它的研究变得非常热门。  1996年美国军方组织了人脸自动识别系统大赛，勒克菲勒大学的Facelt

9、系统获得冠军。美国的LAU公司研制的人脸图像自动识别系统，是以人眼辨别人的原理，基于生物测量学、人像复原技术开发的装置。用人脸12-42个特征点，对人群中寻找的人进行定量定性识别，已经用在机场、火车站、公共场所、重点控制地区。 作为一种最直接、最自然、最容易被人接受的生物特征识别技术，人脸识别致力于探索如何使机器能够自动地根据用户的人脸图像来鉴别用户的身份。人脸识别发展到现在，已有40多年的历史，是模式识别和计算机视觉的一个非常活跃的研究热点。人脸识别的研究涉及模式识别、计算机视觉、人工智能、图像处理、心理学、生理学和认知科学等，与计算机人机交互领域和基于其它生物特征的身份识别方法都

10、有密切联系。虽然人们可以毫不费力地通过脸部图像来鉴别互相的身份，然而由于成像过程中各种影响因素的变化常常导致同一个人的人脸图像发生非常大的变化，因此建立自动系统完成识别任务是非常具有挑战性的。虽然目前国内外已经有许多实用系统问世，但是只有在非常苛刻的成像条件下，才能得到比较令人满意的识别效果。因此，人脸识别研究仍然远远没有到达完善的境地，还有非常大的发展空间。  我国在这方面也取得了较好的成就，国家863项目“面像检测与识别核心技术”通过成果鉴定并初步应用，就标志着我国在人脸识别这一当今热点科研领域掌握了一定的核心技术。北京科瑞奇技术开发股份有限公司在2002年开发了一种人脸鉴别系统

11、，对人脸图像进行处理，消除了照相机的影响，再对图像进行特征提取和识别。这对于人脸鉴别特别有价值，因为人脸鉴别通常使用正面照，要鉴别的人脸图像是不同时期拍摄的，使用的照相机不一样。系统可以接受时间间隔较长的照片，并能达到较高的识别率，在计算机中库藏2300人的正面照片，每人一张照片，使用相距1-7年、差别比较大的照片去查询，首选率可以达到50%，前20张输出照片中包含有与输入照片为同一人的照片的概率可达70%。2005年1月18日，由清华大学电子系人脸识别课题组负责人苏光大教授主持承担的国家"十五"攻关项目人脸识别系统通过了由公安部主持的专家鉴定。鉴定委员会认为，该项技术处于

12、国内领先水平和国际先进水平。3. 你的工作本论文主要对人脸识别图像预处理模块的研究。本系统应用MATLAB对样本图像做直方图均衡化处理，噪声去除、平滑、锐化处理，二值化和边缘检测等预处理，进而应用到人脸识别系统。根据人脸的结构特征点和数学形态学的理论对人脸进行定位。图像预处理模块在整个系统中起着极其关键的作用，图像处理的好坏直接影响着后面的定位和识别工作。3.1 人脸识别的过程3.1.1人脸识别的整体过程 一个典型的人脸识别系统处理过程如图所示。一般包括三个步骤:人脸检测、人脸特征提取、人脸识别与验证。具体实现过程中，首先获取图像集，然后用人脸检测模块进行人脸检测。如果检测到人脸图像

13、，则进行特征点定位，一般以两眼中心为基准，根据两眼根据两眼距离d，对人脸图像进行归一化处理，归一化处理包含了图像预处理，图像缩放以及有效人脸区域选取等操作。最后对归一化的人脸图像进行特征提取，送入分类器进行识别，最终获得识别结果1。 图1 人脸识别技术处理流程图 3.1.2预处理过程 预处理（前处理）是人脸识别过程中的一个重要环节。预处理就是在图像分析中，对输入图像进行特征抽取、分割和匹配前所进行的处理。输入图像由于图像采集环境的不同，如光照明暗程度以及设备性能的优劣等，往往存在有噪声，对比度不够等缺点。另外，距离远近，焦距大小等又使得人脸在整幅图像中间

14、的大小和位置不确定。为了保证人脸图像中人脸大小，位置以及人脸图像质量的一致性，必须对图像进行预处理。图像预处理的主要目的是消除图像中无关的信息，滤除干扰、噪声，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。 在预处理阶段，对图像进行优化，尽可能去除或者减小光照、成像系统、外部环境等对待处理图像的干扰，为后续处理提高质量。以便使不同的人脸图像尽可能在同一条件下完成特征提取、训练和识别。人脸图像的预处理主要包括人脸扶正，人脸图像的增强，以及归一化等工作。人脸扶正是为了得到人脸位置端正的人脸图像；图像增强是为了改善人脸图像的

15、质量，不仅在视觉上更加清晰图像，而且使图像更利于计算机的处理与识别。归一化工作的目标是取得尺寸一致，灰度取值范围相同的标准化人脸图像2。3.2 人脸图像预处理过程3.2.1 图像采集通常人脸信息的来源有以下几种方式：(1)通过扫描仪对照片的扫描 (2)通过数码相机对人脸的拍摄(3)Internet上各种免费提供的数据库。 人脸图像的采集需要在弱光源环境并且人脸部无明显遮盖物，人脸部表情不能太夸张。3.2.2 灰度图像直方图均衡化图像的灰度变换有多种方法可以实现,其中最常用的就是直方图均衡化的方法。直方图均衡化又称直方图平坦化，是将一已知灰度概率密度分布的图像，经过某种变换，

16、变成一幅具有均匀灰度概率分布的新图像，其结果是扩展了像元取值的动态范围，从而达到了增强图像整体对比度的效果。 直方图是一种点操作，它逐点改变图像的灰度值，尽量使各个灰度级别都具有相同的数量的像素点，使直方图趋于平衡。直方图均衡可以使输入图像转换为在每一个灰度级上都有相同像素点数的输出图像（即输出的直方图是平的）。这对于图像比较或分割是十分有用的3。 均衡化处理的步骤如下： （1）对给定的待处理图像统计其直方图,求出Pr（r） （2）根据统计出的直方图采用累积分布函数做变换，,求变换后的新灰度； （3） 用新灰度代替就灰度，求出Ps(s)，这一步

17、是近似过程，应根据处理的目的尽量做到合理，同时把灰度值相等或近似的合并到一起。处理后效果图如下： 图2 直方图均衡化 由两幅图像对比可以看出，原图像的灰度值非常集中，导致其对比度效果差，进行直方图均衡化处理之后，灰度值重新分配，直方图的范围加大了，原来分布较密的部分被拉伸，分布稀疏的部分被压缩，从而使一幅图像的对比度在总体上得到很大的增强，处理之后的图像变的更加的清楚，图像中的一些细节也突出了。3.2.3 灰度图像平滑与锐化处理图像平滑就是针对图像噪声的操作，其主要作用是为了消除噪声，图像平滑的常用方法是采用均值滤波或中值滤波，均值滤波是一种线性空间滤波，它用一个有奇数点的掩模在图像上滑动，将

18、掩模中心对应像素点的灰度值用掩模内所有像素点灰度的平均值代替，如果规定了在取均值过程中掩模内各像素点所占的权重，即各像素点所乘系数，这时就称为加权均值滤波；中值滤波是一种非线性空间滤波，其与均值滤波的区别是掩模中心对应像素点的灰度值用掩模内所有像素点灰度值的中间值代替。以下是对多种滤波的比较效果图：图3多种滤波处理后的对比图从中可以看出高斯滤波和均值滤波对图像处理后的效果较好，而motion滤波对图像处理后，图像变得较模糊。 图像锐化的目是使灰度反差增强，从而使图像的边缘或线条变得清晰，有利于轮廓抽取。该系统中主要对图像进行sobel算子和Laplacian算子锐化处理。Sobel算子是典型的

19、基于一阶导数的边缘检测算子，由于该算子中引入了类似局部平均的运算，因此对噪声具有平滑作用，能很好的消除噪声的影响。Sobel算子包含两组3x3的矩阵，分别为横向及纵向模板，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。拉普拉斯算子是最简单的各向同性微分算子，一个二元图像函数f(x,y)的拉普拉斯变换定义为 因为任意阶微分都是线性操作，所以拉普拉搜变换也是一个线性操作。为了更适于数字图像处理，这一方程需要表示为离散形式。通过邻域处理有多种方法定义离散变换，考虑到有两个变量，在x方向上对二阶偏微分采用下列定义：类似地，在y方向上为 二维拉普拉斯数字实现可由这两个

20、分量相加得到：   由于拉普拉斯是一种微分算子，它的应用强调图像中灰度的突变和降低灰度慢变化的区域。这将产生一幅把图像中的浅灰色边线和突变点叠加到暗背景中的图像。将原始图像和拉普拉斯图像叠加在一起的简单方法可以保护拉普拉斯锐化处理的经过，同时又能复原背景信息。如果实用的定义具有负的中心系数，那么必须将原始图像减去经拉普拉斯变换后的图像而不是加上它，从而得到锐化的结果。所以我们使用拉普拉斯变换对图像增强的基本方法可表示为下式： 对图像进行处理后的效果图如下：图4 平滑与锐化后的效果图 从图中对比可以看出经平滑处理的图像有些细节会变得模糊，但图像经锐化后使灰

21、度反差增强，从而使图像的边缘或线条变得清晰。而从从Laplacian锐化后的图像1和2的对比中可看出将原始图像和拉普拉斯图像叠加在一起的简单方法可以保护拉普拉斯锐化处理的经过，同时又能复原背景信息。3.2.4 图像二值化处理 人脸图像通过二值化处理把灰度图转化为单色(黑，白)图像，二值化的关键是找出一个合理的阂值，在人脸识别中二值化用来把人的头发、眼睛、脸的轮廓及背景以及人脸的亮域分开。 （1） 二值化的数学表示 图像的二值化一般按下述公式进行：公式中g(x,y)是原图像中位于(x ,y)处像素的灰度，gb(x,y)是二值化后该处的像素值，它只能取1(白)或0(黑)，在人脸

22、图像二值化过程中，图像数值为0的部分为背景，数值为1的部分表示人脸，T是二值化处理过程的闽值。二值化的关键在于阈值的选择，通常用一个三元函数的阈值算子来表示闽值式中(x,y)是图像象素坐标，Gb(x,y)是(x,y)的灰度电平，Nb(x,y)是(x,y)周围局部灰度特性。（2）二值化阈值的确定 二值化阈值将人脸图像的像素分为两组集合，一组的灰度低于该阈值，另一组的灰度高于该阈值，二值化问题的关键就在于如何精确的找出阈值，也就是两组灰度集合的最佳分离值。 我们采用的是类间方差分析法对图像进行二值化处理的。类间方差分析法是基于对边缘处理后的图像边缘灰度值较高，可通过阈值前后的类

23、间方差和类内方差的比较，最大值处就是可选的阈值。 算法假设图像有1,2,3.L级灰度，设阈值为k,把给定区域的像素分为具有k以上灰度值的像素和小于k的像素两类。分别计算像素数目、平均灰度值、方差，然后用类间方差与类内方差之比，求出类间方差最大时对应的K值，作为图像的阈值。 实验效果图如下：图5 图像二值化从结果图中可看出，灰度图像经过二值化处理后转化为单色(黑，白)图像把人的头发、眼睛、嘴巴、脸的轮廓及背景以及人脸的亮域分开，效果清楚明显。 3.2.5图像边缘检测图像边缘是图像最基本的特征之一，往往携带着一幅图像的大部分信息。而边缘存在于图像的不规则结构和不平稳现

24、象中，也即存在于信号的突变点处，这些点给出了图像轮廓的位置，这些轮廓常常是在图像处理时所需要的非常重要的一些特征条件，这就需要对一幅图像检测并提取出它的边缘。本文主要运用canny算子对图像进行处理。Canny检测阶跃边缘的基本思想是在图像中找出具有局部最大梯度幅值的像素点。Canny根据检测的要求，定义了下面三个最优准则：(1) 最优检测。对真实边缘不漏检，非边缘点不错检，即要求输出信噪比最大。 (2) 最优检测精度。检测的边缘点的位置距实际的边缘点的位置最近。(3) 检测点与边缘点一一对应。每一个实际存在的边缘点和检测的边缘点是一一对应的关系。 Canny首次将上述判据

25、用是数学的形式表示出来，然后采用最优化数值方法，得到最佳边缘检测模板。对于二维图像，需要使用若干方向的模板分别对图像进行卷积处理，再取最可能的边缘方向。现在对Canny边缘检测器作一概括说明。用fi,j表示图像。使用可分离滤波方法求图像与高斯平滑滤波器卷积，得到的结果是一个已平滑数据阵列。 其中Gi,j;代表一个高斯滤波的过程，而是高斯函数的标准差，它控制着平滑程度。 已平滑数据阵列Si,j的梯度可以使用2×2一阶有限差分近似式来计算x与y偏导数的两个阵列Pi,j与Qi,j：在这个2×2正方形内求有限差分的均值，以便在图像中的同一点计算x和y的偏导数梯度

26、。幅值和方位角可用直角坐标到极坐标的坐标转化公式来计算：在上式中，Mi,j反映了图像上的点i,j处的边缘强度，i,j是图像点i,j的法向矢量，正交于边缘方向。根据Canny的定义，中心边缘点为算子Gi,j;与图像fi,j的卷积在边缘梯度方向上的最大值，这样就可以在每一个点的梯度方向上判断此点强度是否为其邻域的最大值来确定该点是否为边缘点。当一个像素满足下面三个条件时，则被认为是图像的边缘点： (1) 该点的边缘强度大于沿该点梯度方向的两个相邻像素点的边缘强度 (2)与该点梯度方向上相邻两点的方向差小于4(3)以该点为中心的3×3邻域中的边缘强度极大值小于某个阈值&

27、#160;Canny给出的这三个判据具有广泛的代表意义12。实验结果图：图6 canny算子边缘检测 Canny算子采用高斯函数对图像进行平滑处理，因此具有较强的噪声抑制能力；同样该算子也将一些高频边缘平滑掉，造成边缘丢失，采用了双阈值算法检测和连接边缘，边缘的连续性较好。3.3 人脸检测定位算法 设所处理的图像为I(x,y)，其大小为M*N，则该图像的垂直积分投影函数为：PV(x)称为垂直积分投影函数，观察不同单人图像的垂直积分投影曲线，可以发现人脸所在区域使垂直积分投影曲线形成一个具有一定宽度的凸峰。这个凸峰的左右边界大致代表了人脸的左右边界，这是因为与背景相比，人脸区域往往具有

28、较高的亮度，在经过二值化后的图像中，人脸区域(灰度值为1)与背景(灰度值为0)分离开来。在人脸左右边界处，垂直方向上亮度值的总和迅速减小，形成一个明显的凸峰。因此只要确定垂直积分投影曲线中主要凸峰的左右边界，就能得到人脸的左右边界。人脸的眉、眼、鼻孔、嘴区，从灰度分布上来看，比周围区域暗，因此如对人脸作水一平积分投影：则在眉、眼、鼻孔、嘴区的水平位置分别会出现一个极小值，这是因为人脸图像中眉毛，眼睛，鼻子，嘴巴这些主要特征点的像素灰度值比较小，二值化以后有明显的黑区，因此在水平投影图上的峰谷变化中便可以确定各主要特征点的大致分布位置。一旦眼、嘴水平位置确定后，便可获得这两者之间的垂直距离h，令

29、w=0.8*h，便可确定脸区(h和w分别对应脸区的高和宽)，其中脸区的上，下边分别落在眼之上，嘴之下。人脸定位图如下：图7 人脸定位4结语文中介绍了脸识别的前景展望，人脸识别的整体过程，及预处理的方法。本文主要针对人脸识别中图像预处理进行研究，通过图像预处理的一些方法，像直方图均衡化、平滑、锐化、二值化、边缘检测等，对读入的人脸图像进行处理消除图像中无关的信息，从而使图像增强，图像细节突出，然后利用人脸的垂直积分投影和水平积分投影法进行人脸的定位。由于时间和条件的限制，还存在着相当的不足之处：（1）预处理的方法还有很多，但由于实际情况有限不能一一展现。 （2）对于较难识别的图像不能做到很好的处理，影