硕士学位论文-基于人脸识别的图像美化系统设计与实现.doc

分类号 学号 M200874805 学校代码10487 密级 硕士学位论文基于人脸识别的图像美化系统设计与实现学位申请人：学科专业：软件工程指导教师：答辩日期：2011.1A Thesis Submitted in Partial Fulfillment of the Requirementsfor the Degree of Master of EngineeringDesign and Implementation ofImage Beautification System Base on The Face Recognition TechonologyCandidate: Major: Software EngineeringSupervisor: Huazhong University of Science & TechnologyWuhan 430074, P.R.ChinaJanuary, 2011独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期： 年 月 日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本论文属于保密， 在 年解密后适用本授权书。不保密。（请在以上方框内打“”）学位论文作者签名： 指导教师签名：日期： 年 月 日 日期： 年 月 日华 中 科 技 大 学 硕 士 学 位 论 文摘 要随着社会的不断进步，科学技术的飞速发展，计算机应用领域也在不断拓展，于是数字图像处理技术作为一种全新的图像处理方法应运而生，而且应用范围越来越广。数字图像处理技术是利用计算机设备将图像转变成数字信息来进行保存、处理、传输和重现，通过计算机对图像进行去除噪声、增强、复原、分割、提取特征等处理的方法和技术。人脸识别技术是计算机模式识别技术在数字图像领域中的具体应用，广泛应用于安全验证系统、档案管理、视频会议、人机交互等方面，因而越来越成为当前模式识别和数字图像处理领域的一个非常热门的研究课题。数字图像处理与人脸识别技术相结合的应用范围越来越广，已经深入到人们的生活之中。但就目前计算机的应用水平而言，由于计算机对外部的感知能力还比较弱，自动化的处理能力还有待提高，仍然需要投入大量人力、物力来从事数字图像处理与人脸识别相结合的理论和应用的研究。论文论述了人脸识别技术在图像处理中的一个应用，采用几何特征的方法，包括人脸图像的预处理、人脸轮廓的检测、人脸图像中眉毛、眼睛、鼻子、嘴巴各部位的自动定位以及人脸图像的识别等几大功能。其中人脸检测部分，采用了基于haar-like特征的人脸检测算法，该算法在具有较高的检测率的同时也满足了实时检测的要求。算法利用OpenCV提供的库结合层叠式分类器并使用一系列haar-like特征来描述人脸。在人脸面部特征定位的研究中，采用了基于主动形状模型(ASM)的方法，能够很快的定位到人脸面部的各个特征部位。系统为人脸识别技术在数字图像处理方面的应用寻找到了一个新的结合点，也使数字图像处理技术的应用范围更加广泛。关键词：人脸识别、ASM、图像美化、haar-like特征AbstractWith the double-quick development of society and science technology, the field in computer application is also expanding as soon as possible.So digital image processing techonology has emerged as the times require as a bran-new image processing method.As the same time, it is also applied to more and more domains. Digital image processing is a method and technology which uses computer devices to convert image to digital informations in order to save,process,transmit and recur,and process image for wipe off yawp,enhance,recove,partition and extraction.Face recognition technology as a particular application of pattern recognition in image field is widely applied to surveillance and security， digital libraries，video meeting，and human-computer intelligent interaction and so on.The application area combining digital image process with face recognition technology is more and more extensiveand embedded to peoples life at present. But as the present computer level, the ability of computer in outside apperception is still very weak, so it needs more manpower and more material resource to do research on the theories and applications of combining digital image processing with face recognition. In this paper, we discuss one of the applications of face recognition among image processing which is based on geometry feature method. This system includes serval functions such as pre-proeessing of fecial images、face figure diction、automatic location of the eyebrow、eye、nose and mouth，and recognition of face images.In the part of face diction, the method used in this thesis is face diction algorithm based on haar-like feature. It can provide with high accurate, meet the request for real time detection, use the library provided by OpenCV combining with cascade classifier to descripte the face using a serial of haar-like features. In our researehes for facial features localization，the method of active shape model(ASM) was used in order to locate each characteristical part of face quickly.This system will offer a new combinable point, which is that face recognition technology is applied in digital iamge processing, and expand the range of digital image processing application.The keyword：Face Recognition、ASM、Image Beautification、Haar-like Feature目 录摘 要IAbstractII1.绪论1.1基于人脸识别的图像美化系统开发背景(1)1.2基于人脸识别的图像美化系统开发目的(2)1.3自动图像美化国内外现状研究(2)1.4 本论文的主要研究工作(3)2.人脸图像处理相关关键技术分析2.1 人脸识别技术(4)2.2 ASM(9)2.3 本章小结(12)3.基于人脸识别的图像美化系统设计3.1 需求分析(13)3.2 系统总体设计(15)3.3人脸特征识别模块子系统设计(16)3.4调整模块子系统设计(19)3.5 美化模块子系统设计(21)3.6 数据文件格式的设计(23)3.7 本章小结(28)4. 基于人脸识别的图像美化系统实现4.1系统开发环境与运行环境(29)4.2人脸识别模块子系统实现(30)4.3调整模块子系统实现(38)4.4 美化模块子系统实现(40)4.5本章小结(46)5. 基于人脸识别的图像美化系统测试5.1测试环境(47)5.2系统测试(47)5.3本章小结(52)6.总结与研究展望6.1总结(53)6.2研究展望(53)致 谢(54)参考文献(55)581 绪论随着计算机应用技术日新月异的发展，人们的生活水平不断的提高，计算机应用技术的广泛应用给人们的生活带来了极大的便利，同时也正在不断的改变着我们的生活。伴随着人们物质生活的需求不断的得到满足，人们对于精神生活的需求也变得愈加强烈。随着数码技术的发展，数码相机已经融入到了我们的生活，并且能够非常容易的记录我们生活的点点滴滴。由于数码相机的不断发展，拍摄的照片质量越来越高，能够很清晰的展现出人脸部的细节，包括斑点、皱纹等一些不受人欢迎的因素。爱美之心人皆有之，如何能够从这些静态图片中去除这些不受欢迎的因素，又能够使得照片更有意境、更加漂亮已经成为人们追求的热点了。1.1基于人脸识别的图像美化系统开发背景随着数字图像处理技术1的发展，自动人脸图像美化处理技术也被越来越多的人所关注，并在多媒体视频处理中得到了广泛的应用，并且取得的了不错的成绩。例如在一些特定型号的柯达相机中，已经使用了相应的自动人脸美化技术来处理人脸皮肤，通过对照片的调整来实现美化人脸的效果，并进行了一些有益的尝试，取得了一定的成果，但是此类美化系统2,3对图像的细节信息会出现比较严重的模糊现象，需要进一步的改进。人脸图像美化处理技术3不仅能够保留人脸轮廓和人脸形状，能够较完整的保留人脸的特征，例如睫毛和眉毛的细节部分，眼角和嘴巴的边缘，而且能够在保留这些信息的前提下较好的去除掉人脸皮肤上的斑点、皱纹等的不理想因素。现在最传统的方法如Photoshop工具，虽然它可以非常理想的处理人脸皮肤，使其达到非常完美的效果，但是使用Photoshop来实现美化的时候处理步骤非常的复杂，对于一个并不是很熟悉该软件的普通用户来说是一个非常繁琐以及枯燥的工作，所有即使该软件提供了很多功能，但是这些功能由于用户不知道怎么操作来实现，就达不到理想的美化效果，也不能达到一个实时性及简洁性的要求。因此不能达到普遍推广的效果。1.2基于人脸识别的图像美化系统开发目的为了探索人脸识别技术在自动人脸图像美化处理技术中的应用，并将这种应用普遍化，避免一些传统的图像处理软件在进行处理时的复杂性，例如Photoshop，Digital Beauty和Ever Fine等，并能够实时的所见即所得的功能。本系统的主要目标是实现人脸识别技术与人脸图像美化处理技术的结合，能够让普通用户对美追求的虚荣心，让大部分用户在对人脸图像美化处理技术不是非常了解的情况下也能够实现自己想要的效果，来完成对照片的美容。1.3自动人脸图像美化系统国内外现状研究随着人们审美观念的不断提高，对显示图像的质量和美感4的要求也随之越来越高，都希望自己的照片能够显示出比较理想的效果。因此人脸图像的美化显示技术在如数码相机、手机、视频会议等的多媒体系统中得到了广泛的应用，对人脸图像自动化美化技术的研究也越来越受到研究者的广泛关注。目前国内外在自动化人脸美化方面有一定的研究，并取得了不错的成果。例如文献5提出了一种基于滤波器的CS (component separating)-非线性滤波算法对图像进行自动的美化。该算法分别从频域和时域两方面来分析图像的像素信息，能够比较有效地除去图像中表示斑点和皱纹的小幅值中高频率信息，从而可以在一定程度上淡化脸部的斑点和皱纹等一些不受人欢迎的因素，但是这种方法对大范围斑点和皱纹的处理效果不好。此外随着人们对照片美感的追求，出现了一些图像美化软件系统，国外的Photoshop、Digital Beauty和Ever Fine等，国内有可牛影像、光影魔术手和美图秀秀等系统。Digital Beauty是一款强大的美化软件，它的产生是将美化功能从照片处理软件TurboPheto中抽取出来，设计了一个更简单易用的用户界面，声称可以在两分钟之内让普通的照片达到一个很完美的美化效果。Ever Fine的人脸美化系统主要针对美化效果，可以保留人脸特有的特征。而国内的可牛影像、光影魔术手和美图秀秀，这三款软件都有很强大的功能，都是能够对图片进行整体美化处理，方便快捷，简单易用，但是都缺少了自动化过程，并且对于脸部的美化效果不理想。1.4 本论文的主要研究工作在此开发的人脸图像美化系统，旨在探索人脸识别技术在自动人脸图像美化处理技术中的应用，在不改变人脸部轮廓的情况下实现自动化美化处理，并能够让广大用户能够根据自己的需求，方便快捷的对图像进行美化操作，达到所见即所得的效果，满足人们对照片美感的追求。2 人脸图像处理相关关键技术分析此人脸图像美化系统是基于人脸识别技术，应用ASM方法先提取图像中人脸特征，然后对这些特征部位进行定位，最后根据用户的需求，在特定的特征部位通过梯形变换添加一些预置的效果，实现图像美化。2.1 人脸识别技术人们对计算机人脸识别技术6-9的研究源于20世纪60年代末，最早的研究见于文献10。该系统是以手动标记人脸特征为基础，属于一个半自动的人脸识别系统。早期的自动化人脸识别通常是以人脸部特征器官的尺度，位置和彼此间的比率作为描述人脸的特征。后来还有用规则的几何图形对人脸部器官进行拟合，通过设置几何参数来描述人脸特征11,12。但是由于人脸器官与人脸之间并没有明显的边缘，当人脸表情发生变化时，脸部器官的特征变化也较大，所以上述方式实现的系统什么实际意义。之后，人脸识别技术的研究就逐渐形成了用模板来代替局部特征描述人脸特征的趋势。用模板描述人脸特征，能够避免使用局部器官特征人脸识别方法所要求的精确定位问题，而且能够保留更多的信息。文献13表明，使用模板匹配的识别方法要优于基于局部人脸特征的识别方法。然而到20世纪90年代，计算机人脸识别技术得到了进一步发展，开始从人脸图像整体特征来研究人脸识别方法。这些方法从模式识别或图像处理角度出发，将人脸图像作为一维或二维数据进行分类，因此能够保留大量的识别信息。2.1.1人脸识别的定义人脸识别是人类视觉最杰出的能力之一，计算机人脸识别技术是利用计算机对人脸图像进行处理，通过分析比较人脸视觉特征信息进行身份鉴别，从人脸图像中提取有效的人脸特征的识别信息，从而对需要进行识别的人脸图像进行分类，最终来达到对个人身份进行鉴别的目的14；它是一种生物特征识别技术，是通过对人体特有的生物特征来区分生物个体的，涉及到计算机视觉、模式识别、图像处理、生理学、认知学及心理学等诸多学科的知识，并与计算机人机感知交互以及基于其他生物特征的身份鉴别方法都有密切联系。通常，广义的自动人脸识别15描述如下:在给定某个场景下的动态视频或静态图像，利用已经建立好的人脸数据库，通过添加一些附加信息，如种族、年龄或性别等缩小摸索范围，提高识别的正确率，最后标识出所有的相似候选者，达到识别的目的。2.1.2 自动人脸识别系统中需要解决的问题人脸识别，首先需要获取人脸图像；然后经过预处理来提高图像的质量；再根据人脸检测算法来定位人脸并将人脸图像设置成预先定义的尺寸；特征提取用于抽取有效特征以降低原模式空间的维数，分类器则根据特征来做出决策分类16。为了实现自动人脸识别，需要解决三个问题:（1）从复杂的背景中自动分割出需要识别的人脸。这是机器自动人脸识别的前提和基础。要对一直的人脸图像进行识别，必须抽取出图像中的人脸，与已经建立的人脸数据库进行比较和匹配17。（2）从定位出的人脸区域中抽取感兴趣的特征区域或特征点。 一般情况下，在进行人脸识别的时候，并不是直接对一整张人脸进行直接的匹配，而是通过定位的人脸区域中的特征器官来进行识别的，很多方法就是直接使用人眼作为主要的特征器官来定位的18。（3）对抽取特征进行有效编码和识别分类。自动人脸识别系统处理的图像可以是包含正面人脸的图像、人脸侧面轮廓图及人脸距离图。2.1.3人脸识别的基本方法目前，对于计算机人脸识别方法的研究主要有两大方向:一是基于人脸图像器官特征的识别方法；二是基于人脸图像整体轮廓特征的识别方法19。基于人脸图像器官特征的识别20通常是抽取人脸的器官如眉毛、眼睛、鼻子和嘴等器官的尺度、位置以及彼此间的比率作为识别特征，然后使用几何形状拟合人脸器官，把几何参数作为描述人脸特征的识别信息。由于该方法对人脸器官的尺度，位置，彼此间的比率和几何参数的变化比较敏感，通常需要精确地抽取这些参数作为描述人脸的特征，然而人脸图像的表情变化比较复杂，同时人脸器官分割的精确度也对人脸特征的提取有一定的影响，所以该类方法并没有被充分地利用到人脸图像本身具有的灰度信息中，己不作为人脸识别技术发展的主要方向。基于人脸图像整体轮廓特征的识别方法由于不需要精确提取人脸图像中特征器官的具体信息，并且可以充分利用到人脸图像本身具有的灰度信息中，因此拥有了更好的识别性能。虽然此类方法中有的侧重于人脸图像重构21，而有的则侧重于表述人脸图像的特征提取22，但是这些基于人脸图像整体轮廓特征的人脸识别方法均取得了一定的识别性能，已经成为了目前人脸识别的主要研究方向。下面就分别介绍几种主要的人脸识别方法。（1） 几何特征的人脸识别方法23-28。几何特征可以是眼、鼻、嘴等的形状和它们之间的几何关系（如相互之间的距离）。这些算法识别速度快，需要的内存小，但识别率较低。（2）基于特征脸（PCA）的人脸识别方法23-28。特征脸方法是基于KL变换的人脸识别方法，KL变换是图像压缩的一种最优正交变换。高维的图像空间经过KL变换后得到一组新的正交基，保留其中重要的正交基，由这些基可以张成低维线性空间。如果假设人脸在这些低维线性空间的投影具有可分性，就可以将这些投影用作识别的特征矢量，这就是特征脸方法的基本思想。这些方法需要较多的训练样本，而且完全是基于图像灰度的统计特性的。目前有一些改进型的特征脸方法。（3）神经网络的人脸识别方法23-28。神经网络的输入可以是降低分辨率的人脸图像、局部区域的自相关函数、局部纹理的二阶矩等。这类方法同样需要较多的样本进行训练，而在许多应用中，样本数量是很有限的。（4）弹性图匹配的人脸识别方法23-28。弹性图匹配法在二维的空间中定义了一种对于通常的人脸变形具有一定的不变性的距离，并采用属性拓扑图来代表人脸，拓扑图的任一顶点均包含一特征向量，用来记录人脸在该顶点位置附近的信息。该方法结合了灰度特性和几何因素，在比对时可以允许图像存在弹性形变，在克服表情变化对识别的影响方面收到了较好的效果，同时对于单个人也不再需要多个样本进行训练。（5）线段Hausdorff 距离(LHD) 的人脸识别方法23-28。心理学的研究表明，人类在识别轮廓图（比如漫画）的速度和准确度上丝毫不比识别灰度图差。LHD是基于从人脸灰度图像中提取出来的线段图的，它定义的是两个线段集之间的距离，与众不同的是，LHD并不建立不同线段集之间线段的一一对应关系，因此它更能适应线段图之间的微小变化。实验结果表明，LHD在不同光照条件下和不同姿态情况下都有非常出色的表现，但是它在大表情的情况下识别效果不好。（6）支持向量机(SVM) 的人脸识别方法23-28。近年来，支持向量机是统计模式识别领域的一个新的热点，它试图使得学习机在经验风险和泛化能力上达到一种妥协，从而提高学习机的性能。支持向量机主要解决的是一个2分类问题，它的基本思想是试图把一个低维的线性不可分的问题转化成一个高维的线性可分的问题。通常的实验结果表明SVM有较好的识别率，但是它需要大量的训练样本（每类300个），这在实际应用中往往是不现实的。而且支持向量机训练时间长，方法实现复杂，该函数的取法没有统一的理论。在基于人脸识别的图像美化系统之中，使用的就是经过改进的基于几何特征的人脸识别方法，有效的提高了系统的识别率。2.1.4 人脸几何特征提取在人脸识别过程中，为了识别人脸，必须从图像中抽出能够改变某些特性的必要的识别信息，这种处理过程我们称为特征抽出29。特征抽出又分为特征提取和特征选择两个过程30-32。特征提取涉及到识别对象物体的各种形态的、物理的性能，因此产生了多种特征提取方法，例如基于特征的逻辑运算提取物体的方法和使用图像面积的方法等。特征提取是一个相当复杂的过程，首先需要充分理解识别对象的各种重要的特征，然后把这些重要特征转化为数字，以便于机器识别。不论是形态特征还是物理特征都是在进行特征识别时需要解决的问题，所以进行特征提取图像的时候必须考虑不同的特征提取方法，以简化整个识别过程。特征选择是一个根据特定条件，从所提取的特征集合中，选出最有代表性、最合适的特征的过程。特征选择和特征提取一样拥有多种选择方法，但是在使用这些方法的时候都必须特别注意那些对任何变换都不变化的量。在该人脸图像美化系统中，进行图像边缘提取后，将具有代表性的特征值分别提取出来，这些特征主要包括人眼、鼻子、嘴的大小和位置等。（1） 眼睛的几何特征提取33,34眼睛的特征是人脸中最难检测也是最重要的特征。当前常用的提取眼睛特征的方法是简化模板法，就是使用端点重合的两条抛物线分别近似于上下眼皮，有时还会在上下眼皮之间用一个小圆球代表眼球的模板。然后借助于动态模板匹配的方法35进行特征提取。但是由于人眼眼皮的特征曲线并不是很规则的抛物线，如果使用这种简化模板，必然会导致所产生的结果误差太大从而无法正确地描述眼睛的特征，由于系统处理需要得到较为准确的眼睛特征，所以采用了边缘点的方法。眼睛的特征主要包括眼睛的位置和大小两个方面，眼睛的位置由两眼的横纵坐标来确定，而大小则是由眼睛的高度和宽度来确定。其中位置特征的确定方法为:首先借助于自动定位的方法得到眼睛大致的纵坐标，再通过眼睛的灰度直方图分别得到两眼的左右边界，并使用求边缘点的方法求出两眼的四个边缘点，最后在该边缘点组成的矩形区域中，用圆面最小匹配的算法得到两眼的中心位置。而大小特征的获得方法为:根据位置特征得到的左、右两只眼睛的最上边缘点、最下边缘点、最左边缘点、最右边缘点的坐标后，然后可以计算出两眼的宽度和高度。由此就能够很快的得到眼睛的四个边缘点，并且这种特征基本上不会受噪声的干扰。（2） 鼻子的几何特征提取31,32鼻子的集合特征也是包括鼻子的大小和位置。由于鼻子部位在二值化后的图像很模糊，所以只需要求得鼻子在宽度方向上象素最多的象素数和该处的纵坐标值以及横坐标的平均值。所以鼻子的大小就由系统所求得的最大宽度来确定，而鼻子的位置就由纵坐标值以及横坐标的平均值来确定。根据以上的分析，可以先搜索特征定位中得到的鼻子的垂直位置，再依次得到与每个纵坐标值相对应的宽度方向上的象素数。从而可得到宽度方向上象素数最多时的象素数和相对应的纵坐标值。然后，以此纵坐标为轴，以左、右眼睛的中点为起点开始同时向两边搜索，一直搜索到纵坐标方向上没有灰度值为1的象素数时为止。所以可以用横坐标的平均值来标识水平位置。（3） 嘴巴的几何特征提取31,32嘴巴的几何特征也同样包括嘴巴的大小和位置。在求嘴巴的大小时，需要先找出嘴巴的左、右边缘点，得到嘴巴的宽度。为了得到嘴巴的宽度，这里使用与提取眼睛宽度不一样的方法，根据之前自动定位时获得的嘴巴的大致纵坐标，并以其为轴，从嘴巴的中心开始向横坐标方向查找，直到纵坐标方向上没有灰度为1的象素时为止，这样就可求得嘴巴的左、右边缘点，得到嘴巴的大小特征。在得到嘴巴的高度时，需要以眼睛的中心坐标为轴，分别向上和向下搜索，直到眼睛的横坐标轴方向上没有灰度值为l的象素数，以此便能够得到嘴巴的上、下边缘点，即可得到嘴巴的高度。2.2 ASMASM（Active Shape Model）主动形状模型36，是由Cootes提出并应用于医学图像处理中的一种基于应用统计模型的图像搜索方法,通过对具有一定代表性的同类目标物体图像来进行统计，并建立建模，再通过在已建立的模型中引入待提取目标物体的先验特征,设定搜索条件来限制特征搜索结果，使其能够处于模型的变化范围内。该方法对模型中大量描述的形状实例进行统计，建立起反映目标形状变化规律的形状统计模型和反映灰度分布规律的局部灰度模型，适用于对同一类物体形状特征的搜索。为了利用ASM模型定位图像进行人脸特征识别，首先必须建立能够描述人脸的形状及人脸典型变化的模型。在建立脸部统计模型37，系统需要根据试训练集中的数据训练模型，包括反映目标物体图像二维形状变化规律的形状统计模型和反映特征点局部区域的灰度变化规律的局部纹理模型38，并形成一个训练图像集以反映可能的变化。在使用ASM来进行人脸特征识别的时候，首先需要在训练集中标记全部形状，即标记训练集，然后对齐训练形状，最后建立形状模型。下面对这三个过程进行详细的介绍。2.2.1标记训练集ASM的基本思想是选取一组图片作为训练样本，用一组特征点来描述样本图片的形状，然后对各样本图片的形状进行相似处理，实现形状图片的对齐，再利用主成份分析的方法对对齐后的形状向量进行统计建模，以得到人脸形状的统计学描述，最后利用已建立的模型在待检测图像中搜索人脸的轮廓，从而找出目标人脸在图像中的位置。为实现对待搜索的目标图像的形状建模，首先需要对其进行合理的几何描述。在使用此方法的时候，通过在待搜索图片的内部和边缘选取一系列的特征点39，并利用其位置坐标来表述待搜索人脸的位置。这些被选取的特征点中应该包含系统需要提取的所有面部特征点，同时为了达到较理想的搜索效果和表达效果，也需要添加一系列的辅助点，以便整个形状边缘点的数量达到一定密度。当然这个分布密度要适当，密度过大将增加算法的效率及标记的工作量，密度过小又无法达到理想的效果。因此在脸部轮廓以及眉毛、眼睛、鼻子、嘴巴的轮廓和鼻尖、瞳孔等位置都选取了一定数目的特征点，并且这些特这点都是分布均匀。对特征点的选取有如下规则:一是选取那些用肉眼可以直接分辨出的特征点作为关键特征点。二是在选取的关键点之间均匀的分布着一些其他的非关键特征点。按照CooteS等人思想，在二维空间里选择特这点时，最好是选择物体边界的拐角点以及容易定位的生物的标记点作为标记点，如眼睛的中央点和嘴巴的拐角点。但是，仅仅是选择这些点通常是不够用于精确的描述人脸的，所以一般还会使用定义好的标记点间的中间点，使用这些间距相等的点就可以描述大部分的脸部边界了。如下图所示，在图像美化系统中使用了68个标记点来标记人脸轮廓以及脸部特征。 图2.1 使用68个点标记的人脸2.2.2 对齐训练形态对于已经标记好的这些图像，由于图像大小的差异和方向的差异，以及人脸和脸部特征部位在所处的图像中的绝对位置的差异，由于这些原因的存在，不能够反映其形状变化的规律，所以不能够直接对它们进行统计建模。因此为了克服上述因素带来的影响，需要对其进行对齐操作，即在不改变标记形状的前提下，通过缩放、旋转、平移操作使两幅图像的形状尽量接近，从而建立起能够真正反映形状变化规律的统计形状模型。在统计形状模型之后，需要规格化对齐后的平均形状向量，并以此平均形状向量作为样本，再将其它已对齐的形状向量与此平均形状向量对齐。重复这一过程，直到相邻两次的平均形状向量的差值小于某一特定值，结束对齐过程。2.2.3 建立形态模型在对训练集中的形状向量作对齐处理40之后，利用主成份分析的方法就可以找出形状变化的统计信息及规律，同时实现在变换域中的表示。主成份分析发是一种比较经典的统计学的方法，在特征提取、数据分析、数据压缩等领域有着重要的应用。其主要原理就是基于对原始随机变量进行统计分析，利用线性变换，来对原始的高维数据进行分析或压缩。主成份分析方法具有如下功能:1、去除数据的相关性。在原始的高维空间中随机变量的各个维之间通常具有很大的相关性。主成份分析方法通过对原始的相关的随机变量的分析，来获取一组线性无关的正交基。利用这组正交基，原始的高维随机变量就可以得到一组新的表示，在这组新的表示中每一维的取值与其它维的取值就没有任何相关性，也就是说其取值的大小完全可以独立于其它维的取值。2、实现数据的降维。如前所述，可以得到一组正交基，这组正交基中的不同的基所代表的信息是不一样的。如果将其按其所对应的特征值大小来排序，那么第一个基上所包含的数据信息最多，其它的依次递减。因此如果取前边若干个基而不是全部基来表示一个数据，那么数据的维数就会大大降低。同时因为取的这些基包含了主要的数据部分，所以在低维空间中表述包含了原始数据的绝大部分信息，信息的损失是极小的一部分，在一般的情况这种微小的信息损失是完全可以接受的。2.3 本章小结本章首先介绍了人脸识别，对人脸识别的定义、自动人脸识别系统中需要解决的问题、人脸识别的方法以及人脸特征识别做了详细的介绍，然后介绍了ASM技术，介绍了使用ASM技术进行人脸识别的过程，为需图像美化系统的建模和程序设计的实现打下坚实的理论基础。3 基于人脸识别的图像美化系统设计系统设计是把软件需求转化为软件系统的一个物理设计阶段，是实现软件需求过程中的一个非常重要的环节。系统设计能够保证在实现逻辑模型的基础上尽可能的提高系统的各项指标，例如系统的运行效率、可靠性、可修复性、灵活性、通用性和实用性，它的优劣在根本上决定了软件系统的质量。 3.1 需求分析经过调查发现，随着照相机技术的发展，拍摄出来的照片越来越清晰，所以人脸部的一些不受欢迎的因素也会被表现出来，甚至会被放大。对于这样的照片，很多用户都表示很不满意，希望能够借助一些拥有美化照片功能的软件来消除这些不受欢迎的因素，弥补这些照片的不足。现在来通过百度指数来看看用户对这种需求的反映： 图3.1 美化照片软件的百度指数 图3.2 美化照片软件近期用户和媒体关注度从上面的图3.1和图3.2可以看出，用户对于美化照片软件的需求量是高居不下，近期用户对于美化照片软件的关注度也是在大幅度的提升。这种趋势，也正是表明了广大用户对于美化照片软件的需求在不断的增加。虽然目前这类美好照片的软件很多，但是大部分软件都比较专业，虽然也提供了这样的美好功能，但是使用起来不仅繁琐而且很不方便，也达不到自动化处理的能力，很难被这些普通用户所接受。而本文所阐述的图像美化系统不仅能够满足广大用户美好照片的需求，而且能够很好的实现自动化美化照片的能力，使用起来也很方便快捷，真正做到了一步美化，所见即所得。3.1.1 功能需求（1）用户打开一张照片，系统能够识别照片中的人脸所在的位置。（2）在定位到人脸在照片上面的位置后，能够识别脸部轮廓，以及脸部特征器官的位置。（3）用户能够调整系统识别的人脸位置和人脸特征器官的位置。（4）用户能够保存已经调整好的位置至本地，下次再次对此照片进行美化处理的时候，能够直接调用本地保存的位置信息，而不用再次识别和调整这些位置。（5）用户能够为照片添加特定的特效，能够总体上改善照片的显示效果。（6）用户能够在人脸部特征器官部位自动添加装饰，包括系统预置的综合效果和用户为特定器官添加的特效。3.1.2 性能需求（1）由于此图像美化系统是对数字图像进行处理，而对数字图像进行处理是一个操作大数据量的过程，要得到较好的用户体验，就需要软件系统满足实时性和稳定性，以及处理算法要求高效性。（2）由于普通用户对于软件系统不是很熟悉，对于系统的实际处理过程和实现原理都不了解，在使用系统的过程中难免会出现比较多的误操作,所以要求系统容错性比较强。3.2 系统总体设计根据需求分析的结果，本系统主要划分为识别模块，调整模块和美化模块两大部分。下面对这三个模块的功能进行详细的介绍。（1） 识别模块识别模块在图像美化系统中是一个非常重要的子系统，主要是用来识别用户照片上人脸的位置，并定位人脸的轮廓和人脸部个特征器官的位置，选择相应的特征点进行描述。（2） 调整模块调整模块是一个对用户提供的照片进行修复的子系统，是对用户照片进行整体的调整和修复，修正在拍摄的时候因为环境的因素出现的一些问题，包括调整色阶、亮度和饱和度，以及调整强度，即进行磨皮操作等一系列操作。（3） 美化模块美化模块是本系统中最核心的一个子系统，因为这个模块才是真正的实现了用户的需求，自动的对人脸照片进行美化处理。其功能主要是根据识别模块提供的识别信息，自动为检测到的人脸进行美化处理，包括美瞳，添加粉底，添加眼影、眼线和睫毛，画眉，添加腮红，添加唇彩、唇线和唇膏等功能41,42，以及一些综合性的整体预置效果。整个系统的结构如图3.3所示：图3.3 系统功能结构图3.3人脸识别模块子系统设计3.3.1人脸识别子系统流程图根据需求分析结果，系统必须先通过人脸识别模块来标识人脸部轮廓和人脸部特征器官的特这点。此图像美化系统中的人脸识别子系统就是应用OpenCV人脸识别库，运用ASM方法，来提取特征点并用提取的特征点来标识这些特征器官。此人脸识别模块子系统的流程图如下图图3.4所示：图3.4 人脸识别子系统功能流程图从图3.4可以看出，在得到用户打开的照片以后，系统需要先根据OpenCV提供的库，来检测照片上面是否有人脸，再结合ASM方法，提取人脸的特征点，根据提取的68个特征点，从中找出能够分别识别人脸部各特征器官的关键点，并标识出来，然后通过用户的调整，就可以很精确的标识这些特征器官了。3.3.2人脸识别子系统详细设计根据系统需求，本文将此人脸识别子系统进行了详细的分析和设计，对于每一个特征器官的标识都是通过不同的步骤进行的。下图即为人脸识别子系统功能结构图。图3.5 人脸识别子系统功能结构图根据系统需求，结合实际情况，在定位人脸部特征的时候，为了得到更加精确的特征器官标识点，还需要用户对系统所标识的关键点进行调整。下面展示了用户的活动图。图3.6 用户活动图3.4图像调整模块子系统设计3.4.1图像调整模块子系统设计流程图图像调整模块，是在得到脸部特征关键点以后，对照片的显示效果进行整体的修复，也是一些基本效果的调整。图3.7所示的流程图描述了图像调整子系统的操作流程，用户可以有选择性的运用这些操作来对照片进行调整，以改善显示效果。图3.7图片调整子系统功能流程图3.4.2图像调整模块子系统功能设计图像调整子系统主要是在进行美化之前，改善照片的整体显示效果，便于在进行美化处理之后能够达到更好的效果。目前，系统主要是提供了色阶、亮度和饱和度的调整，分为预置效果调整和高级调整两个部分，其中预置效果调整是系统为了方便普通用户不熟悉图像处理原理而设置的，能够一键操作就达到需要的效果；而高级调整，是对比较熟悉图像调整过程的用户提供的，能够让他们根据自己的需要设置相应的效果。图3.8是图像调整模块子系统功能模块图，描述如下:图3.8 图像调整子系统的功能模块图3.5 图片美化子系统设计3.5.1图像美化模块子系统设计流程图图像美化模块是此图像美化系统中最重要的子系统，能够自动的完成对人脸的化妆操作，达到图像美化的目的。图3.9所示的流程图描述了图像美化子系统的操作流程。图3.9图片美化子系统功能流程图3.5.2图像美化模块子系统功能设计图像美化模块子系统主要是对人脸部特征器官进行化妆，达到美化的效果。目前此图像美化子系统主要提供了六个方面的特效处理，包括美瞳、粉底、眼部、眉毛、腮红和唇部。系统为了方便普通用户进行化妆处理，通过此自动上妆功能，此功能提供了一些预置的操作，对脸部各个特征器官都进行了化妆，真正实现了一键化妆、所见即所得的功能。同时还提供了幸运妆容，能够随机地为用户选择一些基本美化操作，组成综合特效。图3.10为图像美化模块子系统功能模块图。图3.10图片美化子系统功能结构图3.6 数据文件格式的设计在此图像美化系统中，包括了两种数据文件格式，一个是保存用户操作步骤和人脸识别特征点的特征信息的数据文件，以后缀.makeup标识，被称之为美化操作数据文件；另一个是预置的特效操作的数据文件，此文件中的数据标识了每一种特效的实际操作方法的，以后缀.style标识，被称之为美化特效数据文件。3.6.1美化操作数据文件首先来看下美化操作数据文件。设置这个文件，主要是为了方便用户对已经处理的照片进行修改，因为在此文件里面记录了用户所有的操作步骤，在用户对已经生成的文件不满意，需要重新处理或者修改以前的操作的时候，通过这个文件，就可以很方便的对已经处理过的文件进行调整了。其次，此文件也包含了这张图片所有的关键点的特征信息，在用户再次打开这张照片的时候，就不需要再次经过人脸识别过程了，能够使系统的处理过程变得更加简洁和方便。此美化操作数据文件是一个二进制文件，它的具体格式如下表：表3.6.1 美化操作数据文件格式表属性字段名称数据类型字段属性字段大小（字节）描述必填字段此数据文件属性strVersionvarchar260数据文件的版本是nWidthint4照片的宽度是nHeightint4照片的高度是nOffsetint4照片数据的偏移值是nImgSizeint4照片数据大小是操作步骤属性strNamevarchar260操作步骤名称是nIndexint4操作步骤对应索引值是nNumint4第nNum步操作是关键点属性strNamevarchar260脸部特征器官名称否nIndexint4脸部特征器官索引值是nNumint4此特征器官中第nNum个点是nXint4此关键点的横坐标是nYint4此关键点的纵坐标是现在对上述表格进行如下说明：（1）设置“数据文件的版本”字段，主要是用来对数据文件进行检测的，不同的版本可以有不同的操作，并且一些预置的效果可能在不同的版本之中有不同的表现，所以可以通过此字段来判定当前的系统是否支持此数据文件，是否需要重新设置。（2）由于在保存照片的时候，将原始照片以数据的形式保存在了此数据文件中，所以会设置nWidth、nHeight、nOffset、nImgSize四个字段来标识此原始照片的性质，以便于系统进行相应的操作。这样做的好处是用户可以直接通过此文件对原始照片进行处理，即使是在最原始照片已经丢失的情况下仍然可以通过此数据文件进行美化操作。（3）对于操作步骤属性，strName字段和nIndex字段是一一对应的，在所有的文件中，这个nIndex值都是唯一的，能够唯一的标识操作的动作。nNum表示此操作在用户处理的时候是在第几步完成的，因为在进行数字图像处理的过程中，不同的操作顺序产生的效果也会有所不同，所以这个