AAM与人脸特征点定位-毕业论文

厦门大学本科论文 本科毕业论文(科研训练、毕业设计)题 目：AAM与人脸特征点定位姓 名：学 院：软件学院系：软件工程专 业：软件工程年 级： 学 号：指导教师（校内）： 职称： 年 月45AAM与人脸特征点定位【 摘要 】 动态表观模型(Active Appearance Model，简称AAM)最早于1998年由F.T.Cootes 等人提出并被应用于人脸特征点定位。2001年卡耐基梅隆大学的S. Baker等人对AAM拟合计算部分进行了改进，通过提前计算Hessian和梯度值，减少了循环迭代的运算量。由于具有三维扩展性好、特征点定位准确以及最高可达230帧/秒的处理速度等优点，AAM被认为是人脸特征点定位方法中一种有效的方法。本项研究在跟踪F. T. Cootes和S. Baker等人的研究进展的同时，对基于AAM的人脸特征点定位方法在实际应用中碰到的问题进行了深入的分析. 最后构建了一个基于AAM的人脸特征点定位演示系统。通过合理设计各个功能模块，并采用工具进行系统的开发，本文构建的系统不仅适合作为后续研究的实验平台，而且也为将来开发实际应用软件奠定了良好的基础。【 关键词 】: 人脸面部 特征点定位 动态表观模型 拟合计算Facial Feature Points Locating Technology using Active Appearance Model【 Abstract 】 In 1998, F.T. Cootes et al proposed the AAM(Active Appearance Model)and used it to locate human facial feature points. In 2001, S. Baker et al of CMU improved original fitting algorithm of AAM. In the improved algorithm, the Hessian and grads can be calculated in advance and the interactive computational complexity reduces.AAM has been regarded as a kind of effective human facial feature points locating methods because it has good 3D expansibility, good locating effect and fast speed which reaches 230 frames per second. Our research follows the work of F.T. Cootes and S. Baker et al, and has analyzed the problems in detail which will be met in application, then proposes the improved method. Finally, we have developed the system of locating facial feature points using the improved method which we proposed in this paper. Through designing each function module rationally and adopting tool to carry on system development, the system developed in this paper not only is suitable for being as the experiment platform of follow up study, but also has settled good foundation for developing the application software in future.【 Key words 】：Human face Feature points location Active Appearance Model Fitting reverse compositional algorithm目录第一章绪论71. 1选题背景和意义71. 2应用领域121. 3本文所做的工作131.3. 1本文的主要研究内容131.3.3本文的组织结构14第2章基于AAM的人脸特征点定位方法分析152. 1引言152. 2 AAM的产生和主要思路162. 3 AAM模型建立172. 3. 1形状建模172.3.2表观建模172. 3. 3 AAM模型实例生成192. 4 AAM拟合计算192. 4. 1 AAM拟合计算的目的和意义192. 4. 2早期的AAM拟合算法202. 4. 3利用反向组合算法进行AAM拟合计算202. 5基于AAM的人脸特征点定位方法242. 5. 1训练集的选择252. 5. 2实现过程252. 5. 3存在的主要不足262. 6小结26第三章基于AAM的人脸特征点定位系统实现283. 1引言283. 2系统总体框图283. 3系统模块293. 3. 1 AAM建模模块293. 3. 2 AAM拟合模块31第四章 结论与展望334.1结论334.2展望33致谢35参考文献36厦门大学软件学院毕业设计（论文）开题报告38毕业论文任务书41分阶段进度安排42教师分阶段指导记录42论文评语44ContentsChapter 1 preface71. 1 background and purpose71. 2 apply domain121. 3 job of this paper131.3. 1 main research of paper131.3.3 structure of paper14Chapter 2 facial feature points loating technology152. 1 preface152. 2 the production of AAM and main context162. 3 building of AAM model172. 3. 1 shape model172.3.2 appearance model172. 3. 3 instance of AAM model192. 4 fitting reverse compositional192. 4. 1 the purpose of fitting reverse compositional202. 4. 2 early period of fitting reverse compositional202. 4. 3 fitting reverse compositional using assemble242. 5facial feature points locating technolgy using AAM242. 5. 1 selection of training set252. 5. 2 implement process252. 5. 3 present lacking262. 6 summary26Chapter 3 implement of locating technology using AAM283. 1 preface283. 2 structure of system283. 3 models of sysetem293. 3. 1 build modeling of AAM293. 3. 2 fitting modeling of AAM31Chapter 4 summary and prospect334.1 summary334.2 prospect33Acknowledgement35References36第一章 绪论1. 1选题背景和意义在这个信息膨胀，技术日新月异的信息时代，无处不存在着新技术和新信息媒介，人类开始对不断演进的计算机技术产生恐惧，对繁琐的人机沟通方式产生厌烦，分析其原因是人们一直没有摆脱键盘和鼠标的使用，人机交互方式不具有“人性化”，是“以机器为中心、人服从机器”的被动交互方式。因此人们希望使用类型各不相同但却能看、听、学，能用自然语言与人类进行交流的“聪明机器”，渴望开发全新概念的人机界面和人工智能技术，让人们能够不再依赖于传统计算机的交互设备，如键盘、鼠标、显示设备等等，而是用更自然、更多元化的方式，如同与人交谈一样自然地和机器“交谈”。要实现如此自然的人机交互就需要计算机能准确快速地获取用户的身份、状态、意图以及相关信息。对于计算机来说，要获取以上信息，视觉通道必然是一个重要途径，即通过计算机视觉系统获取用户的各类信息;对人类来说，人脸蕴含大量信息，并且也是一个重要的传递信息的窗口，通过人脸面部特征的独一无二性能获取对应的用户身份和相关信息，同时通过人脸丰富的表情变化能传达用户的状态和意图。如果能准确快速地获取人脸的特征和表情变化就能为实现自然、安全、便捷的人机交互奠定有利的基础，而这些都离不开研究有效的与人脸相关的图像处理技术。 己有的文献表明，早在二十多年前，精神物理学家、神经系统学家和计算机工程师等等科研工作者就己经开始了相关的研究工作，随着生物鉴别、人工智能、新一代人机交互等技术的迅猛发展，与人脸相关的图像处理技术如人脸识别、人脸表情分析、人脸姿态估计、人脸图像编码等更是引起了众多科研机构和大量研究人员的关注，己经成为近年来的研究热点，而这些技术都要以快速有效的从图像或者视频中获取人脸的特征点信息为首要前提，也就是要实现人脸特征点定位并且提取对应的人脸特征信息。人脸面部器官有很多特点和分布规律，研究人员对人脸特征点的选择也是略有不同，但大致包括:眼睛周围的轮廓点和角点，嘴巴周围的轮廓点和角点，鼻子周围的轮廓点和鼻头，眉毛形状点和眉头，还包括下巴，印堂，面颊，瞳孔等等位置的特征点。人脸特征点定位就是要在图像和视频序列中在指定的区域内检测人脸特征点的位置，捕捉特征点的运动，跟踪特征点位置的变化。因为人脸是非刚性的，那么人脸的大小、位置、姿态、表情的变化、年龄的变化、遮挡物的干扰、毛发和佩戴物、光线的变化都会影响到正确地对人脸特征点进行定位，而且该项研究涉及到图像处理、模式识别、人工智能、计算机视觉、生理学、心理学等多个学科，所以研究人脸特征点定位技术是一项非常重要又极具挑战性的课题。在20世纪70年代，科研工作者就意识到了研究人脸特征点定位技术的重大意义，并且已经进行了初步探讨，随着人们对人脸特征点定位研究的不断深入，从上世纪九十年代以来，各种新算法层出不穷，这些算法都在不同层次、不同方面促进了人脸特征点定位技术的发展和完善。现有的人脸特征点定位方法可以大致分为基于模型的定位方法和非模型的定位方法两大类。基于模型的人脸特征点定位方法基于模型的人脸特征点定位方法一般是在图像或者视频序列的某一帧中试图去选择与基准特征一样的区域，然后再利用之前建立好的模型来寻找基准特征与被搜寻图像对象中对应特征之间的对应关系，利用这个关系通过相应算法来实现人脸特征点定位。该类方法要先建立对应于特征的模型，根据模型来进行特征点定位。根据定位所依据的基本信息的类型又可将该类方法分为基于先验规则、基于几何形状信息、基于色彩信息、基于外观信息川等四种。 基于先验规则的方法是根据人脸特征的一般特点总结出一些经验规则，根据上述规则从图中筛选出候选点或区域。例如:镶嵌图 (Mosaic image)方法，该方法将图像划分成一组相同大小的方格，每个方格的灰度取格中各象素灰度的均值，根据一组规则确定可能是人脸的区域，然后将方格的边长减半，重新构建镶嵌图，并根据规则分别定位出眼、鼻、嘴等脸部特征，最后将前两步所得到的脸部区域二值化，并使用边缘跟踪最终确定脸部特征点的位置。Kotropoulos对其进行改进提出了改进算法。由Kanade等提出的几何投影方法也是基于先验规则的方法，它利用人脸特征灰度与其它部分的差异，基于统计的方法根据投影灰度值找到人脸特征点的位置，Brunelli等人又对其进行改进，减小了原算法对光照条件的敏感Feng和Yuen等又提出VPF (Variance Projection Function)的方法来定位人脸特征和相对位置等几何信息确定眼睛瞳孔的位置，再逐步定位其它的人脸特征和特征点的二值化定位方法。文中是充分利用了人脸图像中人脸面部器官的严格对称性来定位人脸特征点的广义对称方法。方向对称变化方法和离散对称变换方法都是广义对称方法的变形。如土所述，这必方法都是需要有先验知识来支持的人脸特征点定位方法。基于几何形状信息的方法是根据人脸特征的形状特点构造一个带可变参数的几何模型，并设定一个评价函数量度被检测区域与模型的匹配度。搜索时不断调整参数使评价函数最小化，从而使模型收敛于待定位的脸部特征。属于该类方法中的算法有:Snakes算法，该方法利用一条由几个控制点组成的闭合曲线，再利用一个进行匹配的能量函数来作为评价标准，当不断迭代最后使得能量函数最小化时就定位到人脸特征点。Yuille等人提出的可变形模板算法，是定义一个可变形的参数模板和一个能量函数来描述特征，通过一个非线性最优化算法求得使能量函数最小的参数模板，此模板即被认为是对所求特征的描述，Xie等人对其进行了改进，。ASM (Active Shape Model)方法，是一种利用参数化的采样形状来构成形状模型，并利用PCA方法建立描述形状的控制点的运动模型，再利用一组参数组来控制形状控制点从而描述当前对象的形状，Luettin在19文中利用ASM算法进行人脸特征点定位方法。Lucas和Kanade提出的Lucas_ Kanade算法，以及21文在原算法上提出改进的Lucas_Kanade_ Tomasi算法，22文又是在该算法上的改进和应用，它们也都利用了人脸几何形状的信息进行人脸特征点定位。基于色彩信息的方法2324是使用统计方法建立起人脸特征的色彩模型，定位时遍历候选区域，根据被测点的色彩与模型的匹配度筛选出候选的人脸特征点。该方法主要是对人脸面部特征的色彩信息进行研究，构造人脸特征的色彩模型，用人脸肤色的色彩信息进行特征点定位。基于外观信息的方法是将人脸特征点附近一定区域内的子图象作为一个整体，映射为高维空间中的一个点，这样，同类人脸特征就可以用高维空间中的点集来描述，并可以使用统计方法得到其分布模型。在定位中，通过计算待测区域与模型的匹配度即可判定其是否包含目标人脸特征。例如:基于神经网络的算法25，基于PCA (Principal Component Analysis主成分分析法)的定位方法 2627文中利用SVM (Support Vector Machine支持向量机)方法，将眉毛眼睛作为一个整体并作为定位的对象。28提出一个分层定位的SVM系统来进行人脸特征点定位。非模型的人脸特征点定位方法非模型的人脸特征点定位方法不需要建立模型，而是基于关联信息在局部信息的基础上引入人脸特征之间的相对位置信息，以缩小候选点范围，最终定位人脸特征点。该类方法中的典型算法有:概率网络算法，如29中使用贝叶斯概率网络来对人脸建模，再采用自底向上的策略进行搜索定位。30利用GWN (GaborWaveletNetwork Gabor小波网络)来实现人脸特征点定位。31文中用了两层的GWN树模型来定位人脸特征点。纵观以上这些在人脸特征点定位领域提出的方法，基于模型的方法是主流的研究方法，聚集了大量的研究机构和研究人员，提出的算法也明显多于非模型的人脸特征点定位方法。最近几年，基于AAM的人脸特征点定位方法成为了基于模型研究领域中的又一新宠，该方法最早由英国曼彻斯特大学的F. T.Cootes等人于1998年提出，该方法是在ASM算法和可变形模板算法的基础上发展起来的，它即利用了可变形模型中的能量函数最优化的思想，又改进了ASM算法中对模型建立只考虑人脸形状的不足，引入人脸表观来扩展模型的表征能力，能实现快速准确的人脸特征点定位。基于AAM进行人脸特征点定位的基本思想是结合人脸的形状和纹理信息，构成人脸动态表观模型，再利用PCA方法来描述表征特征点位置的形状控制点的运动情况，并以AAM模型实例与输入图像差的平方和来定义一个能量函数，利用该能量函数作为拟合度的评价函数。在人脸特征点定位过程中，通过有效的拟合算法变化模型参数，从而控制形状控制点的位置变化，实现能量函数最小化，最终定位到当前对象的人脸特征点。在1998年首次提出AAM后，Cootes本人和他的研究小组一直在从事着对该方法的研究工作，他们的主要工作集中在对AAM本身的改进，于1999年提出改进的AAM，这次改进使得AAM能够处理彩色的表观，并且在拟合算法上有了一定改进，使得算法在对初始条件的要求上不过分苛刻。2000年Cootes又在前面研究的基础上，提出了基于视觉的AAM，该改进是用形状和表观统计模型来表示从一个特殊视点看见的表观的变化。2001年Cootes等人又提出了强制的AAM ,该算法将AAM拟合算法置于一个统计线框中，准许外来的强制信息控制AAM拟合算法。随着该算法的发展，它引起了越来越多的关注，众多该领域的重要研究机构也纷纷跟踪该算法的发展，投入大量的人力和物力进行相关方面的研究，它们包括国内的北京微软亚洲研究院，北京大学，国际上的瑞典Linkoping大学，美国计算机学科领域名列前茅的卡内基梅隆大学等等权威的研究机构。2001年，北京微软亚洲研究院的李子清和北京大学的侯欣文等人通过分析和实验发现，AAM在对表观建模的时候存在有能满足条件的表观信息但是却没有被建模的情况，当AAM进行拟合时就找不到对应的表观信息。因此他们提出了新的表观建模方法，称为直接的表观模型(DAM)，该建模方法直接对预言将要出现形状和估计出的姿态位置的表观进行建模。2002年，这两个机构的研究人员继续他们的研究工作，改进了原AAM中图像对齐思想，提出了基于DAM的多视角人脸对齐算法，它独立的使用表观和形状的信息进行图像的对齐，使得拟合算法的收敛效果和准确性得到了提高。瑞典Linkoping大学的Jorgen Ahlberg等人，在原AAM的基础上进行改进，2001年提出利用AAA算法来进行人脸特征点定位，该方法采用线框模型来拟合人脸视频中的每1帧，而且拟合的参数是根据MPEG-4的人脸动画参数来变化的。2002年他们利用AAM跟踪视频序列中的人脸，并且提取个局和局部的人脸表观画参数。2003年他们又提出利用AAM进行实时的头部和人脸特征提取的方法，该方法采用3D的AAM来对人脸姿态和特征点进行估计和跟踪。卡耐基梅隆大学的Simon Baker等人主要是对AAM的拟合算法进行了改进，传统的Levenberg-Marquardt算法，和随机梯度递减算法，由于每次迭代时Hessian和梯度都需要重新计算，己经不能够满足快速准确地进行拟合计算的需要，Simon Baker修改 Lucas-Kanade的图像对齐方法提出了反向组合图像对齐算法，并且将其引入到AAM拟合计算中，扩展成一种非常快速有效的AAM拟合算法，改进后的利用反向组合的AAM拟合算法使得Hessian和梯度可以提前计算，避免在迭代中重复运算，从而大大提高了拟合算法的效率。实验验证，该改进方法使得基于AAM的人脸特征点定位最快能达到230帧/秒的效果，如此快速的定位效果，能完全满足实时定位的需要，使得该领域内的研究人员为之震惊，也使它很快得到国际学术界的认可。最近几年，由于大量研究机构和个人对基于AAM的人脸特征点定位方法非常关注和投入，所以在国际和国内的权威期刊上有关该算法的研究和讨论的文献也越来越多，本人做了一个简单的统计，在IEEE上检索有关AAM的文献，得到的结果是1998年为1篇，而2004年为20篇，如图1-1所示，而且它的应用领域已经扩展到了新一代人机交互、人脸识别、人脸表情分析、人脸三维动画建模、人脸图像编码等等众多领域，可见算法的发展是相当迅速的。如此众多的在计算机科学领域、在人脸研究领域知名的研究机构在跟踪研究该算法，以及该算法如此迅速的发展速度都充分说明了基于AAM的人脸特征点定位方法己经成为了当今人脸特征点定位研究领域里的又一新兴研究算法，是代表了未来发展方向的重要算法之一，因此研究基于 AAM的人脸特征点定位方法具有极大的现实意义。图1-1有关AAM文献的检索统计结果图综上所述，本人选择了基于AAM的人脸特征点定位方法为自己的本科毕业的研究课题。1. 2应用领域基于AAM的人脸特征点定位方法有广阔的应用领域，涉及新一代人机交互、人脸识别、人脸表情分析、人脸三维动画建模、人脸图像编码等等。新一代人机交互新一代人机交互模式是自然、友好、智能的交互模式，它所倡导的是“以人为本、无处不在、透明服务”的思想，通过捕捉、整合来自人脸面部图像、声音、触觉、心电波和脑电波等多通道的信号来获取人的身份、状态、意图以及相关信息，进而让计算机主动地为用户服务。在这些通道中，视觉通道是最重要的通道之一，而人脸又因为是表征人的身份，传递状态和意图的重要途径，因此最大限度地利用计算机视觉系统获取人脸的信息，对有效地实现新一代人机交互模式有着重要的意义。应用基于AAM的人脸特征点定位方法能非常快速准确地获得人脸特征点的位置，从而可以有效提取人脸信息。基于AAM的人脸特征点定位方法的应用，促进了新一代人机交互技术的发展。人脸识别人脸识别技术是利用计算机分析人脸图象，进而从中提取有效的识别信息，用来“辨认”身份的一门技术。目前的人脸识别方法有很多种，其中比较直观、应用得比较多的是基于特征分析的方法，也就是将人脸基准点的相对位置关系和其它描述人脸面部特征的形状参数或类别参数等一起构成识别特征向量，利用得到的特征向量来对不同的人脸进行区分。这种方法中一个关键的步骤就是得到人脸面部的特征信息，同时，因为人脸之间特征的差别本来就不是很大，所以对信息的准确性也提出了很高的要求。基于AAM的人脸特征点定位方法能通过不断的迭代最终准确定位到面部器官的特征点位置，所以被应用在人脸识别技术中。人脸三维动画建模随着多媒体技术、虚拟现实技术、电子娱乐、网络游戏等等技术的发展，人脸三维动画建模技术也应运而生，它是通过计算机图形学的手段，根据人脸面部的结构和属性，构建与其一致的虚拟的人脸三维动画模型。对人脸进行三维动画建模，特别是实时地根据机器视觉系统获取的人脸信息构建人脸三维动画是非常困难的，它首先要求能准确快速地获取人脸特征信息，这就离不开人脸特征点定位技术，而基于AAM的人脸特征点定位方法是一种快速高效的方法，它能满足实时建立人脸三维动画模型的要求，而且定位后所得到的形状和表观参数组对人脸具有很强的表征能力，利用这些参数组能更有利于快速重建对应原始人脸图像的三维动画模型，这对人脸三维动画建模技术也是非常有意义的。1. 3本文所做的工作1.3. 1本文的主要研究内容 本项研究在跟踪F. T. Cootes和Simon Baker等人的研究进展的同时， 详细分析了AAM的算法原理和演变过程，以及基于AAM的人脸特征点定位方法的产生与实现过程，为实现系统的形成奠定了必要的理论基础。本文为验证算法改进效果以及为将来进一步深入研究设计了一个人脸特征点定位演示系统。该系统采用VC+编程语言，在Windows XP环境下实现。演示系统可以对静态的图像和动态的视频序列进行人脸特征点定位。演示系统实现了从AAM模型建模，到定位的所有功能，只需要读入对应的图像或者视频序列中的一帧，设置相应的定位拟合形状的初始参数，就可以进行人脸特征点定位的实验了，系统界面友好、操作简便。1.3.3本文的组织结构全文共分如下四个章节:第一章为绪论，介绍本课题的选题背景，研究意义和应用领域，同时介绍了当前国内外在人脸特征点定位领域中取得的研究成果，并对全文工作进行了概括。第二章，详细分析总结了AAM的产生过程和研究发展情况，以及AAM如何对形状和表观进行建模，如何建立AAM模型，再分析了多种AAM拟合算法，特别分析了应用反向组合算法进行AAM拟合计算的原理和思想，随后介绍了基于AAM的人脸特征点定位方法的产生与实现过程，为本文的研究改进工作提供坚实的理论基础。第三章，详细介绍了如何构建演示系统，系统中各个模块的功能实现，以及演示系统的使用方法。最后第四章对全文进行总结，并对今后的研究工作进行了展望。本文的结构如图1-2所示:第一章绪论第二章基于AAM的人脸特征点定位方法分析第三章基于AAM的人脸特征点定位系统实现第四章结论与展望图1-2论文结构图第2章基于AAM的人脸特征点定位方法分析2. 1引言 AAM是近年来在特征点定位领域得到广泛应用的一种快速有效的方法。基于AAM的人脸特征点定位方法不但考虑了局部特征信息，而且考虑了全局的形状和纹理信息，通过对人脸的形状特征和纹理特征进行统计分析，建立对应的AAM模型，对被测人脸对象进行特征点定位时，结合“合成今比较今调整再合成今再比较”这样一个图像拟合(image fitting)策略，往往能够实现快速而又准确的人脸特征点定位。AAM的思想并不是偶然产生的，它是随着相关领域内相关技术的发展而产生并且逐步成熟起来的。如何在复杂的环境中实现快速准确的定位、如何最大限度的利用已有的信息是人们对人脸特征点定位技术的必然要求，AAM符合这些要求，因此基于AAM进行人脸特征点定位的方法也应运而生。本章详细说明了AAM的产生过程和主要思路，对其中建模和拟合两大重要组成部分进行了详细介绍，再分析了AAM在人脸特征点定位中的应用，说明了基于AAM的人脸特征点定位方法的产生和实现过程，最后归纳了基于AAM的人脸特征点定位方法存在的不足。2. 2 AAM的产生和主要思路 AAM思想的最初产生可以追溯到1987年Kass等人提出的Snakes方法，它是一种边界检定和图象分割的方法，该方法用一条由n个控制点组成的连续闭合曲线作为Snakes模型，再用一个能量函数作为匹配度的评价函数。该方法可以用于特征定位，定位前，首先将模型设定在目标对象预估位置的周围，再通过不断迭代使能量函数最小化，当内外能量达到平衡时即得到目标对象的边界和特征。Snakes方法提出的利用模型和能量函数进行匹配的思想是AAM思想的最初来源。随着研究人员对此不断深入的研究，1989年，由Yuille等人提出使用参数化的可变模板来定位特征，该方法同样使用了一个能量函数作为匹配度评价函数，可变模板比Snakes模型要复杂很多，能更准确地表征对象的形状，在定位过程中，先将特征的可变形模板移动到被测对象的附近，而后逐步对可变形模板完成尺寸、偏转角度以及位置和形状的微调，通过设定不同的权值最后实现能量函数的最小化。可变形模板概念的提出为AAM的产生奠定了理论基础。1995年由Cootes等人提出的ASM算法是AAM的直接前身，ASM算法利用参数化的采样形状来构成对象形状模型，并利用PCA方法建立描述形状的控制点的运动模型，再利用组参数组来控制形状控制点的位置变化从而描述当前对象的形状，但是该算法只单纯利用了对象的形状，因此准确率不高。1998年，Cootes等人在ASM算法的基础上首次提出AAM (动态表观模型)的概念，最初提出AAM是用来表征(interpreting)人脸图像的。类似于ASM, AAM也是在对训练数据进行统计分析的基础上建立模型，然后利用先验模型对图像中的目标物体进行匹配运算。与ASM的不同之处是它不仅利用形状信息而且对重要的脸部纹理信息也进行统计分析，并试图找出形状与纹理之间的联系。纹理信息一般是对象的象素。AAM分为模型建立和对应的拟合计算两部分。AAM模型是对象的动态表观模型，表观模型是在形状模型的基础上结合对象的纹理而建立的。动态就体现在AAM拟合计算中，利用PCA方法来描述形状控制点的运动变化，形状控制点表征了特征点的位置;再以AAM模型实例与输入图像差的平方和来定义一个能量函数，利用该能量函数来评价拟合程度;在定位拟合的过程中，根据模型的线性表达式，通过有效的拟合算法变化模型参数组，从而控制形状控制点的位置变化生成当前AAM模型实例，得到当前能量函数的值，再更新模型的参数，.如此迭代反复以实现能量函数的最小化，达到模型实例与输入图像相拟合的目的，而最终得到的形状控制点的位置就描述了当前对象的特征点位置。2. 3 AAM模型建立 AAM模型是对象的动态表观模型，表观是形状和纹理的组合，表观模型是在形状模型的基础上结合对象的纹理而建立的，AAM模型实例就是将AAM的表观模型通过仿射变换的形式映射到对应的形状实例中去，得到描述当前对象的当前模型。动态就体现在AAM通过相应的拟合算法不断调整生成新的AAM模型实例与待定位的对象进行匹配，直到生成的模型实例能和该对象真正吻合，可见生成AAM模型实例是AAM中比较重要的一个部分。因此本节分对形状建模，对表观建模和从M模型实例生成三步来介绍AAM模型的建立过程。2. 3. 1形状建模统计模型的建立需要分三个步骤，首先是获取样本图像中的信息;其次是样本图像集的归一化处理;然后是对归一化处理的数据进行统计分析，建立统计模型。因此不论AAM对形状还是对表观建模都是遵循统计模型建立的基本步骤。要实现AAM对形状建模，首先要选择一组合适的训练集，所选择的训练集就决定了需要进行AAM建模的对象特征的基本属性;然后对所选择的训练图像进行特征点标一记，一般是手动标记，训练图像中能充分说明图像属性特征的各个点的坐标位置就是所选择进行标一记的特征点的位置(x，y)，标记好的v个特征点位置的集合就构成了形状s, s(x1,y1,x2,y2,);再对形状进行归一化，归一化是指以某个形状为基准，再对其它的形状进行旋转、缩放和平移使得其尽可能的与基准形状的整体位置相接近;接着采用主成分分析的方法(PCA )对形状归一化后的数据进行处理，得到对应图像的平均形状S0。和按特征值大小排序后的前n个形状特征向量S1。因为AAM模型中形状S可以用线性方程进行表达: ，那么在给定任意一组形状参数P后，就能得到一个S，这就是AAM的形状模型实例，因此当我们得到根据训练图像的形状训练出来的平均形状So和形状特征向量S1后，就完成了对形状的建模。2.3.2表观建模AAM的表观A (x)是训练集中已经标记好的形状区域内的对象纹理信息，它是对象形状和纹理的组合。获取表观的方法是，利用计算机图形学中纹理映射的方法，对每个表观样本通过己经标记好的形状外形来获得其纹理的有效区域，建立一个可逆的映射方程式，然后将这个表观区域映射到一个己设定的基准形状网格，在该形状网格内进行一致的参数采样，再将它们映射回各自的纹理区域，这样就可以获得归一化的纹理样本，再对归一化后的纹理进行PCA即得到了所需要的表观模型的参数，实现了表观建模。 具体的实现过程是，当完成对形状建模后，得到了对应的AAM的形状特征向量S、和平均形状So，选择由S。经过Delaunay三角化后得到的形状网格为进行表观映射时的基准网格;将训练集中的图像，根据对应标记的形状特征点位置进行Delaunay三角化，三角化后的形状网格包络内的象素值就是需要采样的表观信息，然后通过分段线性仿射的方法将其映射到设定的基准网格中去，实现对表观的归一化采样，再对归一化后的表观信息进行PCA得到平均表观A。和按特征值大小排序后的前m个表观特征向量A;。表观与AAM的形状非常相似，也可以用线性表达式表达: 因此在任意设置一组表观参数后，通过上面的线性表达式就能得到一个表观模型实例，所以当得到训练图像的平均表观A。和按特征值大小排序后的前m个表观特征向量A、后，就完成了AAM对表观的建模。下面补充说明如何进行分段线性仿射。在二维图像中，利用经典的Delaunay三角化方法分别将需要采样的样本和选定的基准形状的形状控制点三角化，得到各自的二角化网格的顶点集合。采样表观时，通过分段线性仿射进行映射变换的目的是要将需要采样的样本的三角化网格中的象素映射到基准形状的三角化网格中对应位置的象素，如图2-1所不，假设P1,P2,P3是采样网格中某个二角网格的三个顶点，那么该网格内的象素P都可以用式(2.1)来进行表达。其中因为P在三角形内部，所以有。那么对应的在基准三角网格内的象素 图2-1 分段线性仿射示意图P也可以用类似的方式进行表达，如式(2.2)P1P2P3是对应的基准三角网格内的三个顶点，因为需要映射的P点的坐标是已知的，而且各个三角化网格的顶点坐标也是己知的，所以可以通过求解的值来得到所需要的。假设:值可通过式(2.3)确定: 这样就实现了分段线性仿射，这样建立的表观样本都是在平均表观的基准网格中采样的，可以消除旋转、缩放和平移，达到归一化的目的。2. 3. 3 AAM模型实例生成AAM模型实例就是将AAM的表观模型通过仿射变换的形式映射到对应的形状实例中去，得到描述当前对象的当前AAM模型。因为在AAM拟合过程中，要达到的目的就是通过相应的拟合算法不断调整生成新的AAM模型实例与待定位的对象进行匹配，直到生成的模型实例能和该对象相匹配，所以AAM模型实例生成也是AAM中的重要组成部分。AAM模型中形状可以用线性方程进行表达:,那么在给定任意一组形状参数p后，就得到一个AAM的形状实例S。表观与形状非常相似，也可以用线性表达式表达，在任意设置一组表观参数几后，得到一个AAM的表观实例A (x)。再将处在归一化S。形状网格下的表观实例A (x)，通过分段线性仿射的方法映射到当前的形状实例S中去，这样就生成了一个AAM的模型实例。2. 4 AAM拟合计算2. 4. 1 AAM拟合计算的目的和意义因为AAM分为模型建立和拟合计算两部分，当模型建立后，要实现当前AAM模型实例与待定对象的拟合匹配就离不开AAM拟合计算。因此AAM拟合计算是AAM的核心组成部分，研究快速有效的AAM拟合算法对于AAM的发展和应用有着非常重大的意义。2. 4. 2早期的AAM拟合算法早期的AAM拟合算法是由S. Sclaroff、 T. F. Cootes和C. J. Taylor等人提出，都属于标准梯度递减最优化算法。这些早期的AAM拟合算法的优势是它们用来进行最优化收敛的理论和思想都容易让人理解，但它们总是简单的假设在误差图像与参数的增加量上有一种固定的线性关系，而这种假设往往是不存在的，所以这样的拟合算法往往会引起拟合的失败，而且这些算法在迭代过程中计算量相当大，每次变量更新后都需要对Hessian、梯度等等根据新变量进行重新计算，因此它们已经不能够满足快速准确地进行拟合计算的需要，所以迫切地需要寻找快速有效的AAM拟合算法，使得AAM能真正走上实用化的道路。2. 4. 3利用反向组合算法进行AAM拟合计算2001年卡耐基梅隆大学的Simon Baker等人提出了反向组合算法，它是一种有效的图像对齐算法。之后Simon Baker等人扩展原反向组合算法，并且将它引入到AAM拟合计算中，提出反向组合的AAM拟合算法。反向组合算法由Lucas-Kanade算法演化而来，利用反向组合进行AAM拟合计算，使得在AAM拟合计算过程中的Hessian和梯度都能够提前在预处理中进行计算，并且避免了原AAM拟合计算中需要对这些值在迭代过程中重复计算的问题，从而大大减少了拟合的时间。下面将从Lucas-Kanade算法，到反向组合算法，再到利用反向组合进行AAM拟合计算，逐步介绍利用反向组合进行AAI拟合计算的思想由来和基本原理。Lucas-Kanade算法Lucas-Kanade算法是最原始的一种图像对齐算法。Lucas-Kanade算法的目的是为了实现将模板图像对齐到输入图像中去，使得模板图像T (x)与输入图像I (x)的误差最小，其中x= (x, y)是象素坐标的列向量。在光流和视频序列中，图像是随着时间变化的，如从时间t=1到时间t=2，这种情况下模板是从时间t=1时的图像中抽取的子区域，而输入图像I (x)是t=2时的图像。(x:P)是表示将模板图像T中对应的象素x的光强信息映射到图像I中与象素x对应的仿射变换的位置。这样Lucas-Kanade算法的数学表达式为式(2.4)。为了得到式(2.4)的最小值， Lucas-Kanade算法假设当前P的估计值是己知的，再通过迭代解决参数的增长值P，因此表达式由式(2.4)变为式(2.5)，在迭代过程中通过P -P+OP更新参数P这样不断地迭代直到使得参数P收敛，判断P收敛的方法通常是看匆绝对值是否小于一个事先确定的域值。继续推导该表达式，对其进行泰勒展开得到:是输入图像工在W (x; p)的梯度，是在点W (x; p)的Jacobian式。为了得到表达式的最小值，将表达式求导，令求导式为零，得到变量表达式如下:其中H是Hessian矩阵: 当参数P更新后，W (x;川需要重新计算，vI和H也需要更新，因此，可以得知在该算法过程中，Hessian矩阵和I的梯度值在每次迭代的过程中都需要重复计算，计算量很大，所以该方法速度慢，有效性差。因此在Lucas-Kanade算粗之的基础上，Simon Baker等人进一步提出了反向组合算法。反向组合算法 反向组合算法的目的和Lucas-Kanade算法一样都是为了实现将模板对齐到输入图像中去，使得模板T (x)与输入图像I(x)的误差最小，反向组合算法不同于Lucas-Kanade算法的关键是:不直接用如来替代更新参数P，而是在W基础上进行更新，如式(2.9)所示，W (x; p)是根据模板象素位置通过分段线性仿射后得到的对应它的输入图像的位置，分段线性仿射如图2. 1所式。并且反向组合算法将模板和输入图像的角色进行了调换，将求式(2.5)的最小值变化为求式(2.10)的最小值，继续推导，通过泰勒展开、求导来计算式(2.10)的最小值。泰勒展开后得到式(2.11)，其中W(x;0)点即为x点，T (W (x;0)即为T(x)，再对表达式(2.11)求导，令导式为零，最后得到变量如的表达式为式(2.12):其中“是Hessian矩阵: 。是对模板求梯度是在W (x;0)点即为x点的Jacobian式，这样使得的Hessian矩阵和梯度值与位置变量无关，可以提前计算，避免了在迭代中的反复运算，提高了算法的效率。利用反向组合算法进行AAM拟合计算AAM拟合计算是将AAM的模型实例拟合到输入图像上去，使得利用输入图像与模型实例差的平方和构造的能量函数最小化的过程，这是一个解决非线性最优化的问题。从2. 3节对AAM模型建立的描述中可知AAM的形状向量是通过对训练图像归一化后的形状进行PCA计算而得到的，归一化的方法采用的是经典的Procrustes分析方法，它滤除了形状网格全局的位移、旋转和大小变化，因此这样建立的AAM形状模型没有对模型形状的全局位移、旋转和大小变化进行描述，但是在进行AAM拟合计算时，AAM模型的拟合目标即当前的输入图像因为采样的角度和位置不同往往存在这样的位移、旋转和大小变化，因此需要将全局形变引入到AAM拟合计算中。 本文定义N(x;q)的为二维AAM的全局形状变化函数，如式(2.13 )，其中参数 ，前面两个参数a和b与全局形状变化的大小k和旋转有关:后面两个参数tx和ty，就是位移x和Y。在不考虑全局形变时，就默认q0。引入AAM模型的全局形变后才能真正实现对任意输入图像的AAM拟合计算，这样AAM拟合计算的目的用数学公式进行表达就是求式(2.14)的最小值。 其中几为表观参数，它控制着AAM模型的表观变化;p为AAM线性形状参数，它控制着AAM模型形状控制点的局部变化;4为全局形状变形映射参数，它控制着形状的全局变形，例如:x或Y坐标轴方向上的位移，形状的整体大小变化，旋转的变化都由q值来控制。AAM的拟合过程就是通过不断变化参赛组p， q和的值使得输入图像与AAM模型实例间的能量函数式(2.14 )最小化的过程。 将式(2.14)用二范数的形式进行表达，再将其张到A，向量子空间span ( A; )和与A、垂直向量子空间span (A;)T，这样表达式变化为式(2.15 )所示。 在与A:垂直的向量子空间span (A;)Y中，A，的变化为0;而在A，向量子空间span ( A;)中，对应任意的p和9值来说，第二项的最小值都是0值。所以，求式(2.15)的最小值就继续演变为求式(2.16 )的最小值。 由此可见AAM拟合计算需要求的表达式式(2.16)和Lucas-Kanade算法的式( 2.4 )相当类似，因此我们可以将Lucas-Kanade算法的改进算法一一反向组合算法引入来解决AAM的拟合计算问题。如反向组合算法中描述的算法推导过程一样，将式(2.16)中模板和输入图像的角色进行调换，再进行泰勒展开和求导，最后得到如和匆的表达式式(2.17 ) 其中H是Hessia阵: SDK分SDj和SDj+4两部分:其中n表示按对应特征值大小排序后取前n个形状向量的n值，m表示按对应特征值大小排序后取前m个表观向量的m值。参数更新也由式(2.9)变化为式(2.21 )因为是对己知的平均表观求