（电路与系统专业论文）基于aam的人脸标定与识别.pdf

摘 要 摘 要 主动表观模型(active appearance model, aam)是一种重要的特征提取算法。 该模型最早于 1998 年由 f. t. cootes 等人提出并被应用于人脸特征点标定。 由于其 灵活的结构和强大的功能，aam 被广泛应用于人脸图像处理领域，如人脸检测、 人脸识别、人脸跟踪以及人脸动画等。本文主要研究基于 aam 的面部特征自动标 定平台，并在该平台基础上建立了一系列模式识别应用。 首先，本文研究了一种基于 aam 的人脸跟踪与识别算法。该算法结合了 lucas-kanade (lk)算法和 aam，充分利用 aam 的建模能力和 lk 算法的快速匹 配效率，达到快速的特征点匹配，进而实现面部视频跟踪与识别。实验结果表明， 该算法可以对视频中运动的人脸进行比较精确的匹配与跟踪。 其次，从分类角度出发，研究并实现了一种 aam 特征匹配算法。该算法将 adaboost 算法与 aam 建模相结合，在利用 pdm(point distribution model)模型与 bam (boosted appearance model)模型训练弱分类器的基础上，最终建立强分类器 并用于 aam 的模型匹配。实验结果表明，该算法将 aam 特征匹配转换为分类问 题，可以快速精确地匹配人脸。 最后，在 matlab gui 环境下开发了基于 aam 的人脸视频跟踪与识别系统软 件。该软件平台分别嵌入了基于 lk 算法、adaboost 算法的两种模型匹配方法， 并集成了特征点标定、aam 建模、aam 匹配、视频跟踪和匹配信息存储等模块， 最终实现了基于 aam 人脸特征匹配及人脸视频跟踪与识别等任务。该平台为 aam 算法的进一步研究打下坚实的基础。 关键词：主动表观模型 人脸跟踪 lucas-kanade adaboost 特征匹配 abstract abstract active appearance model (aam), as an important feature extraction algorithm, was proposed by f. t. cootes et al. in 1998 and has been employed to localization of facial feature. due to its flexible structure and excellent performance, aam has been extensively applied to face image processing, such as face detection, face recognition, face tracking and face animation. the paper mainly establishes a systematic software platform, which is used to label facial feature based on aam automatically. in addition, a series of applications on pattern recognition have been embedded into the system. firstly, the paper studies a facial tracking and recognition algorithm based on aam. through combining lucas-kanade (lk) with aam, the facial tracking and recognition algorithm are implemented. it takes advantage of the fast fitting efficiency of lk and model-building ability of aam, which could label facial feature with high-speed. the experimental results illustrate that this algorithm could accurately fit and track the face in the video. secondly, an aam fitting algorithm is studied from the point of view of classification. combining adaboost and aam, this algorithm requires building up the point distribution model (pdm) and boosting appearance model (bam) for training multi-weak classifiers firstly. the optimal parameters got from the final strong classifier are applied to aam fitting. the experimental results illustrate that this algorithm converts aam fitting into the question of classification and could fit the faces accurately and efficiently. finally, the facial video tracking and recognition systematic platform based on aam is developed with matlab gui. two model fitting algorithms based on lk and adabost are embedded into the platform. a series of function modules are integrated in it, such as landmarks labeling, aam building, aam fitting, video tracking and fitting information saving, etc. then, various tasks especially for feature fitting and facial tracking and recognition based on aam could be implemented efficiently. in conclusion, this platform lays solid foundation for the further researches based on aam. keywords: aam facial tracking lucas-kanade adaboost feature fitting 西安电子科技大学 学位论文创新性声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 日期： 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。（保密的论 文在解密后遵守此规定） 本人签名： 日期： 导师签名： 日期： 第一章 绪 论 1 第一章 绪 论 在这个信息膨胀，计算机技术日新月异的信息时代，人类开始希望电脑成为 一种能够用自然语言与自己进行交流的机器，并渴望开发全新概念的人机界面和 人工智能技术，从而使人们能够不再依赖传统计算机的键盘、鼠标和显示设备等 交互设备。然而，要实现如此自然的人机交互就要求计算机能够准确快速地获取 用户的身份、状态、意图以及其相关的特征信息。由于人脸所蕴含的大量信息内 容是一个重要的信息传递窗口，计算机通过利用人脸面部特征的独一无二性来获 取对象的身份和相关信息，同时通过人脸丰富的表情变化传达对象的状态和意图， 使人与计算机之间建起一座智能化的桥梁。因此，若能准确快速地获取人脸特征 和表情变化就能为实现自然、安全、便捷的人机交互奠定有利高效的基础，而这 些都必然要研究有效的与人脸相关的图像处理技术。 而近几年，在生物鉴别、人工智能、新一代人机交互等技术的迅猛发展过程 中，与人脸相关的图像处理技术，例如人脸识别12、人脸表情分析3、人脸姿态 估计、人脸图像编码等，都引起了众多科研工作者的关注。这些技术都要以快速 有效地从图像或者视频中获取人脸的特征点信息为首要前提，也就是要实现人脸 特征点定位并且提取对应的人脸特征信息。人脸特征大致包括：眼睛、嘴巴、鼻 子和眉毛的轮廓点和角点，还有下颚、面颊等位置的特征部位。所谓人脸图像匹 配，就是检测人脸特征点的位置，跟踪特征点位置的变化。由于人脸是非刚性的， 因此人脸的大小、位置、姿态、表情的变化、年龄的变化、毛发和佩戴物、光线 的变化都会影响正确的对人脸特征的定位。该项研究涉及到图像处理、模式识别、 人工智能、计算机视觉、生理学、心理学等多个学科，研究人脸特征点定位技术 自然就成为一项非常重要又极具挑战性的课题。然而从上世纪九十年代开始，随 着人们对人脸特征点定位4研究的不断深入，各种新算法层出不穷。根据定位所依 据的基本信息的类型，现有方法可分为：基于先验规则的方法5-9、基于几何形状 信息的方法10-14、基于色彩信息的方法15-17、基于外观信息的方法18-21和基于 关联信息的方法22-24。这些算法都在不同层次、不同方面促进了人脸特征点定位 技术的发展和完善。 而在基于几何信息的方法中， 主动表观模型(active appearance model25，aam)就作为一种特征提取算法，尤其在最近几年，aam 成为基于模 型方法的主流研究方法之一。 2 基于 aam 的人脸标定与识别 1.1 研究背景与意义 aam25 (active appearance model)是广泛应用于模式识别领域的一种特征点 提取方法26。基于 aam 的人脸特征定位方法在建立人脸模型过程中，不但考虑 局部特征信息，而且综合考虑到全局形状和纹理信息，通过对人脸形状特征和纹 理特征进行统计分析，建立人脸混合模型，即为最终对应的 aam 模型。在图像的 匹配过程中，为了能够既快速又准确地进行人脸特征标定，在对被测试人脸对象 进行特征点定位时采取一种图像匹配拟合的方法，可形象概括为“匹配比较 调整再匹配再比较”的过程25。aam 是随着相关领域的发展不断成熟起来的， 关于 aam 模型的研究可分为以下三个重要阶段： 第一阶段，snake 算法。aam 思想的最初产生可追溯到 1987 年 kass 等人提 出的 snake13算法，它是一种主要用于边界检定与图像分割的方法。该方法用一条 由n个控制点组成的连续闭合曲线作为 snake 模型，再用一个能量函数作为匹配 度的评价函数。用该方法进行特征定位时，首先将模型设定在目标对象预估位置 的周围，再通过迭代使能量函数最小化，当内外能量达到平衡时即得到目标对象 的边界与特征。snake 方法提出的利用模型和能量函数进行匹配的思想是 aam 思 想的最初来源27。 第二阶段，可变模板。1989 年由 yuille11等人提出使用参数化可变模板来定 位特征。该方法同样使用了一个能量函数作为匹配度评价函数，采用一种比 snake 模型复杂的方法，准确地表征对象的形状。在定位过程中，先将特征的可变模板 移动到被测对象的附近，再逐步完成对可变模板完成尺寸、偏转角度以及位置和 形状的微调，通过设定不同的权值而最终实现能量函数的最小化。可变形模板的 提出为 aam 的产生奠定了理论基础。 第三阶段，asm 和 aam 算法。1995 年由 cootes 等人提出的主动形状模型 ( active shape model28, asm )是 aam 的直接前身，asm 算法利用参数化的采样 形状来构成对象形状模型，并利用 pca29(principal component analysis)方法建立 描述形状特征点的运动模型，再利用一组参数来控制形状特征点的位置变化，从 而获得当前对象的形状。但该算法只单纯利用了对象的形状，因此准确率不高。 1998 年，cootes 等人在 asm 算法的基础上首次提出 aam25的概念。 类似于 asm，aam 也是在对训练数据进行统计分析的基础上，首先建立人 脸模型，然后利用先验模型对图像中的目标物体进行匹配运算。与 asm 的不同之 处30是它不仅利用形状信息，而且对重要的脸部纹理信息也进行统计分析，并试 图找出形状与纹理之间的联系。纹理信息一般是对象的像素。 基于 aam 的人脸特征标定与识别有广阔的应用领域， 如新一代人机交互、人 第一章 绪 论 3 脸识别12、人脸表情分析3、人脸三维动画建模、人脸图像编码等等。 (1) 新一代人机交互。该技术通过捕捉、整合来自人脸面部图像、声音、触觉 等多通道信号来获取人的身份、状态、意图等相关信息，进而让计算机主动为用 户服务。人脸是表征人身份，传递状态和意图的重要途径，最大限度地利用计算 机视觉系统获取人脸信息，对新一代人机交互有重要意义。基于 aam 的人脸特征 标定与识别算法能快速准确地获得人脸特征点的位置，从而获取人脸特征信息。 (2) 人脸识别。该技术12是利用计算机分析人脸图像，进而从中提取有效的 识别信息，用来“辨认”人脸对象的身份。目前人脸识别的方法有很多，其中比 较直观、应用比较多的是基于特征分析的方法，这种方法中一个关键步骤就是得 到人脸面部的特征信息。 基于 aam 的人脸特征标定与识别算法能够准确定位到面 部器官的特征点位置，因此在人脸识别领域得到了广泛应用。 (3) 人脸表情分析。该技术3是对人脸的表情信息进行特征提取分析，利用人 类所具有的情感信息方面的先验知识使计算机进行联想、思考及推理，进而分析 理解人的情绪，例如：快乐、惊奇、愤怒、恐惧、厌恶、悲伤等。基于特征点的 表情提取方法要求应用特征点算法进行标定， 因此基于 aam 的人脸标定与识别平 台能为快速有效的进行人脸表情分析做重要的基础性工作。 (4) 人脸三维动画建模。该技术是通过计算机图形学手段，根据人脸面部的结 构和属性，构建与预期一致的虚拟人脸三维动画模型。它要求能准确快速获取人 脸特征信息，这就离不开人脸特征点定位技术。利用基于 aam 的人脸标定与识别 算法， 可利用 aam 建模获得形状和表观参数组， 从而使人脸具有很强的表征能力， 且有利于快速重建对应原始人脸图形的三维动画模型。 (5) 人脸图像编码。该技术是通过编码技术将人脸图形信息进行有效地压缩， 并且编制成能在信息媒介上传输的形式。 基于 aam 的人脸特征匹配标定算法能够 将人脸的纹理和形状信息利用相应维数较低的参数组来进行表征，如果将参数组 编码后传输，然后重新构建人脸图像，也能实现图像传输的目的，对于这个网络 信息膨胀但是网络资源有限的时代来说无疑有更加重大的意义。 综上所述， 基于 aam 的人脸特征标定与识别方法已经成为了当今人脸特征点 定位领域里一新兴研究算法，代表了未来发展方向的重要算法之一，因此研究基 于 aam 的人脸特征标定与识别方法具有重要意义。 1.2 aam 研究进展与现状 基于 aam 的面部特征点定位方法最早是由英国曼彻斯特大学 cootes 等人提 出来25，并在 asm28算法和可变模板11算法的基础上发展起来。aam 利用了可 变形模型中的能量函数最优化的思想， 又改进了 asm 算法中对模型建立只考虑人 4 基于 aam 的人脸标定与识别 脸形状的不足30，引入人脸表观来扩展模型的表征能力，能实现快速准确的面部 特征点定位。 在 1998 年首次提出 aam 后，cootes 本人和他的研究小组一直在从事着对该 方法的研究，他们的工作主要集中在对 aam 本身的改进，并于 1999 年提出可以 处理色彩的表观31，于 2000 年提出基于视觉的 aam32，于 2001 年提出了强制的 aam33。随着该算法的发展，众多该领域的重要研究机构也纷纷跟踪该算法的发 展，投入大量的人力和物力进行相关方面的研究，它们包括国内的北京微软亚洲 研究院、北京大学，国际上的瑞典 linkoping 大学、美国计算机学科领域名列前茅 的卡内基梅隆大学等等权威的研究机构。 在 2001 年，北京微软亚洲研究院的李子清和北京大学的侯欣文等人通过分析 和实验发现，aam 在对表现建模的时候存在有满足条件的表观信息未被建模的情 况，以至于进行 aam 匹配时找不到对应的表现信息。因此他们提出了新的表观建 模方法，即直接对语言将要出现形状和估计出姿态位置的表现进行建模，称之为 直接的表观模型(dam)34。2002 年，这两个机构的研究人员继续他们的研究，改 进了原 aam 中图像对齐思想25， 提出了基于 dam 多视角人脸对齐算法35。 它独 立使用表观和形状信息进行图像对齐，使匹配算法的收敛效果和准确性得到提高。 瑞典 linkoping 大学的 jorgen ahlberg 等人，在原 aam 的基础上进行改进， 2001 年提出利用 aam 算法来进行人脸特征点定位36，该方法采用线框模型来匹 配人脸视频中的每一帧，而且匹配的参数是根据 mpeg-4 的人脸动画参数37来变 化。 2002年他们利用aam跟踪视频序列中的人脸38。 2003年他们又提出利用aam 进行实时的头部和人脸特征提取的方法39， 该方法采用 3d 的 aam 来对人脸姿态 和特征点进行估计和跟踪。 卡耐基梅隆大学的 simon baker 等人主要是对 aam 的匹配算法进行了改进。 simon 扩展了 lucas-kanade 的图像匹配算法40提出了反向组合图像匹配算法43， 并且将其引入到 aam 匹配计算中，扩展成一种快速有效的 aam 匹配算法。基于 扩展后的 lucas-kanade算法的aam面部匹配算法使得hessian和梯度可以提前计 算，避免在迭代中重复运算，从而大大提高了拟合算法的效率。据资料，该方法 最快能达到 230 帧/秒的效果44。如此快速的定位效果，能满足实时定位的需要， 使得该领域内的研究人员为之震惊，也使得它很快得到国际学术界的认可。 综上所述，本人选择基于 aam 的人脸标定与识别作为自己的硕士研究课题。 第一章 绪 论 5 1.3 本文的研究成果及安排 1.3.1 研究成果 本文的研究成果主要分为三部分。第一，研究了基于 aam 的人脸视频跟踪与 识别算法，该算法利用 aam 建模思想对视频个别帧的图像进行人脸建模，再结合 lucas-kanade 算法进行 aam 人脸匹配计算， 进而实现对视频中运动的人脸特征进 行跟踪标定，最终生成被跟踪的人脸视频；第二，研究了一种基于 adaboost 的 aam 人脸匹配算法， 该算法将以往的 aam 梯度爬升匹配问题转化为一个对 aam 模型参数进行分类识别的过程，从另一个角度实现了 aam 人脸匹配；第三，研究 并开发了基于 aam 的人脸视频跟踪与识别软件系统平台， 该软件平台嵌入了基于 lk 算法、基于 adaboost 算法的两种模型匹配算法，并集成了特征点标定、aam 建模、aam 匹配、视频跟踪和匹配信息存储等模块，能够完成基于 aam 人脸特 征匹配及人脸视频跟踪与识别等任务。该软件于 2009 年 2 月推出 1.0 版本，并于 同年 8 月获得软件著作权。 1.3.2 论文结构安排 本文共分为六章，具体各章节安排如下： 第一章，绪论部分，介绍本课题的选题背景、研究意义，以及 aam 算法的发 展现状。同时介绍了国内外在人脸特征标定领域中所取得的研究成果，并对全文 工作进行概括。 第二章，详细介绍 aam 理论。重点分析 aam 建模过程中的图像对齐、人脸 建模、以及 aam 人脸匹配计算等问题。 第三章，研究并实现了基于 aam 的人脸视频跟踪与识别。首先，介绍 lucas-kanade 反向组合图像定位算法的原理与思想； 其次， 将其与 aam 匹配计算 相结合，对人脸匹配算法进行改进，并应用于人脸视频跟踪与识别；最后，得出 了人脸视频跟踪的实验结果。 第四章，研究并实现了基于 adaboost 的 aam 人脸匹配。首先，分析了基于 adaboost 的单分类和多分类算法；其次，将 adaboost 算法与 aam 相结合，对于 aam 人脸模型中参数建立一系列弱分类器，从而得到最终强分类器，实现 aam 人脸匹配计算；最后，得出基于 adaboost 的 aam 人脸匹配实验结果。 第五章，介绍“基于 aam 人脸视频跟踪与识别系统软件”平台，首先，分析 该平台的总体构架思想；其次，对软件中各个模块功能做详细系统的描述。 第六章，对全文进行总结，并对今后的研究工作进行展望。 第二章 主动表观模型 7 第二章 主动表观模型 2.1 引言 作为一种特征提取算法，aam 模型最早由 cootes25提出，这种模型的技术从 设计理念上可追溯到 kass 提出的 snake13算法。cootes 在之前所提出的 asm28 (active shape model)算法是 aam 的直接前身，文献30指出 aam 与 asm 的不同 之处在于它不仅利用了对象的形状信息，而且利用了对象的纹理信息。 aam 算法主要分为 aam 建模和 aam 匹配计算两部分。 aam 建模所建立的 模型是对象的主动表观模型。所谓表观模型，就是在 aam 形状模型的基础上结合 所提取人脸对象的纹理信息建立起来的人脸模型； “主动”一词则形象具体地体现 在 aam 匹配计算中。首先，采用 pca29(principal component analysis)方法来描 述形状特征点的动态变化， 形状特征点表明了人脸特征的位置； 其次， 以具体 aam 模型实例与输入图像的均方差来定义一个能量函数，利用该能量函数来评价 aam 的匹配程度，在人脸定位匹配的过程中，根据模型的线性表达式通过有效的匹配 算法变化模型参数组， 从而控制形状特征点的位置变化来生成当前新的 aam 模型 实例；再次，利用当前得到的能量函数值来更新模型的参数，如此反复迭代以实 现能量函数的最小化，从而达到模型实例与输入图像相匹配的目的，最终得到的 形状特征点位置就描述了当前人脸图像的特征点位置。aam 的匹配算法从最初的 基于梯度下降算法的匹配计算，发展到基于线性假定的 aam 匹配计算，再到现在 的基于 lucas-kanade 算法40的反向组合 aam 匹配算法43，都在匹配精度和效率 上有了很大提高。 2.2 aam 建模 aam 建模25是指建立对象的动态表观模型，而 aam 模型实例指将 aam 的 表观模型通过仿射变换映射到对应的形状实例中，从而得到描述当前对象的当前 模型。aam 建模在 aam 中起着至关重要的基础作用，本节分别从标定训练集与 形状对齐、形状建模、纹理建模和生成混合模型四部分来介绍 aam 的建模过程。 2.2.1 标定训练集与形状对齐 对于柔性物体，建立的模型首先必须可以描述物体各种形状的典型变化。因 8 基于 aam 的人脸标定与识别 此就需要利用标定训练集，通过获取图像中相应位置点的坐标信息来收集关于对 象形状变化的信息，可采用一组标定特征点，来完成这种信息的获取，使这些点 可以呈现出图像所代表对象的形状。假设标定特征点的数量为n，在训练集每幅 图像中对相应特征点的位置进行标注，在进行形状特征点标定时，每幅图像之间 相应特征点的位置以及次序必须要严格一致。本文中对于图像的标点顺序是参照 mpeg-4 中人脸定义参数(facial definition parameters37，fdp)的定义顺序来确定。 例如，对人脸下颚外轮廓的特征点标定，第一幅图像为逆时针顺序标定，则后面 的所有图像也必须按相同的顺序进行，决不能出现顺时针顺序，并且每个点在人 脸轮廓处的相应位置也要尽量保持一致，否则也会影响模型的精确性。总之，由 于这些点的位置信息最终会影响到点的变化量以至最后影响点分布模型(point distribution model45, pdm)模型的建立，因此特征点的定位应该尽可能的做到准 确。具体标定的特征点如图 2.1(b)所示。 (a) 原始图像 (b) 标定特征点 图2.1 标定训练集 对n幅图像其中每幅标定了n个特征坐标点，即对应对象形状的每一个标定 点得到了 i s个特征点坐标值。若将训练集中第i幅图像的第j个标定点的坐标记为 (,) ijij xy，则可用向量来表示训练集中第i幅图像中形状的 i s个标定点： t 1122 (,)1 iiiiiinin xyxyxyin s (2-1) 通过对特征点标定可得到一组向量集 i s，它由n个向量组成，其中1in 。这样 所有图像的形状最终由一个特征点向量组 i s来表示， 从而为 aam 建模做好基础工 作。之后将进行 aam 建模的第一步：图像的形状对齐。首先，图像对齐的算法流 程如图 2.2 所示。 第二章 主动表观模型 9 将每幅图像向平均形状（任选）对齐 生成对齐图像的平均形状 归一化处理平均形状 将所有图像向归一化后平均形状 进行再次再次对齐 是否收敛？ 图像对齐完成 是 否 图2.2 形状对齐流程图 为了能够学习到每个特征点在对应区域的变化规律，则需要将这n个图像特 征形状进行归一标准化。归一化的过程会去除形状姿态参数，包括大小、角度和 位置等参数，以此尽可能使所有图像达到一致。首先介绍如何将两个特征形状进 行对齐25。 若要得到将特征向量归一化所需要的大小、位置和角度等姿态参数，先假定 将向量 j s归一化到 i s，需要找到尺度参数s、旋转角度参数和二维位移参数 ( ,) xy t t，并利用这些参数对 j s进行变换。对于给定的两个向量 1 s， 2 s： t 11111121211 (,) nn xyxyxys (2-2) t 22121222222 (,) nn xyxyxys (2-3) 其中每个向量所包含的元素是n个标定点的( , )x y坐标值。下面求出以下三个参 数： (1) 旋转角度：； (2) 缩放因子：s； (3) 位移量的二维分量：( ,) xy t t。 这些参数是将 2 s归一标准化到 1 s的主要参数。利用式(2-4)： m( , ) ssst (2-4) 10 基于 aam 的人脸标定与识别 其中， 2 m( , )ss是对 2 s的旋转变换和尺度变换的结果，而t是对 2 s的位移，即 t , , , , , xyxyxy t t t tt tt，它是一个长度为2n的向量。于是向量 1 s和 2 s 之间的加权 距离为： 2222222 121111211121 12 ()()() xynynn dwxxwyywyy (2-5) 矩阵表示为： 2tt 2121 12 ()()dxxxxw w (2-6) 这时将式(2-4)代入后得： 2tt 2121 12 (m( , )(m( , )dss stsw wsts (2-7) 用简单的二维向量作为举例，将以上公式从具体化逐步过渡到一般化，从而推导 出更简化的两点距离 2 12 d。例如，以最简单的二维向量 22 (,) kk xy为例变换如下： 222 222 cos( )sin( ) m( , ) sin( )cos( ) xx kkk yykkk ttxxxss s ttyyyss (2-8) 令cos( ) x as，sin( ) y as，上式可被简化为： 22 22 xyx kk yxykk a-atxx aatyy (2-9) 根据上述推出一般表达式： 2121 2121 2121 2121 2222 2222 22222222 2 22 22 22 22 10 01 10 01 10 01 xyx yxy x xyx y yxy x y nn xnxnx nn ynxny a xa yt xy a xa yt yx a a xa yt xy a a xa ytyx t t xya xa yt yxa xa yt x (2-10) 其中令： 2121 2121 2222 22 22 10 01 10 01 10 01 nn nn xy yx xy xy yx a (2-11) 第二章 主动表观模型 11 t , , xyxy a a t tz (2-12) 于是，式(2-10)被简化为： 2 xaz (2-13) 而式(2-8)被进一步简化为： 2tt 11 12 ()()dazsw w azs (2-14) 现在求解变量z，从而使距离表达式 2 12 d达到最小值。实际上，这个z的值就是式 (2-15)的方程解： 1 waz =ws (2-15) 求出 t , , xyxy a a t tz的解，参数s和就可以根据式(2-17)和式(2-18)求出： sin( ) tan( ) cos( ) y x a s as (2-16) 因此： arctan() y x a a (2-17) 又因为cos( ) x as，所以可得： cos(arctan() x y x a s a a (2-18) 如果要使标定点更趋于稳定，则还要对其施加一个加权矩阵。而衡量一个点的稳 定性，是看这个点相对于其它点的位移是否达可到最小值。 加权矩阵是一个由权值组合成的对角阵，增加加权矩阵的主要目的就是保证 标定点趋于更加稳定。首先，计算出每两个标定点之间的距离和任意两个标定点 之间距离对于所有形状的变化量，于是对于某个特定的点，便得到了该点到其它 各点的距离变化量，对其求和倒数，所得结果就是这个点的加权值。把第i幅图像 中第k个标定点和第l个标定点之间的距离记为 ikl r，再将第k个标定点和第l个标 定点之间的距离变化量记为 kl r v，则第k个标定点的权值为： 1 1 kl n kr i wv (2-19) 其中，1kn，n是特征点的数量，因此加权矩阵可被表示为： 1122-1-1 diag(,) nn w w w wwww (2-20) 12 基于 aam 的人脸标定与识别 之所以要进行一系列的归一化图像对齐过程，主要目的就是要使整个过程收敛， 否则，得到的形状均值会发生不确定的平移、膨胀或者收缩。图像形状的姿态通 常由大小尺度、旋转角度和位置等一系列参数来描述，形状姿态归一化就意味着 将形状的尺度放大或者缩小使两个点之间距离成为某个常数，并且调整形状的角 度使预先定义的两点之间的连线指向某个特定方向，同时，移动形状使其位于某 个特定坐标的中心位置。当形状的变化可以控制在某个预定义的门限范围之内， 就认为整个过程收敛，下一步将进行形状建模。 2.2.2 形状建模 提取以上图像对齐的统计信息后，本节则开始进行aam的形状建模26。训练 集图像中第i个标准化过的形状用向量 i s来表示， i s为2n维向量，所以该向量也可 以被表示为2n维空间内的一个点。同理，n个标准化形状所表示的n个向量同样 可以被映射到同一个i s 维空间中，构成该空间中的n个离散点。假设这n个点在 i s 维空间里分布于一个有限的区域范围内，这样的一个区域被称为容许形状域 (allowable shape domain45, asd)。在这个域中的任何一个点所给出的形状都相似 于域中其它任意一点给出的形状。衡量一下这种相似性：在i s 维空间中，代表两 个形状的两点之间欧氏距离越小， 则这两个形状就越相似。 代表两个形状 i s和 k s两 个点间的欧氏距离 ik d定义为： ()()()() 2222 iki1k1i1k1inkninkn dx - xy - yx - xy - y (2-21) 或被表示为： 2t () () ikikik d- ssxs (2-22) 另外通常需要一个加权矩阵w ： 2222 ()()()() ik1i1k11i1k1ninknninkn dw x - xw y - yw x - xwy - y (2-23) 或表示为： 2t ()() ikikik d- ssw ss (2-24) 其中： t 1122 , iiiiiinin xyxyxys (2-25) 1122 diag(,) nn w w w ww ww (2-26) 以下则寻找这些由向量 i s中的2n个变量所定义的2n维空间内的n个点的变化量 所表现出来的主要规律。对这组变量通过pca29得到一组新的变量，这组变量均 第二章 主动表观模型 13 为相互正交，而且没有增加多余的信息，在整体上，构成一组数据空间的正交集。 第一主成分是该空间内的一个主轴。将所有观察对象映射到这个轴上时，则 形成了一个新的变量，这个变量的变化量在所有沿着第一主轴可能的方式中为最 大，即它代表了形状变化的最大值。第二主成分是该空间内的另外一个主轴，它 与第一主轴正交。当所有n个观察对象再次映射到这个主轴上时，同样生成了一 个新的变量，这个变量的变化量在所有沿着这个轴可能的选择方式中也为最大。 由于全体主成分集合与原始变量集合的维数相同， 因此两个集合都具有2n个变量。 利用以上主成分的线性组合来表述每一个标定点向量，任意两个向量之间的 差异和所有向量的均值都可以用主成分的线性组合来表示，因为这些差值向量和 均值向量实际上也全部位于主成分所张开的2n维空间中。将均值向量记为s，向 量 i s和s的差值向量记为 i ds，则有： ii dsss (2-27) 1 1 n i i n ss (2-28) 图像形状中所标定特征点的协方差矩阵记为： t 1 1 ()() n xii i n sssss (2-29) 将差值向量 i ds表示为主成分的线形组合： 112222iiii nn bbbdsppp (2-30) 此处 l p是第l个主成分轴或列向量，长度为1，即 t 1 ll p p，由于主成分之间相互 正交，因此它们都是标准正交： t 1 0 ll lm lm p p (2-31) il b为标量，是第i个形状在 l p上的加权值。将式(2-27)改写为： ii ssds (2-32) ii dspb (2-33) 其中， 122 , n pp pp， t 12 , iiiil b bbb。因此可得到： ii sspb (2-34) -1( ) ii bpss (2-35) 由于p为正交矩阵， 又是具有标准正交列向量的方阵， 因此 tt =1p ppp， 进而， 14 基于 aam 的人脸标定与识别 -1t =pp，这样可以把 i b记作： t( ) ii bpss (2-36) 总结一下，我们有n个表示形状的向量，它们的形状均值是s，那么这n个向量 中任意一个都可以被表示为形状均值与一个完整主成分加权和之和。 如果当1in 时，则选取一个权值 i b，就可以得到一个形状 i s，同时还可以 任意选取一个其它的权值 t( )b pss，这里 12 , n ss ss，那么得到的这个形 状就不在训练集范围之内。到底这个形状与训练集中形状的相似程度如何，则需 要通过测量它们之间的距离( ik d)来决定。若希望后选出的权值b所推导出的形状 可以被接受，或者说是目标对象可以容许的形状，就要对这些权值加以适当的约 束，通常我们令： minmax 12 lll bbbln (2-37) 并且 minmaxll bb ，同时 maxl b正比于训练集中沿着第l主成分投影的变化量。 之后最关键的就是要找出主成分，以下简要介绍如何求解一个拥有m行观察 对象和n列变量的观察矩阵的主成分。在我们本文中所讨论的情况中，有n个观 察对象（代表n个形状的向量）和2n个变量（每个形状的n个特征点坐标）。假 设观察矩阵是一个m行n列的矩阵，记为s。其中m代表观察对象的数目，n代表 每个观察对象的变量数量。也就是在矩阵s中，每行为一个观察对象，而每列则是 一个变量。进行pca29的一种方法就是对观察矩阵的协方差阵进行特征值分解， 若协方差阵被表示为： t 1 1 () () m ii i m sssss (2-38) 其中： 1 1 m i i m ss (2-39) s阵的单位特征向量 k p满足式(2-40)： kk spp (2-40) 其中 k 是s阵的第k个特征值，并且 1kk ， t 1 kk p p。 假设所有观察对象组成一个n维的超椭圆体空间， 那么协方差阵对应于最大特 征值的特征向量描述了这个椭圆体中一个最长的轴，所以协方差矩阵实际上是以 变量最主要的变化量的模式形成，而每个特征向量所解释的变化量和相应特征值 相等。 可以用t维的椭圆球来近似描述n维的椭圆体， 于是提取协方差矩阵的前t个 特征向量作为观察矩阵的前t个主成分。 第二章 主动表观模型 15 应注意的是，进行pca29是为了减少数据的维数，用尽可能少的变量来描述 变化量，所以现将代表形状的n个形状向量表示为形状均值s与部分加权值之和。 假设2n个主成分中的前t个所表示出的数据变化信息与原始数据表达出的所有变 化信息之比已足够高，达到预先设定的比例门限，比如95%，这样以来，则可以 说形状的2n维分布在前1t 个主成分及其后面主成分的方向上具有最小宽度。于 是aam形状模型的基本表达式就可简化为一个线性表达式： sspb (2-41) 其中： 1 1 n i i n ss (2-42) 且只考虑前t个主成分，其中： t 12 , t b bbb (2-43) 12 , t pp pp (2-44) b的取值范围为： minmaxlll bbb，1 lt ，而又因为 l b服从高斯函数分布，故一 般被写为：3 lk b。至此，aam形状建模完成。 2.2.3 纹理建模 aam的纹理( ) xa是由标定特征形状区域内对应象素组成的纹理信息， 它是对 象形状和纹理的组合，见例图2.3(c)，而获取纹理的方法则利用计算机图形学中纹 理映射的方法4651。首先，该方法对每个纹理样本通过已经标好的形状外形来提 取其纹理的有效区域，建立一个可逆映射方程式；其次，将该纹理区域映射到一 个已设定的基准形状网格，在该形状网格内进行一致的参数采样；再次，将它们 反映射到各自的纹理区域，从而获得归一化的纹理样本；最后，再对归一化后的 纹理进行pca29降维，得到所需要的纹理模型参数，以此实现纹理建模。 (a) 标定特征点 (b) delaunay 三角剖分 (c) 获取 aam 纹理模型 图2.3 aam 人脸形状、纹理获取以及纹理模型举例 16 基于 aam 的人脸标定与识别 获取人脸纹理模型的具体过程如下：首先，在完成aam形状建模后，得到对 应的aam形状特征向量 i s和平均形状s， 选择由s经过delaunay三角剖分得到的形 状网格作为进行纹理映射的基准网格，如图2.3(b)所示，将训练集中的图像根据对 应标定形状特征点位置进行delaunay三角剖分， 剖分之后的形状网格包络内的象素 值就是需要采样的纹理信息；其次，通过分段线性仿射的方法将其映射到设定的 基准网格中， 实现对纹理的归一化采样； 再次， 对归一化后的纹理信息进行pca29 降维得到平均纹理 0 a，以及按特征值大小排序后的前m个纹理特征向量 i a，纹理 的表达与aam的形状模型