（计算机应用技术专业论文）人脸特征提取方法研究.pdf

摘要 人脸特征提取是人脸图像分析技术的关键，它被广泛应用于人脸 识别、三维人脸重建、人脸图像压缩等领域。由于人脸的面部表情和 头部姿态是富于变化的，所以人们很难对特征点的形态进行准确建 模。此外，一些干扰，比如图像中的光照不均匀，脸上存在眼镜和胡 子等遮挡物，都会造成特征点消失或变形，从而增加定位的难度。与 其它人脸分析技术相类似，脸部特征定位需要最大限度地适应人脸的 各种变化。尽管前人已经对这个问题进行了深入研究，但现有的人脸 特征提取技术在应用条件方面仍然存在苛刻的限制，比如要求均匀的 光照、正面且中性表情的人脸、无遮挡物等。即便如此，技术的实时 性与准确度也都未达到实用的程度。 本文重点研究了鲁棒的人脸特征提取算法，主要研究内容如下： 1 ) 首先针对反向组合图像对齐算法及其三种扩展形式的演变过 程进行了推导，然后详细探讨了主动表观模型( a a m ) 的建模与拟 合算法，并指出了基于a a m 的人脸特征点定位算法的不足之处。 2 ) 基于a a m 的投影式反向组合算法是一种快速有效的人脸特 征点定位方法。但当图像中人脸的某部分被遮掩时，算法定位特征点 的精度会明显下降。本文提出一种采用逐层细分掩模消除干扰的正规 化反向组合算法，该算法既保留了反向组合算法快速高效的优点又提 高了算法处理遮掩的能力。其中包括两项创新：( 1 ) 提出一种更加 适合于掩模技术的正规化反向组合算法；( 2 ) 设计出一种逐层细分 掩模的方法。通过迭代判断和逐层分块细化掩模，使掩模准确地设置 在遮掩物上，最大程度减少干扰。 3 ) 针对头部姿态大角度偏转的图像，传统的二维模型a a m 定位 人脸特征点的精度会急剧下降。本文提出了基于2 d + 3 dc a n d i d e 模型 的三维人脸特征提取算法，算法能够有效地提取人脸特征点的位置和 头部姿态等三维信息。实验证明算法在速度和精度方面都有不同程度 的提高。其中包括三项创新：( 1 ) 研究a a m 与c a n d i d e 的融合技术。 借鉴a a m 建模的方法，建立2 d + 3 dc a n d i d e 模型；( 2 ) 建立约束方 程，保持二维模型和三维模型的形变一致。( 3 ) 提出新的拟合算法， 同时优化能量方程和约束方程。 关键词人脸特征提取，反向组合算法，主动表观模型，掩模，2 d + 3 d c a n d i d e a b s t r a c t h u m a nf a c i a lf e a t u r ee x t r a t i o ni st h ek e yo ff a c i a li m a g ea n a l y s i s ， w h i c hh a sb e e n w i d e l ya p p l i e d t of a c e r e c o g n i t i o n ，3 d f a c i a l r e c o n s t r u c t i o na n df a c ei m a g ec o m p r e s s i o n i t sn o te a s yt om o d e lt h e f a c i a lf e a t u r e s ，w h i c hh a v ev a r i o u sa p p e r a n c e sf o rd i f f e r e n tp o s e sa n d f a c i a l e x p r e s s i o n s a l s oi t sv e r yh a r dt ol o c a t e t h e f a c i a l f e a t u r e s ， b e c a u s et h eu n e v e nl i g h t i n g sa n do c c l u s i o n si n i m a g em a k et h e m d i s a p p e a ro rd e f o r m l i k eo t h e rf a c i a li m a g ea n a l y s i st e c h n i q u e s ，f a c i a l f e a t u r e sl o c a t i o nn e e d st o a d a p tt o t h o s ev a r i o u s c h a n g e s f a r t h e s t a l t h o u g ht h e r e a r es om a n yt h ef u r t h e rr e s e a r c ho nt h i sp r o b l e m ，t h e p r e v i o u st e c h n i q u e su s u a l l yr e q u i r e e v e n l i g h t i n g s ，f r o n t a l a n d n e u t r a l e x p r e s s i o nf a c e si ni m a g ew h i c hp r e v e n tt h e mf r o mp r a c t i c a l u s a g eo ns p e e da n dp r e c i s i o n i nt h i sd i s s e r t a t i o n ，r o b u s tf a c i a lf e a t u r ee x t r a c t i o ni ss t u d i e d ，w h i c h i sd e t a i l e da sf o l l o w s 1 ) f i r s t l y ，i n v e r s ec o m p o s i t i o n a la l g o r i t h ma n di t st h r e ei m p o r t a n t e x t e n s i o n sa r ed e d u c e d s e c o n d l y ，t h em o d e l i n ga n dt h ef i t t i n ga l g o r i t h m o fa c t i v ea p p e a r a n c em o d e l ) a r e s t u d i e d ，a n dt h ed i s a d v a n t a g e so f t h ef a c i a lf e a t u r el o c a t i o nb a s e do na a ma r ep o i n to u t 2 ) t h ep r o j e c t o u ti n v e r s ec o m p o s i t i o n a la l g o r i t h mb a s e do n a a mi sa ne f f i c i e n tm o t h o df o rf a c i a lf e a t u r e sl o c a t i o n h o w e v e r ，w h e n t h ep a r t i a lf a c ei so c c l u d e di ni m a g e ，t h ea c c u r a c ya n de f f i c i e n c yo f a l g o r i t h mb e c o m ew o r s e a ne f f i c i e n tr o b u s tn o r m a l i z a t i o ni n v e r s e c o m p o s i t i o n a la l g o r i t h mw i t hl a y e r e dm a s ks u b d i v i s i o nt oe l i m i n a t e d i s t u r b a n c ei sp r o p o s e d t h ea l g o r i t h mn o to n l yk e e p st h es u p e r i o r i t yo f t h eo r i g i n a li n v e r s ec o m p o s i t i o na l g o r i t h mb u ta l s oe n h a n c e st h ea b i l i t y o fp r o c e s s i n go c c l u s i o n i te x t e n d sp r o je c t - o u ti n v e r s ec o m p o s i t i o n a l a l g o r i t h mi nt w ow a y s ( i ) w ep r e s e n tt h er o b u s tn o r m a l i z a t i o ni n v e r s e c o m p o s i t i o n a la l g o r i t h mw h i c hi sa p p l i c a b l et om a s kt e c h n o l o g y ( i i ) l a y e r e dm a s ks u b d i v i s i o n i s d e v e l o p e d t h em a s ks c a l eb e c o m e s g r a d u a l l ys m a l lt of i xo nt h er i g h tp l a c eb ye s t i m a t i n ga n db l o c k i n gi nt h e i t e r a t i v ep r o c e s s i i i 3 ) w h e nh e a dp o s ei ni m a g er o t a t e si nal a r g es c a l e ，t h ea c c u r a c y o ff a c i a lf e a t u r e sl o c a l i z a t i o nb e c o m e sw o r s ef o rt r a d i t i o n a l2 dm o d e l a a m i nt h i st h e s i s 3 df a c i a lf e a t u r ee x t r a c t i o na l g o r i t h mb a s e do n 2 d + 3 dc a n d i d ei s p r e s e n t e d w h i c h c a n e f f i c i e n t l y e x t r a c t3 d i n f o r m a t i o na b o u tt h e p o s i t i o n o ff a c i a lf e a t u r e sa n dh e a d p o s e e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ea l g o r i t h mi sf a s t e ra n dm o r er o b u s t i n n o v a t i o n sa r ea sf o l l o w s ( i ) w eu n i f ya a ma n dc a n d i d e ，t h u s2 d + 3 d c a n d i d ei se s t a b l i s h e db a s e do na a m ( i i ) ac o n s t r a i n te q u a t i o ni s e s t a b l i s h e df o rk e e p i n gt h ed e f o r m a t i o no f3 ds h a p em o d e lc o n s i s t e n t w i t h2 ds h a p em o d e l ( i i i ) an o v e la l g o r i t h mi sp r e s e n t e dt oo p t i m i z e e n e r g ye q u a t i o na n dc o n s t r a i n te q u a t i o ns i m u l t a n e i t y k e yw o r d sf a c i a lf e a t u r ee x t r a c t i o n ，i n v e r s e c o m p o s i t i o n a l a l g o r i t h m ，a c t i v ea p p e a r a n c em o d e l ( a a m ) ，m a s k ，2 d + 3 dc a n d i d e i v 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均己在论文中作了明确的说明。 作者签名：! 蒸壁望日期：鱼生年月塑日 学位论文版权使用授权书 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文并根据国家或湖南省有关部门规定送交学位论文， 允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内 容，可以采用复印、缩印或其它手段保存学位论文。同时授权中国科 学技术信息研究所将本学位论文收录到中国学位论文全文数据库， 并通过网络向社会公众提供信息服务。 作者签名：妞导师签日期：础年上月丝日 硕士学位论文 第一章绪论 第一章绪论 1 1课题来源与研究意义 本课题是国家自然科学基金项目基于视频的人体腾空翻滚运动跟踪与分析 方法( 项目编号：6 0 6 7 3 0 9 3 ) 的主要研究内容。由于体操和跳水运动的视频往 往存在复杂的背景，这给人体特征点的定位带来了困难。目前，在复杂背景下的 人脸特征点定位技术已成为国际上研究的热点，各种新技术层出不穷。我们研究 人脸特征点定位的新算法，能够为研究人体特征点定位技术提供参考和借鉴。 本课题还是实验室重点项目人脸表情自动分析系统的子课题，人脸表 情自动分析系统集人脸检测、人脸特征点定位、表情跟踪与分析等技术于一体， 能够在相对复杂的背景中，分析人脸表情的喜怒哀乐。从图像或者视频中准确地 分析人脸表情的首要前提是快速有效地获取人脸特征点的信息，这些信息为表情 分析提供了基础数据。 新一代人机交互模式是自然、友好、智能的交互模式，它所倡导的是“以人 为本、无处不在、透明服务”的思想。计算机通过捕获来自于图像、声音、触觉、 心脑电波等多通道的信号，并整合分析数据，以获取人的身份、状态、意图等相 关信息，进而可以主动地为用户服务。在这些通道中，视觉通道是最重要的通道 之一，让计算机具有像人的视觉系统那样的能力，即对进入系统中的世界能够感 知、辨识和重建，是一个非常宏伟且具有重大意义的目标。人脸因为是表征人的 身份，传递状态和意图的重要途径，因此最大限度地利用计算机视觉系统获取人 脸的信息，对有效地实现新一代人机交互模式有着重要的意义。近年来，以人脸 面部为处理对象的研究已成为一个热门课题。 1 2研究现状 人脸特征定位1 1 1 ，即在图像或图像序列的给定区域内搜索部分或所有人脸特 征的位置、关键点或轮廓线。这三种信息都有十分广泛的应用，例如，脸部特征 的位置信息既可以在人脸检测中用于定位人脸【2 】、验证人脸检测的结果【3 】以及精 确指明人脸位置，也可在人脸识别中用于人脸对齐，或做为识别的依据之一1 4 j ； 关键点的信息可用于头部图像的压缩和重构、脸部动画等领域；轮廓线的信息则 可用于图像的分割等。面部特征定位为人脸图像的处理与分析提供了重要的几何 信息，特征定位的准确与否直接关系到后续应用的可靠性。 硕士学位论文第一章绪论 根据定位所依据的基本信息的类型又可将该类方法分为基于先验规则、基于 几何形状信息、基于色彩信息、基于外观信息、基于关联信息五种。 基于先验规则的方法是根据人脸特征的一般特点总结出一些经验规则，根据 上述规则从图中筛选出候选点或区域。先验规则类方法构造简单，仅使用一些简 单的低层图像信息。由于这类算法强烈依赖于之前设定的先验规则，因此算法的 普适性不高，对问题的条件通常也有较多限制，如要求图像中只能有单人、背景 不能过于复杂、分辨率不能过低、姿势和表情的变化不能过大等。这些都限制了 此类方法的应用。代表性方法有：镶嵌图f 5 】( m o s a i ci m a g e ) 方法，该方法将图 像划分成一组相同大小的方格，每个方格的灰度取各像素灰度的均值，根据一组 规则确定可能是人脸的区域，然后将方格的边长减半，重新构建镶嵌图，并根据 规则分别定位眼、鼻、嘴等脸部特征，最后将前两步所得到的脸部区域二值化， 并使用边缘跟踪最终确定脸部特征点的位置。f e n g 和y u e n 等又提出v p f ( v a r i a n c e p r o j e c t i o nf u n c t i o n ) 的方法1 6 1 ，它是几何投影的一种变形。范宏深等在文献【7 】 中提出的算法是利用直方图阈值将图像二值化，再根据二值化后区域的面积形状 和相对位置等几何信息确定眼睛瞳孔的位置，最后逐步定位其它人脸特征。方向 对称变化方法【8 1 和离散对称变换方法【9 】都是广义对称方法的变形，该方法充分利 用了图像中人脸面部器官的严格对称性来定位人脸特征点。 基于几何形状信息的方法是根据人脸特征的形状特点构造一个带可变参数 的几何模型，并设定一个评价函数度量被检测区域与模型的匹配度。搜索时不断 调整参数使评价函数最小化，从而使模型收敛于待定位的脸部特征。几何信息类 方法在原理上大多较为简单易懂，但使用的时候面临很多困难。这是因为，作为 一种低阶的信息，几何信息受各种因素影响较大，鲁棒性较差。因此，为了保证 提取的精度，此类方法通常都对图像质量有较高的要求，且对姿态、表情及光照 条件的变化等也都有一定的限制。此外，由于脸部特征附近的对比度较低，边界 搜索过程收敛缓慢，因而运算量一般都比较大。属于该类方法中的算法有：s n a k e s 算法【l o 】【l l 】，该方法利用一条由几个控制点组成的闭合曲线，再利用一个进行匹 配的能量函数来作为评价标准，当不断迭代最后使得能量函数最小化时就定位到 入脸特征点。参数化的可变形模板法【1 2 j 是由y u i l l e 等人提出的，它适用于人脸特 征定位。为了检测眼睛，该方法根据眼睛形状的先验知识，定义1 1 个参数的模 板，通过搜索能量参数极小化，确定参数取值。c o o t e s 等人提出的a s m ( a c t i v e s h a p em o d e l ) 0 3 】是一种基于统计模型的图像搜索方法，它通过对具有代表性的 同一类目标物体图像进行统计来进行建模，从而得到反应目标物体图像二维形状 变化规律的形状模型，以及反应特征点局部区域灰度变化规律的局部纹理模型。 在目标搜索过程中利用先验知识进行模型初始定位，然后利用局部纹理模型进行 2 硕士学位论文第一章绪论 特征点搜索，并利用形状模型对形状进行合理近似调整。 基于色彩信息的方法是使用统计方法建立起人脸特征的色彩模型，定位时遍 历候选区域，根据被测点的色彩与模型的匹配度筛选出候选的人脸特征点。色彩 信息类方法对光照条件和图像采集设备的特性较为敏感，易受环境因素的干扰， 精度难以稳定：但其优势在于系统的运行速度快，受姿态、尺寸、表情等变化的 影响小，适合于粗定位或一些对运行时间有较高要求的应用。r e i n l i e nh s u 等人 在文献 1 4 1 中对脸部特征的色彩信息作了更细致的研究，他们使用了y c b c ，色彩 模型。搜索前，他们用r e f e r e n c ew h i t e 方法对光照条件变化所造成的影响进行 补偿。 基于外观信息的方法是将人脸特征点附近一定区域内的子图象作为一个整 体，映射为高维空间中的一个点，同类人脸特征就可以用高维空间中的点集来描 述，并可以使用统计方法得到其分布模型。在定位中，通过计算待测区域与模型 的匹配度即可判定其是否包含目标人脸特征。外观信息类方法大多基于一定的统 计模型，具有良好的可扩展性，可以通过“自举”( b o o t s t r a p ) 策略来使系统的精 确性和兼容性得到提高，因而近年来一直是研究的一个热点。但是此类方法的缺 点是：运算量较大；使用的多为抽象的高维统计信息，难以与直观的物理特征相 联系；仅使用局部灰度信息难以有效定位脸部特征；在大型图像库上性能不佳。 代表性方法有：基于神经网络的算法【1 5 】，基于p c a ( p r i n c i p a lc o m p o n e n t a n a l y s i s ， 主成分分析法) 的定位方法【1 6 1 ，p c a 是模式识别领域的一类经典算法，它通过 k l 变换将表征人脸的高维向量映射到由若干个特征向量( 也称e i g e n f a c e ，特 征脸) 张成的子空间中，从而实现对人脸图像的最优解析和重构。文献【1 7 】中利 用s v m ( s u p p o r t v e c t o r m a c h i n e ，支持向量机) 方法，将眉毛眼睛作为一个定位 整体，从而减少眉毛对定位的干扰。 基于关联信息的方法是在局部信息的基础上引入人脸特征之间的相对位置 信息，以缩小候选点的范围，最终定位人脸特征点。该类方法中的典型算法有： 概率网络算法，如文献 1 8 】中使用贝叶斯概率网络来对人脸建模，再采用自底向 上的策略进行搜索定位。d l a ( d y n a m i cl i n ka r c h i t e c t u r e ，动态链接模型) 0 9 1 是一种神经网络模型，它既保留了神经元的独立性，又能够很好地表述神经元之 间的相关语义信息，因而对目标对象的局部突变有很好的适应能力。文献 2 0 1 利 用g w n ( g a b o rw a v e l e tn e t w o r k ，g a b o r d , 波网络) 来实现人脸特征点定位。他 们使用一组同源派生的g a b o r 小波函数取代r b f 神经网络的基函数，通过训练， 可以将目标图像分解为若干个小波函数的线性组合。与传统的g a b o r d 波分解不 同的是，g w n 的训练中同时对相关权值和小波函数本身的参数作优化，这使得 g w n 模型可以用很小数量的小波函数实现对目标对象的解析和重构。 3 硕士学位论文第一章绪论 1 3研究难点 虽然人类可以从一幅人脸图像中很轻松地辨别出面部特征，但对于计算机来 讲却并非一件易事。原因包括如下几点： 1 )人脸姿态是多变的【2 1 1 。图像中人脸的姿态可能是正面的、侧面的、朝上或朝 下的，不同姿态的人脸所呈现的图像有很大的差异。如图1 1 ( a ) 所示。 2 ) 脸上可能有多种附属物。比如有人戴眼镜，有人不戴；有人留胡子，有人不 留；有人留络腮胡子，有人留山羊胡子等等，这也导致人脸图像的差异性很 大。如图1 1 ( b ) 所示。 3 )可能存在遮挡。图像中脸部的一部分很可能被其它物体遮挡，比如他自己的 手或站在前面的人。如图1 1 ( c ) 所示。 4 )成像的条件也是多变吲2 2 1 。成像条件包含光照的强度、方向和颜色，相机的 镜头品质和感光性能等。如图1 1 ( d ) 所示。 5 ) 人脸表情的变化也会使五官形状发生显著变化，进而增加人脸图像的多样 性。如图1 1 ( e ) 所示。 ( d ) 图1 - 1 人脸图像差异性的示意图。图( a ) 显示了人脸姿态的多样性，图( b ) 显示了佩戴眼镜的 人脸，图( c ) 显示了人脸图像上的遮挡，图( d ) 显示了光照不均匀，图( e ) 显示了人脸表情变化 人脸面部器官有很多特点和分布规律，研究人员对人脸特征点的选择也是略 有不同，一般来说，面部特征点位于人脸五官轮廓的尖端或突出处，比如内外眼 4 硕士学位论文第一章绪论 角、嘴角和鼻尖等。通常我们用特征位置附近的图像纹理信息来描述特征点，然 而要根据这些纹理信息从视频图像中定位并跟踪人脸特征点是非常困难的，原因 在于特征点是富于变化的。比如：光照的变化会在人脸图像中造成阴影；头部姿 态和表情的变化会改变特征附近的图像形态；眼镜、胡子或手臂等遮挡物会使特 征消失或变形。与其他人脸的分析技术相类似，脸部特征提取需要最大限度地适 应人脸的各种变化，以提高算法的鲁棒性。尽管前人已经对这个问题进行了深入 研究，但现有的技术在应用条件方法都有苛刻的限制，比如要求均匀的光照条件、 正面中性人脸、无胡须和眼镜等遮挡物。即便如此，现有技术在实时性和准确性 方面也都未达到实用的程度。 1 4本文研究内容 1 鲁棒的人脸特征点定位方法研究 传统的基于a a m ( a c t i v ea p p e a r a n c em o d e l ，主动表观模型) 2 3 1 1 2 4 2 5 】的人脸 特征点定位方法只能对光照均匀的正面人脸图像进行有效定位。但在实际应用场 合中，光照条件往往是非均匀和非恒定的，头部姿态和表情也是不断变化的，有 时手臂或其它道具甚至会遮挡人脸。针对这些问题，传统的a a m 拟合算法定位 人脸特征点的精度会急剧下降。本文致力于研发一种鲁棒的人脸特征点定位技 术，以部分地克服上述变化和干扰因素。 本文在研究基于a a m 的人脸特征点定位方法的基础之上，提出了逐层细分 掩模的正规化反向组合算法，它仅需要很少的限制条件，对于人脸被部分遮掩的 图像，特征点的定位更加快速、准确。在此基础上我们实现了一个二维的人脸特 征点定位系统，如图1 2 所示。这个系统只需用一台廉价的照相机拍摄照片，就 能够从复杂多变的图像中准确地定位真人的面部特征点。 2 c a n d i d e 与a a m 融合技术研究 由于a a m 是二维模型，当头部姿态大角度转动时，定位人脸特征点的精度 会急剧下降。针对这一问题，本文引入三维人脸模型c a n d i d e 2 6 1 ，并研究c a n d i d e 和a a m 的融合方法，目的是致力于研发一种三维人脸特征的提取技术，该技术 能够提取人脸特征点的位置和头部姿态等三维信息。 本文在研究基： ：c a n d i d e 模型的人脸特征提取方法 2 7 1 1 2 8 】的基础之上，根据 a a m 建模的方法，建立2 d + 3 dc a n d i d e 模型，并提出了基于2 d + 3 dc a n d i d e 模型 的三维人脸特征提取方法。对于头部大角度偏转的图像，算法能够更加快速且准 确地提取人脸特征点的位置和头部姿态等三维信息。在此基础上我们实现了一个 三维的人脸特征提取系统，如图1 3 所示。 5 硕士学位论文第一章绪论 i r 1 8 9 e w a - t l o w i n i t i a ln _ i t e r s ：f 觋ji n i t i a lr m s e f t 瓦匿一_ 一“_ 二“二二 c u r r e n tn _ i t e r s ： 2 0 c u r r e n tr m s e f t ：01 0 8 2 8 s c a f e ：h - - - _ i , 1 xd i s p l a c e m e n t ：c 二：= = = 二二= e = = = = yd i s p l a c e m e n t ： ：c = = = = = = 二二二l t o t a if r a m ec o u n tc u r r e n tf r a m en u m b e r a v i g u a g e ： ：、x 二 i0 盘国! 溺o4 ；缪| 调整人脸网格 初始化 面瓤特征点定位 吣 转换为人脸同格 p r o p 鲥y ”釉d o w 现在开始进行人脸特征点定位，每谈定位结果 会在i m 3 9 ew i n d o w 中 r , f - , ，完成整个的定位过 程需要花费一点时阐，诸忽i | 耐心等待 图1 2 抗遮掩的人脸特征点定位系统 f d 露国 d ：新 查看帮助，诘按f 1 键 图 - 3 三维人脸特征提取系统 6 艽写；数字! 滚动 。： 一 蠹 硕士学位论文第一章绪论 1 5本文创新点 1 提出一种处理遮掩的人脸特征点定位方法 本文提出基于逐层细分掩模的正规化反向组合算法，算法在解决遮掩问题的 同时较好地保留了对拟合有用的信息。在相对复杂多变的环境中，能快速有效地 定位面部特征点。其创新点如下： 1 ) 提出了正规化反向组合算法。由于掩模函数的出现，打破了表观基向量的正 交性，如果直接应用投影式反向组合算法( p r o i e c t o u ti n v e r s ec o m p o s i t i o n a l a l g o r i t h m ) 【2 5 】，那么在每次迭代中必须重新正交化，这样导致无法预处理 h e s s i a n 矩阵，算法失去了原有的快速有效性。针对这一问题，本文提出了 更加适合于掩模技术的正规化反向组合算法，把正规化的差值图像转化为一 个与表观基向量的正交性无关的过程。该算法的时间复杂度有了明显的降 低，拟合速度接近于投影式反向组合算法。详见第四章4 3 节和4 4 1 节。 2 ) 提出了一种逐层细分掩模的方法。针对单层掩模技术会损失大量对拟合有用 的信息，本文根据表观模型与基准表观的误差值的统计分布规律，逐层细分 掩模，使掩模准确地设置在遮掩物上，最大程度减少干扰。详见第四章4 4 2 节。 2 提出一种三维人脸特征提取方法 基于2 d + 3 dc a n d i d e 模型的三维人脸特征提取方法，能够提取人脸特征点的 位置和头部姿态等三维信息。在精度改进方面，算法解决了以往方法采用从全局 到局部分开优化而造成的瓶颈，并且能够达到实时处理。其创新点如下： 1 )为c a n d i d e 建立二维形状模型和表观模型。引入与m p e g - 4 兼容的三维形状 模型c a n d i d e 3 后，应用a a m 的建模方法为其建立二维形状模型和表观模 型，它们是连接c a n d i d e 与反向组合算法的桥梁。详见第五章的5 3 节。 2 ) 建立约束方程，保证三维形状模型与二维形状模型的形变一致。由于三维形 状模型与二维形状模型的表征能力不同，通过约束二维模型的形状参数和全 局变化参数，使二维形状模型与三维形状模型在拟合运算中保持形变一致。 详见第五章的5 4 节。 3 )能量方程结合约束方程同时优化。在基于先验知识的反向组合算法的基础之一 上，应用投影式反向组合算法同时优化能量方程和约束方程，算法的拟合次 数大大减少，拟合速度加快。详见第五章的5 5 节。 7 硕士学位论文第一章绪论 1 6本文组织结构 本文的章节安排如下： 第一章为绪论，介绍本课题的来源和研究意义、研究现状、研究难点，并概 括了本文的研究内容和主要创新点。 第二章，详细分析了反向组合算法以及它的三种扩展形式的推导。 第三章，首先总结了a a m 产生的过程和研究的发展情况，然后分析了形状 和表观的建模以及投影式反向组合算法的推导，最后提出基于a a m 的人脸特征 点定位方法存在的不足。 第四章，提出了一种处理遮掩的人脸特征点定位方法。该方法能够在相对复 杂多变的环境中快速有效地定位面部特征点。 第五章，提出一种基于2 d + 3 dc a n d i d e 模型的三维人脸特征提取方法，该方 法能够提取人脸特征点的位置和头部姿态等三维信息。 第六章，在结论中对全文进行了总结，并对今后的研究工作进行了展望。 硕士学位论文 第二章反向组合图像对齐算法的分析 2 1引言 第二章反向组合图像对齐算法分析 特征匹配通常被认为是一个多维的最优化问题，其中维数取决于几何变换的 自由度。基于最优化的图像对齐方法通过不断搜索整幅图像产生全局极值，因此 该类方法的计算量很大。尽管如此，它仍被应用于许多领域，尤其是医学图像分 析。这是因为医学图像中的任何差异都可能存在有用的诊断信息，因此必须对图 像整体进行比较。另外，医学图像中的特征点通常不易提取，因而也不能采用基 于特征的图像对齐方法对其进行分析。 基于最优化的方法通常采用梯度下降的方法来求解极值。不同的梯度下降方 法之间主要存在两点区别：一是参数更新策略的不同，即是采用增量方法还是合 成方法；二是梯度下降策略的不同，即是采用高斯牛顿、牛顿、最速下降或是 l e v e n b e r g m a r q u a r d t 梯度下降策略。 最典型的基于最优化的图像对齐方法是l u c a s k a n a d e 算法【2 9 】及其改进算法 【3 0 】。在l u c a s k a n a d e 算法中，由于迭代时需要重复计算图像梯度、j a c o b i a n 式、 h e s s i a n 矩阵，因而其计算效率很低。为了克服这一不足，b a k e r 和m a t t h e w s 提 出了反向合成图像对齐算法。该算法对原始的l u c a s k a n a d e 算法进行了两方面 的改进。首先，用模板图像的增量扭曲代替输入图像扭曲参数的增量；其次，增 量扭曲的逆合成当前扭曲的方法来更新扭曲参数，而不是简单的增量方法。通过 以上改进，图像梯度、j a c o b i a n 式、h e s s i a n 矩阵均可以提前计算且只计算一次， 从而极大地提高了计算效率，因而得到了广泛的应用。随后，b a k e r 和m a t t h e w s 在文献 3 0 】中对不同的参数更新准则，梯度下降策略以及匹配函数对反向合成算 法的影响进行了研究。在文献 3 1 3 4 1 q a ，他们给出了反向合成算法在不同情况下 的扩展算法及其应用，如加权范数形式的反向合成算法、基于健壮误差函数的反 向合成算法、基于先验知识的反向合成算法和三维情况下的反向合成算法。文献 【3 5 1 对反向合成算法的扩展形式进行了总结和改进。 2 2 l u c a s k a n a d e 图像对齐算法一 令w ( x ；p ) 表示定义在模板图像丁( x ) 与输入图像i ( x ) 上的扭曲变换，其中 x = ( x ，少) t 表示图像中任意像素点的坐标，p = ( a ，p 2 ，成) t 表示扭曲参数。 w ( x ；p ) 本质上反映了丁( x ) 与，( x ) 间的映射关系，即对于丁( x ) 中的像素点x ，在 9 硕士学位论文 第二章反向组合图像对齐算法的分析 i ( x ) 中与之对应的像素点为w ( x ；p ) 。根据不同的实际情况，可以定义不同的 w ( x ；p ) 。本文给出两种常用的w ( x ；p ) 。 1 ) 平移变换 v y c x ；p ，= ( 1 二? 三x ：。+ p 2 p 。y ，y ：；：) = ( 1 ：了1 。- + p p 2 ，p p 4 3 享 公式c 2 - ， 其中p = ( p i ，p 2 ，p 3 ，p 4 ) t 。 2 ) 仿射变换 w 伍萨( o 嚣x ： 其中p = ( a ，p 2 ，p 3 ，p 4 ，p 5 ，p 6 ) t 。 l u c a s k a n a d e 算法是原始的一种图像对齐算法。l u c a s k a n a d e 算法的目的是 为了实现将模板图像对齐到输入图像中去，使得模板图像t ( x ) 与输入图像，( x ) 的误差最小。 【，( w ( x ；p ) ) 一丁( x ) 】2 公式( 2 3 ) 其中，( w ( x ；p ) ) 表示将i ( x ) 通过w ( x ；p ) 扭曲至模板坐标框架下所得到的图像， 其像素值通常由双线性插值得到。公式( 2 3 ) 的最小化是一个非线性最优化的问 题。这是因为即使w ( x ；p ) 是关于p 的线性函数，像素值，( x ) 对于x 来说通常是 非线性的( 本质上与x 无关) 。为了使公式( 2 - 3 ) 最小化，l u c a s k a n a d e 算法假定参 数p 的初始值己知，迭代计算参数p 的增量p ，采用如下的更新策略， 使 p 卜p + a p 【，( w ( x ；p + p ) ) 一丁( x ) 】2 公式( 2 4 ) 公式( 2 5 ) 最小化。这样不断地迭代，直到使得参数p 收敛。判断p 收敛的方法通常是看p 的绝对值是否小于一个事先确定的阈值。应用g u a s s - n e w t o n 算法，对公式( 2 5 ) 中的i ( w ( x ；p + a p ) ) 应用一阶t a y l o r 展开得， 水w 伍蝴+ w 等a p - r ( x ) 1 2 xl o l ，l l o 公式( 2 6 ) 2 q 式公 ， x y l 厂n卅弋 a 仇 见叩 p ： + p ，n 、 l | 、_、a 风 + + yy ) 弦协 o 堡主堂垡笙奎 笙三童互堕咝墅型翌堡型叠塑望堂 其中w ：陲刳表示输入图像在w ( x p ) 处的梯度，等表示扭曲杰换在p 处 的j a c o b i a n 矩阵。若w ( x ；p ) = ( w l ( x ；p ) ，w y ( x ；p ) ) r ，则： a w l 印1 f ，a 吸 a p2 1 l 鲁l 些二 a 呢 印2 a 印2 对公式( 2 6 ) 中的a p 求偏导致得， 2 枣瓢州伍妫+ w 挚川x ， 令公式( 2 8 ) 等于零，可得公式( 2 6 ) 的完备解为： p n 一1 ；卜，剖i f f 胁删( x ；p ) ) 】 il j 其中h 是刀甩维h e s s i a n 矩阵： h = 莓 v l ，甜 v ，期- ii rj l 公式( 2 7 ) 公式( 2 - 8 ) 公式( 2 9 ) 公式( 2 1 0 ) 由于v j 和o w 都与p 有关，因此每次迭代的时候都要重新计算h ，故 加- l u c 嬲k a i l a d e 算法r 的效率很低。l u c a s k a n a d e 算法只要求w ( x ；p ) 对扭曲参数p 可微。通常w ( x ；p ) 对x 也是可微的，但是该条件并不严格要求。 2 3前向组合图像对齐算法 定义 w ( x ；p 1 ) 。w ( x ；p 2 ) - - w ( w ( x ；p 2 ) ；p 1 ) 公式( 2 - 1 1 ) 为w ( x ；p ) 两个扭曲参数p 1 和p ：的组合运算。例如，若w ( x ；p ) 为公式( 2 - 2 ) 所示 的仿射变换，则 一一一+ 一，一- r 一。一 ” w ( x ；p l ow ( x ；p 2 ) = (o+p?!乏擘嚣二+：j：3：(12二z2+l嗽钙矗。)：p15p p yp l 。) i1 2 ( ( 1 + p 2 i ) x + 2 3 y 十p 2 ，) +q + p 1 4 弘憎砼x + u + p 2 弘+ p 2 6 ，+6 公式( 2 1 2 ) 硕士学位论文 第二章反向组合图像对齐算法的分析 w ( x ；p 1 ) 。w ( x ；p 2 ) 的扭曲参数p 为 p l l + p 2 1 + p l l p 2 l + p 1 3 p 2 2 p 1 2 + p 2 2 + p 1 2 p 2 1 + p 1 4 p 2 2 p | 3 + p 2 3 + p l | p 2 3 + p 1 3 p 2 4 p 1 4 + p 2 4 + p 1 2 p 2 3 + p 1 4 p 2 4 p 1 5 + p 2 5 + p l i p 2 5 + p 1 3 p 2 6 p 1 6 + p 2 6 + p 1 2 p 2 5 + p 1 4 p 2 6 为了克服l u c a s k a n a d e 算法的不足，考虑使用 的更新策略，使 w ( x ；p ) 卜w ( x ；p ) ow ( x ；a p ) 【，( w ( w ( x ；p ) ；p ) ) 一丁( x ) 】2 公式( 2 13 ) 公式( 2 一1 4 ) 公式( 2 15 ) 最小化。 通过比较公式( 2 - 4 ) 和公式( 2 - 1 4 ) 可以看出，前向组合算法采用增量扭曲变换 w ( x ；a p ) 与当前扭曲变换的组合方式更新p ，而不是简单的增量形式。对公式 ( 2 15 ) 应用一阶t a y l o r 展开得 出w c w 畎蝴删c w 伍蝴a p - t ( x ) 2 螂旧 假定w ( x ；o ) 为单位扭曲，即w ( x ；o ) = x ，则公式( 2 1 6 ) 变为 军卜伍醐删c w 伍蝴a 卸wa 一 2 公龆m ， 公式( 2 - 1 7 ) 与公式( 2 - 6 ) 有两点不同。首先，公式( 2 6 ) 中计算的是，( x ) 在w ( x ；p ) 处 的梯度，公式( 2 1 7 ) 中计算的是j ( w ( x ；p ) ) 在x 处的梯度；其次，公式( 2 6 ) 中的 j a c o b i a n 矩阵掣是在( x ；p ) 处计算的，而公式( 2 1 7 ) 0 0 的婴是在( x ；o ) 处计算的， a p印 因而是一个常量，可以提前计算。尽管前向组合算法不需要在迭代过程中重新计 算芸，但其参数更新的计算量l l , l u c a s k a n a d e 算法大，因而其计算效率与 印 l u c a s k a n a d e 算法近似。 前向组合算法对扭曲集有两个要求：( 1 ) 扭曲集必须包含单位扭曲；( 2 ) 扭曲 集在