（电路与系统专业论文）人脸特征定位方法研究[电路与系统专业优秀论文].pdf

西北工业大学硕士学位论文 摘要 摘要 人脸特征定位是人脸识别系统、人脸动画重建、人脸跟踪等领域的关键问 题之一，而人脸特征定位的主要技术中几何形状信息类方法具有较高的准确率 和较大的鲁棒性，因此，论文主要针对几何形状信息类方法中的三种算法：活 动轮廓线模型( s n a k e ) 、活动形状模型( a s m ) 和活动表观模型( a a m ) 在人脸特征定 位中的应用展开研究。 针对人脸的形状特点，论文对经典s n a k e 模型进行了改进，在模型的能量函 数中加入形状能量项，以限制s n a k e 线在迭代过程中出现的非法形状。用改进的 s n a k e 模型进行提取人脸外轮廓的实验，效果较经典方法有显著提高。 在深入研究活动形状模型和活动表观模型技术及其在人脸特征定位应用中 的具体实现方法的基础上，根据人脸器官分布规律，探索模型的初始化问题和 图像搜索匹配过程中出现的非法形状问题的解决方法。首先利用已经得到的瞳 孔位置计算模型的初始化参数，使初始模型位于较理想的位置；然后在a s m 搜 索中加入局部形状约束，在a a m 搜索过程中对形状参数加以限制和修正，有效 解决了a s m a a m 图像搜索匹配过程中出现的非法形状问题。实验表明，论文 提出的改进策略提高了活动形状模型和活动表观模型在人脸面部特征定位中的 精度。 a s m 模型和a a m 模型的建立都需要进行样本图像的特征点标定工作，图 像中特征点标定的精确与否直接关系到所建模型的有效性。为提高大量训练图 像人脸特征点标定的准确度以及标定工作的效率，论文设计了一个半自动的特 征点标定系统。 关键词：人脸特征定位，活动轮廓线模型，活动形状模型，活动表观模型， 西北工业大学硕士学位论文外文摘要 a b s t r a c t f a c i a lf e a t u r e sl o c a l i z a t i o ni so n eo ft h ek e yf a c t o r si nt h ef i e l do ff a c i a l r e c o g n i t i o ns y s t e m , f a c i a lc a r t o o nr e c r e a t i o na n df a c i a lw , , c i n ge t e a m o n gm a i n t e c h n i q u e so fh u m a nf a c i a l f e a t u r e sl o c a l i z a t i o n , t h eg e o m e t r ys h a p ei n f o r m a t i o n m e t h o dh a st h eh i g ha c c u r a c yr a t ea n dt h eb i gr o b u s t n e s s t h i sp a p e rs t u d i e st h r e eg e o m e t r yi n f o r m a t i o nb a s e da l g o r i t h m s - a c t i v ec o n t o u r m o d e l ( s n a k e ) ，a c t i v es h a p em o d e l ( a s m ) a n da c t i v ea p p a r e n tm o d e l ( a a l 旧，a n d t h e i ra p p l i c a t i o ni nh u m a nf a c i a lf e a t u r e sl o c a l i z a t i o n c o n s i d e rc h a r a c t e 侣o ft h eh u m a nf a c i a ls h a p e ，t h ec l a s s i c a ls n a k em o d e li s m o d i f i e db ya d d i n gt h es h a p ee n e r g yi t e mi ni t se n e r g yf u n c t i o ni no r d e rt ol i m i tt h e i l l e g a ls h a p ew h i c ha p p e a r si n t t h ei t e r a t i v ep r o c e s s e x p e r i m e n t so fh u m a nf a c i m c o n t o u re x t r a c t i n gi n d i c a t et h a tt h ei m p r o v e dm o d e lp e r f o r m sb e t t e r a f t e rs t u d y i n gt h e o r i e so f t h ea c t i v es h a p em o d e la n dt h ea c t i v ea p p e a r a n c e m o d e l ，a n dt h e i ra p p l i c a t i o ni nf a c i a lf e a t u r e sl o c a l i z a t i o n , s o l u t i o n st ot h em o d e l i n i t i a l i z a t i o na n dt h ei l l e g a ls h a p ep r o b l e ma r ee x p l o r e d f i r s t l y , e y e sl o c a t i o ni su s e d t oi m p r o v et h ep r e c i s eo ft h em o d e li n i t i a l i z a t i o n 1 1 l e i lt h el o c a ls h a p ee o n s t r m n ti s u s e di nt h es e n r c m n gp r o c e s sf o ra s m , a n dt h es h a p ep a r a m e t e r sf o ra a m s s e a r c h i n gp r o c e s si sr e s t r i c t e da n dm o d i f i e d ，w h i c he f f i c i e n t l ys o l v e st h ep r o b l e mo f i l l e g a ls h a p e e x p e r i m e n t si n d i c a t et h a tt h er e v i s e ds t r a t e g yi m p r o v e sp r e c i s i o no f f a c i a lf e a t u r e sl o c a l i z a t i o n b o t ha s ma n da a mm o d e ln e e dt ol a b e lt h ef e a t u r ep o i n t so fm a n ys a m p l e i m a g e s ，a n dt h el a b e l i n ga c c u r a c yd i r e c t l ya f f e c t st h ee f f e c t i v e n e s so ft h em o d e l s i n o r d e rt oi n c r e a s et h ea c c u r a c ya n de f f e c t i v e n e s so ff a c i a lf e a t u r ep o i n tl a b e l i n gi n t r a i n i n gi m a g e s ，t h ep a p e rd e s i g n sa s e m i - a u t o m a t i cf e a t u r ep o i n t sl a b e l i n gs y s t e n l k e yw o r d s ：f a c i a lf e a t u r e sl o c a l i z a t i o n , a c t i v ec o n t o u rm o d e l s , a c t i v es h a p em o d e l ， i i l 西北工业大学 学位论文知识产权声明书 本人完全了解学校有关保护知识产权的规定，即：研究生在校攻读学位期间论文工作 的知识产权单位属于西北工业大学。学校有权保留并向国家有关部门或机构送交论文的复 印件和电子版。本人允许论文被查阅和借阅。学校可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可以采片j 影印、缩印或扫描等复制手段保存和汇编本学位论文。 同时本人保证，毕业后结合学位论文研究课胚再撰写的文章一律注明作者单位为西北工业 大学。 保密论文待解密后适用本声明。 学位论文作者签名：盥 c ) 7 年弓月黟日 f 指导教师签名： 0 7 年弓 玛，臻k 月，d 日 西北工业大学 学位论文原创性声明 秉承学校严谨的学风和优良的科学道德，本人郑重声明：所里交的学位论文，是本 人在导师的指导下进行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容 和致谢的地方外，本论文不包含任何其他个人或集体已经公开发表或撰写过的研究成 果，不包含本人或其他己申请学位或其他用途使用过的成果。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式表明。 本人学位论文与资料若有不实，愿意承担一切相关的法律责任。 学位论文作者签名：蔓二i l 竖 0 7 年雩月汐日 西北工业大学硕士学位论文第一章绪论 第一章绪论 1 1 人脸特征定位的研究背景及意义 人脸图像的处理与分析如人脸识别、人脸动画、人脸表情识别、人脸跟踪等 研究工作是近年的研究热点之一而人脸特征定位是其中的一个关键技术。 人脸特征定位是通过计算机在人脸图像中自动定位出人脸各个器官包括眼 睛、鼻子、嘴巴、下巴、耳朵以及人脸外轮廓等特征点的位置。由于人脸的局部 特征( 眼睛、鼻子、嘴巴、下巴、耳朵以及人脸外轮廓等) 是一个人区别于其他人 的重要特征，因此，人脸特征定位为人脸图像的处理与分析提供了重要的几何信 息，其准确性直接影响人脸识别、人脸动画重建、人脸跟踪等应用系统的性能。 人脸特征定位的意义主要体现在如下几个方面： 1 ) 为人脸识别提供几何特征等基础信息。 2 ) 利用人脸面部特征定位的结果进行人脸姿态表情分析。 3 ) 实现人脸图像的自动跟踪或为人脸自动跟踪提供初始位置。 4 ) 人脸图像编码。 5 ) 进行人脸合成及人脸动画研究。 虽然人类可以从一幅人脸图像中很轻松地分辨出人脸的局部特征的准确位 置，但对于计算机来讲却并非一件易事。人脸特征定位的困难主要体现在： 1 ) 人脸姿态的不确定性：主要体现在人脸深度与平度上的旋转角度不同。 2 ) 人脸光照条件的不确定性：主要体现在光照的来源方向、光照强度的不 同。 3 ) 人脸表情的多样性：主要体现在表情不同时影响到眼睛和嘴巴的开闭状 态和幅度也不同。 4 ) 人脸饰物的影响：如胡须、发型、眼镜、化妆等。 1 2 人脸特征点的定义及分类 1 2 1 人脸器官分布规律 人脸器官的分布关系是一种复杂的比例关系，是人脸上众多器官分布位置 之间的比例关系的综合，最典型的规律就是“三庭五眼”规则【1 1 。 人体头部各部分的比例通常称为“三庭五眼”。在人脸正面像上，人脸轮 廓呈近似椭圆，双眼在椭圆水平轴上；眉心、鼻尖和下巴尖在竖直轴上。在竖直 西北工业大学硕士学位论文第一章绪论 方向上，发际到眉弓、眉弓到鼻尖、鼻尖到下巴尖点的距离都相等，称作“三庭”； 在水平方向上，两眼之间、两眼外角分别到双耳的距离都相等，均为一眼宽，这 样，加上两个眼睛自身的宽度，称为“五眼”。 此外，眉弓的宽度为四个眼睛的宽度；眉弓至下颏底1 2 处为鼻尖，鼻底长 度为脸部块面长度的一半( 从鼻根到下颏处) ；鼻中隔与人中相连；耳底与鼻底齐 平，眉毛的最高点可以用来确定耳的高度；口部周围组织的长度为鼻底到下颏处 的2 3 ；口宽等于两瞳孔之间的距离，等于下颏的最大宽度；齿槽弓的宽度为两 个瞳孔之间的距离；整个耳部位于眉上部和鼻底引出的两条水平线之间。“三庭 五眼”规则见图1 1 t 1 1 。 1 2 2 人脸特征点的定义 图1 - 1 三庭五眼示意 不同的研究领域和方法使用人脸特征点数目不同，法医人类学和解剖学中 根据人脸的器官和特征点与器官之间的位置来为特征点命名，见图1 2 所示f 1 1 ： 西北工业大学硕士学位论文 第一章绪论 1 眉间点2 眉心点3 发际点4 内眼点5 外眼点6 鼻根点7 鼻翼点8 鼻下点9 嘴角点1 0 颏下 点1 1 颌下点1 2 颧弓点1 3 下颌角点1 4 颅顶点1 5 侧头点1 6 耳屏中点1 7 后头点a 后头点b 发际点c 眉心点d 颌下点e 颌角点 图卜2 人脸面貌特征点解剖示意图 m p e g - 4 ( 亘际标准组织( i s o ) 运动图像专家组m o v i n gp i c t u r ee x p e r t sg r o u p ， 缩写为m p e g ) 是新一代多媒体数据压缩标准，它定义的人脸特征点如图1 3 所 示 2 1 。 图卜3m p e g - 4 标准中定义的人脸特征点 3 西北工业大学硕士学位论文第一章绪论 m p e g - 4 中人脸特征点定义了人脸模型上关键顶点的位置，这样，通过有限 的标定点信息，将通用的人脸模型变形得到特定人的人脸模型。 1 2 - 3 人脸特征点的分类 对于m p e g 4 中人脸特征点的分类如下团： 1 ) 四个基准点：左、右内眼角点( 点3 1 l 和点3 1 2 ) 和嘴巴外轮廓上左右两 个角点( 点8 3 和点8 4 ) 。这是因为这四个点在人脸图像中不随表情变化 而变动，并且对光照不敏感，是人脸图像中最重要的四个关键点。 2 ) 易检测到的稳定特征点：左、右外眼角点( 点3 7 和点3 8 ) ，嘴巴内外轮 廓上的特征点( 点2 2 点2 9 和点8 1 、点8 2 、点8 5 点8 1 0 ) ；当人 脸有表情变化时，鼻子部位的特征相对来说是很稳定的，因此鼻子部位 轮廓上的特征点( 点9 1 ，点9 2 ，点9 4 ，点9 5 ，点9 6 ，点9 7 ，点9 1 3 ， 点9 1 4 和点9 1 5 ) 是相对稳定点。另外，当人脸表情变化不是太大时， 眉毛上的特征点( 点4 1 ，点4 2 ，点4 3 ，点4 4 ，点4 5 和点4 6 ) 也是相 对稳定点。这些特征点具有平移、旋转和尺度上的不变性，容易被检测 到。 3 ) 利用对称关系可以检测的点：m p e g 4 标准中所定义的中性脸模型是左 右对称的，对称关系如图1 4 1 2 1 所示。其中发际线上的点1 1 5 与下颌轮 廓线上的中心点2 1 之间的连线是中性脸模型的对称轴，在这条对称轴 上的点还包括：发际线上的点11 4 和点1 1 1 ，鼻梁骨上的点9 1 2 和鼻 尖上的点9 3 ，嘴巴内外轮廓线上的点2 2 、点2 3 、点8 1 和点8 2 ，以 及下巴上的点2 1 0 。其余的特征点都对称分布在该对称轴的左右两边。 由( 1 ) 检测到的稳定特征点结合这些对称关系就可以找出一些人脸的度 量参数，如人脸的对称轴、瞳孔中心间的连线轴、两嘴角间的连线轴、 眼鼻间距等，利用这些度量参数可以检测到下巴上的点2 1 0 、鼻梁上的 点9 1 2 、鼻尖上的点9 3 、脸颊上的点5 1 点5 4 以及下颌轮廓线上的 点2 1 l 点2 1 4 。 4 ) 难以检测的特征点：当人脸是直视正前方时，左右瞳孔的中心点( 点3 5 和点3 6 ) 可以根据对称关系检测得到，但当人脸有表情变化或者姿势旋 转时，这两个点一般是难以准确检测到的；如果有头发的遮掩，发际线 上的点1 1 1 点1 1 4 就很难检测到；耳朵外轮廓的特征点( 点1 0 1 点 1 0 6 ) 一般是检测不到的；点11 6 对于正脸来说是检测不到的。 4 西北工业大学硕士学位论文第一章绪论 厂、 ， 图2 1 s o b e l 模板( a ) 是水平方向的梯度模板罢，( b ) 是垂直方向的梯度模板篓 掰卯 梯度采用l 吲：f 要i + i 到。为了减少运算量，在所有迭代开始时计算图像中各点 i 四il 掣l 的梯度值，即先用( a ) 模板作用在原图像上，得到图像a ，再用( b ) 模板作用在原 图像上，得到图像b ，梯度值为图像a 和b 相应点灰度幅值和。以得到的梯度值表 为依据，在迭代过程中依次查询各控制点的梯度值，进而减少计算梯度值的运算 量。图像能量的归一化处理采用公式( 2 一1 0 ) 。 2 3 3 动态地调整控制点之间的距离 s n a k e 模型在形变过程中，不是保持控制点数目不变，而是应自适应地改变 控制点数目。模型控制点按照它们之间连线的长度进行添加或删除。如果两个控 制点之间的连线长度超过了某一个合适的阈值，那们在它们之间就添加一个控制 点，把这条长连线分成两条短连线；反之，如果连线长度小于该阈值，那么就删 除一个控制点，把相邻的两条短连线合并成为一条长连线。 为了实现这个功能，使控制点能够更好的描述目标的形状，论文使用了一个 可以动态增加及删除控制点的功能模块。如果控制点问的距离与平均距离之差过 大或过小，则增加或删除一个控制点【捌。具体实现过程如下： 1 ) 计算控制点间的平均距离： 孑= 去喜h v 一。 2 ) 依次计算平均距离与相邻两控制点间距离的差值： = 孑一i v ，一l 1 9 ( 2 1 2 ) ( 2 一1 3 ) 西北工业大学硕士学位论文第二章基于活动轮廓线模型的人脸特征定位研究 3 ) 如果 c ，则该两点的间距过小，可以合并，即删除控制点v ，同时将 控制点h + ，u 。依次向前移动，则总控制点个数减少一个。 4 ) 如果a n p ) ，然后在2 ( 珥- - n ，) + 1 个可能位置进行考 察，与局部灰度模型的马氏距离最小的那个位置被认为是最适合的位置，如图 3 5 t ”】所示： 3 1 西北工业大学硕士学位论文第三章活动形状模型的理论与方法 s m n p l a dp r o f i l e 1 隧f m o d e l 匝匝匝血 c o s to f f i t 图3 5 沿特征点法线方向搜索局部灰度模型的最佳匹配 对于当前形状计算最佳形状过程如下： 对目标图像中每个待定位的特征点，以其当前位置为中心，在法线方向上选 取长度为2 甩，+ 1 的搜索区间，对该区间上的每个像素点，计算其维数为2 厅。的归 一化梯度向量，假设一( d ) ( 1 j ) 是第个特征点的搜索区间中第d 个像素的 归一化梯度向量，其与该点局部灰度模型的马氏距离为： 够) = 伤一璃，鸭回一) ( 3 - 1 9 最小f ( d ，) 对应的像素点就是当前该特征点的最佳位置。对所有特征点进行 上述操作就可得到一个新的形状向量，进一步得到形状所做的改变，记为d x , 3 1 3 3 计算形状和姿势参数 为了改变磁其与h 戤最接近，通过3 1 1 1 节介绍的将两个形状对齐的方法 来将榭齐于朗，d x , 可以得到姿势参数的改变量：d s 、d o 和讲，新的姿势参数 为：s a + d s ) 、口+ d 8 、，+ 毋。 已经调整了姿势参数，为了使公式( 3 - 1 7 ) 中的形状孑+ p b 匹配于新形状 x + d w ，利用公式( 3 - 1 9 ) 计算位置调整参数出： m ( s ( 1 + a s ) ，口+ d 曰) 【i + p b + 西嵋+ ( f + d t ) = x + d x( 3 - 1 9 ) 出表示如下： 西北工业大学硕士学位论文 第三章活动形状模型的理论与方法 d r = m “1 + 凼) ) ，_ ( 口+ d 口) ) 【纠一瞬+ 乃】( 3 - 2 0 ) y = m ( s ，曰) 【i + p b + d x 一( f4 - 毋) 求出出以后，希望可以找到一个面使下式成立： 趸+ p b + d r i + p ( b + d b ) 于是形状参数b 的改变量咖为： d 西：p 7 斑 f 3 2 1 ) ( 3 2 2 ) 为了使形状的改变在适当的范围内，必须用公式( 3 1 2 ) 对参数b 加以限制。 3 1 3 4 参数更新 在计算出形状和姿态参数的变化后，让； s 专s o + d s ) 0 - - h 口+ d o ( 3 - 2 3 ) t - - ) t + d t b _ b + d b 并由公式( 3 - 2 4 ) 计算出新的形状。重复以上的过程直到形状的变化不大，可认 为此时的形状即新的图像形状。如图3 6 0 1 1 所示，表示a s m 的搜索过程。 x = 孑+ p b x = m ( s ，回【明+ f ( a ) 初始形状( b ) 二次迭代( c ) 六次迭代( d ) 十八次迭代 图3 - 6a s m 的搜索匹配过程 f 3 2 4 ) 西北工业大学硕士学位论文第三章活动形状模型的理论与方法 算法收敛的条件可自行规定，如迭代前后形状向量间的距离小于某一给定阈 值，由此可见a s m 并没有收敛准则。 3 2a s m 模型的改进 传统a s m 方法存在一定的局限性。一是特征点局部纹理模型是用提取特征点 法线方向的灰度信息的方法建立的，这样的纹理模型对初值敏感，不能有效区分 模糊边缘，抗干扰能力也较差。二是传统a s m 建立的模型是以图像与模型之间 的残差服从高斯分布这一假设为前题条件。三是传统a s m 模型对形状的控制能 力不足。四是当输入数据的变化呈现非线性特点时，用传统a s m 方法不能建立 有效的模型。 为了提高a s m 模型的性能，许多学者提出了改进方法，这些方法分为基于模 型的改进、基于图像搜索匹配的改进( 优化形状参数) 及模型和图像搜索匹配综 合改进三个方面。 3 2 1 模型的改进 包括形状模型和局部灰度模型的改进。 3 2 1 1 形状模型的改进 形状模型的改进方法主要分为当训练集中样本数不足、训练集中有错误样 本、训练集样本形状存在非线性变化三个方面。 对于训练集中样本数不足的问题，t f c o o t e s 等人1 9 9 4 年将有限元分析瞰j 的 思想引入a s m 模型。基于有限元分析的a s m 模型当训练集中样本个数少于1 6 时， 先用有限元方法对每个样本的形状产生一套平滑形变的形状，然后由所有样本及 它们的形变形状组成新的样本集，对这个新的样本集建立形状模型。 对于训练集中有错误样本的情况，m i k er o g e r s 和j i mo r a h a m 于2 0 0 2 年将稳健 分析应用于a s m 模型中1 3 6 1 。m i k er o g e r s 等采用了两种稳健参数估计技术： m e s t i m a t o r s 和r a n d o ms a m p l i n g ，r a n d o ms a m p l i n g 算法就是为了剔除错误样本而 采取的措施。r a n d o ms a m p l i n g d 0 采取了两种算法：r a n s a c ( r a n d o ms a m p l e c o i l i l s u s ) 和l m e d s ( l e a s tm e d i a no fs q u a r e s ) ，l m e d s 是假设错误数据不超 过一半，而r a n s a c 可以在错误数据超过一半的情况下，仍有机会找出正确结果， r a n s a c 和l m e d s 是两个非常近似的估计器，主要的不同之处在于r a n s a c 需 要设定形成一致( c o n s e n s u s ) 的门槛值( t h r e s h o l d ) 。总之。将稳健估计引入a s m 模型中，剔除了异常数据对结果的影响，提高了a s m 搜索的鲁棒性和精确性。 为了处理形状的非线性变化，t f c o o t e s 等人1 9 9 7 年提出了混合高斯模型 西北工业大学硕士学位论文第三章活动形状模型的理论与方法 a s m 算法1 3 7 1 。1 9 9 9 年，s r o m d h a n i 等人提出用k e r n e lp c a 方法建立基于多视角 非线性的a s m 模型【3 射。k e r n e lp c a - a s m 算法的本质是利用k e r n e lp c a 分析方法 改进a s m 中的形状模型和局部灰度模型，使这两种模型中都加入姿态信息，能 够处理大的姿态变化。 3 2 1 2 局部灰度模型的改进 为了建立更有效地局部纹理模型，许多学者对局部灰度模型加以改进，这些 改进方法有基于非线性变化的局部灰度模型建立、基于小波变换的局部灰度模型 建立及基于分类器的局部灰度模型建立。 基于非线性变化的局部灰度模型的改进有k e r n e lp c a - a s v l t 3 ”，该算法在局 部灰度模型中加入姿态信息，使局部灰度模型能够处理由多视角引起的非线性灰 度变化。 基于小波变换建立局部纹理模型的改进a s m 算法有w a s mi g a b o ra s m p 9 1 和h a a r - w a v e l e ta s m 4 0 l 。小波变换有数学显微镜之称，能够提取信号的局部特 征，利用小波变换的这个优点，f e n gj i a o 等提出了w - a s m 算法o a b o r a s m p 研； f e iz u o 等提出h a a r - w a v e l e ta s m 4 0 l 算法。 g a b o r 变换有着良好的仿生特性，g a b o r d , 波的幅度和相位包含了丰富的局部 图像信息，w _ a s m 3 9 使用e m 算法( 期望最大化算法) ，利用特征点处的g a b o r 小波系数。建立局部特征模型，然后用一种由粗到精的过程来搜索局部点。 w a s m 总的搜索过程与经典a s m 的方法相似，差别在于每个点单独搜索的时候 使用g - a b o r 特征而不是用局部灰度特征来得到最佳匹配候选点。由于w a s m 的 局部特征模型包含更丰富的信息，所以，搜索的结果更精确，并对光照和人物表 情的变化具有一定的适应能力。但是，由于g a b o r 变换的运算量巨大，促使该算 法的实时性不高。 h o a r - w a v e l e ta s m l 4 0 的改进之处在于：对于图像中的每个特征点，抽取一 个n x n 的块，对该块进行h a a r d 、波变换，以h a a r j 、波系数组成的向量 t = ( 打：，马，耳，) 7 ，c = n xn ，作为该点的纹理特征描述。搜索时，以使每 点纹理特征向量与该点平均纹理特征向量的欧氏距离最小为依据。由于 h a a r - w a v e l e ta s m 的局部纹理特征用h a a r d 、波系数表示，因此，较传统a s m 具有 更快的收敛速度，更好的鲁棒性。 基于分类器建立局部纹理模型的改进a s m 算法有k - n na s m 0 1 1 1 4 2 1 、 a d a b o o s t i n ga s m 4 3 1 1 4 4 1 4 5 1 、f i s h e r - b o o s ta s m t 4 6 1 等。 2 0 0 1 年，b r a mv a l lg i n n e k e n 等【4 1 1 1 4 2 1 提出了基于非线性k n n 分类器代替传统 a s m 模型中的线性马氏距离来搜索标定点的最佳位置。对训练图像的每个标定 点自动确定最佳特征集；在图像搜索匹配过程中，利用非线性k n n 分类器，寻 西北工业大学硕士学位论文第三章活动形状模型的理论与方法 找标定点的最佳位置。这里局部特征的选取和分类器的构建都是自动进行的。由 于该模型包含更多更有效的局部纹理信息，因此在医学图像分割中效果优于传统 a s m 模型。 a d a b o o s t 分类器是一种有效的分类器，它不需要满足图像与模型之间的残差 服从高斯分布的假设条件，可以应用于非线性分类问题，因此被广泛应用于人脸 检测系统。a d a b o o s t 分类器的基本思想是利用大量的分类能力一般的简单分类器 通过一定的方法叠加起来，构成一个分类能力很强的强分类器，再将若干个强分 类器串联成为分级分类器完成图像搜索。a d a b o o s t 强大的分类能力极大的提高了 a s m 搜索的准确性，使a d a b o o s t i n ga s m 对一定范围内的光照变化和一定范围内 的人脸表情及姿势变化具有较强的鲁棒性。 3 2 2 图像搜索匹配的改进 为了提高a s m 模型的形状参数估计精度，克服传统a s m 模型对初值敏感，易 陷入局部最小的缺陷，一些研究人员对传统a s m 的图像搜索匹配进行改进，改 进的主要目的是为了优化形状参数b ，提高形状参数对形状的控制能力。 在m i k er o g e r s 和j i mg r a h a m 提出的稳健a s m q 日 3 6 1 ，m e s t i m a t o r s 就是为了优 化形状参数b 而采取的措施。传统a s m 模型参数估计基于如下假设：模型与图像 数据之间的残差服从高斯分布，然而，在许多实际应用，尤其是医学图像处理中， 这样的假设条件是不准确的。m e s t i m a t o r s 的目的是抑制错误数据的影响，使模 型与图像数据之间的残差满足高斯分布，具体做法是在参数估计公式中加入稳健 权函数，稳健权函数选择h u b e r 函数，利用该函数提高形状参数的估计精度。 y u a n z h o n gl i 等人【4 3 】不仅用a d a b o o s t 分类器建立局部纹理模型，而且针对传 统a s m 中对形状参数的控制能力不足的问题( 删4 锄刎五) ，建立了形状系 数分布表对系数进行限定，删除无效形状，从而提高了模型对形状参数的控制能 力。 3 2 3 模型和图像搜索匹配综合改进 传统a s m 搜索区间长度的选择是非常重要的，如果搜索区间过短，很有可能 丢掉想要的点，相反，如果搜索区间过长，一些不想要的点会干扰匹配的结果。 1 9 9 4 年，t f c o o t e s 等人将多尺度【4 7 】的思想引入a s m 模型。多尺度a s m 模型需要 对原始图像进行多尺度分解，对每个尺度上的图像都分别建立局部灰度模型，在 图像匹配搜索过程中，首先从尺度大的图像开始，使搜索跳到一个较远的距离， 搜索位置较远的点，接着，利用前一级别搜索所得到的输出结果对低一级尺度的 图像进行搜索，如此反复进行，直到搜索至原始图像为止。 西北工业大学硕士学位论文第三章活动形状模型的理论与方法 2 0 0 3 年，s h u i c h e n gy a h 等人对传统a s m 的模型和图像搜索匹配过程进行改 进，提出了t c a s m 4 s ( t e x t u r e c o n s t r a i n e da c t i v es h a p em o d e l s ) 。t c a s m 由四 种模型组成：形状模型、全局纹理模型、每个特征点的局部灰度模型、纹理约束 的形状模型，前三种模型与a s m 、a a m 中的模型完全相同，纹理约束的形状模 型公式是：6 ，= r t ，其中t 是由全局纹理模型计算而得到的纹理参数向量，r 是由 训练集中 ( 6 j ，) 利用单值分解法得到的投影矩阵，6 ，是受纹理约束的形状参数 向量。在搜索过程中，t c - a s m 利用a s m 的局部灰度模型进行灰度匹配，为了更 精确的估计形状参数，利用全局纹理约束的形状模型来优化形状参数估计，提高 搜索匹配的准确度。t c a s m 融合了a s m 和a a m 的优点，而弃绝了二者的不足， 改善了传统a s m 模型对初值敏感，易陷入局部最小的缺陷。为了提高效率和精 确度，在t c - a s m 优化过程中可加入多尺度思想。t c a s m 方法与传壳t a s m 相比， t c - a s m 方法对形状的定位更准确，对初值和光照具有更强的鲁棒性。 3 7 西北工业大学硕士学位论文 第四章活动表观模型的理论与方法 第四章活动表观模型的理论与方法 活动表观模型( a c t i v ea p p e a r a n c em o d e l ，a 甜田是由t f c o o t e s 等人1 1 2 1 于1 9 9 8 年提出的一种图像特征提取方法。该方法已被用于人脸识别中并取得了较好的效 果【1 2 1 。类似于活动形状模型，活动表观模型也是在对训练数据进行统计分析的基 础上建立模型。与活动形状模型不同的是，该方法不仅利用形状信息而且对纹理 进行统计分析。并试图找出形状与纹理之间的联系。在训练阶段，我们寻找模型 参数的变化和形状纹理变化之间的联系。而在对新图像搜索时，根据这个关系不 断调节模型参数从而达到合成图像与新图像尽可能地接近，此时的形状和纹理即 认为是新图像的形状和纹理，相关文献参考【1 2 】【3 1 】【4 9 】【5 0 】 5 1 】【5 2 】【5 3 】。因此， 在a a m 的最终搜索结果中不仅得到了待搜索目标的形状信息，而且得到了准确 反应目标物体的全局纹理信息。可见，活动表观模型不仅可以进行目标的特征定 位，而且还可以实现目标物体的纹理表达，从而可以进行对于目标图像的合成、 动画等方面的应用。 4 1 经典a a m 模型 a a m 的统计模型包括统计形状模型、统计纹理模型和统计表观模型，统计表 观模型是基于统计形状模型和统计纹理模型而建立的一种统计模型，以下分别介 绍。 4 1 1 统计形状模型 统计形状模型反应的是形状变化规律，因此可以利用它进行合理的形状近似 与重构。该模型建立的方法与a s m 中的形状建模方法完全相同，具体过程参见 3 1 1 节，为叙述方便起见，将a s m 的统计形状模型公式( 3 - 1 0 ) 写为下面的形式： x = x + 只屯 ( 4 一1 ) 其中是i 平均形状向量，a 是描述形状变化的特征向量矩阵，撕是形状参数。 4 1 2 统计纹理模型 为建立反映人脸全局纹理变化规律的统计纹理模型，首先需要获取训练集中 人脸轮廓区域内所有像素的灰度值，即提取形状无关的纹理值向量。然后利用主 西北工业大学硕士学位论文第四章活动表观模型的理论与方法 成分分析的方法对形状无关的纹理进行分析建模。 4 1 2 1 形状无关的纹理获取 要获得形状无关的纹理向量，首先要用w a i p i n g 技术将训练集中的人脸图像 进行变形，把每幅人脸变形到平均人脸形状中，然后提取变形后的人脸平均形状 区域内( 称为p a t c h ) 的灰度信息，使灰度向量的维数统一起来并具有相同的对应关 系，如图4 1 t 5 1 1 所示，分别为人脸图像和其变形后的图像。 ( a ) 标定了特征点的人脸图 ( b ) 变形后的形状无关纹理图 图4 1a a m 变形 具体形变过程如下： 1 ) 将训练集中的每个人脸形状及形状模型中的平均形状利用d e l a u n a y - - 角 剖分算法进行三角剖分，通过三角剖分将训练集中的每个人脸形状及平 均人脸形状分别划分成若干三角形的集合。 2 ) 以每个三角形为单位将训练集中的每个人脸形状变形到平均人脸上，即 通过对形状中每个三角形的变形就可以实现整个人脸图像向平均形状的 变形。 所谓将三角形r 变形到三角形r ，就是利用一个映射，唯一地将三角形r 内 的点用该三角形顶点之间的代数关系映射到三角形丁内对应的薪位置，如图4 - 2 所示。由于r 内的任意一点良矽，都可由其顶点的坐标值向，y 、良a y 2 ) 和d 。j 哕 来表示： 因此，对三角形，内的每一个像素点都有对应一组系数值m ，p ，： ( 4 2 )b 乃 ，y + + 1 恍产邯邶肚 q 口 口 i i l l h 钞 、 西北工业大学硕士学位论文 第四章活动表观模型的理论与方法 口= 1 一( + 力 口= y = ( 4 3 ) 以此方法对三角形r 中的所有像素点分别计算出其对应的系数值，在三角形 r 中找到该系数所对应的像素点，并将r 中的像素点映射过来。这样就实现了将 三角形r 向三角形r 的映射。这样建立的纹理向量可以消除旋转、拉伸与位移和 外形之间的差异给纹理样本带来的干扰。 图4 - 2 从一个三角形到另一个三角形的变形 4 1 2 2 纹理归一化处理 有了形状无关的纹理图像( 图4 1 ) ，要得到形状无关的纹理向量，需按 照某一固定顺序提取形状无关的纹理图像中的每一个像素的灰度值生成一个向 量。为消除光照、曝光等成像因素的影响，需对形状无关的纹理向量进行归一化 处理，纹理向量的归一化过程同上章的形状对齐过程一样是一个循环过程。对形 状无关的纹理向量进行归一化处理后，每个纹理向量的均值为0 方差为1 。设g 为 从形状无关的纹理图像中获得的纹理向量，岛为归一化之后的纹理向量，以为形 状无关的纹理图像中所有像素点的个数。则有： 4 1 西北工业大学硕士学位论文第四章活动表观模型的理论与方法 g = ( g 。，g ：，”，g 。) r ；= 蔷吼 盯2 = 寺喜g ，一i ， 叫孚，竽，擎i t ，一一一、 ( 4 4 ) 4 1 2 3 统计纹理模型建立 对训练样本集进行4 1 2 1 和4 1 2 2 节的处理后，和活动形状模型一样可以利 用主成分分析( p c a ) 的方法建立线性的纹理统计模型。 1 ) 计算平均纹理向量g ： 一 1 芒 g = 夏备舀 这里是训练集中样本个数，蜀是第，个样本的纹理向量。 2 ) 计算纹理样本的协方差矩阵。： z 。= 专套( g 一西( 蜀一西7 ( 4 5 ) ( 4 6 ) 3 ) 计算协方差矩阵z 。的特征值和特征向量，并将特征值按降序排列， z g p = 如p ， f = 1 , 2 ，押 如砧+ 】p 。p f = 1 刀是纹理样本舒所含像素的个数，即舒的维数。p ，是z ；的第价特征值乃 所对应的特征向量。运用主成分分析的方法，提取。的前m 个特征值及 对应的特征向量。 4 ) 构造样本的先验统计纹理模型： g = g + 鼬g ( 4 7 ) 这里矩阵0 = b 扩p ，p ，) 由z 。的前研个特征向量p ，组成， b g = 【，b g ：，】7 是纹理模型参数，通过使6 暑在一定范围内变化， 西北工业大学硕士学位论文 第四章活动表观模型的理论与方法 可以生成新的人脸图像的纹理。为使生成的模型与训练集中样本不产生 较大的偏差，应使6 9 在【- 3 以，3 以j 范围内变化 尽管上述过程清晰明了，但是这里存在一个问题。在一般情况下一个纹理样 本含有非常多的像素，通常是1 0 4 或1 0 5 数量级。这使得相应的纹理协方差矩阵z 。 将是一个非常庞大的矩阵，对这样一个大的矩阵作特征值分解不仅是一件非常耗 时的事情，而且由于计算量相当的大，所需的内存资源也大的惊人。同时，由于 我们获得纹理样本的数目通常是远远少于纹理样本像素的个数疗，这样协方差 矩阵就有可能不满秩，所以我们需要采用另外一种方式来进行特征分解。 令 d = 【( g 。一办，( g 。一季) j 则协方差矩阵可以写为： z 。：土d d r 8 ( 4 8 ) ( 4 9 ) 我们考虑用一个规模为疗n 的矩阵睐代替这个协方差矩阵。； r ：占矿d ( 4 1 0 ) 可以证明矩阵。和珀q 特征值是相等的，并且两者之间的特征向量存在如下关 系： 忍= d p r ( 4 1 i ) 假设趣，y 月q p t 分别表示矩阵。和哟第j 价列向量由于拂j 有可能不是一个单 位矢量，所以我们需要对p ：，进行归一化处理： 1 n j2 丙风j ( 4 1 2 ) 西北工业大学硕士学位论文第四章活动表观模型的理论与方法 4 1 3 统计表观模型的建立 建立了统计形状模型和统计纹理模型之后，任意一幅人脸图像就可以由形状 参数以及纹理参数6 。来表示。由于形状参数与纹理参数之间存在着一定的相关性， 也就是说，并不是任意纹理和任意形状之间都可以随意组合的，任意组合所得到 的结果与实际是不符的，因此若直接用其作为最终的模型是不合适的。我们把由 形状参数及纹理参数结合而成的向量再进行主成分分析，就可以去处这种相关 性。由于形状和纹理参数之间存在着一定的相互关系，我们将6 ，和b g 通过一定权 值联合形成一个新的参数6 ： 6 = ( 计( 絮期 ( 4 1 3 ) 因为以是形状模型参数，6 。是纹理模型参数，二者的元素在数值上相差较多，如 果将坑和6 。直接进行连接的话，效果一定不理想。有可能在合成图像时，忽视掉 形状方面的信息或者纹理方面的信息。所以，通过形状参数权重系数对角阵职 来平衡二者在数值上的差距，以生成更稳定和更有效的表观模型。的选择是通 过实验来确定形状参数变化对目标图像形状的影响和表观参数变化对目标图像 形状的影响，然后根据造成同样影响的程度来确定两者之间的关系。 在此处我们取一种简单的权重关系： ( 4 1 4 ) 对得到的b 进行p c a ，进一步消除形状和纹理之问的相关性，从而得到表观 模型： 6 = 6 + 缈( 4 1 5 ) 其中，万为平均表观向量，显然i 为零。q 为表观主成分特征向量形成的变换矩 阵，c 为控制表观