（模式识别与智能系统专业论文）基于多分类器融合的3d人脸年龄识别.pdf

a b s t r a c t a b s t r a c t 8 i o 燃e 琏c 羚e o g 藤t 主。堇薹绝e h 懿o l o g y 羹鑫s燃a 莲el 跫m e 纛面疆s p 翔g 姹s s 褪d a c c u m u l a t e dl o t so fs c i e n t i f i ca c h i e v e m e n t s 由也ep a s ts e v e r a ly e a r s b yu s i n gi m a g e p r o c e s s i n ga 1 1 dp a t t e mr e c o g i l i t i o nt e c l l l l o l o g y h 姗a ni d e n t i f i c a t i o no nt 1 1 eb a s i s0 f v a f i o u sp h y s i o l o g i c a lc h a r a c t e r 主s t i e sh a sb e e np 蔹dm o r e 甜e n t i o 娃o n 。h o 、v e v e r ，t h e e x i s t 迦g 蠡c er e e o 黟i t i o nt e e h o l o g y 主sm o f eo fl e s ss e n s i 专i v e 毒oa 鲈e 量l a n g e s 。p f o g r e s s o n 妇a g ed e f o n n a t i o na n dt e x t u r es y n t h e s i si nc o m p u t e rv i s i o nh a sp r o v i d e d 拶e a t t e c 王l i l i c a l s u p p o r to nt h ea g es i m u l a t i o n a g es i m u l a t i o nb a s e do nf a c ei m a 龄si s s 趣d i e 莲谴蠡i sp a p e ra sw e l la s h ei 搬p a e l 氇越a g o so 珏e a c 囊s i 稳g l ec l a s s i 蠡e 强e 鑫l l t l l er e s e a r c h e dc l a s s i 蠡e r sa r ec o m b i n e du s i n go nt ka g es i m u l a t i o n t h em a i nw o r k sa r ea sf o l l o w s ： 1 3 d 最e em o d e l i 粥b a s e do nt h em o p h a b l em o d e l b a s e do nt h e2 d 重c ed a t a b a s o ，t h ee o n s 讯l c t i o no ft h e3 dm o p h a b i em o 琏e li s r e s e a r c h e d ，h i c hi st h eb a s i so ft h ea g es i m u l 撕o n 2 m u l t i c l a s s i f i c a t i o nf u s i o na l g o r i t h m 稀sp 印嚣s y s 专e 黻i e 鑫l l yd i s e 潞s 黼de o m p 基瓣像e 醚v a 懿a g o sa 鼗d 垂s a d 燃g e s o fd i 髋r e n tc l a s s i j f i c a i i o n so nf a c ea g er e c o g n i t i o n a tt h es 锄et i m e ，t h et h e o r ) ，o f m u l t i c l a s s i f i c a t i o nf h s i o na l g o r i t h ma n dc o m b i n a t i o nr u l e sp r o p o s e db yk i t t l e ri s s 氛丑i e d t 蠢l e d 跹di 搬掣叫e db a s 甜。矬b a y e s i a 珏谯羚o 3 。 a g e e s 垃m a t eb a s e do nm u 王t i c l a s s i 鑫c a t i o n 斑s i o nt h e o r y w i t ht h eh e l po ft h ec l a s s i f i c a t i o nl e a m i n ga b i l i t ya n dm u l t i - c l a s s i 6 c a t i o nm s i o n 也e o r y ，t h et a 培e t3 df a e em o d e l sa r es o r t e db ya g ef o l l o w e db ya g ee s t i 黻a t e d i 臻辩聩t 如s i o 羔l 疆l e s 撇。芏l gw h i c h 像e 趣。髓s 珏i t 蠢b l o 潍e sa 跫e h o s e na r ee o 撒p 瓣甜 b a s e do nt h es o nr e s u l t s ，t | l i sm e t h o dc a np r e d i c tt h ef a c ea g ea n dp r e d i c t e de 玎o rc 粕 b ec o n t r o l l e dw i t h i n4y e a r s k e yw b r d s ：f a c er e c o g n i t i 。n ，a g ee s t i m a t e ，m o p h a b l em o d e l ，m u l t i c l a s s i 髓c a t i o n m s i o n 中国科学技术大学学位论文原创性和授权使用声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作 所取得的成果。除已特别加以标注和致谢的地方外，论文中不包含任 何他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究 所做的贡献均已在论文中作了明确的说明。 本人授权中国科学技术大学拥有学位论文的部分使用权，即：学 校有权按有关规定向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅，可以将学位论文编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 保密的学位论文在解密后也遵守此规定。 作者签名：登壁煞 、 肇 2 伊3 年手月土1 日 中国科学技术大学学位论文原创性和授权使用声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作 所取得的成果。除已特别加以标注和致谢的地方外，论文中不包含任 何他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究 所做的贡献均已在论文中作了明确的说明。 本人授权中国科学技术大学拥有学位论文的部分使用权，即：学 校有权按有关规定向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅，可以将学位论文编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 保密的学位论文在解密后也遵守此规定。 作者签名：登壁煞 、 肇 2 伊3 年手月土1 日 第1 章绪论 影确，定位毙较瘸难。入脸检测兹方法大致可分为基于统计和基于知识两类， 基本思想是用统计的方法或知识的方法对人脸建模，眈较所蠢可畿的待检测区 域与人脸模型的匹配程度，从丽得到可能存在人脸的区域。基于统计的方法有 区分人脸样本与非入脸样本的两类模式分类阆题豹样本学霹方法( s 麟gk ， p i o g g i otl 多9 8 ) 、特薤脸方法( n 汰m ，p e 嫩i a n da p ，i 9 9 1 ) 和模板匹配方法( 秘r u e l i i p o g g 沁t ，1 9 9 7 ) 。知识的方法( gm 甄葵文e g 爨勰d 鑫砖越蝎冬2 0 0 2 ) 是主 要基于入们对一张典型人脸的构成知识，郎入脸局部特征的空间位置和几何关 系来定位入脸。这种方法的主要缺点是很难将入稍豹知谈转傀为定义庭好的知 识。翔果规则太细，那么检测时徽难满足所祷的规剃，如果规则太简单，那么 可能得到太多的人脸。需要说明盼是本文是在假定人脸巴正确检测的基础上来 研究人脸特征提取与识别冀题兹。 2 入脸特征掇取与识别。 特征提取对予设计一个模式识别系统来说非常重要，它强烈的影响到分类器 的性能。识别人脸主要依据那些在不霹个体之阆存在较大差异雨露予网一个人 则比较稳定的特征，具体的特征形式随识别方法的不同丽不丽。早期研究较多 的静态人脸识别方法有基于几何特征的人脸识剐方法和基于模板匹配的人脸识 别方法，静止图像的人脸识别方法主要包括： 1 ) 基于a 讶特妊的人脸识别方法。常采瘸瓣蔑簿特征有入脸懿局郝形状特 征、脸型特征以及溉官在脸上分布的几何特征。提取特征时往往要用到人脸结 构的一些先验知识。在基于几何特征的识别中，识别就是特征矢量之间的匹配， 基于欧氏距离的判决是最鬻雳的识裂方法。利用凡褥特征来识剃太脸主要应属 于正脸图像识别，聪面入脸识别最关键的步是合适的归一他，使之不依赖于 图像巾人脸位置的尺度和旋转变化。识别所采用的几何特 正是以人脸器官的形 状和凡何关系为基础的特征矢量，其分量通常包括人脸指定两点闻的欧氏距离、 基率、焦度等。徨是基予凡褥特征鹣方法需要箍取准确懿太脸特短，对图像震 量要求较高，使其应用受到较大限制。 2 ) 基于模板匹配的入脸识别方法。模板匹配法是一种经典的模式识别方 法，这释方法大多是童接计算两幅爝豫之阕麴嚣配箨度。另种方法是将人焉 一组独立的小模板表示，但这些模扳的获得崧须利雳各个特征的轮廓，两传统 的基于边缘提取的方法很难获得较高的连续边缘和提取所需的特征。而弹性模 板方法提墩特征显示遗英独到的优越性，弹性模板是根据待检测入脸特征麴先 2 第l 章绪论 名等违法犯罪行为。 2 ) 协助公安部门抓捕通缉犯。一般情况下，可获得的通缉犯照片都是若干 年之前拍摄的，利用考虑了年龄因素和成像条件的人脸识别系统，只需在车站、 海关、机场、旅馆等场合安置摄像头，将采集到的照片进行比对，即使犯人在 逃多年，也能比较容易的找到其行踪。 3 ) 除了以上应用外，还可以雳在很多其链方面，如预测年龄、入祝交互、 虚拟场景、匿名者身份确认等等。 1 2 3 国内外研究现状 根据本课题的内容，对于涉及到的三个领域分别进行了总结：1 ) 生理学上 有关年龄变化对人脸影响的研究，即年龄变化对骨骼与脸部特征的影响；2 ) 计 算机视觉中对于年龄变化的研究，主要涉及入脸的老化与年轻化模拟；3 ) 入脸 识别领域相关算法，主要涉及年龄分类以及能容忍年龄交化的入验识别算法。， 1 生理学角度的年龄变化研究 人脸的结构、骨骼的尺寸、皮肤纹理的改变、皱纹的出现和肌肉的改变都随 着年龄的增加发生着极大的改变。l p i t a n g u y 等( 1 9 9 6 ) 基于人体测量学理论， 通过测量人脸器官与骨骼的大小，量化年龄变化对入脸的影响。为了避免外在 条件的干扰，实验对象仅限于中产阶级的白人妇女，共5 0 人，年龄范围2 5 岁 一6 5 岁，每个人选取两个不同历史时期的照片( 拍摄时间间隔不少于5 年) 。文 献中共选取l o 缀人脸参数，分别是额头的高度、上鼹险、眼袋、鼻子的长度与 宽度、鼻翼与人中的长度、双眼中心到嘴羼上沿的距离、嘴唇的厚度、下巴的 轮廓、脖子的幅度、耳朵的长度与形状。实验结果表明，年龄与人脸参数之间 存在一种非线性关系，可以用二次多项式很好的拟合。 5 第l 章绪论 图1 2 人脸参数示意图( 正面、侧面) 荣建群( 2 0 0 2 ) 从人脸画像角度，总结了人脸不同年龄的图像细节规律。少 年时期，入脸脸型特征主要为小脸、短圆、小下巴、皮肤光滑有弹性；青年时 期，人脸脸型特征表现为竖囱拉长、下雹稍尖，柔和感消失，边沿变硬，皮肤 较光滑，伴随青春痘等皮肤纹理变化；中年时期，人脸脸型特征为边沿棱角更 清晰，颧骨突出两颊有下凹，肌肉出现松垂，下颌稍前凸，皮肤光泽度降低， 颜色变深，有皱纹如现；老年时期，入脸脸型特征表现为两颊下凹明显，面部 肌肉松垂加重，胖入双下巴及下颌蓠凸明显，皮肤光泽度更低，皱纹多，伴随 老年斑等皮肤纹理变化。 2 计算机视觉角度的年龄变化研究 在该领域中，研究的重点在于如何进行年龄变化模拟，即根据已知目标年龄 个体的外貌特征对现有图像进霉亍处理，使得该图像具有譬标年龄下的外貌特 芷。 本文主要研究了借助学习算法学习人脸参数的变化。 l a n i t i s 等( 2 0 0 2 ) 描述了如何经过学习建立年龄与表征人脸的特征向量之间 鳃蘧数关系，并用实验结果证明了准确预测入脸年龄的合理性。他们的方法是 基予一种人脸统计模型( e d w a 砖s 饼，l 张i l i sa ，啦l o fc je ta l 。1 9 9 8 ) ，该模型将 形状与亮度信息相结合来代表人脸。训练图像首先被表示为模型参数，对这些 模型参数进行主成分分析( p c a ) ，得到降维后的系数，然后通过学习，建立年 6 第l 章绪论 龄与这些系数的二次函数关系孵= 厂f x ) ，最后采用遗传算法求其逆函数 x = 厂1 ( 呼) ，用生成的预测参数进行重构，得到目标年龄的预测图像。l 锄i t i s 等的工作具有很强的开创性，为后续的研究提供了非常有价值的经验。但是由 于其研究的对象集中在幼儿和成人之间，年龄范围为0 3 0 岁，人脸的变化大多 体现在形状上，而纹理上的区别不大，这种方法就不再适用于从青年人到中年 人的年龄模拟。并且从他们提供的预测结果来看( 图1 _ 3 ) ，预测图像与真实图 像的差异也比较大。此外，图像没有进行相应的预处理，光照、旋转、姿态等 因素也被当作年龄变化进行处理了。 图1 3 年龄效果预测图 注：第一列为源图像，第二列为目标年龄的预测图像第二列为目标年龄的真实图像 t i d d e m 姐等( 2 0 0 1 ) 提出了一种基于小波的方法用来为人脸模型添加与年 龄相关的纹理。首先同样用二维形状向量与像素亮度来表示人脸图像，对每个 年龄段的一组人脸参数进行平均，用得到的人脸形状向量与灰度向量构造原型 人脸。由于对纹理进行了平均并且没有做较为精确的对准，原型人脸的纹理较 为光滑，缺少与年龄相关的特征( 比如皱纹、斑点等) 。为了提取到皱纹等细微 纹理信息，他们首先对人脸图像进行g a b o r 小波变化，然后通过局部地改变不 7 第兰茳蔹錾篓萋羹辇曙耋商量攀 害奏= | 鏊甄拯喜薹i 翼蓁奏塞鬟剐 型簖篓刁涨幕掣；堕蓁i i 萋震i 錾l 垂冀主莲耋霾骥薹羹萋毒j l 奏萝i 圣l 像鬲薹雪雾；引m 和筏 霉嗡崾德缝旨誉叁霞魏孰鲥琴毫塑堡；墅蛋墼熏笔鬻捌爆墼萨掰彰蓁雾矗溻i 嚣孺强弼障绩猬坞震罢篓鬻缨濠霎茗犟耋薯嘎蝰妻蓁雾m 陋耄雾霎氇浮毽臻 爆；引勋莉引剖蓟融戳鳓鹨辩猷螂弱囊诼鬟雾镒雾摆；萋一囊霪蕊冀磊蓁浠嚣 酣u 黝阵蛐； 奁薹藿泻确眸蓁薹薹趔掣蹬捌嘎臻趔i 澎理溜呵。型鬣掣罂b 戮i 鹾场陈氚 塞c 鳓；雾到辐蛩甄裂弹4 霪划i 每堂雾| 鲤鲫班冀錾孽卞瑚理蠡积已卿n 酷； | l随要礁羹酬羹j 一萁军卓幽聪；霉“越鹬勤爱髫；堋闻滗孳瑰篓崩墨茬 豁矍鐾塑i 霞羹搿雪泖；垂需谚拾输薹蝻篓霉。尾隆i 蚕m 霭；，垡；一；薹要li 蠢 薹t 薹；童i 薹i 雾i 雾i 塑；一；薹i 霪；霖雾蓁霎塞j 霉。f ! 藿!预塑器餐翼霎雾蓊冀；虼鲤旌蓁墓薹黟雾霉篮鞭渚望，霭僖并穗舞前嗡 型1 韶倦阿；瓣嗡氡聿益柏羹需移e 如一型坠爷狸嘤尘趸厘雾薹副剽；幸公 黼狂殛鬓而。糯羹据一瀚嚣 霪罄型囊 薯l 嚣l 羹湟薹冀 鞴剖8 第1 章绪论 变化具有鲁棒性的入脸识剐，即待测人脸图像与训练人脸图像采集时间具有一 定瀚隔露，入验麓识嬲算法研究。 精确的年龄估算难度缀大，k w o 矬等( 1 9 9 9 ) 将该闺题篱化成隽三个年龄段 的年龄分类问题，即婴儿、青年、老年。几何比率以及皮肤皱纹信息被用于分 类特征，其中入脸主要器官的几何比率被用于区分婴儿与成人，而皱纹信息被 瘸子区分年轻入与老年人。试验中采藤了霉7 禧离分辨率图像，获得了l 的 芷确率。该种方法对图像的分辨率有较高的要求，在实际应蹋中很难满足。壬 o m g 等( 2 0 0 1 ) 基于k 、v o n 的思路，提出了一种更加快速和鲁棒的年龄分类系统。他 稍改进了凡何比率与皱纹分析的方法，改用神经网络作为分类器，并且把测试 库扩大到了2 3 0 螓，取得了s l 。6 的准确率。l a | l i t 遮等缱o 辨) 在蔫入基础上， 提出了一种定量的年龄分类器评估方法，耋点研究三耱分类器的性能：第一个 是基于人脸特征与年龄的二次函数关系分类器：第二个是最近邻分类器：第三 个是基于人工神经网络静分类器。采用年龄为乳3 5 岁的入脸图片进行实验，其 中2 0 0 幅用于训练，2 幅题手测试。结果表弱，三个分类器的识别误差分别为 5 0 4 岁，5 6 5 岁，4 7 8 岁，而人类在同样情况下的识别误差必3 6 4 。因蔗，l a 嫩t i s 认为采用机器学习的方法来进行人脸年龄的估计具有一定的可靠性。 1 2 。4 研究启示 根据以上的列举及分析，我们可以知道： 1 ) 生理学上研究结论表舞，入脸的结构与褶关器富的沈率，会随着年龄的 增长产生细微的改交。 2 ) 计算机视觉中有关图像变形与纹理台成的研究进展，给人脸的年龄模拟 提供了很好的技术支持，现有的技术能较为真实地迸行入脸年轻化和老化处理。 3 年龄变化的研究成势久脸识掰领域泰来豹研究热点，鹭前的算法翱了诸 多的限制条件，如控制光照、正面图像、孛性表情等，且盛于标准人脸库的缺 芝，限制了该方面的研究进展。 1 。3本文的工作 本文主要对多分类器融合算法迸毒亍了磷究薯褥其疲瘸子基于年龄西素豹3 d 人脸识别系统，主要包括： 1 论文系统地讨论并分析了不同分类器融合算法，对其优缺点进行了比 9 笫1 章绪论 较。阌时，默贝时斯决策理论必基础，对k i 缀嚣提塞韵多分类器融合算法韵理 论框架及其组合规剥进行了详细的研究袭讨论，并对k i 掇锻提出的最大融合规 则和最小融合规则进行了改进。 2 。对久脸信息能力强的蜀部特征左右# 瑟睛、鼻子和嘴戮帮整体特征的 抽取翔题进行，在此基稿上，廒用分类器组合规则提出了一种基予多分类器融 合的入脸年龄估计算法。实验结果说睨，所搬擞的算法是一种有效的算法。 1 0 第2 章人脸库及人脸图像预处理 第2 章人脸库及人脸图像预处理 对输入的人脸图像进行预处理是人脸识别系统中一个重要的环节，人脸图 像会因采集仪器的性能或光照变化等因素而产生不同的显示质量，通常表现为 图像包含不同程度的噪声，不同图像的平均像素值呈现不同的明暗差异，此外， 图像还会有一定程度的旋转即缩放变形。本章主要介绍了本文所用的人脸数据 库以及相应的预处理方法，目的是改善图像的质量，尽量减弱除年龄的其他因 素影响，处理过的图像可直接作为识别系统的输入图像。 2 1 人脸库的选取与描述 人脸库在提供标准的人脸图像训练、测试集合的同时，还应该能对影响人 脸识别性能的不同情况进行模拟，以方便研究人员针对不同的关键问题进行重 点研究。但是，现有的人脸库大多存在数据量较小或者图像变化情况比较单一 的缺陷，而且提供面部图像的志愿者多为西方人。c a s p e a l 人脸库则是基于 上述考虑而创建的大规模、多变化的东方人脸库，该人脸库共采集并整理了1 0 4 0 位志愿者( 其中5 9 5 位男性，4 4 5 位女性) 的共9 9 4 5 0 幅人脸图像，分别包含姿 态变化、表情变化、饰物变化、光照变化、背景变化、距离变化和时间跨度变 化等7 中变化模式子库。 图2 1c a s p e a l 人脸库中的图像示例 2 2人脸图像预处理 由于本文的主要研究对象是人脸纹理，通过图2 1 可以看到，图像中人脸的 大小、位置等都会有些区别，这对于研究年龄变化对人脸识别都有一定的影响， 因此，我们要先对这些图片进行预处理。 l l 蒸 第2 章人脸库及人脸豳像预处理 2 。2 ， 主戚份分析选取主要成分构成特征基。求出特征向量之后可以把特征向量按照特征 值从大到小进行排序，由予特征值的大小决定了特征向量在最后的特征基中所 占的院重，因此可以省去特征值较小的特征向量，这样虽然会丢失一些信息， 毽是由于特征毽很小，困戴失去鲍信息量也缀小，这样一来，最后麴数据将会 比原始数据维数减小。将特征向量写成一个矩阵，矩阵的每罗| l 都为一个特征 商量，这样就构成了特征基，即心勰艘娩哟，= 奴，s 。 妨获取原始数据。当选择好特征基之盾，炙需采取下式即可得到藏始的输 入数撬：f l 黻l d 落洒= & 饶t w e 娩c l o 妒xd q l 鹾函辑s 矿4 2 2 2 主动形状模型( a s 蘩) 方法 a s 溅是一种基于模型懿特征莲配方法。它既霹以灵活的改变模型豹形状， 以适应目标形状不确定的特性；又能够将形状的变化限制在模型允许的范围内， 从两保证模型改变时不会受备种因素影响丽出现不合理的形状。a s m 方法首先 针对特定遐标形状建立模型( p o m ) 。然后对形状模型中的每个特征点，建立特 征点附近的灰度模型。a s m 方法剩雳灰度模型在阏标匿像中搜索特征点的最健 位置，同时根据搜索结果调整形状模型的参数，最终使模型匹配到目标的轮廓 上。a s m 方法主要分为两个步骤：建立模型，特鬣点莲配。 1 ) 标定调练集。建立模型前要手工标定调练集，对于每张图片，选用6 6 个特征点来表示人脸的p d m ，如图2 。2 所示。谶练集中的每个样本x ；可以用2 瓣 维向量表示： 薯= 能l ，以l ，2 ，y f 2 ，靠，j 7 ，i 搿l ，2 ， ( 2 8 ) 其中，玛j 是第f 个谶练样本上第，个特 芷点的坐标；捍是形状模型的点数； 是训练图片的个数。 1 3 第2 章人脸库及人脸图像预处理 图2 2 人脸图像的p d m 2 ) 建立模型。由于建立形状模型过程中需要获得训练集中模型点坐标的统 计特征，为了使不同样本中相对应的点之间具有可比性，需要对这些训练样本 进行对准，即通过对每个形状进行缩放、旋转和平移，使不同形状之间误差尽 可能的小。对准后，训练样本就表征了人脸形状在2 甩维空间的分布。对训练样 本做p c a 分析，则任意的人脸形状可表示为x = i + p b 。其中p = 慨，p 2 ，只) 是p c a 前得到的前f 维特征向量组成的矩阵：b = ( 6 。，6 2 ，6 f ) 7 是任意人脸在特 征空间的投影。通过改变投影向量b ，就可以得到新的人脸形状。通常限制的改 变量以使得新的形状还是人脸形状。对b 的限制可表示为： 珑= i 争i d ( 2 7 ) 至此，完成了形状模型的建立。对于训练集中各种图片中的某个特定特征点， 它周围的灰度分布应该是相似的，提取其法线方向上的刀。个像素的灰度信息， 构成拧，维向量做p c a 分析，得到g = 虿+ p 譬b 。其中蚕是第_ 个特征点附近的 灰度平均特征；匕是p c a 分析得到的特征矩阵：b ，是投影向量。对于测试图 中的第_ 个特征点的候选点，通过 m ：争堡( 2 8 ) 肚善等 他8 ，昌l7 来比较该点附近的灰度分布和第_ 个特征点的灰度模型是否相似，m 越小说明 该点和灰度模型匹配的越好。 1 4 第2 章人脸库及人脸图像预处理 3 ) 特征点匹配。首先，给定开头的初值为x 枷= m g m 。，以。b 】+ x 硼f i ，其 中，、。和如。分别为形状初始的尺度、方向和偏移参数，可以根据人脸 检测的结果进行估计；z 是平均形状。给定了人脸形状初值之后，可以通过迭代 的算法得到人脸各个特征点的准确位置，迭代方法为：第一，搜索图片中每个 特征点的邻域，在邻域内找与该点灰度模型最匹配的点的位置，得到新的形状： 第二，根据特征点的位移，计算p d m 模型中的姿势参数( p o s ep a 豫m e t e 璐) 和 形状参数( s h a p ep a 船m e t e 墙) 的变化：第三，更新姿势参数和形状参数，回到第 一步直到收敛或达到一定的迭代次数。特征点匹配的过程实际上是一个不断调 整姿势参数和形状参数的过程。 本文中借助二维人脸的特征点信息作为先验信息，对该人脸的物理参数和 形状参数进行迭代寻优。我们利用a s m 方法来获取图像中人脸的特征点位置向 量s ：j ，由于要从形变模型中找出对应三维点的信息，设定采样矩阵l 进行采样， 不断更新形状参数口直至收敛。 图2 3 二维图像纹理匹配 2 2 3 三维形变模型 形变模型( m o 印h a b l em o d e l ) 是近几年出现的三维人脸建模新方法，其基 本思想是使用一类对象的若干典型样本张成该类对象的一个子空间，通过子空 间基底的组合近似地表示该类对象的特定实例。因此，模型要考虑两个问题， 即对象子空间的建立和特定对象的表示。 使用形变模型进行三位人脸重建可分为两个过程：一是建立模型，其中包 括获取原始人脸数据作为模型的基础数据、对原始人脸数据建立像素级的对应， 最后建立三维人脸参数表示模型：二是模型匹配，针对给定人脸图像，使用模 型进行匹配，通过不断调整模型参数来实现三维人脸的自动重建。 1 ) 模型建立。人脸模型是在三维人脸数据库的基础上建立的，在三维人脸 第2 章人脸库及人脸图像预处理 数据库中包括人脸几何信息和彩色纹理信息的三维人脸数据，并且这些人脸数 据均使用重采样方法建立了像素级对应，即表示为统一的向量形式。 对于原型人脸，通过其形状向量和纹理向量的线性组合即可产生新的人脸 向量( & ，) ： & 。= 口。sk = 缸瓦 ( 2 9 ) j ， ，j 其中，口，包是原型人脸的组合系数，且口= 6 ，= l ，这是形变模型的基本思 想。由主成份分析知道，形状和纹理空间中的任l 形状s 删d 和纹理d 可近似 表示为： s 啪d d = 豆+ s “= 于+ 砒 ( 2 1 0 ) 其中万= 仁。，口：，口。一。) ，万= 饵，属，尾。) 是组合参数，且，属满足高斯分 布，即 删= 斗澍卅船啦矧2i 眨 由高斯分布的性质，口，屈的变化范围是卜3 ，3 丑】，【一3 q ，3 盯】，这是对 形状和纹理变化的合理性约束。式2 1 0 即为三维人脸模型的最终表示形式，只 图2 4 建立二维形变模型 2 ) 模型匹配。形变模型的匹配过程实际上就是针对特定人脸图像的三维人 脸建模过程，即将模型与特定人脸图像进行匹配得到模型组合参数。 有了三维人脸形变模型，对于给定的人脸图像要进行三维建模，就是要调 节模型组合参数，使模型三维人脸在相同视点获得的图像与给定人脸图像的误 差最小。如果使用图像对应像素点的灰度差的平方和作为两图像的误差，则要 求模型组合参数使得下式最小： 1 6 第2 章人脸库及人脸图像预处理 日= i i ，删g ，j ，) 一，。l i o d d g ，j ，扩 ( 2 1 2 ) 其中k 是给定人脸图像，m 酣d 是三维人脸模型在某视点观察得到的人脸图像。 基于三维形变模型的人脸识别的基本思想是使用形变模型的模型匹配参数 表示人脸特征，即对样本人脸或待识别人脸图像使用模型进行匹配，得到该人 脸的模型组合参数，以该参数作为人脸的分类特征进行分类识别。这里主要考 虑两方面的问题，一是人脸特征的表示问题；二是人脸特征的分类问题，根据 特征空间的分布设计比较合理的分类器。对于待识别的人脸图像和样本人脸图 像库中的人脸图像，使用形变模型进行匹配得到各人脸图像的模型匹配参数 ( ，屈) ，并以该模型组合参数作为人脸识别的主要特征。 选取用于人脸识别的特征，一个重要原则就是选取表示人脸最本质的特征， 而摒弃环境因素对于人脸识别的影响，例如去除人脸姿态、光照等因素对人脸 识别特征提取的影响，最理想的情况就是在人脸识别时将表示识别特征的因素 与来自外部条件的因素分开，这一处理我们在上一节对于二维图像的预处理中 已经完成。而在基于三维形变模型的人脸识别方法中，内部和外部条件的区分 主要依赖于三维形变模型的匹配过程，对于输入二维人脸图像，通过优化方法 将三维人脸模型与之匹配。 图2 5 三维人脸模型匹配 1 7 第3 章多分类器融合理论 第3 章多分类器融合理论 众所周知，对于模式识别问题，最主要的评价标准是看它识别性能如何。 为了实现尽可能好的识别性能，传统的做法是对于目标问题，分别采用分类器 实现，然后选出一个最好的分类器作为最终的方案( k i t t l e rj ，h a t e f m ，d u i nr e t a j ，1 9 9 8 ) 。研究发现，尽管其中一个分类器有不错的分类性能，但是不同的分类 器产生误分类集合是不完全重叠的；同时，还发现对于不同的特征描述这种情 况尤为明显。这表明不同的分类器、不同的特征对于分类有着互补的信息，可 以利用这些互补的信息来提高系统的识别率识别性能( h u a i l gy s ，1 9 9 5 ) 。 这些研究发现引起了很多人对多分类器组合的研究兴趣。k i n l e r 等人对多分 类器的组合框架进行了分析，并且提出了组合理论的框架。a 1 i 等( 1 9 9 5 ) 指出 当各个分类器有着显著不同时，分类器组合的作用尤为明显，如采用不同的特 征、不同训练集合，这样由于不同的分类器采用的分类曲面族不一样，所用的 特征也可以不同，具备相当的互补性。如果能够把不同的分类器的优点利用起 来，并且抑制他们的缺点，这种识别系统能够达到相当高的精度( c h e l l a p p ar ， w i l s o nc l ， s i r o h e ys ，1 9 9 5 ) 。例如，在人脸识别方面，有的分类器对光照变 化不是很敏感，而有的分类器对姿势的变化不是很敏感，我们可以将这两种分 类器结合起来用于人脸识别系统。同时，许多实验已经说明，多分类器融合在 实际应用中已经取得了比较好的效果( 手写字体的识别、生物特征识别、卫星 图像的地表辨识等) 。 多分类器融合不仅可以提高分类的精确度，而且可以提高时间和空间上的 效率，将一个大的特征向量划分为几个较小的特征空间后，在每个小的特征空 间上构造一个分类器。再将这些分类器组合成一个较大的分类器后比在整个特 征空间构造一个分类器在空间、时间上的效率要高。同时，通过组合几个性能 较差、结构较为简单的成员分类器还可以得到分类性能优于复杂结构分类器的 组合分类器( j i n gx y ，z h a n gd ，g j ye ta l ，2 0 0 3 ) 。从本质上看，分类器 融合实际上是信息融合。从分类的流程来看，可以将信息融合分为三个层次 ( b e z d e kj ，1 9 9 9 ) 。 1 8 第3 章多分类器融合理论 ( a ) 数据级融合 ( b ) 特征级融合 ( c ) 决策级融合 图3 i 信息融合分类示意图 謦前，关于数据级融合和特征级融合的研究不是很多，但是也有一些启发 式的已经成功地应用到了基于特征级融合( p e d 珂c z w ，b e z d e k j c ，h a h a w 囊y i ue ta l ，1 9 9 8 ) ，本论文将详细地讨论基于决策级的多分类器融合算法。 多分类器融合闻题一般分为两部分：单分类器( 成员分类器) 生成方法和 分类器组合方法。但是两部分有时候是相辅相成的，参与融合的单分类器一般 应满足以下原则( 韩宏，杨静字，2 0 0 0 ) ： 重) 成员分类器的精确度要高，否则融合分类器后精确度也不会很高。 2 ) 成员分类器的分类结采应该有多样性，也就是说，分类错误不冗余，否 1 9 第3 章多分类器融合理论 1 ) 基于抽象级信息的组会：绘出菇个不犀的分类器，囊= l ，2 ，定，每个 分类器对于输入x 输出一个标志五，即产生一个事件g ) = j 。，问题是如何利 用这些事件去构造一个组合分类器e ，对予给定的x 输出一个标志，使得： 嚣缸j = 歹，歹a u 渺+ l 。 2 ) 基于莽 序级信怠的组合：对于一个输入x ，每个露。，露= 1 ，2 ，鬈产生一 个子集厶，七董人。其中厶是个有序队列，则组合问题就是如何使用这些事件 g ) = 五，东= l ，2 ，k 去构造一个分类器嚣，使得：e b ) 一五歹au + l 。 3 ) 基于度量级信息的组合：对于一个输入每个，鬻篇l ，2 ，爱产生一个向 量：帆= k 。( 1 ) ，删。( 2 l ，m 。( ) 】( 其中( f ) 表示z 属于类f 的概率) 。则组合 问题就是如何使用这些事件气g ) = 小。( 七) 去构造一个分类器e ，使得： e 0 j = 歹，歹a u 渺+ l ；。 3 2 多分类器组合 讨论多分类器组合算法或者称为组合规剡，主要是铮对并联结构丽言。并 联分类器算法有两种策略：多分类器选择算法和多分类器融合算法。在实际中 分类器选择算法和分类器融合算法往往会交替使用。 3 。2 分类器选择 分类器的选择是希望对于某个给定的样本选择一个最可能正确的分类器， 只考虑选中的分类器的输出。基于这种思想的算法可以分为：静态分类器选择 算法( k 毽n c k v a 毛l ，2 0 0 2 ) 和动态分类器选择算法( w o 瓠k ，1 9 9 7 ) 。分类器 选择实质上是一种特殊的加权平均，只不过赋予每个分类器的权值被限制为o 或l ，而且权值是随测试样本动态地可变。 1 )动态分类器选择( d y 娃a m i t i cc l a s s i 董l e rs e l e c t i o 硅简称d c s ) ：该方法是 对予一个输入模式，麸多个分类器中选择一个最好我分类器，该分类器对于模 式输入产生一个正确的分类输出，只有被选中的分类器的输出结果作为最后的 决策，而不是同时使用所有分类器的组合。 2 )基于局部类精度动态分类器选择( d 潍鑫m i i ec l 戮s i 磊嚣s e l e & i o 矬b yb e 蠢 a c c u r a c y 简称d c s l a ) ：其基本思想是首先将训练样本的特征空间划分为不同 的区域，在每个区域上，每个分类器都有一个分类性能。对于测试样本，首先 按照某种规则将其划分到某个区域中，选择该局部区域分类精度最高的分类器， 蕗線魛詟() p其它 其中掰是一个参数，东茹作为约束羲数。骰如意盘=o，搿拳l，示所有努类 器宥相同的分类输出。当口=o5时，即为熟悉的大多数投票法是宵可能对 同个测试样本，所有类别所得的票数相同，从而导致无法判试样本 。 此努，还有许多其施酌投票规剃，我锅可戮根据实际需要择最合适麓 投票规则。l o u i s a 等l o u s i a l ，c h i n g y s ，1 9 9 7 ) 对多数投票为和性能进 行了理论上的推导和分板，并特别研究了当矜类器增加时，识和误识率的 改变。识别率积可靠性这两个方薅存在着矛盾，对于具体应蔫获褥个较 好的折中值。许多研究人员对投票法进行了研究，性能较麓的器通常会获 得较小的权值，但是权值的大小并不仅仅取决于性能的好坏，性小的分类 器将获得较大的权值，因为它们的互替能力更翔强，黠组合。 二、基于撵序级信息的组台算法：根据输入对象豹属于各个魏可能性大 小，每个分类器输出为所有类别编号的一个排序。基于排序级息融合有两 个主要途径：一个途径是类集合减少，用予该途径的方法誊匮交集法程 著集法，毽稍都是摄据委三确类麴最差枣号获得一个亭号麓潮毽一个途径是 类集合重排，该途径包括三种方法最高序号法、borda计数法。 1)交集法。该方法计算每个分类器的大邻域的交集，邻域小由训练集 中正确类在最差情况下酶穿号决定。鬟畜铡练模式获褥摊痔集，每个努类 器赋给所有正确类的最低序号被决定，该序号作为序号韵闽值于个测试 样本，一个分类器的排在阂值前面的类被选择作为它的邻域，每个分类器 的邻域求交集。如暴一个分类器的阚值等于类集靛大小，。 该方法适焉予所有分类器具有适孛麴最差情况性能，这样翡邻域才会 小，因为邻域是幽每个分类器的最定的。 2)并集法。该方法计算每个分类器的小邻域的并集。序号值奄一个最 大最小过程选择。对于一个测试样本，根据阕值求每个分类器蠛，褥求它 们的并集。该方法适用于每个分类器擅长处理不同类型的输入况，即对于 每个输入，总有个分类器能很好的识别它。并集法着眼予每类器的 第3 章多分类器融合理论 3 ) 8 0 建鑫数法。该方法是一种常蔫翡基予播彦层翡缰会方法，傻多数投票 法的一个推广，一个类的b o r d a 数是每个分类器都给出序号低予该类的所有类的 个数之和，将所有类按b o r d a 数的降序排列作为组合后的排序。b o r d a 数法无需 训练，容曩实麓，但是没有充分考虑单个分类器性麓上嚣差异。在进行组合辩， 既没有对于分类性能好的分类器给予“奖励翮对于分类性能差的分类器给予 “惩罚 ，也没有区别对待高等级和低等级的排序。 4 ) 逻辑回归方法。针对b o 趟a 数法的缺陷，考虑到单个分类器性熊上的差 异，逶过给缝能眈较好的分类器赋予一个褶瓣来说琵鞍大酌权重，然后褥瘦用 b o r d a 数法，从一定程度上弥补了b o r d a 数法的缺陷，分类器的权重通过应用逻 辑回归方法( h ot k ，h u i l 盯，s r i h a r is ne la l ，1 9 9 4 ) 来估计。 翁最高序号法( 瓢瑶奠i 螽e 熨r a 救鹾式豁曩) 。霰设有爱个分类器焉子绘定躲 类集排序，在它们的识别结果中，对于每一类都会有k 个序号，这趸个序号中 最高的那个作为该类的分数。然崩将所有类按分数的升序排列，得到关于输出 鲍合成撵痔结果。该方法利用了每个分类器的麓力，它适蔫予类集较大，分类 器较少，每个分类器援长处理特定类的输入的情况。僵是，应用这种融合方法 后，每类所得的分数脊可能不分上下，这样的话必须借助其他的标准来分类了。 三、基于度量级信患的组合算法：输出对象先测试对象属予每个类别的置信 度大小，其藿在0 和l 之闻变纯，这些蓬实际上可虢看骸是模粳溅度。主要包 括贝叶斯理论的各种规则的分类器、基于d s 推理的方法、基于模糊测度的模 糊计分方法以及基于行为知识空间( b k s ) 法。 1 ) 行为知识空阕法 b e h 群e o 谣露g cs p 嶷篱稼b k s ) 。其基本愚想为： 设训练样本集合x = k ，x ：，矗 ，对于任意模式x ，各分类器的联合输出判决 为厂r 。b k s 规则定义如下： 。 f 如、1 艿e = ，鳃粟搬= 鹚m a x 等岩 ( 3 。3 ) | = l ，2 l 2v z 秀j 式中r 纯) 表示联合判决为所有的训练样本组成的熊合，吩也) 表示集合丁以) 真实类 别来自旗训练样本集合，ll 表示集合的基数。它有很多优点，行为空间法不需 要样本之闻独立，铡翔它可鞋根据掰需要鲍性熊鑫动选择鹂值，另磐它的性麓 是最优的。当然，这些优点都是从统计的观点来看，即需要大量较好的训练样 本，如样本很少，或者代表性不强，将不能发挥优点。除此之外，当测试样本 集中出现的联合判决在训练样本集合中并未出现时，b k s 方法将失效。 2 5 第3 章多分类器融合理论 贝叶斯理论通过非常形式化和严格的方法来决定一个样本的所属类别或者 所属类别的信任度。但是在关于信息融合方面，贝叶斯理论的应用有一定的限 制。为了获得由信源所提供的数据的先验知识，它需要大量信息方面的知识， 而且贝叶斯理论虽然能够描述不确定性知识，但是对于不同水平的认知，它很 难进行模拟，事实上，研究表明利用贝叶斯理论来建立模型会丢失一些很有用 的信息。 2 ) d e m p s t e r - s h a 疵r 方法( 简称d s 法) 。d s 方法的理论基础是d s 证据 理论，这里只把每个分类器的识别率，误识率和拒识率作为先验知识。d s 理论 和以前所用的概率论不同，它用基本概率分布( b p a ) 来计算数据p 的置信度 6 p ，彳) ，b p a 表示每个证据对子集的影响。它是一种在不确定条件下进行推理的 强有力的方法，可以看作是贝叶斯概率理论推广。 多分类器组合就是对k 个证据p 。g ) ，尼= 1 ，2 ，k 进行组合，组合时分两步： 第一步，将证据分组，每组支持同样的命题，进行组内合成，将k 个分类器 吼g ) 七= 1 ，2 ，k 转换成k ，个新的合成分类器e g ) = ，七= 1 ，2 ，墨；第二步， 把k ，个b p a 函数朋b ，尼= 1 ，2 ，k ，合成一个最后的b p a 函数，再计算出合成 置信度。当得到每个类的合成置信度后，就可以根据应用需求选择合成分类器e 的合成规则了，最简单的是选择置信度最大的类作为合成结果。 3 ) 模糊决策模板( f u z z yt e m p l a t e s ) 。模糊决策模板方法是结合多个分类器 的输出的一种非常简单的分类器融合方法，记分类器集合为f = 互，e ，e ， 每个分类器的输出为e b ) = p 叫，z 2 ，吐。 ，。，其中4 。，指通过分类器f 来表示 x 来自类缈，的隶属度，将所有的分类器的输出组成一个矩阵，称为d e c i s i o n p r 0 6 l e 。 卯g ) x 第3 章多分类器融合理论 为零，得瓦一胚。= o ，即& = 砖，。虽然可以直接计算矩阵s ，的 逆，然后计算矩阵1 瓯的特征值和特征向量得到。但是这个方法在实际计 算中往往不稳定，因为要计算一个位数很高，并且接近奇异的矩阵的逆。一个 可行的方法是求一个矩阵，可以同时对角化矩阵s 。和& 。因为s 。是