（模式识别与智能系统专业论文）人脸识别中的若干算法研究.pdf

摘要 摘要 人脸识别是模式识别研究领域的重要课题，具有广阔的应用自订景。 本论文对于人脸识别中的面部特征点定位和主成分分析法进行了深入研究， 并在此基础上实现了静态人脸图像识别系统。本论文的主要工作如下： ( 1 ) 根据人脸识别技术发展的历史和内容，总结了人脸识别技术的应用和 发展，介绍了目前主要采用的人脸数据库以及本论文采用的人脸数据 库。 ( 2 ) 研究并且实现了主动形状模型( a s m ，a c t i v es h a p em o d e l ) 和主动外 观模型( a a m ，a c t i v ea p p e a r a n c em o d e l ) 方法。 ( 3 ) 在研究a s m 和a a m 基础上，提出了基于改进的a s m 和a a m 的面 部特征定位算法。该算法结合了a s m 和a a m 的优点，提高了定位 精度。 ( 4 ) 对人脸识别中的主成分分析法( p c a ，p r i n c i p a lc o m p o n e n ta n a l y s i s ) 进行了改进，提出了结合边界信息的主成分分析法。提高了p c a 的 人脸识别率。 ( 5 ) 在改进p c a 的基础上实现了静念人脸图像识别系统。在实时人脸识 别系统中实现了改进的主成分分析法，并对系统数据库进行管理。 本论文的创新工作如下： ( 1 )结合a s m 和a a m 方法，提出了一种基于改进的a s m 和a a m 的面 部特征定位算法。该算法融合了a s m 局部模型、a a m 的纹理约束 以及基于线性回归的参数优化过程，因而在较大程度上继承了二者的 优势。实验结果表明，改进算法具有更高的准确性和更优的鲁棒性。 ( 2 ) 列。主成分分析算法进行研究分析，提出了一种结合边界信息的主成分 分析法。该方法区别对待不同的特征点，将边界信息融入p c a 中。 实验表明，采用该方法得到的人脸识别率要优于单纯采用p c a 方法 的结果。 关键词：面部特征定位人脸识别主动形状模型主动外观模型主成分分析 a b s t r a c t a b s t r a c t h u m a nf a c er e c o g n i t i o ni sa ni m p o r t a n ts u b je c ti nt h ea r e ao fp a t t e r nr e c o g n i t i o n ， w h i c hh a saw i d er a n g eo f p o t e n t i a la p p l i c a t i o n s t h i sp a p e rr e s e a r c h e df a c i a lf e a t u r el o c a t i o na n dp r i n c i p a lc o m p o n e n ta n a l y s i s i nf a c er e c o g n i t i o n ，a n dt h e nr e a l i z e ds t a t i cf a c i a li m a g er e c o g n i t i o n t h ew o r k so f t h i sp a p e ra r el i s t e da sf o l l o w s ： ( 1 ) b a s e do nt h eh i s t o r ya n dc o n t e n to ff a c er e c o g n i t i o n ，s u m m a r i z e dt h e a p p l i c a t i o na n dd e v e l o p m e n to ff a c er e c o g n i t i o n i n t r o d u c e dm a i nf a c e d a t a b a s e sa n dt h ed a t a b a s eu s e di nt h i sp a p e r ( 2 ) r e s e a r c h e da n dr e a l i z e da c t i v es h a p em o d e la n da c t i v ea p p e a r a n c e m o d e l ( 3 ) p u tf o r w a r da ni m p r o v e df a c i a lf e a t u r el o c a t i o na l g o r i t h mb a s e do na s m a n da a m t h ea l g o r i t h mc o m b i n e st h ea d v a n t a g e so fa s ma n da a m t i l ea l g o r i t h mi m p r o v e dt h el o c a t i n ga c c u r a c y ( 4 ) r e s e a r c h e dp r i n c i p a lc o m p o n e n ta n a l y s i si nf a c er e c o g n i t i o n ，a n dt h e n p r o p o s e da ni m p r o v e dp c am e t h o dc o m b i n e dw i t he d g e s t h ea l g o r i t h m i m p r o v e dt h ef a c er e c o g n i t i o nr a t e ( 5 ) r e a l i z e das t a t i cf a c i a li m a g er e c o g n i t i o ns y s t e mb a s e do ni m p r o v e d p c am e t h o d a c h i e v e da ni m p r o v e dp r i n c i p a lc o m p o n e n ta n a l y s i sa n da d a t a b a s em a n a g e m e n ts y s t e mi nr e a l - t i m ef a c er e c o g n i t i o ns y s t e m t h ei n i t i a t i v ew o r k so ft h i sp a p e ri s ： ( 1 ) r e s e a r c h e da s ma n da a m ，a n dt h e np r o p o s e da ni m p r o v e df a c i a l f e a t u r el o c a t i o na l g o r i t h mb a s e do na s ma n da a m t h ea l g o r i t h m c o m b i n e st h el o c a la s mm o d e l ，a a mt e x t u r ec o n s t r a i n t sa n dt h ep r o c e s s o fp a r a m e t e ro p t i m i z a t i o nb a s e do nl i n e a rr e g r e s s i o n t h ee x p e r i m e n t a l r e s u l ti n d i c a t e st h a t ，t h ei m p r o v e da l g o r i t h mh a sab i g g e re n h a n c e m e n ti n t h ea c c u r a c ya n dr o b u s t n e s s ( 2 ) i m p r o v e dp c am e t h o d p r o p o s e dan e wp c a m e t h o dc o m b i n e dw i t h e d g e s t h em e t h o dd i s t i n g u i s h e db e t w e e nd i f f e r e n tf a c i a lf e a t u r e s a n d b o u n d a r yi n f o r m a t i o nw a si n t e g r a t e di n t op c a t h ee x p e r i m e n t a lr e s u l t s s h o wt h a tt h er e c o g n i t i o nr a t ei ss u p e r i o rt ot r a d i t i o n a lp c a ab s t r a c f k e yw o r d s ：f a c i a lf e a t u r e sl o c a l i z a t i o n ，f a c er e c o g n i t i o n ，a c t i v es h a p em o d e l ，a c t i v e a p p e a r a n c em o d e l ，p r i n c i p a lc o m p o n e n ta n a l y s i s 1 l i 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写 过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确 的说明。 作者签名：盔咝签字同期： 2 翌1 2 ：主里 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权捌有者授权中国科学技术大学捌 有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交 论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人 提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 吆开口保密( 年) 作者签名：虚盟 签字同划：迎皇：至! 导师签名： 签字同期： f 拟瓶 - 口罗囊； 第1 章绪论 第1 章绪论 1 1 人脸识别研究背景及意义 人脸识别( f a c er e c o g n i t i o n ) 始于上个世纪六十年代( h c h a ne ta l1 9 6 5 ) ， 经过近半个世纪的发展，人脸识别技术已经发展的较为成熟，是模式识别中一个 热门研究领域。近二十年来，由于计算机及相关领域的迅速发展，人脸识别在视 频监控、身份验证系统、犯罪嫌疑人的辨认、视频会议、自动考勤系统等方面都 有着广阔的应用前景。 人脸识别是对于三维自然物体的识别，具有重要的理论研究价值。人脸识别 技术是一个涉及多个学科的课题。它涉及模式识别、人工智能、神经网络、计算 机视觉、计算机图形学、生理学、心理学等诸多领域。人脸识别相关问题的研究 和解决能促进这些领域的发展，对于相关领域内的研究工作有重要的影响和意 义。 1 1 1 人脸识别的特点 ( 1 ) 人脸识别技术的优势 在生物特征识别技术中，人脸识别在可用性方面具有独到的技术优势，主要 体现在以下几个方面：非接触式采集，不会对用户造成身体上的伤害，容易被 用户所接受。能够隐蔽操作，特别适合于安全监控。具有方便的事后追踪能 力。图像采集系统的成本低。符合大多数人们的识别习惯，可交互性强。 ( 2 ) 人脸识别技术的不足 然而，人脸识别也有其自身的缺点。虽然人类能够轻易地识别并且记住上千 张不同的人舱及其表情。但是对于机器来说，人脸识别却是一个极为困难的课题。 人脸有复杂的三维表面结构，其皮肤表面是柔性的，使得人脸变成非刚体性， 在不同采集条件下所获得的图像有很大不同，使得识别更加困难。同虹膜、指 纹等特征相比，人脸的面部特征稳定性较差。人脸特征会随着年龄增长、表情变 化而发生很大改变。图像采集受光照等各种外界条件的影响很大，这些成像因 素的不同所得到的人脸图像都会有很大变化。人口众多导致很多人脸的面孔之 问的差别是非常小的，要在技术上完全实现精确的识别验证，其难度是非常大的。 以上这些缺点都极大地增加人脸识别工作的难度，使人脸识别成为一个非常 困难的挑战性课题。特别是在采集条件不理想或者用户不配合的情况下，人脸识 第1 章绪论 别性能会急剧下降，使得人脸识别系统很难满足应用要求。 1 1 2 人脸识别的应用 由于人脸识别具有直接性、方便性和非接触性等特点，因此有着广泛的应用 前景( 张燕昆，2 0 0 3 ) ： ( 1 ) 视频监控。在9 1 1 恐怖袭击事件发生之后，世界各国都意识到利用 生物特征识别技术来临控和抓捕犯罪嫌疑人的重要性。而采用准确可 靠的人脸识别系统来防l 上各种破坏活动，特别是在某些重要场合安装 监控软件来实施监控，如机场、火车站、地铁、银行等。这样，如果 有可疑人物出现，就能立即报警给相关工作人员做出处理。 ( 2 ) 应用于各种身份验证中进行身份的鉴别，如信用卡、驾驶证、护照、 身份证等。这些证件验证大多采用人工对比照片的验证方式，费时费 力，效率不高。如果将人脸识别技术同i c 卡结合起来，在读卡机上 加装人脸识别系统和图像采集设备，利用计算机自动完成，则可实现 自动化管理。另外，现在的信用卡、自动提款机等都采用密码验证的 方式，但是密码会被遗忘或是被窃取。如果采用面像i c 卡则可以快 速完成面像的识别，同密码验证的方式相结合，这样就更加安全、方 便并且节省了时间。 ( 3 )犯罪人嫌疑人的辨认和搜索。嫌疑犯查找是静念图像匹配中最常见的 应用。利用人脸识别技术，通过控制照相背景、光照条件等，可以获 耿多幅人脸图像。然后用计算机在照片人脸数据库中找出与罪犯最相 像的人作为嫌疑犯，这样比人工查找的效率要高很多。 ( 4 ) 访问控制( a c c e s sc o n t r 0 1 ) 方面的应用。访问控制的范围相当广， 比如政府部门、事业单位或军事部门等入口处。在这些地方，比较常 见的检查手段是由门卫逐一检查进入人员的身份证件。当人员出入比 较频繁时，逐一检查证件的方式安全性和效率都得不到保障。如果在 入口处安装人脸识别系统，对于无权限访问人员发出警报给相关工作 人员做进一步处理，则可以提高工作效率并且使得安全性得到大幅度 提升。 1 2 人脸识别的主要商业系统 从2 0 0 0 年左右开始，人脸识别较为成熟的商业产品丌始出现。在某种程度 上也说明了人脸识别技术具备了一定的成熟度。目前，主要的人脸识别商业产品 第1 章绪论 有： ( 1 ) i d e n t i x 公司的f a c e i t 。相应的识别算法为基于局部特征分析( l f a ， l o c a lf e a t u r ea n a l y s i s ) 。 b i o i da g 公司的h u m a n s c a n 。使用人脸、声音和嘴唇运动等来进行 人物身份认证。 v i i s a g e 公司的f a c ei d 。主要采用e i g e n f a c e 识别算法。 c v i s 公司的f a c e s n a p 。视频序列中自动定位人脸并提取人脸面部特 征，主要采用弹性图匹配与神经网络识别算法。 o m r o n 公司的f a c ek e yf a c er e c o 。主要采用g a b o r 小波和弹性图匹 配技术。 t o s h i b a 公司的f a c e p a s s 。主要采用子空间识别算法。 n e u r o t e c h n o l o g i j al t d 公司的v e r i l o o k 。可以检测静念和视频序列中 的人脸图像，识别算法采用模板匹配方法。 l a u 公司的h u n t e r 。采用了p c a 识别算法。 1 3 人脸数据库资源 随着人脸识别技术的发展，国内外很多研究机构都提供了一些自己的人脸数 据库进行共享。由于相关文献中的实验环境和采用的人脸数据库的不同，各种人 脸识别算法的性能比较就很困难。因此本文介绍一些常用的人脸数据库，主要的 人脸数掘库有： ( 1 ) 英国剑桥大学的o r l 人脸数据库。该人脸数据库由4 0 个人的4 0 0 幅人脸图像构成，成像条件较好，为灰度图像，是人脸识别中用得最 多得人脸数据库。其人脸的细节和表情有一些变化，比如笑和不笑。 参见h t t p ：w w w u k r e s e a r c h a t t c o m f a c e d a t a b a s e h t m l ( 2 ) 西班牙巴塞罗那计算机视觉中心拍摄的a r 人脸数掘库。它也是人脸 谚 别研究中用得比较多的人脸数据库之一。一共包括1 2 6 人4 0 0 0 多 幅入脸彩色图像，每个人大约2 6 幅左右，格式为r a w 格式。a r 人 脸数据库中的人脸图像具有较大的光照、表情、遮挡变化。参见 h t t p ：r v l l e c n p u r d u e e d u - a l e i x a l e i x _ f a c e _ d b h t m l ( 3 ) 美国c m u 拍摄c m u p i e 人脸数据库。姿念和光照的变化具有严格的 控制。6 8 人共1 3 6 0 人脸彩色图像。 ( 4 ) 美国拍摄的f e r e t 人脸数据库。美国的f e r e t 项目为了评估而拍 摄的。它是目前世界上最大的人脸数据库，包括一个通用的人脸数据 ) ) ) ) ) ) 2 3 4 5 6 7 8 ( ( ( ( ( ( ( 第l 章绪论 库和一整套的测试标准，共有1 4 0 51 张人脸狄度图像。f e r e t 人脸 数据库的人脸图像具有多姿态、光照等变化，分为训练集与测试集。 参见h t t p ：w w w n i s t g o v h u m a n i d f e r e t ( 5 ) 美国y a l e 大学视觉中心拍摄的y a l e 人脸数据库。y a l e 人脸数据库包 括1 0 人共5 7 6 0 张人脸狄度图像，有9 种姿态、6 4 种光照、标记有 面部特征点的坐标。它也是目自，j 人脸识别研究中常用的人脸数据库之 。参见h t t p ：c v c y a l e e d u p r o j e c t s y a l e f a c e s ( 6 ) m i t 媒体实验室拍摄的m i t 人脸数据库。m i t 人脸数据库包括1 6 人共2 5 9 2 张人脸灰度图像，具有光照、姿态、大小等变化。 ( 7 ) 丹麦d t u 大学拍摄i m m 人脸数据库。i m m 人脸数据库包括4 0 人共 2 4 0 张图像，具有姿态、表情等变化。 本论文主要采用o r l 和i m m 人脸数据库进行实验。 1 4 论文的研究内容 本论文主要研究了特征点定位和人脸识别问题。人脸特征定位为人脸图像的 处理与分析提供了重要的几何信息，特征定位结果的准确与否直接影响到后续应 用的可靠性。该方向的研究在人脸姿态表情分析、人脸合成、人脸识别以及基于 模型的人脸图像编码中都有着重要的应用。 本论文的研究内容： ( 1 )研究了a s m 和a a m ，并结合a s m 和a a m 的优点，提出了基于改 进的a s m 和a a m 的方法。并利用该方法进行了人脸面部特征定位， 提高了人脸面部特征定位的精确性。 ( 2 )在研究p c a 基础上，提出了结合边界信息的主成分分析法。并利用 该方法进行人脸识别，提高了人脸识别率。然后基于该方法实现了静 态人脸图像识别系统。 ( 3 ) 存实时人脸识别系统的人脸识别模块中，实现了结合边界信息的主成 分分析法，并对系统数据库进行管理。 1 5 论文的组织结构 本论文的结构主要安排如下： 第l 章，绪沦。主要介绍本文的研究背景、意义以及目前应用的商业系统和 人脸数掘库资源。最后给出了本文的研究内容。 4 第1 章绪论 第2 章，人脸识别研究现状概述。回顾人脸识别系统的模型，根据这一模型 的核心模块：人脸检测、面部特征定位、人脸表征与识别，从其发展轨迹、技术 特点及发展趋势等几个层面予以论述。 第3 章，主动形状模型研究及实现。研究了利用主动形状模型来进行人脸面 部特征定位的方法。本章详细介绍主动形状模型的原理及其在人脸特征定位应用 中的具体实现方法。 第4 章，主动外观模型研究及实现。研究了利用主动外观模型柬进行人脸面 部特征定位的方法。本章详细介绍主动外观模型的原理及其在人脸特征定位应用 中的具体实现方法。 第5 章，提出一种基于a s m 和a a m 的改进算法，利用该算法来进行人脸 面部特征定位，并与a s m 和a a m 方法进行比较分析。 第6 章，着重研究主成分分析法，并且提出一种结合边界信息的主成分分析 法。在此基础上实现静态人脸图像识别系统。最后介绍实时人脸识别系统，并阐 述作者在该系统中完成的研究内容。 第7 章，对于目前的工作进行了总结，对于未来的工作进行了展望。 第2 章人脸以别研究现状概述 第2 章人脸识别研究现状概述 2 1 人脸识别的研究内容 广义上的“人脸识别”是包括人脸检测在内的，- f - j 完整的关于人脸的信息处 理技术( 张琴，2 0 0 3 ) 。例如在大部分专利和商用系统中，“人脸识别”是把人 脸检测作为系统的一个组成部分。而狭义上的“人脸识别”一般专指与人物身份 验证相关的谚 别技术。例如在大部分技术文献中，“人脸识别”都是指已知系统 输入中存在人脸以及人脸的位置。从而在输入图像没有复杂背景的条件下，对人 脸相应的身份进行验证和辨识的过程。本文为避免上述概念在文中的混淆，对上 述两个概念进行区分。 人脸识别技术：包括人脸检测和人脸身份认证技术在内的识别技术。 人脸识别：专指人脸身份认证技术。 计算机人脸识别技术包括多方面的研究内容。其中主要的研究内容如下( 苏 剑波等，2 0 0 1 ) ： ( 1 ) 人脸检测( f a c ed e t e c t i o n ) 。即对输入的图像，判定是否存在人脸， 如果有的话，给出存在人脸的数量和位置。如果系统已知图像中存在 人脸，只进行人脸位置的确定，则称之为人脸定位( f a c el o c a l i z a t i o n ) 。 也有些系统只对人脸的部分面部器官进行检测，则称之为人脸特征检 测，( f a c i a lf e a t u r ed e t e c t i o n ) 。 ( 2 ) 人脸表征( f a c er e p r e s e n t a t i o n ) 。利用某种表征形式对人脸进行描述。 即确定表示检测出的人脸和人脸数据库中的已知人脸的描述方式。通 常这一部分也可称为人脸的特征提取，有效的特征提取将有助于分 类。人脸表征是人脸识别技术中最重要的研究内容之一。 ( 3 ) 人脸识另l j ( f a c er e c o g n i t i o n ) 。通过脸与脸的匹配识别完成对人物身份 信息的确认和查找。这一部分通常分为两类：一类是人脸验证，即验 证某个人的身份是否匹配，是一个对的过程；另一类是人脸辨识， 即确定输入的图像是人脸数据库当中的哪一个人，是一个一对多的过 程。 ( 4 ) 人脸跟踪和监视( f a c et r a c k i n g ) 。对图像中检测到的人脸进行位置跟 踪，提取人脸的运动信息。 ( 5 ) 表情分析( f a c i a le x p r e s s i o na n a l y s i s ) 。通过对待识别的人脸的表情进行 硼f 究和建模，完成对人物情绪的理解，并对其进行分类。或者，在己 6 第2 章人脸识别研究现状概述 知人物表情的基础上，利用上述对应模型反过来虚拟出人物的表情。 这在计算机动画中有着广泛的应用。 ( 6 ) g i 理分类( p h y s i c a lc l a s s i f i c a t i o n ) 。通过对待识别人脸的生理特征进行 硎：究和建模，完成对人物年龄、性别等相关信息的分析。反之，也可 以利用这些相关信息和人物目前的状态来虚拟其未来可能的形态。 ( 7 ) 人脸编码( f a c ec o d i n g ) 。对人脸表征获得的特征进行编码。对图像内 容进行理解和描述。 2 2 人脸识别技术的历史与发展 人脸识别技术的研究已经有很长的历史，上个世纪六十年代术期g a l t o ne t a l ( 1 9 6 9 ) f 影e 曾经用一组数字代表不同的入脸侧面特征。入脸识别的输入图像通常 有3 神情况：诈面、倾斜、侧面。但是由于实际情况的需要，对人脸币面模式的 研究最多，它的发展大致可以分为3 个阶段( 詹曙等，2 0 0 0 ) 。 第一阶段，人工识别阶段。主要研究人脸识别所需要的面部特征，以 b e r t i l l o n 、a l i e n 和p a r k e 为代表。b e r t i l l o ne ta 1 ( 1 9 7 1 ) 提供了一个较强的识别系统， 他是用一个简单的语句与人脸数掘库中某一张脸相联系，并且结合指纹分析的方 法。a l l e ne ta l ( 1 9 7 3 ) 为待识别人脸设计了一种有效的描述，提高了人脸的识别率。 p a r k ee ta l ( 1 9 7 3 ) 则利用计算机实现了这一想法，并且生成了较高质量的人脸狄度 模型。 第二阶段，人机交互式识别阶段。主要是用几何特征参数来描述人脸正面图 像，代表性工作有：g o l d s t i o n 、h a r m o n 和l e s k ( 1 9 8 i ) ，他们采用2 1 维特征向量 描述了人脸百i 部特征，并设计了基于这一特征表示法的人脸识别系统。k a y a 和 k o b a y a s h i ( 1 9 8 5 ) 用欧式距离来表示人脸特征，他们采用的是统计识别方法。b a r o n 用4 个掩模表征人脸，而后计算4 个掩模与人脸数据库中每幅标准图像的相应掩 模之间的互相关系数，并以此作为判别依据( k b a r o ne t1 9 8 8 ) 。t k a n a d ee ta 1 ( 1 9 9 1 ) 设计了一个半自动回溯识别系统，首次运用积分投影的方法从单幅人脸图像上计 算出一组脸部特征参数，然后利用模式分类技术与标准人脸进行匹配。 总体说来，这两个阶段主要是在二十世纪六十年代到九十年代，这段时间的 人脸识别一般都需要人的某些先验知识、无法摆脱人的干预。 第三阶段，真正的机器自动识别阶段。主要是进入二十世纪九十年代，由于 高速度高性能计算机的发展以及各方面对人脸识别系统的迫切要求，人脸模式识 别方法有了较大的突破，出现了多种机器全自动识别系统。k i r b y 和t u r k 首先将 k l 变换的思想引入人脸图像的表征中( mk i r b ye t1 9 9 1o 该方法提取有利于分 7 第2 章人脸识别研究现状概述 类的特征，经过k l 变换后得到一组相应的特征向量，称为“特征脸”。这样每一 幅人脸图像向特征脸空自j 投影都可以获取一组坐标系数，这组坐标系数就表明了 人脸在该子空| 、日j 中的位置，实验表明其具有较强的稳定性，可以作为人脸识别的 依据。但研究表明，特征脸法随着光线、角度等因素的变化会导致识别率急剧下 降。b r u n e l l i 和p o g g i o 用改进的积分投影法提取出用欧氏距离表征的3 5 维人脸 特征向量用于模式分类( r b r u n e l l ie t1 9 9 3 ) 。这种方法利用人脸结构的先验知 识寻找人脸商i 部器官的轮廓及特征点，达到了一定的识别效果。但这种方法往往 是以少数特征点代替整个人脸图像，从而忽略了人脸器官和其他部位上的纹理信 息。 2 3 特征提取与人脸识别 人脸识别系统都会包含特征提取部分，其主要的目的就是从检狈, t j n 的人脸图 像中提取出能代表人脸本质的特征，从而大大降低特征空间的维数，以利于后续 的分类过程。特征提取的关键是一方面要去除图像的冗余信息以简化和加快计算 速度和识别过程，另一方面又要让提取的特征具有完备性和充分性以保障识别的 识别率。从而，提取的特征是否能充分反映出人脸特征是人脸识别系统成败的关 键因素，换句话说也就是选取什么特征的问题。 到目前为1 七，人们已经提出了许多不同的人脸特征，这些特征在不同的应用 场合其优缺点也i 不尽相同。比如，在基于几何特征的人脸识别方法中，特征提取 主要是提取人脸的形状信息与结构信息，并在此基础上构造特征向量。而在基于 神经网络的人脸识别方法中，使用的是人脸图像的总体特征，分类匹配过程使用 归一化的狄度人脸图像作为输入，而网络输出就是人脸识别的结果，这种特征无 具体意义( 陈刚等，2 0 0 1 ) 。 在特征提取以后就是人脸识别分类过程，即把提取到的人脸特征与人脸数据 库中的人脸特征进行匹配，并且依据其相似程度对两者是否匹配做出判断。 分类匹配过程一般要解决以下两个问题：个是判断待识别目标人脸图像与 人脸数据库中某一己知人脸图像是不是同一个人；另一个是从已知人脸数据库中 找出与待识别目标人脸图像最像的人脸图像。也就是晚，这两个问题一个是判断 “是不是”的问题，而另个则是判断“是谁”的问题。 这表明人脸识别包括人脸验证和人脸辨识两种。从分类的角度来说，人脸验 证是一个两类问题。它验证的内容是待识别的人脸同其所“声称”身份对应的脸 是否一致。从而最终给出的一个“是”或“不是”的答案。人脸辨识则是一个多 类问题。它辨识的内容是待识别人脸同人脸数据库中的哪一个身份相匹配。从而 第2 章人脸识别研究现状概述 最终给出的是一个身份编号。 人脸识别系统如图2 1 所示( 郑忠龙等，2 0 0 5 ) 。系统首先对输入图像进行人 脸检测，确认输入图像中是否存在人脸并确定人脸的位置。接着对人脸图像进行 特征提取，然后被编码存入人脸数据库中( 图中的流程) 。在实际应用中，将待 识别人脸的特征和人脸数据库中每一个人脸的特征进行匹配，最后给出待识别人 脸的身份信息。这一过程就是上述人脸辨识的工作。加入图中的部分后，系统 则完成了人脸验证的工作。此时系统根据输入身份在人脸数据库中选择相对应的 人脸特征，只进行该特征和待识别人脸特征的匹配过程，给出“一致”或“不一 致”的判定结果。 图2 1 人脸识别系统 从类别区分的角度来说，人脸检测是一个两类问题：人脸与非人脸。它将人 脸作为个整体类别，希望找出一个能够良好区分人脸与非人脸的方式。非人脸 的类别信息是庞大并且复杂的。而背景的复杂程度对人脸检测有着较大的影响。 因此，复杂背景下的人脸检测是必须面对的一个难题。而人脸识别就与此不同， 它是一个在人脸空间内部进行分类的问题。其分类的判据在于人脸的变化。将每 一个人的人脸作为一个独立的类别，从而对应于不同人脸，是类间的变化，对于 同一个人脸是类内的变化。从统计的角度上说，如果将人脸图像看成一个高维向 量，则人脸检测是对高维空间中所分布的信号的检测问题；人脸识别是高维空间 中信号匹配的问题。所谓的人脸面部特征定位，就是指通过计算机在一幅目标人 脸图像中自动地定位出人脸各个器官特征点的准确位置。其中包含眼睛、鼻子、 嘴巴、下巴、耳朵以及入脸外轮廓等所有需要提取特征点的位置。面部特征定位 可以为人脸识别、人脸跟踪、姿态表情分析等研究工作提供相应的基础数据，是 其它研究工作的前期步骤。然而，人脸特征点的自动定位目前不够准确，鲁棒性 也不强。因此，人脸特征点的精确定位以及强鲁棒性是当自订研究的一个热点。 9 第2 章人脸识别研究现状概述 2 4 面部特征定位方法介绍 2 4 1 研究背景及意义 虽然人类可以从一幅人脸图像中很轻松地分辨出面部特征点的准确位置，但 是对于计算机来讲却非常困难。因为人脸有复杂的三维表面结构，所以对于其形 成的二维图像，变化也是非常大的。特别是对于不同的人脸姿态、表情，不同的 光照条件、拍摄角度得到的二维图像的差别是非常明显的。因此，精确的人脸面 部特征定位是一项非常具有挑战性的课题。 面部特征定位为人脸图像的分析与处理提供了重要的几何信息，特征定位的 准确与否直接关系到后续应用的准确性。该方向的研究在人脸识别、人脸姿态表 情分析、人脸合成及基于模型的人脸图像编码中都有着重要的应用。具体有如下 几个方面( 周伟华等，2 0 0 2 ) ： ( 1 ) 为人脸识别提供几何特征等重要信息。在人脸识别算法中，个重要 的工作就是对人脸图像的尺寸进行归一化，而归一化的实现都是依赖 1 i 面部特征定位的结果。另外，有些算法中需要各个器官的相对位置 及形状信息，或对面部局部区域的特征加以分析。这些都需要在面部 特征定位基础之上进行。 ( 2 ) 为人脸自动跟踪提供初始位置或实现人脸图像的自动跟踪。可以利用 西f 部特征定位的方法，为基予其它方法的人脸跟踪算法提供相应的人 腧器官的初始位置，也利用而部特征定位的方法可以对视频图像中的 人脸图像进行自动跟踪。 ( 3 ) 利用人脸面部特征定位的结果进行人脸姿态表情的分析。在人脸的姿 态及其面部表情的分析过程中，可以通过面部一些器官的相对位置及 形状信息来进行分析确定。从而，面部特征定位也是姿态、表情分析 的序仃提。 ( 4 ) 人脸合成及人脸动画的研究。人脸面部特征定位的结果是进行人脸合 成以及人脸动画的研究的基础。 ( 5 ) 应用于基于模型的人脸图像编码。人脸图像中面部特征点的自动提取 是在基于模型的人脸图像编码中应用中一个重要的的提。 总之，人脸图像的特征定位有着广泛的应用，是许多其它的人脸图像研究工 作的前提和基础，直接关系到其它研究工作能否顺利地进行。 l o 第2 章人脸识别研究现状概述 2 4 2 国内外研究状况 面部特征定位的研究始于基于几何特征的入脸识别方法的研究。其中采用的 面部特征点的方法就是基于狄度变化信息的。该方法主要利用人脸不同区域的灰 度分布也不州这个特点来提取特征点的位置。该方法) 之只直接利用灰度的变化来 分析，因此对于光照的变化，其鲁棒性受到比较大的限制。k a s se ta l ( 1 9 8 8 ) 在1 9 8 7 年首次提出了称为s n a k e 的主动轮廓线模型( a c t i v ec o n t o u rm o d e l ) ，s n a k e 是一种 能量极小化的模型，形状受内力约束，行为由外力引导，图像力将其拖向显著的 图像特征。s n a k e 模型的吸引人的地方在于它对范圈广泛的一系列视觉问题给出 了一个统一的解决方法。近年来，它已经被越来越多的研究者成功地应用到计算 机视觉的诸多领域。l e ee ta 1 ( 1 9 9 8 ) 于1 9 9 7 年提出了一种由讵面和侧面人脸图像 的结构化s n a k e 模型来进行人脸面部特征定位的方法。 a l y u i l l ee ta 1 ( 1 9 9 2 ) 在1 9 9 2 年首先提出基于可变形模板的特征提取，该方 法用来提取眼睛和嘴巴的特征位置。由于人脸器官的复杂性，有些区域内的灰度 对比度较低，从而无法直接检测到边缘信息，即使获得了较明显的边缘，也很难 从中自动地获取精确度很高的特征点位置。因此，用弹性可变形模板进行特征提 取就能显示出：其优越性，可变形模板是用一组根据特征形状的先验知识设计的参 数所定义的，这些参数是可以调节的，为了能定义出最符合特征形状的模型参数， 需要利用图像的峰值、谷值、边缘和先验知识束设计合适的能量函数。调节参数 使能量函数向减小的方向变化，当能量函数达到最小时，这组参数所对应的模板 就最符合条件的特征形状。利用g a b o r 小波变换系数进行人脸识别的弹性图匹配 方法是由l w i s k o t te ta 1 ( 1 9 9 7 ) 在1 9 9 7 年提出在该方法中利用了一组不同相 位和频率下得到的g a b o r 小波变换系数作为特征，来进行面部特征点的精确定 位，然后在此基础上进行识别。v k r ”u g e re ta l ( 2 0 0 0 ) f fj j 用g a b o r 小波进行人脸图 像的表示与重建。该方法根据重建系数的相似性来进行人脸特征定位。 基于a s m 的方法是一种常用的人脸特征定位方法。a s m 是一种基于统计模 型的方法，是由t f c o o t e se ta l ( 1 9 9 5 ) 在1 9 9 5 年提出的，该方法对训练集中大量 所描述的形状样本进行统计，建立起反映目标形状变化规律的形状统计模型。在 搜索过程中，首先利用训练得到的局部灰度模型进行搜索，之后利用形状模型束 对搜索到的形状进行约束和限制，同时对其合理性进行判断。对不合理的形状进 行调整以保证其在统计意义上的合理性。通过循环迭代过程，找出理想的匹配结 果。 在a s m 的基础之上，t f c o o t e se ta l ( 19 9 8 ) 在19 9 8 年中出提出了a a m 模型。 在此方法中，不仅建立起了反映形状变化的形状统计模型、反映灰度分布规律的 局部狄度模型，同时还建立起了反映全局纹理变化的全局纹理模型，从而能够充 第2 章人脸识别研究现状概述 分利用全局的纹理信息。然后对形状模型及纹理模型结合起来建立主动外观模 型。得到的主动外观模型去除了形状和纹理之i 白j 的相关性，可以准确地生成形状 和纹理变化的目标图像。在a a m 搜索过程中，利用训练得到的图像耿度差值与 外观模型参数变化的线性关系，不断变化外观模型参数以及几何位置和尺度等参 数，直到获得理想的匹配效果。 a s m 和a a m 方法可以通过对某一类特定图像进行建模，来进行特征的提 耿，具有较好的通用性。本文研究的就是基于a s m 和a a m 方法来进行人脸特 征定位，并提出了基于改进的a s m 和a a m 人脸面部特征定位方法。 事实上，目自订已经报道的各类方法都有其特定的实验条件。因而，某一个特 定的面部特缸定位算法都不可能解决面部特征定位中的所有问题。基于局部特征 定位的方法局部特征的定位比较准确，速度上也比较快，但是由于其缺乏对整体 特征的考虑，所以有时会导致难以预料的定位结果。基于整体特征定位的方法具 有统观全局的优点，定位的结果也是多特征定位。但是由于该方法是全局最优， 没有考虑局部特征信息，因而不能保证局部特征定位的准确性，而且由于其包含 的信息很多，导致定位过程收敛的速度也比较慢。 无论是基于局部的方法还是基于整体的方法，结合先验知识这一点都是非常 重要的。充分结合先验知识对于提高定位精度以及缩短定位时削都是很有帮助 的。然而，由于成像条件的复杂性，比如姿念变化、表情变化、光照变化等，使 得人脸这模式会发生很大的改变。这通常也是导致算法性能在不同场合下急剧 下降的主要顾因。特别当人脸的姿态发生深度旋转，比如旋转角度超过4 5 度时， 面部特征的结构信息会遭到很大的破坏。在这种情况下，绝大多数的算法识别率 都会急剧下降，甚至失效。另外，面部特征定位是建立在人脸检测基础上的。然 而侧面人脸检测本身就是一个难题，这也增加了面部特征定位的难度。以上还只 是姿念变化所带来的问题，如果光照和表情也发生较大改变时，实际情况会变得 更为复杂。 2 5 本章小结 本章首先重点对人脸识别的现状进行了概述，然后阐述了人脸识别系统的模 型，紧接着逐一讲解了这一模型的核心模块：人脸检测、面部特征定位、人脸表 征与识别。最后对本文要进行的研究方面的常用方法做了简介，并指出了人脸识 别中常见的难题。 1 2 第3 章土动形状模删( a s m ) 第3 章主动形状模型( a s m ) 3 1 主动形状模型思想简介 主动形状模型是一种基于统计模型的图像搜索方法，是由t f c o o t e s 等人最 早提出的。a s m 用点分布模型( p o i n td i s t r i b u t i o nm o d e l ，p d m ) 描述目标的形 状。它通过对具有一定代表性的同一类目标图像进行统计来建模。它在思想上类 似于主动轮廓模型，即定义一个能量函数，通过调整模型参数使能量函数最小化。 在目标搜索过程中利用先验知识进行模型初始定位，然后利用局部纹理模型进行 特征点搜索，并利用形状模型对形状进行合理近似来进行调整。与主动轮廓模型 相比，a s m 能够对物体的形变进行限制，使其改变在合理的范围内。 3 2 点分布模型 点分布模型能够对物体形状进行比较好的描述。为得到点分布模型，从图像 库中耿出部分图像，然后将每幅图像的边缘和内部选取一系列特征点标记上。 3 2 1 特征点标定 在特征点标定之前，应确定用来描述形状的特征点的数量。本文记特征点的 数量为n 。对j f 每幅训练图像，手工标记出特征点。在通常情况下，标记点的获 得是通过人机交互的方式从图像中获取的。在选取标记点的时候需要注意在不同 图像中相应的标记点应有一一对应的关系。另外，特征点的选取要遵循两个原则， 一是关键特征点要选取出来，比如人眼。二是特征点的分布要比较均匀，密度也 要适当。本文用8 8 个点来定义人脸的形状特征，分别覆盖了眉毛、眼睛、鼻子、 嘴巴和下颌等主要区域，并且用曲线连接起来。这样人脸的大体轮廓就可以勾勒 出来用以描述人脸的形状特征，如图3 ，1 所示。特征点标定是一项极其繁琐但富 有技巧的工作，需要注意f 确并尽可能精确地标记出特征点。另外，所有的特征 点都应是一个有序的序列。在不同的样本中对应的标记点应当标记同样的图像特 征。在有些样本中，特征点由于光照、姿态等影响可能表现的不是十分清晰，从 而会给标记过程带来很大的困难。图3 2 人脸标记实际效果图。 第3 章土动形状模型( a s m 图31 人脸形状的标记幽 图3 2 人脸标记实际效果幽 设有n 个图像样本，每个样本有n 个特征点。本文用向量 = 【o ，h o ，一1 m l 玉川，一i r 其中1 i n ( 3 表示第i 幅图像样本，其中第j 个点的坐标记