（应用数学专业论文）基于正交照片重建三维人脸的研究.pdf

重庆大学硕十学伊论文 中文摘要 摘要 创建逼真的三维人脸模型是计算机图形学领域一个极富有挑战性的课题。随 着计算机图形学的发展，三维人脸重建在影视技术、游戏娱乐、虚拟环境、远程 通信、辅助医疗、刑事鉴别等方面的应用同益广泛。 本文在分析和总结了前人工作的基础上，对三维人脸重建方法进行了深入的 研究，提出了一种简单有效的基于人脸正、侧面正交照片重建特定人脸三维模型 的改进算法。其主要的研究内容包括以下几个方面： 1 ) 介绍了人脸识别研究意义及国内外的研究现状，并对三维人脸重构技术进 行研究和改进，分析了目前流行的几种三维人脸重构方法的优缺点。 2 ) 研究人脸特征点的规律及其位置分布。参照m p e g 4 标准中人脸定义参数 的特征点分布，结合本文需求，定义了本文的人脸特征点分布并进行标定和提取。 3 ) 本文在利用从正交照片上提取的特征点修正非特征点时采用欧氏距离最短 原则作判断，改进了用于通用人脸模型变形的分区域差值法，从而可容易的得到 较好的特定人脸网格模型。分区域差值法对通用人脸模型的变形可以分解为在 x ，n ：轴方向上分别进行变形。 4 ) 利用图像多分辨率技术处理拼接裂缝，得到无缝纹理拼接图。先分别迭代 构造出人脸正、侧面正交照片的g a u s s i a n 金字塔和l a p l a c i a n 金字塔，再从金字塔顶 层开始迭代重构人脸图像，通过低通滤波和带通滤波两个过程很好消除接缝，形 成无缝的纹理拼接图。实验结果可以看出此方法的优越性。 5 ) 采用纹理映射，结合o p e i l g l 中纹理映射技术实现特定人脸模型的纹理贴 图，得到真实感的三维人脸。 6 ) 最后利用普通摄像头建立了正交人脸照片数据库。在此基础上进行了相关 的实验，并给出了实验结果和实验分析。实验结果表明本文改进的方法能够对分 辨率不高的图像实现较好的重建。 关键词：人脸识别，三维重建，特征提取，通用人脸模型变形，分区域差值法， 图像拼接，纹理映射 重庆大学硕七学位论文 英文摘要 a b s t r a c t g e n e r a t i n gr e a l i s t i c3 dh u m a nf a c em o d e l sh a sb e e nap e r s i s t e n tc h a l l e n g ei n c o m p u t e rg r a p h i c s t h ea p p l i c a t i o n so f3 dh u m a nf a c em o d e l si n c l u d es u c hd i v e r s e f i e l d sa sc h a r a c t e ra n i m a t i o nf o rf i l m sa n da d v e r t i s i n g ，c o m p u t e rg a m e s ，v i r t u a lr e a l i t y ， t e l e c o n f e r e n c i n g , u s e r - i n t e r f a c e ，s u r g i c a lf a c i a lp l a n n i n g , a n dc r i m i n a ld i s c r i m i n a t i o n t h i sp a p e rf o c u s e so nt h ef i e l do ff a c i a lr e c o n s t r u c t i o na n dp r o p o s e sa ni m p r o v e d m e t h o dm a tr e c o n s t r u c t st e x t u r e d3 df a c em o d e lb a s e do no r t h o g o n a lp h o t o sw i t haf e w u s e ri n t e r a c t i o n s t h er e s e a r c hw o r km a i n l yi n c l u d e st h ef o l l o w i n ga s p e c t s ： 1 ) w es t u d yt h er e s e a r c hm e a n i n ga n dt h ep r e s e n tc o n d i t i o n so f d o m e s t i ca n di n t e r - n a t i o n a lr e s e a r c ho f t h ef a c er e c o g n i t i o n w ea l s os t u d yt h et e c h n o l c g i e so f3 dr e c o n s t r u - c t i o na n da n a l y s et h ed i f f i c u l t i e st ot h ee x i s t i n gt e c h n i q u e so f 3 dr e c o n s t r u c t i o n 2 ) a c c o r d i n gt ot h ef d p i nt h es t a n d a r do f m p e g - 4 ，w ed e f i n es o m ef e a t u r ep o i n t s i nt h eh u m a nf a c eb a s e do nt h ec h a r a c t e r i s t i c so f h u m a nf a c e 3 ) w ea l s or e s e a r c ht h em e t h o do fd e r i v i n gt h e3 dc o o r d i n a t eo ft h ef e a t u r ep o i n t f r o mt h e2 do r t h o g o n a li m a g e s w i t ht h i sf e a t u r ep o i n t s ，w eg e tag i v e nf a c em o d e lb y d e f o r m i n gt h eg e n e r i cf a c em o d e l u s i n gt h en e a r e s tp r i n c i p l eo fe u c l i d i a nd i s t a n c e ，w e d e a lt h en o n f e a t u r ep o i n t sw i t hf e a t u r ep o i n t s 钔w eu s em u l t i r e s o l u t i o nt e c h n i q u et ob u i l dag a u s s i a np y r a m i da n dal a p l a c i a n p y r a m i df o rt h ef r o n t a la n dp r o f i l ef a c i a li m a g e s ，a n dm e r g e t h eb o u n d a r yo ft h eo r i g i n a l t e x t u r ei m a g e t h ep r o c e s so fb u i l d i n gap y r a m i di st op r o d u c ei m a g es e q u e n c ew i m d i f f e r e n ts c a l e s 5 1w eu s ec y l i n d e rt e x t u r em a p p i n ga n do p e n g lt og e n e r a t ear e a l i s t i c3 df a c e m o d e l 6 1f i n a l l y , w em a k ee x p e r i m e n t so nt h ef a c ed a t a b a s ew h i c hw eg e tw i t hp cc a m e r a a n dt h er e s u l t ss h o wt h em e t h o dc a l lm a k eag o o dr e c o n s t r u c t i o n k e y w o r d s ：f a c er e c o g n i t i o n ，3 dr e c o n s t r u c t i o n ，f e a t u r ee x t r a c t i o n ，g e n e r i cf a c em o d e l m o d i f i c a t i o n ，m e t h o do fd i f f e r e n c ei ns i n g l es e c t i o n ，i m a g em o s a i c ， t e x t u r em a p p i n g 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取 得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含为获得重迭太堂 或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本 研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：牵动缅务 签字日期：7 筘7 年b , y 夕日 学位论文版权使用授权书 本学位论文作者完全了解重庞去堂有关保留、使用学位论文的 规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许 论文被查阅和借阅。本人授权重庆太堂可以将学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段 保存、汇编学位论文。 保密() ，在年解密后适用本授权书。 本学位论文属于 不保密( v ) 。 ( 请只在上述一个括号内打“”) 学位论文作者签名：杨伯菊 导师签名 签字日期：咖年6 月7 日 签字日期：切椤年莎矽日 重庆大学硕士学位论文1 绪论 1 绪论 在人与人交往中，人脸是人们区分不同对象的最重要的特征。因此人脸识别 技术成为当今计算机视觉研究热点之一。 目前的人脸识别方法主要集中在二维图像方面，其识别效果很大程度上取决 于用于识别的图像来源和质量。一般来说，多帧、受控背景图像的识别要比单帧、 非受控背景图像更容易得到好的识别结果。但由于受到光照、姿势、表情变化的 影响，识别的准确度受到很大限制。 针对二维人脸识别的难点，研究者们提出了利用三维信息进行人脸识别。随 着三维人脸模型的广泛应用，获得真实感人脸三维模型便成为三维人脸识别领域 的重要研究方向之一。 1 1 研究目的与意义 目前用于身份鉴别的生物特征有面像、声音、指纹、虹膜、笔迹、步态、耳 型、视网膜、手形、掌纹、足迹、红外温谱图等。图1 1 、图1 2 分别是国际生物 特征认证组织调查得到的各种生物特征识别技术的市场份额及其商业前景。由图 可见生物认证技术具有很大研究、应用前景。 2 0 0 3c o m p a r a t i v em a r k e ts h a r eb yt e c h n o l o g y ( d o e sn o tm c l u d ea f i sr e v e n u e ) c o p y r 】g h t2 0 0 3i n t c m c r t i o n a lb l o m e t w cg r o u p 图1 1 各种生物特征识别技术的市场份额 f i g 1 1c o m p a r a t i v e m a r k e ts h a r e b y t e c h n o l o g y 随着经济的发展，社会对安全产品的需求不断增加，特别是9 1 1 恐怖袭击事件以 后，世界各国对如何防范恐怖分子、保障人民安全异常关注。因此近年来基于生 物特征的身份识别技术得到了人们的关注，其中人脸识别是生物特征鉴别技术的 重庆人学硕士学位论文1 绪论 5 0 0 0 4 0 0 0 3 0 0 0 2 0 0 0 1 0 0 0 0 t o t a lb i o m e t r i cr e v e n u e s2 0 0 2 - 2 7 ( $ m ) c o p y r i g h t2 0 0 2i n t e r n e r t i o n a lb 1 0 m e t u ：cg r o u p 2 0 0 22 0 0 32 0 0 42 0 0 52 0 0 62 0 0 7 图1 2 生物认证技术的商业前景 f i g 1 2 t o t a lb i o m e t r i cr e v e r l u d 3 2 0 0 2 2 0 0 7 一个重要方向。和其他生物特征识别相比，人脸识别具有主动性、非侵犯性和用 户友好等许多优点，因此人脸识别在公安、海关、交通、金融、社会保险、医疗 及其它民用安全控制系统等领域具有广阔的发展前景和很高的社会经济效益。但 是二维人脸识别易受背景，头发，年龄变化，表情变化，周围环境，光源等影响。 由于三维信息能更精确地描述人的脸部特征，且三维特征不易受化装和光照的影 响，因此三维人脸识别越来越受到研究者的重视。不过目前三维人脸识别算法还 很不成熟，面临着很多困难。 1 2 人脸识别的理论概述 人脸识别是对给定的待铡照片、深度图像或其他形式的广义面像信息，利用 相关知识进行检测、判断整个场景中是否包含人脸图像，同时进行人脸图像定位， 并对其进行尺度归一化和颜色标准化、去噪声等预处理，然后进行特征提取和定 量描述，最后进行比较识别，从而判断不同人脸图像信息是否为同一人脸。 人脸识别的具体研究内容主要包括以下几个部分l l j ： 人脸检测( f a c ed e t e c t i o n ) 人脸检测是人脸识别系统中的一项关键技术，主要采用图像处理、模式识别等 方法，判断给定的场景区域中是否包含人脸，若存在，确定其位置并提取出人脸。 人脸检测易受光照、噪声、面部倾斜度以及各种各样遮挡的影响。 人脸表示( f a c er e p r e s e n t a t i o n ) 根据人脸的先验知识及认知规则确定人脸的表示，主要有两大方法：特征矢 量方法( 如几何特征、代数特征、变换域特征) 和图像矩阵方法( 如灰度图方式) 。 人脸特征抽取f f e a t u r ee x t r a c t i o n ) 采用图像处理、神经网络、数学变换等方法，进行特征的检测与抽取。 人脸鉴别( f a c ei d e n t i f i c a t i o n ) ( 通常所说的“人脸识别”) 2 重庆大学硕士学位论文1 绪论 根据人脸的特征，设计识别算法，进行人脸的相似度分析，从数据库中检索 已有的人脸、判别给定人脸是否为数掘库中的人脸。这一过程的核心是选择适当 的人脸的表征方式与匹配策略，系统的构造与人脸的表征方式密切相关。 生理分类( p h y s i c a lc l a s s i f i c a t i o n ) 对人脸的生理特征进行分析得出年龄、性别等信息。 表情姿态分析( e x p r e s s i o n g e s t u r ea n a l y s i s ) 1 3 人脸识别的国内外研究概况 1 3 1 人脸识别的发展史 一般来说按照时间顺序，人脸识别技术发展过程可为5 个阶段【2 】：1 ) 侧面人脸 识别阶段，2 ) 正面人脸识别阶段，3 ) 基于多姿态、表情的人脸识别阶段，4 ) 动 态跟踪人脸识别阶段，5 ) 三维人脸识别阶段。 最早的人脸识别研究可以追溯到1 9 世纪，当时g a l t o n 采用一组数字来表示人 脸的侧面特征，作为识别的基础。不过直到上世纪8 0 年代，随着计算机技术、人 工智能、模式识别以及相关技术的发展，才极大地推动了人脸识别的研究。近十 余年来，随着高速度高性能计算机的发展，机器人视觉的研究，人脸识别方法有 了较大的突破，提出了多种全自动识别系统，并出现了许多新的发展方向。但如 果不能摆脱人为的干预，这样的系统将无法真正进入市场。 目前，国内外很多研究机构在应用方面做出了一定的成绩。如美国国防部高 级研究项目署( a d v a n c e dr e s e a r c hp r o j e c t sa g e n c y ) 和美国陆军研究实验室( a r m y r e s e a r c hl a b o r a t o r y ) 在1 9 9 3 年成立了f e r e t ( f a c er e c o g n i t i o nt e c h n o l o g y ) 项目组， 建立了f e r e t 人脸数据库，用于评价人脸识别算法的性能。f e r e t 测试在1 9 9 7 年 后没有再进行。德国西门子公司的n i x d o f f 高技术公司在1 9 9 8 年开发成功“人像及 视觉访问控制系统f a c e v a c s ”，用于保安系统的访问控制，通过摄像机摄取人像， 对几十人的人像库进行识别检索，识别率近1 0 0 。日本东芝旗下的es o l u t i o n 公 司在2 0 0 1 年推出“面孔验证安全系统f a c e p a s s ”，最多可容纳1 0 0 0 人登录。 在国内，银晨网讯科技有限公司与高文教授领导的哈工大面像识别研究小组 共同组建了中科院计算所银晨网讯面像识别联合实验室( 简称i c t - y c n c 联 合实验室) ，专门研究和开发商业面像识别系统。另外中科学院自动化研究所2 0 0 4 年发起成立了“生物特征认证与测评中心”( c e n t e rf o rb i o m e t r i ca u t h e n t i c a t i o na n d t e s t i n g ，简称c b a t ) 。该中心向国内学术界免费共享数据库，包括人脸数据库， 虹膜数据库，笔迹数据库，步态数据库等。 1 3 2 三维人脸识别的研究现状 重庆大学硕士学位论文1 绪论 近年来出现的三维人脸识别给整个人脸识别研究带来了机遇，其核心思想认 为人脸的三维数据能够作为身份鉴定的一种依据。通过研究，m e d i o n i l 4 1 得出三维 空间中的识别能够克服因视点和光照变化带来的问题；g o r d o n 6 】则认为：相对于传 统基于灰度信息的特征，深度信息和曲率信息能更准确地描述表面形状、面颊、 前额和下巴等区域的特征。由于三维人脸识别不易受光照、阴影、姿态、表情的 影响，因此可以弥补二维方法的不足，得到更优的识别效果。广义来说三维人脸 识别包括四大方面p l ：扎三维人脸重建；b 头部动态跟踪；c 三维人脸识别；d 表情 分析与合成。 三维人脸识别面临的困难 三维人脸识别虽然比二维人脸识别更准确、可靠，其应用领域也更广泛。但 长期以来，三维人脸识别研究未能达n - - 维识别那种如火如茶的境况，原因在于： a 三维数据的获取仍显繁杂，需要专用的设备，费用高，数据量大，计算复杂， 难以满足应用要求的实时响应时间； b 三维识别要求采集面貌数据是在合作环境下进行，限制了其应用范围； c 深度人脸图像采集设备出现时间较短，三维物体的相似性判别仍在研究中； d 识别方法的不足，传统的识别方法不能满足三维识别的要求。 三维人脸特征提取 三维特征提取是三维人脸识别的关键步骤，其实质是把三维数据模型转化为 特征表示，利用特征的可分性来体现其模型的特点，也就是把模型的坐标信息匹 配转化为对曲面表面的形状匹配。g o r d o n 6 1 根据曲率来分割表示人脸的深度图像， 把描述了曲率和尺寸大小的特征作为识别特征，并设每个人脸对应特征空日j 中的 一个点，用最邻近法完成特征匹配。l a p r e s t e 等i7 】最早提出基于轮廓线的方法。首 先用曲面的主曲率分割深度图像，以找到通过鼻尖的人脸对称平面，从而提取出 侧面轮廓，并根据对称平面的位置信息完成曲面配准；最后将侧面轮廓匹配和人 脸表面匹配的结果相结合而得到最终的识别结果。b e u m i e r 和a c h e r o y l 8 1 的识别方 法则结合了一系列中心轮廓线和侧面轮廓线的曲线特征。n a g a m i n e 等【9 】是基于面 部结构特征进行识别的，先在面部上搜寻5 个面部基准点，以完成模型的姿态配 准，随后通过匹配比较面部上的多组曲线以及轮廓特征完成识别。 总的说来，对模型进行曲面分析而提取的特征称为几何特征( 三维变形模板， 各种曲率特征等) ；利用统计方法获得的特征称为统计特征( e g i 特征) ；利用解析 方法得到的特征称为频域特征( 特征脸、f i s h e r 脸等) 。但这些特征都存在或是没 有充分利用人脸五官信息，或是在对五官区域提取特征时采用方法较复杂的问题， 因此为了有更好的识别效果可以综合考虑多种特征。 三维人脸重建 4 重庆大学硕士学位论文1 绪论 目前国内外有很多研究者都致力于三维人脸重建研究，已出现了多种不同的 建模方法。但其研究路线基本上可以分为两大方向： a 利用专用的三维扫描设备( 如螺旋c t 机、三维数字化仪、立体摄像机等) 直 接获取真实人脸的数据进行三维重建。该方法虽然建模准确、模型逼真，但专用 设备价格昂贵，同时效率低，应用范围受到一定的限制。 b 刑用特定人脸的二维图像重建三维人脸模型。该方法不需要特殊、昂贵的设 备，只需结合人脸几何特征、人体测量学及计算机视觉等方面的知识就可得到较 好的三维人脸模型。特别在对人脸模型精度要求不高时，此方法显出了优越性。 在国外，比如f u ap 1 1 1 】利用三个互补的信息源：立体数据、轮廓边和二维特征 点来重建人头部模型，用纤维束调整技术恢复摄像机参数。并使用了最小二乘法 的优化技术和控制三角形的逐步细化技术，但该算法计算量较大。r e i n 1 i e nh s u 等【1 2 】提出的人脸三维重建方法比较有代表性。他以三角网格模型为通用人脸模型， 将人脸特征( 其量度包括形状信息和纹理信息) 在事先给定的范围中从彩色图像 中提取出来，并用从全局到局部的方法，将人脸模型和脸部特征量度数据对齐。 整体对齐是指头部的位置和尺寸的定位，局部对齐包括眼、鼻、嘴、面颊等特征 点的变换和缩放。最后，使用纹理映射使得重建的人脸具有真实感。 在国内，晏洲”】提出了一种人脸模型个性化的方法和多方向纹理映像的算法 郑飞等【1 4 】提出了使用人脸照片合成全景图像的方法进行三维重建。梅丽等【 】给出 了基于实拍人脸图像的三维逼真人脸模型的重建算法。 1 3 3 基于正交照片重建三维人脸 基于正交照片重建三维人脸的方法是利用通用人脸模型和二维正、侧面正交 照片进行重建的。给定两张正交人脸照片及预定义的通用人脸模型，利用从正交 照片中获取的人脸特征点信息变形通用人脸模型以得到特定人脸模型。该方法利 用普通相机获取照片，结合图像处理技术就可以完成三维重建，算法简单，设备 要求低，应用前景广泛。因此基于正交照片重建三维人脸的方法越来越受到研究 者的亲睐，成为近年来三维人脸模型重建领域的研究新热点。 1 4 论文的主要内容 本文采用普通摄像头获取人脸正、侧面正交图像，利用图形图像处理技术对 人脸照片进行三维重构。其主要的研究内容是： 1 ) 介绍了人脸识别研究意义及国内外的研究现状，并对三维人脸重构技术进 行研究和改进，分析了目前流行的几种三维人脸重构方法的优缺点。 2 ) 研究人脸特征点的规律及位置分布。参照m p e g - 4 标准中人脸定义参数的 特征点区域分布，结合本文需求，定义了本文人脸特征点分布并进行标定和提取。 重庆人学硕十学位论文 1 绪论 3 ) 本文在利用特征点修正非特征点时采用欧氏距离最短原则作判断，改进了 用于变形通用人脸模型得到包换特定人脸特征的特定人脸模型的分区域差值法。 分区域差值法对通用人脸模型的变形可以分解为在x , y ，7 轴方向上分别进行变形。 4 ) 利用图像多分辨率技术处理拼接裂缝，得到无缝纹理拼接图。先分别迭代 构造出人脸的正、侧面正交照片的g a u s s i a n 金字塔和l a p l a c i a n 金字塔，再从金字塔 顶层开始迭代重构原图像得到无缝纹理拼接图。 5 ) 采用纹理映射，结合o p e n g l q b 纹理映射技术实现特定人脸模型的纹理贴 图，得到真实感的三维人脸。 6 ) 最后建立了一个实验人脸库，在此基础上进行了系统实验并做出分析。实 验结果表示我们改进的方法能够对分辨率不高的图像实现较好的重建。 1 5 论文的组织结构 第一章，绪论。介绍了人脸识别的理论概况及国内外研究现状。特别是对三 维人脸识别、三维人脸重建的现状进行了介绍。最后给出了本文的主要研究内容。 第二章，人脸识别方法。对常用的人脸识别，包括目前流行的三维人脸识别 的方法进行了研究和比较，并指出其优缺点。 第三章，三维人脸重构技术研究及其改进。介绍了立体视觉理论，特别对三 维人脸重建过程中主要的技术进行了详细的阐述，改进了摄像机标定的方法。同 时对较流行的三维人脸重建方法进行了分析比较。 第四章，基于正交照片重建三维人脸方法的改进。本文提出了一种简单有效 的由正交照片重建特定人脸三维模型的改进算法：首先对人脸特征点进行定义， 再利用特征点信息结合改进的分区域差值法变形通用人脸模型得到特定人脸模 型；然后采用图像金字塔技术构造g a u s s i a n 金字塔、l a p l a c i a n 金字塔无缝拼接正、 侧面照片生成无缝脸部纹理图；最后对整个人脸模型进行纹理映射，得到真实感 特定人脸三维模型。 第五章，对本文的算法进行实验，并分析了实验结果。 第六章，总结本文的工作，并给出未来研究的方向。 6 重庆大学硕士学位论文2 人脸识别方法 2 人脸识别方法 2 1 引言 早在1 9 世纪就开始对人脸识别进行研究，但由于受技术条件的限制，发展缓 慢。直到上世纪8 0 年代，随着计算机技术以及图像处理和模式识别技术的发展， 人脸识别技术才受到很大重视并得到了进一步的发展。 广义的人脸识别包括人脸检测、人脸表示、人脸跟踪、人脸识别( 匹配) 等； 而狭义的人脸识别则仅指人脸匹配，即给定一场景的静止或视频图像，利用已有 的人脸数据库，确定场景中的一个或多个人。不过总的说来，人脸识别至少包括 人脸的定位和分割和人脸的识别两大任务。 2 2 人脸识别研究方法及其优缺点 2 2 1 人脸识别方法的特点及主要研究方向 一种成功的人脸识别方法( 针对二维图像) 至少要包括如下几个要素： 1 ) 图像预处理要保留有用信息并且抑止和分离外界干扰； 2 ) 在匹配的时候要考虑人脸的微小变形，在允许变形的前提下不影响人脸识 别的效果； 3 ) 有合适的人脸表征方法，能够快速准确的找出人脸之间的不同； 4 ) 在可以得到很好的识别结果的前提下，计算复杂度应在可接受范围内。 目前二维人脸识别的主要研究方向可按下面几个方面分类： 1 ) 按研究对象的形态分类 主要分为：基于静态图片( 正面、侧面静态照片，任意角度静态照片) 、动 态照片( 动态视频、全息照片、图像序列) 、深度图像等的识别。 2 ) 从人脸表征方式上分类 主要分为：基于几何特征、基于代数特征、基于机器学习等的识别【l 酬9 1 。 3 ) 从应用领域分类 主要分为：个人身份证件的识别；图像库中人脸图像的匹配；银行、商 店等监控；专家识别；照片、遗留物的人脸重建；表情的识别与模拟等f 1 】。 2 2 2 常见的几种人脸识别方法的分析比较 基于几何特征的人脸识别方法 基于几何特征的人脸识别方法是将人脸用一个几何特征矢量表示，用模式识 别中的层次聚类思想设计分类器来对人脸进行识别，识别终归为特征矢量之间的 匹配。常采用的几何特征有人脸脸型特征、五官的局部形状特征以及五官在脸上 7 重庆大学硕士学付论文2 人脸识别方法 分布的几何特征。所选取的几何特征要求具有一定的独特性，能反映不同人脸间 的差别；同时又具有一定的弹性，能消除时间跨度、光照等的影响。 k e l l y 2 0 】利用人的身体和头部图像特征进行识别，其中脸部的测量包括头部的 宽度、眼睛之间的距离，头顶到眼睛的距离，眼睛到鼻子的距离，以及眼睛到嘴 巴的距离。n i c h o l a sr o e d e r 和x i a o b ol i e 2 1 】贝u 更为全面地对基于几何特征的人脸识 别方法的准确性进行了研究。他们认为：基于特征的人脸识别的准确率依赖于脸 部特征识别的准确性，于是他们定义了1 2 个测量( 眼睛、嘴巴、面颊和下巴等) ， 通过实验来发现测量的准确率对识别的影响。他们所提出的框架对于后来基于几 何特征的识别方法具有重要的意义。 基于几何特征的识别方法的优点： a 符合人类识别人脸的机理，易于理解； b 对每幅图像只需存储一个特征矢量，存储量小； c 对光照变化不太敏感； d 识别速度快。 缺点：a 从图像中抽取稳定的特征比较困难，特别是特征受到遮挡时； b 对表情变化、姿态变化、佩戴饰物等的鲁棒性较差； c 忽略了局部细微特征，造成部分信息丢失，更适合于粗分类。 基于代数特征的人脸识别方法 1 ) 特征脸( e i g e n f a c e ) 方法 p c a ( p r i n c i p a lc o m p o n e n ta n a l y s i s ) 方法是将分散在一组变量上的信息集中到 某几个综合指标( 主成分) 上的探索性统计分析，其实质上是k - l 展开的网络递推实 现，也起着数据降维的作用。特征脸方法就是从主成分分析p c a 导出的一种人脸 识别和描述技术，它把包含人脸的图像区域看作是一种随机向量，用k - l 变换获 得其正交k - l 基底，利用这些基底的线性组合来描述、表达和逼近人脸图像，其 中对应较大特征值的基底具有与人脸相似的形状，但特征值大的特征向量( 即特征 脸) 不一定是分类性能最好的方向。k - l 变换在9 0 年代初受到很大的重视，也取得 了很好的识别效果，根据人脸库图像质量的不同其识别率为7 0 - 1 0 0 不等。 特征脸方法所涉及到的另一种变换是s v d ，即奇异值分解法。h o n gz q 等【”】 首先提出基于奇异值特征的人脸识别方法。他们认为图像本身的灰度分布描述了 图像的内在信息，反映了图像的本质属性。如果把图像看作为矩阵，进行各种代 数和矩阵变换，抽取的代数特征便可以用于模式识别。s v d 与k - l 变换的思想比 较接近，但它是将图矩阵的像奇异值作为模式的特征矢量。 下面介绍一种基于s v d 的人脸识别基本方法，其步骤如下【2 4 】： a 奇异值分解，求出人脸矩阵的奇异值矢量，把奇异值作为人脸的特征向量； 重庆大学硕士学位论文2 人脸识别方法 b 采用c 均值方法聚类，把每个人的面像训练样本构成的特征数据库按照其分 布情况聚类为若干个中心。为了提高鉴别的准确性，可用不同的聚类中心表示亮 度和视角等变化； c 匹配输出，测试样本与训练样本空间的匹配程度用隶属度函数值给出。根据 样本的分布情况，常采用石隶属度函数： f f ( d ，) = 2 ( 1 一孚) 2 ，i l d ， 1 2 ( 孚) 2 ，。d 吾 ( 2 1 ) 0 ， d ，+ 二 3 放弃，其他 这里d 表示待识别样本与聚类中心的距离。 基于奇异值分解和隶属度函数的人脸识别方法流程如图2 1 所示。 图2 1 基丁二奇异值和隶属度函数的人脸识别方法流程 f i g2 1t h ef l o wc h a r to f f a c i a lr e c o g n i t l o nb a s e do ns v d 特征脸方法的优点： a 对k - l 变换而言，算法简单易行，且通过数据降维降低计算复杂度； b 对s v d 变换而言，人脸图像的奇异值具有良好的稳定性，奇异值特征对 图像灰度值的比例变化、平移、旋转和伸缩不敏感： c 基于s v d 的人脸识别方法算法简单，对光照变化不敏感，对表情和姿 态变化有一定的容忍度。 缺点：a k l 变换无法区分外在因素带来的图像差异和人脸本身带来的差异； b 特征脸方法对与人脸类似的物体辨别不足； c 特征脸方法随光照、角度和人脸尺寸等因素，识别率急剧下降。 2 ) 独立分量分析( i c a ) 独立分量分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ) 是一种对多变量数据进行非正 交线性坐标变换的方法，变换的目的是使变换后的变量间相互独立。坐标轴的方 9 重庆大学硕士学位论文2 人脸识别方法 向由可观察到的混合数据的一阶和高阶统计信息确定。 i c a 方法用一组统计独立变量的线性组合来表示人脸。类似于p c a 方法，通 过计算原始样本数据求得一个特征空间，然后将新的数据投影到这个空间上得到 一组用于识别分类的特征量。不过i c a 方法要求特征空日j 的各个分量间统计独立， 且同时考虑模式的一阶、高阶统计量。由于人脸的许多重要信息隐含在图像像素 的高阶统计关系中，因此i c a 方法可以更好的表示人脸视图的局部特征。 基于机器学习的人脸识别方法 1 ) 基于隐马尔科夫模型的方法 隐马尔科夫模型( h i d d e nm a r k o vm o d e l ，h m m ) 是用于描述信号统计特性的一 组统计模型。在h m m 中包含了产生观测的两层概率：一层是选择状态的概率， 假定有n 个状态，则状态选择概率必须用n * n 的状态转移矩阵来描述；另一层是 每个状态产生的实现的概率，如果实现取离散值，产生实现的概率就可用概率分 布来描述，如果实现取连续值，产生实现的概率就应该用概率密度函数来描述。 以一阶离散马尔可夫过程为例，介绍隐马尔可夫模型的组成： a 隐含状态数。s 表示隐含状态，则s = 墨，墨，s n ) 。t 时刻时，模型的状 态用吼表示，l s t t ，其中t 表示观察序列的长度( 帧数) 。 b 不同观察符号的总数膨。如果矿是所有的观察符号集，则有 v = “，v 2 ，) 。 c 状态转移概率分布或转移矩阵爿。a = ) ，其中，a o = h 吼= 置l q t + 。= s j 】， 1 i ，n ，约束条件为： f o 口，l 占 ( 2 2 ) 【缶_ 1 d 观察概率矩阵或称为发射矩阵b 。b = 6 ，( 七) ，其中，l j n ，1 s k s m ， 6 ，( 后) = 尸【d ，= v k h = s a ，其中0 f 是在时刻t 的观测符号。 e 初始状态分布兀。n = 巧 ，其中，乃= p q ，= s ，1 i n 。 因此h m m 可表示为三参数形式：a = ( 爿，b ，兀) 。对于离散h m m ，观察是有 限符号集中的一个离散符号；对于连续h m m ，观察只能用一个概率密度函数来刻 画。最常用的是混合高斯概率密度函数： q ( d ) = o ( d ) 。 1 ( 2 3 ) o = 1 其中t ( o ) 为第状态第n 个分量的单高斯概率密度函数，表示混合高斯概率 密度函数混合的数目。 l o 重庆大学硕士学位论文 2 人脸识别方法 e s a m a r i a t 2 5 1 最早建立了关于人脸的h m m 。他将人脸划分为5 个显著区域：头 发、额头、眼睛、鼻子和嘴，在此基础上建立用于人脸的描述和识别的h m m 。利 用h m m 对人脸进行描述和识别，不是孤立地利用各个器官的数值特征，而是把 这些特征和状态转移模型联系起来。s a m a r i a 的实验结果证实了h m m 的合理性。 h m m 人脸识别一般采用具有5 个状态的左右型模型，它的状态结构和非零转 移概率矩阵口。如图2 2 所示： 图2 2 用于人脸识别的左右型h m m f i g 2 2t h em o d e lo f f a c i a lr e c o g n i t i o nb a s e do nh m m h m m 训练流程和基于h m m 的人脸识别方法的框架 2 2 1 如下图2 3 ，2 4 所示。 图2 3h m m 训练流程图图2 4h m m 人脸识别框架图 f i g 2 3t h et r a i n i n gf l o wo f h m mf i g 2 4t h ef l o wo f f a c i a lr e c o g n i t i o nb a s e do l lh m m 基于h m m 的人脸识别方法具有以下优点： 重庆大学硕士学位论文 2 人脸识别方法 a 较高的识别率，允许人脸有丰富的表情变化、较大的头部转动等； b 扩容性好，增加新样本时只需训练新样本；不再对已有样本进行训练， c 大部分训练可以在建立数据库时完成，计算时间可按受； 2 ) 基于神经网络的人脸识别方法 神经网络在人脸识别应用中有很长的历史。早期用于人脸识别的神经网络主 要是k o h o n c n 自联想映射神经网络，主要用于人脸的“回忆”，即当输入的人脸图像受 噪声污染严重或部分缺损时能用k o h o n e n 网络恢复出原来完整的人脸。目前用于人 脸识别的神经网络方法也有很多种：a 级联b p 神经网络对部分受损的人像和光照有 变化的人像，识别能力较好。文【2 7 】中详细的介绍了b p 神经网络人脸识别方法，其 b p 算法框架如图2 5 所示。b 无监督有监督混合神经网络的输入是原始图像的梯度 图像，这样可以去除光照变化。无监督学习的目的是寻找类的特征，有监督学习 的目的是减少训练样本被错分的比例。这种网络比用b p 网络提取的特征更明显， 所以识别率更高。c 另外还有用h o p f i l e d 网络进行低分辨率人脸联想和识别，或采 用两种及以上类型的神经网络共同完成人脸识别。 初始化 争部权值，阈值设置为随机小正数 设置晟人误差暂存器e = o 载入一个样本的输入 计算隐层、输出个神绎元的输出 否 l 刷新最丈误差暂存器e 上 l 计算输出层、隐层误差 求误差梯度并调整权值 样奉是否已载入 、工一趸一 = 二巡堡兰! 兰竺兰呈二= ，一土墨、 i 兰兰主壁 j 1 2 重庆大学硕士学位论文 2 人脸识别方法 基于神经网络方法的优点： a 通过学习过程获得人脸识别的规律和规则的隐性表达，避免了复杂的特 征提取工作： b 以并行方式处理信息，能显著提高计算速度； c 保存了图像的材质信息和形状信息。 缺点：识别准确率低，学习过程复杂。 3 ) 支持向量机( s v m ) 的人脸识别方法 支持向量机近年来成为统计模式识别领域的一个新热点，它建立在v c 维理论 和结构风险最小原理基础上，试图使得学习机在经验风险和泛化能力上达到一种 妥协，从而提高学习机的性能。其特点是： a 专门针对有限样本，其目标是得到现有信息下的最优解； b 算法将实际问题通过非线性变换转换到高维的特征空间，在高维空间中构造 线性判别函数来实现原空间中的非线性判别函数，且能巧妙地解决维数问题，其 算法复杂度与样本维数无关： c 算法最终将转化成为一个二次型寻优问题，从理论上说得到的是全局最优 点，解决了在神经网络方法中无法避免的局部极值问题； d s v m 的构造主要依赖于核函数的选择，只要定义不同的核函数，就可以实 现多项式逼近、贝叶斯分类器、径向基函数( r a d i a lb a s i cf u n c t i o n ) 、多层感知器网 络等许多现有学习算法。但是不适当的核函数可能导致很差的分类结果，目前尚没 有有效地“学习”使用何种核函数的方法，只能通过实验结果确定。 基于支持向量机的人脸识别方法的优点： a 选取的特征参数个数较少； b 较好的识别率且识别时间短。 缺点：a 需要大量的训练样本，在实际应用中往往是不现实的； b 样本训练时间长； c 核函数的取法没有统一的理论，方法实现复杂。 弹性图匹配方法( e g m ) 弹性图匹配方法是一种基于动态链接结构d l a ( d y n a m i cl i n ka r c h i t e c t u r e ) 的 方法2 8 1 。它将人脸用格状的稀疏图表示，图中的节点用g a b o r 小波分解得到的特 征向量标记，图的边用连接节点的距离向量标记。匹配时，首先寻找与输入图像 最相似的模型图，再对图中的每个节点位置进行最佳匹配产生一个变形图，其节 点逼近模型图中对应点的位罱。在识别过程中，要求每个节点可在一个适当的范 围内变动并相应地改变特征矢量。如果新的特征矢量使图像与模板的相似度提高， 则替换原来的节点，否则不变。 1 3 重庆大学硕士学位论文2 人脸识别方法 后来w i s k o t t 2 6 1 提出一种基于关键点的图匹配算法，称为弹性束图( e l a s t i c b u n c hg r a p h ) ，其节点一般定位在如眼球、眼角等灰度变化剧烈、信息丰富的地方。 但不同的节点分离能力不同，而分离能力较好的节点分布范围也不一样，这导致 算法实现困难。w u l - t z 2 9 】研究了多分辨率的情况，他假定在两幅图像中只有一部分 节点有较好的对应，在匹配的过程中保留对应良好的节点，去掉背景( 包括头发区 域) 。而文【3 0 l 是先对特征区域分别提取特征矢量，再进行弹性变形、匹配，并把得 到的各个特征匹配的加权和作为分类标准。该方法在y a l e 人脸库上的实验表明， 识别率确实得到了提高。 基于弹性图匹配方法的优点： a 能够容忍表情的变化，在一定程度上能够容忍视角的变化； b 对光照、位移、旋转及尺度变化不敏感，优于特征脸方法。 缺点：对每个存储的人脸需计算其模型图，计算量大，存储量大。 以上介绍的是几种典型的人脸识别方法，从分析中可以看出，每种方法各有其 优缺点。因此一些学者倾向于将多种方法综合起来，或同时利用不同种类的特征。 在进行人脸识别时，除了