（计算数学专业论文）人脸识别与特征提取.pdf

摘要 摘要 人脸识别技术是基于生物特征识别技术的一个重要分支，是模式识别和计算 机视觉领域内研究的一个热点。一个完整的人脸识别系统包括人脸检测和人脸识 别两个部分。本文从以下几个方面深入研究了人脸识别技术： 1 针对人脸识别技术的研究两个方向：基于整体的研究方法和基于特征的 方法，作者提出了基于k l 变换的人脸识别方法和基于特征区域的识别方法， 并采用了最小距离分类器和最近邻距离分类器。此外在图像预处理部分提出了一 种改进的直方图均衡化算法。 2 采用基于主成分分析( p c a ) 的特征脸法，将人脸图像区域看成一个随 机向量。利用k l 变换获得的正交基底的线性组合来描述、表达和逼近人脸图 像，并提取人脸的特征。 3 根据人脸面部器官的局部特征，分别建立眼睛模板、嘴唇模板、下颌模 板等，结合人脸标准化模型，进行特征区域的特征提取及选择，并采用最近邻距 离分类器进行相似度匹配。 最后设计了一套完整的识别系统，在一图像库上进行了实验，取得了较好的 识别效果，证明了提出的方法是可行的。 关键词：人脸识别、图像处理、图像增强、k - l 变换、特征分析 a b s t r a c t a b s t r a c t f a c er e c o g n i t i o nt e c h n o l o g yi sa l li m p o r t a n tb r a n c eo fb i o m e t r i c sa n di ti sa l s o t h es t u d yf o c u so fp a t t e r nr e c o g n i t i o na n dc o m p u t e rv i s i o n f a c ed e t e c t i o na n d l o c a t i o na n df a c ef e a t u r ee x t r a c t i o na r et h et w op a r t so f t h ef a c er e c o g n i t i o r - s y s t e m ， t h ef o l l o w i n gi s0 1 1 1 m a i nw o r ki nt h i sp a p e r ： 1 f a c er e c o g n i t i o ns t u d yh a st w od i r e c t i o n s ：t h em e t h o db a s e do nt h ew h o l ef a c e a n dt h em e t h o du s e sf e a t u r ea n a l y s i s t h em e t h o du s e st h ek lc o n v o l u t i o na n dt h e m e t h o db a s e do na p p a r a t u s f e a t u r e sw i l lb ep r e s e n t e dt oe x t r a c tt h ef e a t u r e ，t h e nw e u s et h el e a s td i s t a n c ec l a s s i f i e ra n dt h en e a r e s tn e i g h b o u rd i s t a n c ec l a s s i f i e rt om a t c h t h ef a c ei m a g e s w eg i v ea ni m p r o v e dh i s t o g r a me q u a l i z a t i o na l g o r i t h mf o ri m a g e e n h a n c e m e n tt o g e t h e r 2 t h ee i g e nf a c em e t h o d ，w h i c hi sb a s e do nt h et h e o r yo fp r i n c i p l ec o m p o n e n t a n a l y s i s ( p c a ) ，t r e a t st h ef a c ei m a g ea sav e c t o ra n dg e te i g e n v a i u ev e c t o r su s i n g k - lc o n v o l u t i o n t h el i n e a rc o m b i n a t i o n so ft h e s ee i g e nv e c t o r sa r eu s e dt o d e s c r i b e ，r e p r e s e n t ，a n da p p r o a c ht h ef a c ei m a g e t h u sf e a t u r ec a l lb ee x t r a c t e d 3 w ea l s ou s et h ec h a r a c t e ro fa p p a r a t u st os e tu pm o d e l s ，s u c h a s e y e s m o d e l i n g ，m o u t h - m o d e l i n g ，c h i n m o d e l i n ga n d s oo n w i t ht h ea i do f t h ef a c e n o m r a l i z a t i o nm o d e l ，f e a t u r ec o u l db ee x t r a c t e d w ea d o p tt h en e a r e s tn e i g h b o u r d i s t a n c ec l a s s i f i e rt om a t c ht h es i m u l 撕o n i nt h ee n d ，w ed e s i g no n er e c o g n i t i o ns y s t e m w eg e tt h ei d e a lr e s u l ta n do u r m e t h o d sa r ep r o v e dt ob ep e r f e c t k e yw o r d s ：f a c er e c o g n i t i o n 、i m a g ep r o c e s s i n g 、i m a g e e n h a n c e m e n t 、k l c o n v o l u t i o n 、凫a t u r ea n a l y s i s 第一章绪论 1 1 人脸识别技术概述 第一章绪论 准确鉴定一个人的身份、保护信息安全，是当今信息化时代必须解决的问题。 物件( 如钥匙) 和知识( 如密码) 等传统的身份认证易于伪造和丢失，因此生物 特征识别技术孕育而生。 人脸识别利用了人的生理特点，依托于图像理解、模式识别、计算机视觉等 技术，可以部分甚至全部地代替人类从事复杂而频繁的身份识别工作。 1 1 1 生物特征识别技术产生的背景及发展 传统的身份识别方法主要基于身份标识物品和身份标识知识。身份标识物品 有钥匙、证件、银行卡等，身份标识知识包括用户名、密码等。目前人们主要依 靠这两种方式进行个人身份鉴别。在一些安全性要求严格的系统中，往往将这两 者结合起来，如自动取款机要求用户同时提供银行卡和密码。但标识物品容易丢 失或被伪造，标识知识容易遗忘或记错，更为严重的是传统身份识别系统往往无 法区分标识物品真正的拥有者和取得标识物品的冒充者，一旦他人获得标识物 品，就可以拥有相同的权力。随着网络与通信技术的飞速发展和人类物理与虚拟 活动空间的不断扩大，现代社会对于人类自身身份识别的准确性、安全性与实用 性提出了更高要求。因此，目前广泛使用的依靠证件、口令等传统方法来确认个 人身份的技术已经面临巨大挑战。 生物特征识别技术的出现给身份识别 j 作提供了可靠的保障，它主要包括指 纹、掌纹、虹膜、人脸、笔j 峦、签字、语音等生物特征识别。生物特征沮别最早 运用于法庭科学的司法鉴定，多是对静态图像( 指纹图像、脸形图像) 的事后采 集和识别。美国是代表国际上生物特征识别先进技术的主要国家。上世纪九十年 代，美国生物特征识别技术应用的标准化工作已开始启动，当时的主要任务是针 对应用在法律实施中的指纹身份自动识别系统( a f i s ) ；2 0 0 1 年1 1 月美国的信 息技术标准化国际委员会( i n c i t s ) 成立了生物认证技术委员会i n c i t sm 1 。 第一章绪论 我国于上世纪9 0 年代初，指纹信息识别产品和系统开始应用于公安业务和安全 防范领域。据不完全统计，目前生产生物特征识别产品的企业( 主要是指纹、面 像识别) 近百家，社会公共安全行业制定的相关标准约3 0 余项。但这些标准都 是以公安业务的刑事侦察、证照管理或安全防范的视频监控系统、出入口控制系 统的具有应用环境为基础而制定的，未能从人体生物特征识别技术的高度建立相 应的标准体系。 1 1 2 人脸识别技术简介 人脸识别技术( f a c er e c o g n i t i o nt e c h n o l o g y ) 就是指使用计算机技术对人脸 图像进行处理和分析，从中提取出有效的识别信息，用于辨别身份的一种生物认 证技术。人脸识别技术兴起与上世纪末期，它跨越了图像处理、模式识别、计算 机视觉、生物学、神经生理学和神经网络等学科，是一个多学科交叉的边缘应用 技术，在商业和法制方面具有广阔的应用前景。 作为生物识别技术之一，人脸识别技术除了拥有不易被遗忘或丢失、不被盗 用或仿制、随身携带、终身不变等优点以外，更因其人脸图像采集的非接触性、 非侵犯性、非强制性、自由灵活、支持批量采集等优势更乐于为人们所接受。 今天生物识别的许多及输入指纹识别、虹膜识别、语音识别等都己成熟并得 到成功应用，只有人脸识别依然主要停留在科学研究阶段，实际应用并不多见。 这是因为与其他生物特征相比，人脸具有如下特点： 1 人脸表情丰富； 2 人脸随年龄的增长而发生变化； 3 人脸受饰物( 比如眼镜) 与头发的影响； 4 作为一个三维刚体，人脸图像受光照、倾斜角度、成像距离的影响； 5 从二维图像到三维的人脸重建是病态( i 1 1 p o s e d ) 过程，尚无完善的三维 模型。 这些难点制约了人脸识别技术的研究与发展，却也因此吸引越来越多研究者 的挑战。 人脸识别的问题一般性描述可以陈述如下：给定某个场景( 特定或不特定) 下的静态或动态视频图像，使用一个已存在的人脸数据库，从中识别出一个或几 第一章绪论 个相似的候选者。在此过程中可以利用一些易获得的间接信息，诸如民族、年龄 和性别来帮助缩小搜索范围，过滤干扰因素，提高正确率。一般来说，一个完整 的人脸识别系统主要需要解决三个问题： 1 从复杂背景中自动分割出待识别的人脸，这是人脸识别的基础和前提； 2 从定位出的人脸区域中提取出有效的特征区域或特征点； 3 对提取出的特征区域或特征点进行有效的分类与编码表达，并使用一种 或多种分类器将待识别的人脸的特征与存储下来的人脸特征进行比对，给出识别 结果。 由此可见，以上过程归纳起来就是：人脸检测、人脸识别、分类器设计。 1 2 人脸识别技术的应用领域 人脸识别技术从广义上可以分为2 1 静态( 图片格式要求满足特定要求) 匹配 和动态( 输入视频图像，格式不受控制) 匹配。例如嫌疑犯照片匹配、驾驶执照、 信用卡、护照和身份证上的人脸识别是静态匹配中最普遍的应用；银行、证券的 安全系统以及人群监控等都是动态匹配的研究内容。 生物特征是人的内在属性，具有很强的自身稳定性和个体差异性，因此是身 份鉴别的最理想依据。在这其中，人脸识别同其他的人体生物特征如指纹、视网 膜等识别相比，具有直接、友好、方便的特点。因此，人脸识别技术在商业、案 件侦破、监控、保安等各个方面有广阔的利用空间和应用价值。人脸识别的具体 应用主要有以下几个方面f 3 ： 1 银行等金融机构的监控系统、保密单位； 2 海关等重要部门和场所的安全门禁系统； 3 备种证件、信用h - 的识别； 4 号家识别系统、电子排查。 1 3 人脸识别的研究内容 人脸识别技术是利用计算机对人脸图像进行特征提取，获取最能表征人脸特 征的有用信息，根据这些信息来对人脸图像所代表的人给定身份判断的技术。因 此需要对人脸的生理器官( 例如眼睛、鼻、嘴、头发等) 和特点研究，我们把人 第。章绪论 脸识别的研究内容大致可以分为1 ： 1 人脸检测( f a c ed e t e c t i o n ) ：即从各种不同的场景中检测出人脸的存在并 确定其位置。在某些情况下由于获取图像的环境可以人为控制，例如身份证照片， 因而人脸的定位可以轻易做到；但大多数场合中由于场景较复杂，人脸的位置是 预先不知道的，因而首先必须确定场景中是否存在人脸，如果存在再确定图像中 人脸的位置。脸部毛发、化妆品、光照、噪声等因素会使人脸检测变得更加复杂。 通常情况下图像中人脸的位置或者是正面的或者是侧面像。人脸检测的主要目的 是在输入的整幅图像上寻找人脸区域，把图像分割成两个部分：人脸区域和非人 脸区域，从而为后续的应用作准备。人脸检测现有的方法大致可以分为两类：一 类是基于人脸各部分特征的检测办法；另一类是把人脸作为一个整体来考虑的检 测方法。前一类方法主要是先检测出人脸的局部特征，然后确定人脸的存在和位 置。优点是能给出主要特征的位置，便于应用，缺点是鲁棒性较差，应用范围窄。 后一类方法则不考虑各细节的特征，从而可以较充分的考虑人脸的整体信息，因 而鲁棒性较好，应用范围广，但缺点是一般运行时间较长，还不能较好的应用于 实时系统中。 2 人脸表征( f a c er e p r e s e n t a t i o n ) ：即采取某种表示方式表示检测出的人 脸和数据库中的已知人脸。然而，仅根据特征是很难完整而准确地描述人脸。通 常的表示法包括几何特征( 如欧氏距离、区率、角度) 、代数特征( 如矩阵特征 矢量) 、因定特征模板、特征脸、云纹图等。 3 人脸识别( f a c ei d e m i f i c a t i o n ) ：即将已检测到的待识别的人脸与数据库 中的己知人脸进行比较匹配，得出相关信息，这一过程的核心是选择适当的人脸 表征方式与匹配策略，系统的构造与人脸的表征方式密切相关。通常或是选择全 局的方法或是选择基于特征的方法进行匹配。基于几何特征的识别法、基于代数 特征的淡别法捌基j 二连接机制的识别法在最近几年中对“人脸识别”这1 研究领 域做出了很大贡献，同时深化了我们对人脸复杂视觉机制的了解，取得了一定的 成功，但是也各有其优缺点。基于几何特征的识别困难在于没有形成一个统一、 优秀的特征提取标准。但现有的诸如动态模板、活动轮廓等特征提取算法可以充 分描述人脸的几何特征。基于代数特征的识别法对于表情描述的不够充分，难于 用表情分析，但代数特征矢量( 人脸图像向空间的投影) 具有一定的稳定性，该 第一章绪论 识别方法对不同倾斜角度，乃至不同表情均有一定的鲁棒性。基于连接机制的识 别法采用了神经网络，结构上更类似于人脑，在编码压缩信息处理方式等方面具 有一定的优势，但由于原始灰度图像数据量十分庞大，因此神经元数步通常很多， 训练时间很长。另外，完全基于神经网络的识别法在现有的计算机系统商业有其 内在的局限性，且神经网络虽然有较强的归纳能力，但当样本数量增加时，其性 能有可能严重下降。总之，人脸识别因其表征对象的年龄、表情、倾斜等因素的 可变性而使其特征表述比较困难，因此，它的识别效果离实用还有较大的距离。 今后，人们将越来越多的借鉴生物模型和生物心理模型的研究成果，以期提高特 征表达的鲁棒性和可持续性进而提高识别率。 4 表情分析( e x p r e s s i o na n a l y s i s ) ：即对待识别人脸的表情信息( 快乐、 悲伤、恐惧、惊奇、愤怒、恶心等) 进行分析，并对其加以分类。但到目前为止， 对该问题的研究还处于初步阶段。s c h l o s b e r g 6 1 、e k m a n 和f r i e s e n 7 1 等一批人做 了相关的工作。 5 生理分类( p h y s i c a lc l a s s i f i c a t i o n ) ：即对待识别人脸的生理特征进行分 析，得出其种族、年龄、性别、职业等相关信息。显然完成这一操作需要大量的 知识并且通常是非常困难和复杂的。 1 。4 人脸识别方法简介 人脸识别有两大方向，即提取人脸几何特征的方法和模板匹配的方法。提取 人脸几何特征的方法包括人脸部件归一化的点间距离和比率以及人脸的一些特 征点，如限角、嘴角、鼻尖等部位所构成的二维拓扑结构；模板匹配则是利用计 算模板和图像灰度的自相关性来实现识别功能。近二一卜年来，人脸识别技术逐渐 发展，近十年来是成为研究热点。人们力图建立识别系统电从开始的人机交互半 自动系统演变为完全由计算机独立完成的全自动识别系统。当前关于人脸识别和 检测的论文有数千篇，方法也有多种，但研究主要有两个方向：基于整体的研究 方法和基于特征分析的方法。其中特征脸方法、s v d 分解方法、人脸等密度线 分析匹配方法、弹性图匹配方法、隐马尔可夫模型方法以及神经网络等方法都属 于基于整体的研究方法：而基于提取眼睛等部件特征而形成特征向量的方法就是 基于人脸特征的识别。人脸检测来源于人脸识别，又独立于人脸识别。虽然人们 第一章绪论 能从一幅图中很快的定位出人脸，但对计算机而言要做到这一点并不容易。目前， 人们己提出了多种人脸检测技术，这些人脸检测技术分别针对不同情况的图像或 视频，且取得了很好的效果。但由于人脸大小，方向，姿态及表情的不确定性， 这些方法往往只能对正面的无倾斜的人脸进行检测，对于倾斜或侧面的人脸往往 会漏检；同时，复杂的背景也表明通过简单的边缘检测和分割是难以得到精确定 位的人脸的。因此，人脸检测技术还需进一步的研究与完善。根据检测过程中采 用的人脸特征，人脸检测主要有以下几种方法： 1 基于知识的方法。主要是根据人的面部器官的特点总结出来的先验知识， 将这些先验知识归结成一些复杂程度由简到繁的规则，如人面部灰度值最小的是 眼睛，正面人脸都包含两只对称的眼睛等等。根据这些规则在输入图像中搜索出 符合规律的人脸区域。 2 基于人脸特征的方法。这种方法首先用各种数字图像的处理办法对输入 图像进行处理，根据处理结果提取出来的某些特征与人脸的某些共性特征进行比 较，借此来判断某一区域是否为人脸。例如在输入图像中提取边界，判断图中的 边界是否是人脸的轮廓线。 3 模板匹配。这种方法通过建立标准的人脸模板，在检测时通过计算待检 测区域与模板的相似程度来确定该区域是否为人脸区域。 4 基于统计模型的方法。这种方法将人脸检测问题转化成统计模式识别的 二分类方法，建立人脸和非人脸两类集合，通过判断图片内所有可能区域属于那 一类集合来实现人脸检测。常用的这类方法有：基于特征空间的方法，基于人工 神经网的方法，基于概率模型的方法以及基于支持向量机的方法。 1 5 人脸识别技术在商用领域内的应用及实现 虽然人脸以别技术从诞生到现在已取得了长足的发展，并已有大量的识别算 法的出现，但它仍是在模式识别和计算机视觉等领域碰到的最困难的问题之一。 人脸检测和识别所面临的困难主要是由于人脸的不确定性造成的。人们面i 临的问 题是，如何更好的表征人脸、提取人脸特征，如何最好的描述人脸的决策：如何 选择特征，哪些对所有人脸来说是一般的特征，哪些特征对某个人脸最适合，它 们对人脸检测和识别问题是否适当。尽管有如此多的棘手的问题，人脸识别技术 第一一章绪论 在商用领域内已有新的发展。 1 5 1 国际应用及产品实现 从商用化的角度来看，虽然还没有一个通用的商用自动人脸识别系统，但是 近年来人脸识别技术逐步走向成熟。早在1 9 9 8 年，日本索尼电脑科学实验室的 研究人员就己研制出一个电脑初级系统来实现人机交互。美国商业部2 0 0 3 年3 月发布了一则调查，显示人脸识别技术正在越来越多地被广泛应用。人脸识别销 售商测试会议2 0 0 2 ( f r v t 2 0 0 2 ) 调查了1 0 家从事人脸识别技术研究的公司。报告 得出结论说，这些公司在人脸识别技术上取得了显著的进步，他们代表了当今该 技术的发展水平。性能测试结果表明，这些人脸识别系统性能比前两年有了很大 的提高。与2 0 0 0 年的测试试验相比，现在他们在误识别率方面降低了5 0 ，测 试结果已经达到了1 9 9 8 年进行的指纹识别技术水平。 1 5 2 国内应用及产品实现 在国内，2 0 0 2 年1 1 月，由中科院计算所自主研制的“面像检测与识别核心 技术”在十六大中得到成功应用。采集了7 0 0 0 多个人脸图像，识别准确率达到 9 6 5 。根据内容的检测数据，这一系统已经与国外前沿产品拥有不相上下的识 别率。目前开发者已经利用该技术针对公安、银行、民航、民政等领域开发出八 大应用系统。该系统在识别时会自动在人脸上选取1 0 3 个点，然后通过分析面部 皮肤反射属性、三维结构等特征进行识别。但是在有些预先存储的照片上的人可 能是表情严肃，而计算机在扫描时，待识别者可能在微笑或者说话，这时就有可 能发生误检。 由清毕大学丁晓阿敦授绁够：研制的th id 系统即多模式生物特征r 人脸 笔迹签字虹膜) 身份认证识别系统2 0 0 5 年6 月在京通过教育部组织的专家鉴定。 它能够实现在复杂背景下的图像和视频人脸自动检测、识别和认证，在人脸、笔 迹、签字、虹膜的识别认证技术上取得了重要进展，在整体上达到了国际领先水 平。目前这一技术已投入产品开发并已有相关产品投入使用。 第一章绪论 1 6 人脸识别技术的发展前景 人脸识别是生物特征鉴别技术的一个主要方向，与其他生物特征相比，人脸 识别具有主动性、非侵犯性和用户友好等许多优点，越来越受到人们的重视。从 应用领域上来看，人脸识别技术已经涉及到工业、商业、政府、国防、医学等方 面，并有相应的用于为生产服务的产品的出现。它为人们提供了一种直接、友好、 方便、非侵犯性、高可靠性和稳定的鉴别途径，其应用前景将十分广阔并将越来 越影响到人们生活的各个方面。从人脸识别技术的发展来看，未来人脸识别技术 还将应用到各行各业。例如人脸识别技术将会应用到手机，其过程是先用带摄像 头的彩屏手机拍摄人脸图像，并将其发送到计算机，计算机将识别结果以短信形 式通知手机用户。 从技术上来看，目前要想建立一个鲁棒型的人脸识别系统仍然是一个很困难 的问题。因为目前的人脸识别方法主要集中在二维图像方面，由于受到光照、姿 势、表情变化的影响，识别的准确度受到很大限制。但是如果考虑利用三维信息 进行人脸的识别，识别的准确率将大大提高。因为三维信息能够更精确地描述人 的脸部特征，提取的某些特征具有刚体变换不变性，并且不易受化装和光照的影 响。不过由于三维数据获取方面存在困难，现在利用三维信息进行识别的报道并 不多见。但是已有很多学者在这方面作了很多尝试：比利时学者b e u m i e r 等利用 结构光的方法获取三维数据，然后利用曲面匹配的方法进行人脸识别收到较好的 效果：美国的g o r d o n 等利用激光扫描仪获取的距离数据建立面部曲面，通过计 算表面曲率寻找凸点、凹点和脊点，然后定位面部的一些特征点，利用模板匹配 的方法进行识别；德国人v e t t e r 等利用单幅图片构建三维模型，利用形状和纹理 参数来表征个性特征等等。三维人脸建模与识别是刚刚兴起的前沿方向，是计算 机视觉和计算机图形学相结台的边缘学科，科学意义重大，应用前景广泛，是将 来研究的热点问题。 总之我们相信，以人类特征进行身份验证的生物识别技术，在今后数年内将 成为it 产业最为重要的技术革命。 1 7 本文的内容及工作 本文分为六章来阐述人脸识别技术，分为概述、基本原理及方法、实现和展 望几个方面。 第一章绪论，对人脸识别技术产生的背景、应用领域、基本方法、实际应用 状况、发展的前景作了相应的介绍。 第二章人脸识别的基本原理与相关技术主要介绍了人脸识别的一般过程，其 中主要的内容是原理及方法的介绍，着重介绍了图像处理、特征提取、分类器的 知识。本章最后介绍几种较为成熟的人脸识别的方法及其评价。 第三章作者提出了一种改进的均衡化算法，在图像增强方面效果显著提高， 该算法使得像素的分布更趋于均衡化或者局部均衡化，它能增大图像的熵信息， 大大好于传统的方法。 第四章基于k l 变换的人脸识别技术和第五章基于特征区域分析的人脸自 动识别分别是基于整体的研究方法和基于特征分析的方法的典型代表。在第四章 中作者提出基于具有统计不相关性的最佳鉴别变换提取人脸图像的特征的算法， 采取了最小距离分类器进行相似度匹配，在我们设计的识别实验中识别率达到较 好的水平( 9 0 ) 。 第五章作者基于文献 2 1 1 1 0 1 设计了一种人脸面部生理器官( 眼、鼻、嘴、下 颈等) 模板匹配的方法，基于模板分别提取面部特征，作者采取最近邻距离分类 器进行相似度匹配，识别效果也较为满意( 略次于k l 变换的方法) ，对于误识 别的情况作者在也对全文作了分析并给出了改进意见。 最后作者在第六章对全文做了总结并提出了展望。 第一章人脸识别的基_ ；牟= 原理与相关技术 第二章人脸识别的基本原理与相关技术 如绪论部分所说，人脸识别技术跨越了图像处理、模式识别、计算机视觉、 生物学、神经生理学和神经网络等学科，是一个多学科交叉的边缘应用技术。我 们理解的人脸识别系统得一般过程是： 厂_ 1 人脸图像获取l i _ j 厂 e = i 图像预处理l e = 1分类决策i i一 图1 人脸识别系统的一般过程 本章的各节中将要介绍每一步具体的方法和知识。 2 1 图像处理的基本方法 在对人脸图像作检测或识别之前，常常需要先对图像作一些基本的处理，这 其中包括图像增强、图像分割、几何运算等多个方面。经过基本的图像处理，使 得待检测的图像更加适合于人脸的定位与检测。 2 1 1 滤波 滤波主要的目的是去除噪声和平滑图像。目前，图像滤波主要分成线性滤波 1 技术和怍线性滤波技术两大类。线性滤波具有完善的理沦基础，数学处理简单， 对高斯噪声有较好的平滑作用，但对脉冲噪声抑制效果较差并且会使图像的边缘 模糊，不能很好地保护图像的细节；而非线性滤波则能抑制非高斯噪声，较好地 保护图像的边缘和细节。具体的方法有：均值滤波法、中值滤波法、低通滤波法、 高斯平滑滤波器等滤波方法【5 1 。 均值滤波法： 其基本思想是：选定某个像素，以该像素邻域内的各像素灰度值的平均代表 第二帝人脸识别的基本原理与相关救术 原来的灰度值，实现图像的平滑。不过这种处理办法可能使边界模糊。设f ( x ，y ) 为原图像，h ( x ，y ) 为输出图像，均值滤波器的表达式可以表示为 ( ) = 去茎薹，( x + i , y + j ) ，( = 2 一+ 1 ，_ 3 ，5 ，7 ) ( 2 - 1 ) 是灰度图像，中以像素( x ，y ) 为中心的n n 的正方形屏蔽窗口。 对图像和滤波器的冲击响应函数进行卷积。设图像为f ( x ，_ y ) ，滤波器的冲击响 应函数为h ( x ，y ) ，则卷积表达式为： g ( x ，y ) = f ( x ，y ) h ( u - x + l ，v ：- y + 1 ) ( 2 2 ) q = ；f ：! ，i 凰= 击f 1 i 马= 去 i 第二章人脸识别的基奉躲理，圳关技求 g ( f ，j ) = p2 02(2-4) 由于二维高斯函数具有旋转对称性，在边缘脸测之前要对图像进行平滑滤 波，往往采用高斯滤波器。高斯分布参数仃决定了高斯滤波器的宽度。仃越大， 高斯滤波器的频带就越宽，平滑程度就越好。根据实际的需要可设计不同的高斯 滤波器。 2 1 2 图像增强8 1 在图像增强方面，直方图均衡化是一种有效方法，其基本思想是调整图像的 灰度分布。作者提出了一种新的直方图均衡化算法，通过实验比较比传统的方法 更加有效，详见第三章。 2 1 3 空间变换 一般来说，一个几何运算需要两个独立的算法。首先，需要一个算法来定义 空间变换本身，用它描述每个像素如何从其初始位置“移动”到终止位置，即每 个像素的“运动”；同时还需要一个用于灰度级插值得算法，这是因为，在一般 情况下，输入图像的位置坐标( x ，y ) 为整数，而输出图像的位置坐标为非整数， 反过来也是如此。 1 空间变换 用数学的方法来描述输入、输出图像点之间的空间关系，几何运算的一般定 义为：g ( x ，y ) = f ( x ，y = f ( a ( x ，y ) ，b ( x ，y ) ) ( 2 5 ) 其中，f ( x ，y ) 表示输入的图像；g ( x ，y ) 表示输出的图像。函数a ( x ，y ) 和b ( x ，y ) 唯一地描述了空间变换，若它们是连续的，其连通关系将在图像中得到保持。 下是几种常见的变换。 简单变换： 恒等变换：a ( x ，y ) = xb ( x ，y ) = y ( 2 6 ) 平移运算：a ( x ，y ) = x + x ob ( x ，y ) = y + y 。 ( 2 7 ) 第二帝人脸识别的基本原理与相关技术 齐次坐标表达式： ；譬赛 = ii 罩 i c z s ， 定。方法之一是为( 2 5 ) 中的a ( x ，y ) 和b ( x ，y ) 找到一个函数表达式。多项式通 位移量吻合，这种方法称为多项式卷绕( p o l y n o m i a lw a r p i n g ) 。使用高达五阶的 双线性插值：令f ( x ，y ) 为两个变量的函数，其在单位正方形顶点的值已知。 第一章人脸沃别的基本原理与相关技术 假设希望通过插值得到正方形内人一点的f ( x ，y ) 的值，可令双线性方程 f ( x ，y ) = a x + b y + c 2 c y + d ( 2 9 ) 来定义的一个双曲抛物面与四个已知点拟合。首先对上端的两个顶点进行线性插 僮可得： f ( x ，0 ) = f ( o ，0 ) + 工( ( 1 ，0 ) 一f ( o ，o ) ) ( 2 1 0 ) 类似地，对于底端两个顶点进行线性插值有： f ( x ，1 ) = f ( o ，1 ) + x ( f ( 1 ，1 ) 一f ( o ，1 ) ) ( 2 1 1 ) 最后作垂直方向的线性插值： f ( x ，y ) = f ( x ，0 ) + y ( f ( x ，1 ) 一f ( x ，o ) ) ( 2 1 2 ) 将( 2 1 5 ) 、( 2 1 6 ) 代入( 2 1 7 ) ，展开等式并合并同类项可得： 厂( x ，y ) = ( 厂( 1 ，o ) 一厂( o ，o ) ) 。+ ( 厂( 0 , 1 ) 一厂( o ，o ) ) y ( 2 1 3 ) + ( ，( 1 ，1 ) 3 - f ( o ，o ) 一f ( o ，1 ) - f ( 1 ，o ) ) x y + f ( o ，o ) 高阶插值：在其和运算中，双线性灰度插值的平滑作用可能会使图像的细节 产生退化，尤其是在进行放大处理时，这种影响将更为明显。而在其他应用中， 双线性灰度插值的斜率不连续性会产生不希望得到的结果。此两种情况都可以通 过高阶插值得到修正。使用高阶插值函数的例子有：三次样条、l e g e n d r e 中心函 数和s i n ( “) m 函数。 2 1 4 阈值选取 把一幅灰度图像转换成二值图像是图像处理的常用技术，它可以实现物体与 背景的针割。j _ 日于求取二值图像的阂值算法呵以推广到求取多值图像。为了在各 种变化的场景中部能得到鲁棒的图像分割，闽值分割算法应能根据图像妃文分布 来自动选取合适的阂值。 最优阈值算法：在一般情况下，图像中的物体亮度比较高，灰度值较大：而 背景亮度低，灰度值较小。图像直方图将会出现两个分离的峰值，在两个峰值之 间出现波谷。最优闽值就位于这个区域。在最优阈值的两侧分别是背景和物体的 灰度区域二我们用目标与背景之间基于灰度值的差距来衡量目标与背景的分割 第二覃几脸识刖的基本原理与相关技术 是否恰当。好的阈值分割出的目标与背景之间的差距应该很大，否则将导致较多 的错分而使得分割出的目标与背景差距变小。由阈值分割的两类，类间距离最大。 我们根据这一准则来求最佳阂值。设图像有个灰度， ，是灰度为i 的像素数， 图像像素总数n = _ + ：+ + n ，具有给定灰度i 的像素的概率只= 百n j ，显然， l 只0 ，y p = l 。设二值化的闽值为k ，图像中像素灰度值小于或等于k 的平均 t 灰度值为g 。，大于角的所有像素灰度值的平均值为g 。g o = p 。i ， f # l g 。= p f 。 t 则类间方差是： 盯：= c o o ( g o - i c ) 2 + q ( 蜀一七) 2 ， 其中， c o o = 只， f = l l q = p = l - c o o 。定义盯；为可分离性判据。计算尼从1 到三变化时所选取 忙t + 】 的值，取2 最大时k 所取的值作为最佳闽值。此时，作为背景部分的像素点的 集合为：q ( t ) = 厂( z ，y ) i 厂 ，y ) 兰女) ，作为物体部分的像素点的集合为 q ( 七) = f ( x ，y ) lf ( x ，y ) k ) 。 2 1 5 图像处理的其他方法 图像处理还包边缘检测、图像分割等方面的内容。边缘( e d g e ) 是指图像局部 亮度变化最显著的部分。它是灰度值不连续的结果。边缘主要存在于目标与目标、 目标与背景、区域与区域之间，是图像分割、纹理特征提取和形状特征提取等图 像分析的重要基础。边缘检测是所有基于边界的分割方法的第一步。而图像分割 就是指把图窿分成各具特性的区域并提取出感兴趣目标的技术和过程。这里特性 可以是灰度、颜色、纹理等。目标可以对应单个区域，也可以对应多个区域。图 像分割是一个将一幅数字图像划分为不交叠的、连通的像素集的过程，其中一个 对应于背景，其它的则对应于图像中的各个物体。 第一誊人脸识二u 的堆奉原埋与相关技术 2 2 分类器的设计 能够判别模式所属的类别的算法即为分类器。有关于分类器的书籍很多，这 里只给出简单介绍。 分类器的设计：包括建立分类器的逻辑结构和分类规则的数学基础。通常对 每一个所遇到的对象，分类器计算出表示该对象与每类典型之间的相似程度，这 个值是该对象特征的一个函数，用来确定该对象属于哪一类。大多数分类规则都 转换成闽值规则，将测量空间划分为互不重叠的区域，每一类对应一个( 或多个) 区域。如果特征值落在某一个区域中，就将该对象归入对应的类别中。在某些隋 况下，某些区域对应于“无法确定”一类。 分类器的训练：一旦分类器的基本决策规则确定以后，需要确定划分类别的 阈值。一般做法是用一组一致的对象来训练分类器。训练集是由每个类别中已被 正确识别的一部分对象组成的。对这些对象进行度量，并将度量空间用决策面划 分成不同的区域，使得对训练样本集的分类准确性更高。但训练分类器时，可以 使用简单的规则，诸如将分类错误的总量降低至最小值。如果希望某些错误分类 要少于其他的错误分类，可以借助于使用损失函数，对不同的错误分类采用适当 的加权。决策规则变为使分类器操作的整个“风险”大到最低。如果一个训练样 本集代表了对象集的总体分布，那么分类器对新的对象操作的性能就和对训练样 本集一样。然而，获取足够大的样本集经常是一件费力的事。为了使样本集成为 具有代表性的，它必须包括可能遇到的各种类型对象的例子，包括一些很少见的 对象。如果样本集未包含某些不常见的对象，那么它就不具有代表性。如果它包 含分类错误，则称为有偏差的样本集。 分类器的准确率：可以通过直接对一组己知的类别的对象的测试集进行分类 的结果进行估计。如果该测试集肘时蒙总体具宵代表性并且没有错误，则所得到 的性能估计是很有用的。另一种估计性能的方法是对使用一组已知对象的测试 集，估算每一类别中对象特征的累积分布函数( p d f ) 。给出相应的p d f 后，就 可以根据分类参数来估算期望错误率了。如果p d f 的一般形式己知，这种方法 比使用数量有限或不足的测试集计算方法更好。 常用的有【9 j ：判别函数、统计模式识别方法、神经网络识别方法等。 第二章人脸识别的基奉原璀5 ，相关技术 2 3 特征提取与选择 在图像识别中，对获得的图像直接进行分类是不现实的。首先，图像数据占 用很大的存储空间，直接进行识别费时费力，其计算量无法接受；其次，图像中 含有许多与识别无关的信息，因此必须进行特征的提取和选择，这样就能对被识 别的图像数据进行大量的压缩，有利于图像识别。在模式识别理论中，通过映射 或变换的方法，把模式空间的高维特征变成特征空间的低维特征称为特征提取： 利用某种类可分性量度从一个特征集中挑选出最有利于分类的特征子集的过程 称为特征选择。提取特征和选择特征很关键。特征提取若不恰当，分类就不能很 精确，甚至无法分类。良好的特征应具有： 可区别性，即对于属于不同类别的图像，它们的特征值应具有明显的差异： 可靠性，即对于同类图像，它们的特征值应比较接近；独立性，即所使用的各特 征之间应彼此不相关：数量少，即图像识别系统的复杂度随着特征的个数迅速增 长，尤为重要的是用来训练分类器和测试结果的样本数量随特征的数量呈指数关 系增长。 特征选取的方法很多，从一个模式中提取什么特征将因不同的模式而异，与 识别的目的、方法也有直接的关系。例如，在自动水果分拣系统中，当樱桃和苹 果在一起时，水果的直径可以作为特征；在指纹识别中，作为识别特征是指纹图 上的断点，沟，脊；汉字识别时汉字的拐点，笔划成为识别特征。特征提取与选 择总的原则是，尽可能减少整个识别系统的处理时间和错误汉别概率。 常见特征提取方法【5 】【9 】：变换提取特征、离散余弦变换提取特征、灰度特征、 纹理特征等，将在后续章节中阐述。 第三章一种改进的且力幽脚铂化算法 第三章一种改进的直方图均衡化算法 直方图均衡化是图像增强的一种有效方法，其基本思想是调整图像的灰度分 布。本章从图像的信息熵入手，提出了一种直方图均衡化的改进算法，通过对算 法中调节参数的选择来获取更大的信息熵，该算法避免了均衡化过程中灰度过多 合并，图像过亮等现象，改善了图像质量，实验验证了该算法更为有效。 3 1 引言 灰度直方图概括了一幅图像的灰度级内容，由于其计算简单，包含信息量大， 被广泛用于数字图像处理中。直方图均衡化是图像增强处理中常用的方法之一， 其基本的思想是通过均衡化处理调整灰度分布，达到对比度增大，改善图像质量， 为进一步研究提供直观、清晰的图像。 首先给出如下定义，定义一幅图像的信息熵【7 】：设, 级灰度的图像，第i 级 灰度出现的概率为p ，则它所含的信息量( 熵值) 为： 1 j ( f ) = l n 二= - h a p ， ( 3 一1 ) p i 整幅图像的信息熵定义为： n - 1n - 1 = p ) = 一( b l n p 。) ( 3 2 ) i = 0 j = o 图像的信息熵越大，图像的质量越好。理论上已证明，灰度分布较为“均匀” 的图像，其信息熵较大。文n 7 i 提出了一种直方图均衡化算法，我们在此基础 上构造了一种新的灰度映射来调整灰度分布，通过引入调节参数p ，以取得较大 的信息熵，达到图像增强的目的。 第三章干巾改进的直方图均衡化算法 3 2 直方图均衡化方法 3 2 1 基本原理 在一幅二维灰度图像中，通过归一化处理，可认为某灰度出现的频率为其出 现的概率，设直方图上像素点的坐标为( d ，p ( d ) ) ，其中d 为灰度级，p ( d ) 为其 出现的概率。累积分布函数p ( d ) 为直方图归一化的阈值面积函数： 椰 p ( d ) 2ip ( u ) d u ( 3 - 3 ) 因此累积分布函数就是能使直方图扁平的点运算，即：f ( d ) = 见p ( d ) ，其中i 为最大灰度级，这是我们常用的经典直方图均衡化算法。 实际直方图均衡化中，我们采取如下的步骤实现( 以8 位灰度图像为例) ： 1 ) 归一化：统计【o ，2 5 5 内各灰度像素出现的次数，记作n 。，i o ，2 5 5 】，令 ”为各灰度极像素总数， g p 。= 兰，i o ，2 5 5 ； 2 ) 灰度变换：，= 2 5 5 x p 即经过灰度f 映射后得到灰度，。 3 2 2 算法缺点 文献【7 】【9 】中都提到经典的直方图均衡化算法的不足之处，通过多幅图像的均 衡化处理，我们发现均衡化处理后灰度变化范围可能缩小，灰度有可能被过多的 合并，图像层次感减弱、过亮现象等缺点。图2 ( b ) 可以说明这类现象的产生。 3 3 直方图的改进算法 3 3 1 算法简介 设灰度级为h 的图像，灰度级为f ( j ( o ，n 1 ) ) 的像素点均衡化后的灰度级为 第三乖。种改进的直方图均衡化算法 ( ， o ， 一1 ) ， f ( 向后映射) 可以通过a ：仇的值来 确定，以此达到“均匀”或局部“均匀”分布的目的。在文献几 的基础上我们 给出下面的直方图均衡化映射关系： i - l 口仇 j = ( 玎一1 ) 酉幽r( 口为权值，口( 0 ，1 ) ) ( 3 - 4 ) 口p k + ( 1 - a ) p k k = o女= j + l 整理得： ( ：生旦( o ，佃) ) ( 3 5 ) 口 参数可用于灰度映射的进一步调节。( 3 - 5 ) 式j ( f 1 ) 是关于卢的单调递减的