（信号与信息处理专业论文）基于jpeg2000的证件照片压缩和检索系统.pdf

海人学顺 学位论芟摘要近来利用人脸的生物特征进行身份鉴别成为一个倍受关注的研究热点。通过给定的人脸照片到证件照片数据库中查询以确定照片人的身份信息，需要用到图像检索方面的知识。同时为了减小照片数掘占用的空间，对证件照片进行压缩处理。本文对这一课题进行研究，建立一套基于 p e g 2 0 0 0 的证件照片分级压缩和检索系统。本文的研究主要包括三个方面的内容，其一是提取证件照片中人脸的各个特征参数，在进行特征参数的提取时，主要是根据证件照片中各个部位的不同特征采用相应的方法，并以眼睛部位的特征提取为重点，引入数据融合的思想，对该部位采用三种方法进行特征提取，对获得的三组数据进行融合，这样得到的特征参数更为准确，尤其重要的是排除了错误定位给后面的处理带来的反面作用，实验表明，经过数据融合处理后，眼睛部位的定位更加精确，其它部位的定位也都取得很好的效果；其二对证件照片采用基于j p e 0 2 0 0 0 的分级压缩算法进行压缩，在获得尽可能少的图像数据的同时，又保证图像中重要部位的解码精度，同时把提取出来的特征参数加入到压缩文件中，这样在一个存储介质中同时得到证件照片脸部的特征参数和图像数据，能够更好的用于安全领域：其三实现一个证件照片的压缩和检索系统，通过给定一幅照片可以从证件照片库中快速准确的找到相关照片。实验结果表明，本文的特征提取算法具有较高的准确率，实现的证件照片分级压缩和检索系统取得较好的效果，对相关领域的应用具有一定的借鉴意义。关键词：分级压缩，图像检索，数据融合，边缘检测，s u s a n 算予v海人学坝i 学位论立a b s t r a c tp e r s o n a li d e n t i t yd i s c r i m i n a t i o nb a s e d0 1 1f a c i a lb i o l o g i cf e a t u r e si sar e s e a r c hh o t s p o tr e c e n t l mt oq u e r yt h e i rp e r s o n a li n f o r m a t i o nf r o mi dp h o t od a t a b a s ef o rag i v e nf a c ep h o t on e e d ss o m ek n o w l e d g ea b o u ti m a g er e t r i e v a l a tt h es a m et i m e ，t h ep h o t os h o u l db ec o m p r e s s e dt or e d u c et h ed a t aa m o u n t t h et h e s i sa i m sa tm a k i n gs o m er e s e a r c h e so nt h i sf i e l d ，a n dr e a l i z e sah i e r a r c h i c a lc o m p r e s s i o na n dr e t r i e v a ls y s t e mo fi dp h o t ob a s e do nj p e g 2 0 0 0t h i sd i s s e r t a t i o ni n c l u d e st h r e ep a r t s ，t h ef i r s ti st h er e s e a r c ho ne x t r a c t i n gf a c i a lc h a r a c t e r sb a s eo nt h ed i f f e r e n tf a c i a lc h a r a c t e r so f p e r s o n a li dp h o t o ，s e v e r a lm e t h o d sa r ep r o p o s e dt ol o c a t ef e a t u r ep o i n t sf o re x t r a c t i n gt h ef a c i a lc h a r a c t e r se x a c t l y f o re x t r a c t i n gt h ee y ef e a t u r ep o i n t s ，t h ep a p e ri m r o d u c e st h ed a t af u s i o nt h e o r ya n du s e st h r e em e t h o d st oe x t r a c tt h ec h a r a c t e r s ot h ee y ep a r a m e t e ri sm o r ep r e c i s i o n ，a n dn e g a t i v ee f f e c tc a u s e db yp o i n t si n a c c u r a c yi se x c l u d e d t h ee x p e r i m e n t sp r o v e dt h a ta l lf a c i a lc h a r a c t e r sa r ev e r ya c c u r a c y t h es e c o n di si m p l e m e n tah i e r a r c h i c a lc o m p r e s s i o ns y s t e mo fl dp h o t ob a s e do nj p e g 2 0 0 0a n dg e t ss a t i s f a c t o r yi m a g ew i t hl e s sc o m p r e s s i o nd a t a ，a tt h es a m et i m et h ef a c i a lf e a t u r e sa r ea d d e dt ot h ec o m p r e s s i o nf i l e ，s oo n ec a ng e ti m a g ed a t aa n df a c i a lf e a t u r e si nam e m o r ym a dc a nu s ei ti ns e c u r i t yf i e l dt h et h i r di st or e a l i z eah i e r a r c h i c a lc o m p r e s s i o na n dr e t r i e v a ls y s t e mo fi dp h o t o ，t h es y s t e mc a nf i n dar e q u i r e dp h o t of r o mp h o t od a t a b a s eq u i c k l ya n de x a c t ly _t h ee x p e r i m e n t sp r o v e dt h a tt h em e t h o do fe x a c t i n gf e a t u r e sh a sh i g ha c c u r a c y , a n dt h ec o m p r e s s i o na n dr e t r i e v a ls y s t e mw o r k sw e l l i tm a yb eh e l p f u li nr e l a t e df i e l d s k e y w o r d s ：h i e r a r c h i c a lc o m p r e s s i o n ，i m a g er e t r i e v a l ，d a t af u s i o n ，e d g ed e t e c t i o n ，s u s a no p e r a t o r原创性声明本人声明：所呈交的论文是本人在导师指导下进行的研究工作。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。签名：秘徘嗍丛血哆本论文使用授权说明本人完全了解上海大学有关保留、使用学位论文的规定，即：学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容。( 保密的论文在解密后应遵守此规定)签名：淞币虢强l1 1日期：卅仁j海人学坝卜学位论文1 1 研究的背景与意义第一章绪论随着社会的发展，个人的身份鉴定要求日益迫切。当前，用于个人身份鉴别主要依靠i d 卡( 如身份证、： 作证、智能卡、计算机标志卡和储蓄卡等) 和密码等手段，然而这些手段存在携带不便、容易遗失，或者由于使用过多或不当而损坏、不可读和密码易被破解等诸多问题。因此，目前广泛使用的依靠证件、个人识别码( p e r s o n a li d e n t i f i c a t i o nn u m b 瓯p 蹦) 、口令等传统方法来确认个人身份的技术面临着严峻的挑战，已不能满足社会发展的需要。由于生物特征是人的内在属性，具有很强的自身稳定性和个体差异性，是身份识别的理想依据。在诸多手段中，利用人脸的生物特征进行识别具有直接、友好、方便、鲁棒性强和人机交互等特点，因而不管在今后的基于单一生物特征技术的身份证件应用中，还是在基于多生物特征技术融合的身份证件中，人脸生物特征都将是首选的特征之一。将提取出来的人脸的生物特征信息，加入存有证件照片的i d 卡中，可以作为识别个体的基本参数从照片数据库中快速、准确的找出需要的照片。此方法可广泛应用于公安部门的犯人档案管理、犯人辨认查找、刑侦破案、安全验证系统、信用卡验证、医学、档案管理、视频会议、人机交互系统、证件核对、保安监视、通道控制、乃至出纳( 觚m ) 等多种场合，具有重要的实用价值。这里i d 卡中如果存储原始照片数据，其容量是非常庞大，因此必须进行压缩，减小每幅照片的大小，这样有利于照片的存储和数据库的管理，同样的容量可以存储更多的信息。1 2 证件照片压缩方法综述证件照片的压缩，有很多的压缩算法被提出。基于模型技术的人脸压缩算法 1 1 可以得到很高的压缩比，但是脸部的重要区域如限睛、鼻子、嘴巴等的恢复质量很差，有碍于识别。k i r b 、r 2 1 提出了p c a ( p r i n c i p a lc o m p o n e n ta n a l y s i s ) j ? - o i 3 1 处理人脸。这一方法对于初始洲练图像有很高的要求，如果初始训练l 到像能比较全面的包括各种类型的图形，那么此方法能得到较好的图像质量。但是p c a 方法对于预处理结果有很大的海人学倾l 。学位论文依赖性，比如重要形状的标准化。如果预处理的结果不好，那么就会直接影响到解压缩后的图像质量。h u 等人( 4 j 提出的黑i - q 照片的f c 2 v q ( f e a t u r ec o r r e c t i o nt w o s t a g ev e c t o rq u a n t i z a t i o n ) 算法，其主要思想就是先把人脸的主要特征区域( 眼睛、鼻子和嘴巴) 检测出来，然后对这块区域的差图进行向量量化，最后进行霍夫曼编码。此后，h u a n g 等人”l 把这种算法推广到了彩色照片的压缩。但此算法有个缺点就是对不同的照片，一压缩后的字节数无法预料，从而在条形码上无法预先确定存储照片的空间。s a k a l l i 6 1 针对人脸图像提出了种甚低比特率编码方法。它主要利用可变形模板结合小波变换和残差矢量变换( r e s i d u a lv e c t o rq u a n t i z a t i o n ，r v q ) 来完成压缩编码。但是这种方法中利用模板寻找重要区域的准确位置比较费时问，执行敛率不高。近来，许多基于多分辨率分析的方法不断被提山。hz a b r o d s k y 和s p e l e g ”提出了一种算法，它考虑人眼视觉系统的特性。首先把一幅图像分成几部分，重点放在眼部区域。编码时对于这部分区域分配的比特多，而其他区域分配较少的比特。s l o w e 8 1 也提出一科t 新的方法，他主要是刹用小波分解图像，在每个子带中确定感兴趣区域( r o i ) ，根据这些区域的重要性进行排列，然后按照这一顺序进行压缩，从而取得了非常低的比特率。在确定感兴趣区域时利用了计算机视觉技术。然而，重建图像时，仅考虑了r o i 的信息，而没有考虑背景信息，这使得重建图像的质量不是很令人满意。同时还有其他一些问题，比如在特征提取时的时间消耗以及在甚低比特率下图像质量较差等。国内对证件照片的压缩也进行了大量的研究。郭田德等人 9 1 在f c 2 v q 的基础上提出了一种混合压缩算法，其主要思想是利用f c 2 v q 算法先检测出r o f f ( r e g i o no ff a c i a l f e a t u r e s ) ，并对去掉r o f f 后的照片区域向量量化，然后用改进的i e z w 算法压缩编码r o f f 。此算法能充分利用存储空间而使得压缩照片的视觉效果较好。但是此算法要涉及到矢量量化，需要大量照片作为训练集训练码本并且r o f f 区域是正方形，而不是任意形状，有很大的局限性。通常，证件照片的重要部分是头部图像，而其中最重要的部分就是人脸区域，这一部分对我们识别照片起到决定性作用，其他部分相对来说意义不大。因此，如果照片寸人脸部分能够清晰的还原出来的话，即使其他部分比较模糊也不妨碍识别这张照片。基于此，本文在j p e g 2 0 0 0 的基础上对照片进行分级压缩处理，在尽量使得到的压缩图像足够小的情况下，恢复出来的图像有较高的质量。1 3 图像检索简介图像检索就是根据对图像内容的描述，在目标图像集合中找到具有指定特征或包含指定内容的图像。图像检索领域的研究分为基于文本和基于内容两大类m 1 川。早在2 0i 垃纪7 0 年代末，基于文本的图像检索技术就已经产生，它通过对图像进行人工分析、对图像物理特征和内容特征进行文字著录或标引、建立类似于文本文献的标引著录数据库，并通过检索这些数据库以获得图像编号、进而利用这些编号索取实际图像。由于图像信息处理与文字信息处理存在本质区别，基于文本的图像检索技术存在以下弊端：有关特征人工撼l 取，不能充分显示和描述信息中有代表性的特征；特征描述容易带有主观性，容易造成注释的不稳定性；人工处理速度慢，工作量大；检索中不能充分利用各种特征，包括事先人们没有注意到的特征将被完全忽略；不能快速提供检索结果的相关信息等。为了适应大规模图像集检索的需要，2 0 世纪9 0 年代初，研究者们提出了基于内容的图像检索c b i r ( c o n t e n t b a s e di m a g er e t r i e v a l ) 。c b r i ”) 使用颜色、纹理、形状及区域等视觉特征，而这些视觉特征是唯可以独立、客观地直接从图像中获得的信息。这方法成为2 0 世纪9 0 年代图像检索研究的主流，这类系统主要支持基于范例检索( e x a m p l e 。b a s e dr e t r i e v a l ) 、基于草图检索( s k e t c h - b a s e dr e t r i e v a l ) 和随机浏览及其组合的工作方式。c b i r 的主要特点是利用图像的底层视觉特征，图像相似性体现在视觉相似性上，特征提取主要采用计算机视觉和数字图像处理技术，而图像相似性的匹配主要利用模式识别技术。具体的成果见文献 1 3 。c b i r 系统一般由数据库生成系统和查询子系统构成，每个子系统由相应的功能模块和部件组成，主要包括：( 1 )图像的预处理。包括图像格式的转换、尺寸的统一、图像增强与去杂等，为图像的特征提取打下基础。( 2 )特征的提取。即从包含大量信息的图像中分解出不同种类的特征信息，主要包括视觉特征和统计特征。视觉特征是指具有直观意义的图像的形状与颜色特征，统计特征是对图像象素、纹理等特征的统计。特征的提取可以是整幅图像，也可以是图像某个区域具体的内容对象。l3 )( 4 )( 5 )( 6 )数据库系统。由图像库、特征库和知识库组成。图像库为数字化的图像信息；特征库为图像的内容特征和客观特征；知识库包含专门和通用知识，有利于查询优化和快速匹配。查询和测览界面。参数常是以示例查询和模糊描述等方式，用户可以用整幅图像、特定对象以及各种特征的组合等形式进行查询。查询时需要通过浏览界面来确定查询要求，而且查询后返回结果也需要浏览。匹配引擎。检索是利用特征之间的距离函数来进行相似性匹配，模仿人类的过程，可以从特征库中寻找匹配的特征，也可以l 临时计算对象的特征。匹配引擎中包括一个较为有效、可靠的相似性测度函数集。索引过滤器。对于大型的基于内容的图像检索数据库，还需要寻找有效的方法来加快检索。常用方法包括过滤和索引，在进行向量运算之前先滤除那些不符合要求的图像，过滤出的数据集合再用高维特征匹配来检索，索引则用于低维特征，可以利用b + 树方式以加快检索。1 4 论文的主要研究内容本文研究的重点是证件照片的压缩和检索系统。主要工作有下面几方面：( 1 ) x i j 证件照片的脸部特征提取时，根据脸部各个特征的不同而采用与此相对的方法。同时以眼睛部位的定位为例子，使用多种方法进行定位得到多组数据，利用数据融合原理提出一种实用的判断方法，来进一步提高特征点的定位准确度。实验证明，该方法快速、有效，提高了眼睛部位定位的准确度。( 2 ) 以j p e g 2 0 0 0 为基础，对证件照片进行分级压缩，同时把提取出来的脸部几何特征、头肩部曲线的链码值和脸部坐标值，作为j p e g 2 0 0 0 文件格式中的一部分，加入经过压缩的照片数据中，作为压缩文件的一部分组成本中的压缩文件。( 3 ) 在上面两步的基础上实现一个证件照片的检索系统。采用( 1 ) 中的方法提取出待检索照片的特征参数，然后到特征参数库中找出满足条件的照片，取出证件照片库中的压缩数据，解压图像并显示。论文的各章内容编排如下：第一誊为绪论，主要介绍证件照片压缩和图像检索的进展稠国内外研究概况，明确本论文研究的意义和内容。第二章主要讨论了人脸的初步定位和脸部特征的粗分割及图像的预处理，目的是先粗略分出各个部分，易于下面章节逃行的特征精定位和提取。第三章详细讨论了人脸各个特征的精确定位和特征提取的方法，并以眼睛部位特征点定位为例子，利用数掘融合的原理，提出并实现一种更加精确定位特征点的方法。第四章主要研究征件照片采用j p e g 2 9 0 0 进行分级压缩的实现，同时把上面提取出来的参数j j n a - 分级压缩后的照片中，参考j p e g 2 0 0 0 标准中的文件格式，构造出文中的j p 2 文件。第五章提出证件照片的匹配检索算法。第六张主要介绍了实验结果，给出检索系统的实现过程，并对实验结果进行分析。第七张对论文做总结，指出若干有待解决的问题。海人学f 观 。学位论文第二章人脸特征粗分割和图像预处理人脸特征点的定位过程是先从证件照片中定位人脸所在的区域，从而减少背景和其它区域的影响，可以减少后续处理的时间，提高速度。本文用到基于肤色特征的人脸定位方法，该方法在我们前期的研究中做过详细的探讨，详见文献 1 4 。这里对这种方法使用的原理做简单的说明，并做出一些改进，提高定位的准确性。2 1 基于肤色的人脸定位2 1 1 肤色映射人脸fycrl=f兰025i090。0；ioi4篡87；011048。131frgl+f128c21cb0 1 6 8 73 3 1 305 0 0 0b1 2 8，i = i一1【+ il( 一)f 一一o1 1ll实验发现，适合所有输入图像的肤色色度判决范同是r c f 1 3 3 ，1 7 3 年f lr c b = 7 7 ，1 2 7 【：1 5 】。! ：塑查兰塑l - 望丝堕苎一一一首先将证件照片中的r g b 图像用2 一l 的变换公式转化为y c b c r 色彩格式，然后利用阂值方法对肤色区域进行判断。对每一个象素点( ) 进行下面的处理：们( 。，) = 蓄5 嬖警力6r 且e o 培月。( 2 2 )式( 2 2 ) 中m ( i j ) 表示象素( i j ) 处理后的象素值，这里为0 或2 5 5 ，r c b 和r c r分别表示c b 、c r 的阈值范围。这里的关键问题是如何确定闺值范围r c b 和r c ，。在文献 1 4 中根据经验结果取r c u = 1 3 6 1 7 0 和r o = 9 2 ，t 2 0 ，这种固定阀值的方法能把大多数证照的人脸区域二值化，但没有考虑到人脸的色度分量虽然在一狭窄的区域内，但这一区域也随不同的人而变动。为解决这个问题，本文选取r c b 和g c r 时采用别的方法，使r c b 和r c ，能随不同的照片而改变可以准确检测出每幅照片的人脸。根据先验知识，身份证照片中人脸一股处于中部的特点，取以图像中心点为中心的正方形，正方形的边长为证件照片宽度的五分之一，求出这些点c b 、c r 的平均值( 一c b ，一c r ) ，然后选取包含c b 、c r 平均值的一个范围 历一1 5 ，一c b + 1 5 ， 石一1 5 ，一c r + 1 5 。原图像c b 、c r 值在选取范围中的置为2 5 5 ，否则置为0 ，这样便得到人脸的二值图像。这样处理后图2 1 将变成一幅二佰图像，如图2 2 所示。2 1 2 人脸确定图2 一l 彩色证件照片图2 2 肤色映射后的图像经过肤色检测得到二值图像之中，刚以看到在眼部、t l 、嘴巴等位置有许多空洞，还需要采取进一涉的处理才能使用。这里我们通过划二值图像进行相应的形态学处理，可以消除脸部的空洞得到准确的人脸区域。形态学主要是通过物体和结构元素相互作用的某些运算，得到物体更本质的形海大学顾i 学位论史态。在图像处理中的应用主要有：( 1 ) 利用形态学的基本运算，对图像进行观察和处理，从而达到改善图像质量的目的；( 2 ) 描述和定义图像的各种几何参数和特征，如面积、周长、连通度、颗粒度、骨架和方向性等。在本文中主要运用的形态学运算有：膨胀运算、腐蚀运算、闭运算、- 7 1 i 运算和区域填充算法。下面对这几种运算分别作简要介绍 】6 】。a 膨胀运算a ，b 为z 2 中的集合，中为空集，a 被b 的膨胀，记为a o b ，o 为膨胀算子，膨j ；怅的定义为：a 。b = , - ie ( b ，n 4 mlc z 一，其中b 表示b 的映像，即与b 关于原点对称的集合。式2 - - 3 表明，用b 对a 进行膨胀的过程是这样的：首先对b 作关于原点的映射，再将其映像平移x ，当a 与b映像的交集不为空集时，b 的原点所在元索即为膨胀集合的元素。也就是说，用b 来膨胀a 得到的集合是曰的位移与a 至少有一个非零元素相交时b 的原点的位置元素的集合。b 腐蚀运算a ，b 为z 2 中的集合，a 被b 腐蚀，记为a b ，其定义为：a o b = x i ) ，a )( 2 4 )式( 2 4 ) 表明，a 用b 腐蚀的结果是所有满足将b 平移x 后，b 仍全部包含在a 中的x 集合，从直观上看就是b 经过平移后全部包含在a 中的原点元素组成的集合。c 开运算和闭运算如前面所示，膨胀扩大图像，腐蚀收缩图像。另外两个重要的形态运算是开运算和闭运算。玎运算一般能平滑图像的轮廓，削弱狭窄的部分，去掉细的突出。闭运算也是平滑图像的轮廓，与开运算相反，它一般融合窄的缺口和细长的弯曲，去掉小洞，填补轮廓上的缝隙。没a 是原始图像，b 是结构元素图像，则集合a 被结构元素b 作开运算，记为a 。b ，其定义为：a 。b ；( 彳。凹) b( 2 5 )换句话说，a 被b 开运算就是a 被b 腐蚀后的结果再被b 膨胀。设a 是原始图像，b 是结构元素图像，则集合a 被结构元素b 作闭运算，汜为爿口，其定义为：a b = ( a o b ) o b( 2 6 )换句话说，a 被b 闭运算就是a 被b 膨胀后的结果再被b 腐蚀。d 区域填充算法下丽介绍一种基于集合膨胀，取补和取交的区域填充的简单算法。a 表示一个包含一个子集的集合，子集的元素为8 字形的连接边界区域。从边界内的一点p 开始，日标是用】去填充整个区域。假定所有的非边界元素均标为0 ，我们把一个值1 赋给p 开始这个过程。下述过程将把这个区域用l 来填充：肖女= ( x 0 b ) n a 。k 2 1 ，2 ，3 ，( 2 7 )下面我们就利用上面介绍的几种算法来对我们前面得到的二值图进行操作。首先对肤色映射得到的二值图像( 图2 2 ) 采用3 3 的结构元素进行形态学开运算，处理后的二值图中细微连通区域及孤立小区域犒被去除。然后用区域填充算法利用5 点十字形结构对二值图像进行处理，可以去除脸部的眉毛及眼睛等处的小空洞，使脸部区域形成一个完整的连通区域，如图2 3 所示。对图2 3 分别进行垂直和水平投影，如图2 4 和图2 5 所示，垂直投影图中值不为零的区域的左右边界位置，就是人脸的左右边界，同理，水平投影图的左右边界，就为人脸的上下边界。用这四个边界位置把人脸从原证照图像中分割出来，结果如图2 6 所示。图2 3 区域填充后二值图圈2 4 人脸二值图像的水平投影图海人学倾l 。学位论文幽2 - - 5 人脸二值幽像的圣寓投影睡l隆i2 6 分割后的脸都图像2 1 3 灰度图像预处理虽然证件照片般情况下都比较标准，但是不同地方拍摄的总有许多不同，如光线，噪声等，所以为了精确地提取出证件照片中人脸的特征参数，对图像进行预处理是必要的。我们把定出的彩色人脸区域图像转化为灰度图像，然后进行中值滤波、直方图均衡等处理，为下面人脸分割和特征提取做好准备。其流程图如图2 7 ：为了改善图像质量，消除图像噪声对特征提取的影响，我们对灰度化后的人脸面部图像进行中值滤波，采用的模板是3 x3 模板，这样处理后消除了图像中的孤立噪声点。有的照片由于不均匀曝光等原因，使图像的灰度范围比较狭窄，并且图像中灰度值的高低区分不明显，因而不能产生很好的对比度，使图像中一些重要的细节被掩盖，因而需要重现这些细节。直方图修正可以很好的解决这个问题，它通过构造灰度级变换，改造原图像的直方图，使原图像中灰度级集中的区域拉开从而使灰度分布均匀，使图像的细节清晰，达到增强的目的。我们对中值滤波后的图像进行直方图均衡处理，调节图像灰度的均值和方羞，使图像灰度归一化。人脸而部幽像( 彩色)l彩包人脸蚓像灰度化中值滤波直方图均衡待处理的灰度图图2 7 人脸面部图像预处理流程图2 2 脸部对象的初步分割2 2 1 人脸正面图像的特征本文在定位人脸特征点时先把人脸中包含特征信息的区域分割出来，然后根据各个区域中脸部对象的不同特点采用相应的特征提取算法。这样可以避免对整个人脸区域进行处理，从而可以减小处理时问和空间上的复杂性，提高特征提取的精度。人脸对象的初步分割主要是基于人脸的如下两个基本规律：1 、人脸各器官的分布具有明显的规律性。由统计知识和人脸解剖学的观点可知：正面、平面观察一个人的头部，人脸大致符合“三庭五眼”的标准( 如图2 8 所示) ：( 1 ) 眼睛在头部的二分之一处( 2 ) 三庭：发际线至眉线的距离= 眉线至鼻子底线的距离= 鼻子底线至下颌底线的距离( 3 ) 五眼：右外耳孔至右眼外眼角的距离= 右眼长= 左右眼内眼角的距离= 左眼长= 左眼外角至左外耳孔的距离! ! 二! 登塑! 鲎堡堡苎一一。一一一一。乒堕士旦毒! ! j 。塑土! ! ! ；h 图2 8 三庭五限示意图2 、人脸区域的狄度图像在水平和垂直方向上的投影具有很明显的规律性，由于人的眉毛、i 艮i i = - 、募子、嘴巴处的灰度特征，在对人脸进行水平灰度投影时，i ! i i 畏i i 、嘴巴、r , 2 l 、眉毛等处都会出现极小值。在垂直积分投影中双眼的水平位置处将出现极小值而鼻尖的位置将出现极大值，如图2 9 ：( a ) 人脸灰度图像( b ) ( a ) 的垂直投影曲线( c ) ( a ) 的水平投影曲线图2 9人脸灰度投影曲线本文主要利用这两个特征初步定位人脸各个区域。2 2 2 人脸各个区域初步定位列人脸各特征区域粗定位时，根据人脸灰度图的特点进行水平积分投影，同时结合人脸各器官分布的先验规律( 上节所述) 来确定眉、眼、鼻、嘴的垂直位鼍，然后在相应的位置附近找出各器官的水平位置。这里主要讨论的是证件照片，所以暂不考虑下列情况：( 1 ) 照片旋转角度过大；( 2 ) 脸部有浓密的胡须和眼镜。对于一幅m x n 的人脸灰度图像i ( x ，y ) ，其水平投影h ( y ) 定义为：fm丁1十睁晦久学颀 学位论文( j ，) = i ( x ，y ) ，y = o ，m l( 2 - - 8 )= o山上面描述的人脸特征可以得到下面几点先验知识：( 】 h ( y ) 最小的极小值对应眼睛或眉毛区域的垂直坐标。( 2 ) y b r o w 、y e y e 、”a o s e 、y m o u t h 分别对应h ( y ) 的。一个极小值。这里y b r o w 、y e y e 、y n o s e 、y m o u t h 分别指眉毛、眼睛、鼻孔、嘴巴的垂直坐标。( 3 ) y b r o w y e y e m 2 。一( 4 ) y b r o w y e y e y n o s e y m o u t h y n o s e 。根据( 1 ) 、( 3 ) 我们可以首先定位y e y e 。然后根据其他约束条件逐次定位y b r o w ，y n o s e ，y m o u t h 。具体算法如下：( 1 ) 定位眼睛区域。在去m y 去m ，是为了消除可能存在的石人脸的头部发际的影响。如果上部的发际存在，其灰度水平投影值可能会比眼睛部分的水平投影值还要低，所以会影响定位结果。而对于一副完整的人脸图像来说，眼睛部分肯定位于人脸最上部起圭m 以下，所以我们这样的做法是合理的。另外由于眉石毛区域的灰度值也很低，在有些晴况下，此 ； 寸定位的y e y e 可能不一定就是眼睛区域的水平位置，可能对应眉毛区域的水平位置，所以还要进行验证。( 2 ) 定位鼻子区域。以y e y e 为基准，在y e y e y - ；m 的条件下，搜索另一个最j小的极小值点作为候选鼻子区域的水平位置y n o s e 。( 3 ) 对y e y e 和y r l o s e 根据人脸的几何特点进行验证，并定位眉毛区域。由人脸的几何特征可知鼻子和眼睛之间的距离不会很小，我们判断y n o s e y e y e 是否大于某一阂值( 比如m ) 。如果大于说明y e y e 和y n o s e 的定位是准确的，我们就在；m y y e y e的条件下，搜索一个最小的极小值点作为眉毛区域的水平位置y b r o w 。否则，说明y e y e可能是眉毛区域，此时的y e y e 和y n o s e 应该分别对应眉毛区域和眼睛区域的水平位置，所以我们令y b r o w = y e y c ，y e y e = y n o s e ，在新的y e y e 下重新搜索y n o s e 。( 4 ) 定位嘴巴区域。在y n o s e y 且，的条件下寻找一个最小的极小值，作为候石选嘴巴区域的水平位置y m o u t h 。这里之所以取y l3 1 3 一l 式中c ( r ，h ) 是用来判断模板中的像素是否属于u s a n 的判别函数，f 。是模板的中心点，1 7 是模板内部其它点，i ( r 。) 是模板中心像索的灰度值，i ( r ) 是模板内部像素的灰度值，f 为亮度差门限，表明两个象素灰度值相差多少被判作不同，一般根据实际情况设定。通过式3 1 可以判断模板内部每一个像素是否属于1 3 s h n 。1 j s a n 的大4 , n以用式3 2 求得：n ( r o ) = c ( r ，t o )( 3 2 )式中n ( r 。) 表示以h 为圆心的模板u s a n 的大小，即u s a n 区域内1 的个数。再利用式3 3 产生s u a n 特征图像，叫曲糍冰gp s ，式，l 二，g 为几何阀值，可阱理解为u s a n 面积的最大值，超过这个值就可以认为不是边界点，g 越小，检测到的角点就越尖锐，在进行边缘提取时，g 要取的大一些，通常可设为3 n ( r 。) 。：4 。n ( h ) 。是1 1 能取的最大值，也就是模板的面积。本文中用s u s a n 算子定位人脸限角的过程如下m ：对眼部区域的图像运用s u s a n 算子进行运算，得到眼睛的边缘图。从眼睛的中- 间位置向两边搜，找到的第个黑点就是两内眼角，从眼睛图像的外边向里搜找到的第一个黑，量就是两外眼角，定位的过程和效果如图3 3 所示。( a ) 眼部灰度图( b ) 采用s u s a n 算子后的结果( c ) s u s a n 算子定位效果图图3 3s u s a n 算子定位效果图根据s u s a n 算子既可以用来检测边缘，又能用来提取角点的特性，与s o b e l 等边缘检测算子相比，该算子更适合于进行眼部的特征提取，尤其是对眼角的自动定位。并且通过适当调整s u s a n 算子的参数r 、闽值t 和g 的大小，对不同质量的人脸图像都可以取得很好的定位效果，经实验验证，本文中的三个参数取值分别为3 、2 7 、2 1刑，对大多数照片都能取得较好的效果。b c a m p y 边缘检测 2 。1c a m l y 边缘检测法是高斯函数的阶微分，它能在噪声抑制和边缘检测之间取得较好的平衡。算法如下：( 1 ) 用3 3 高斯滤波器来对图像滤波，以去除图像中的噪声；( 2 ) 对每个像索，计算其梯度的大小m 和方向o 。为此要使以下2 x 2 大小的模扳作为对x 和y 方向偏微分的一阶近似：p 。丢 二：习a = 三 二。二。由此得到梯度的大小m 和方向o ：m = s q r t ( p p + q xq )0 = a r c t a n ( q p )( 3 ) 对梯度进行“非极大抑制”：梯度的方向可以被定义为属于4 个区之一，各个区有不同的邻近像素用来进行比较，以决定局部极大值。这4 个区及其相应的比较方向为：l ；：j l123例如，如果中心像素x 的梯度方向属于第3 区，则把x 的梯度值与它的左上和右下相邻像素的梯度值比较，看x 的梯度值是否是局部极大值。如果不是，就把象素x 的灰度设为0 。这个过程称作“非极大抑制”。( 4 ) 对梯度取两次阀值：用两个阀值t 1 和t 2 ，t 2 = 2 t i 。把梯度值小于t 1 的像素的灰度设为0 ，得到图像1 。然后把撵发值小于t 2 的像素的灰度设为0 ，得到图像2 。出于图像2 的闽值较高，噪音较少，但同时也损失了有用的边缘信息。而图像1 的闽值较低，保留了较多信息。因此可咀以图像2 为基础，以图像l 为补充来连接图像的边缘。( 5 ) 边缘连接a 、扫描图像2 ，当遇到一个非零灰度的象素p 时，跟踪以p 为开始点的轮廓线，直到该轮廓线的终点e 。b 、在图像l 中，考察与图像2 中e 点位置对应的点e7 的8 邻近区域。如果在0 ，点的8 一邻近区域中有非零象素r 存在，则将其包括到图像2 中，作为点r 。从r 开始，重复第a 步，直到我们在图像1 和图像2 中都无法继续为止。c 、结束对包含p 的轮廓线的连接，将这条轮廓标记为已访问过。回到笫a 步，寻找下一条轮廓线。重复a 、b 、c 步直到图像2 中再也找不到新轮廓线为止。c a n n v 方法与其他边缘检测方法的不同之处在于，它使用蕊种不同的闺值分别检测强边缘和弱边缘，并且仪当弱边缘计划与强边缘相连时才将弱边缘包含在输出图像中，因此这种方法较其它的方法而言不容易被噪声“填充”，更容易检测出真正的弱边缘。图3 4 ( c ) 为用c a n n y 算子检测出来的眼的边界图。从图3 4 中( b ) 、( c ) 可以看出，c a n n y 算子检测出来的边界比用s o b e l 算子检测出来的边界更理想。所以我们采用了c a m a y 算子提取眼睛的边界。( a ) 眼部的灰度图( b ) ( a ) 采用s o b e l 算子( c ) ( a ) 采用c a n n y 算了边缘提取后的结果边缘提取后的结果图3 - - 4边缘检测冈对c a n n y 算予检测出的边缘图进行垂直积分投影，然后根据投影图来确定眼部对象的特征点的。为此，我们定义垂直积分投影为：矿( x ) = f ，q ，y )( 3 - - 4 )，其中，i ( x ，y ) 为图像点( x ，y ) 处的灰度值；v ( x ) 为在x 处的垂直积分投影值。如图所示，根据对象边缘图的垂直积分投影图，可确定边缘图的左右边缘点，从而可以确定该对象的长。海( 堂碗 t 学位论立，r 丁厂 闲卜嗍瑚1 ，： f“：州哮 卜； 扩i 肯_ 亩矗( 剐c a n n y 检测后眼部边缘图( b ) ( a ) 中边缘图的垂直积分图3 5 限部边缘图和垂直积分投影图由眼部的垂直积分投影图可以看出，从积分投影图像的中间往两边搜索，找到的第一个白点就是两限的内眼角，从积分投影图的两边往中间搜，找到的第一个白点就是两眼的外眼角。c 混合积分投影川：积分投影可以从一定程度上反应图像灰度的变化，但具有一定的局限性。如对一幅具有3 种灰度值的图像( 图3 - - 6 ( a ) 所示) ，应用垂直积分投影，因为每一列的灰度和都相等，所以，垂直积分投影v ( x ) 是一条直线( 如图3 - - 6 ( b ) 所示) ，体现不了图像内在灰度值间的变化。为此，我们定义垂直方差投影和水平方差投影分别为i j ：62 ，( x ) = 三一 ， ，y ，) v ( x ) l ! ( 3 - - 5 )配心) 2 去砂x m ( 州2 ( 3 - - 6 )a ) 具有3 种灰度值的图像；( b ) - - 目。d 、，。 ，7 ( c ) 垂直方差投影曲线62 ，( x )图3 - - 6 积分投影和方差投影比较其中，( x ，y ) 为图像点( x ，y ) 处的灰度值；旷( z ) = i _ 二1 i 莓。( 五y ，) 为 y t ，y a 区产海人学倾l 。学位论史域的垂直积分投影平均值；h t 力2j 三i 萋“一) 为 x ” 区域的水平积分投影平均值。计算图3 - - 6 ( a ) 的垂直方差投影曲线61 ，( x ) ，如图3 - - 6 ( c ) 所示，可以看到方差投影可以很好的体现图像内在狄度的变化，避免了积分投影的局限性。考虑到积分投影和方差投影在一定程度上具有互补性，采用混合积分投影函数，文中垂宜混合投影函数定义如下 2 2 ：h 。( x ) = 寺瓯1 7 ( z ) + 去k 7 ( x )( 3 7 )其中点，2 7 ( x ) ，k 7 ( x ) 分别是62 。( x ) ，v ( x ) 规范到 o ，1 区t h - 后的结果，规范化的具体方法参见式3 8 ，3 9 ：艄加高翁( 3 - - 8 )，= 志嵩筠( 3 - - 9 )混合积分投影反映了图像在某个方向上灰度均值和方差变化情况的综合，所以具有更强的适应性。假设n 表示一个很小的值，当混合积分的值从h 。( ) 到h 。( x 。+ n ) 发生显著变化时，则表示在x = x 0 处是两块不同的区域边界，给定闽值t ，找出所有满足以下条件：兀( ) = m a x ( 1 h 。( x + a ) 一爿j ( x ) 1 )( 3 一1 0 )则x 0 处就是不同区域的边界，本文中为了准确定位人眼的边界，进行如下的限制：在混合积分投影曲线中从两边往里搜索，找到的第一个极值点，同时垂直积分投影的第一个跳变点，就是两外眼角点；在混合积分投影曲线中从中间往两边搜索时，找到的第一个极值点，同时也是垂直投影的第一个跳变点，就是两内眼角点。c 选取定位点方法：本文中对眼睛部位特征点的选取利用了数据融合的原理，下面首先介绍数据融合的基本理论，然后介绍数据融合方法是如何用到本文的特征点定位中，最后给出利用该原理和上面三种方法后眼睛部位的定位效果。数据融合【2 3 1 是利用计算机技术对多源的信息和数据在一定准则下加以自动分析、综合以完成所需的决策和估计任务而进行的信息处理过程，有的也叫信息融合。其任，海人学颁i 。学位论文务是：将所获得的信息按一定规律结合起来，以便于人类观察、接收、分析和判断的形式，给人类提供更为准确、可靠、完整的信息。数据融台是对多源信息的综合处理过程，它利用的是人类和其他逻辑思维系统中常用的基本功能，如人类能非常自然地运用人体的各个感觉器官( 眼、口、耳、鼻、四肢) 将外部世界的信息( 图像、味道、声音、气味、触觉) 组合起来，通过大脑思维器官和先验知识去分析、理解、推测和判定周围环境和正在发生的事件，从而得出结论。数据融合原理的实质就是模拟人脑综合处理复杂问题的过程，充分利用信息资源，通过对传感器得来的及其他已经掌握的信息合理支配和使用，把空间或时问上的冗余或互补信息，依据某种准则来进行组合，以获得被测对象的一致性解释或描述。数据融合模型具有分级结构。按信息的抽象程度，融合可分为三级，即数据级融合、特征级融合和决策级融合。数据级融合也可称为象素级融合，是在采集到的原始数据层上进行的融合，在原始测报未经预处理之前就进行数据的综合和分析，是最低层次的融合，其优点是保持了尽可能多的原始信息，缺点是处理的信息量大，所需时间长，实时性差。这种融合用于：多源图像复合、图像分析和理解、同类( 同质) 雷达波形的合成等。特征级融合属于中间层次，兼顾了象素级和决策级的优点，它先对原始信息进行特征提取( 特征可以是目标的边缘、方向、速度等) ，然后对特征信息进行综合分析和处理，特征级融合可划分为目标状态信息和目标特性融合两大类。特征级目标状态信息融合主要应用于多传感器目标跟踪领域。特征级目标特性融合就是特征层联合识别，具体的融合方法仍是模式识别的相应技术，只是在融合前必须先对特征进行相关处理，把特征矢量分类成有意义的组合。特征级融合的优点在于实现了可观的信息压缩，有利于实时处理，由于所提取的特征直接与决策分析相关，融合结果能最大限度地给出决策分析所需的特征信息。决策级融合是一种高层次融合，先将多源传感信息对目标属性进行独立决策，再对各自得到的决策结果进行融合以获得整体一致的决策，其结果为指挥控制决策提供依据，其优点是：灵活性高，对信息传输带宽要求低；能融合反映环境或目标的不同类型信息，具有很强容错性；通信容量小，抗干扰能力强；对传感器的依赖性小，传感器可是异质的；融合中