红外人脸识别中的决策融合和有限元分析

江西财经大学 硕士学位论文 红外人脸识别中的决策融合和有限元分析 姓名：吴海燕 申请学位级别：硕士 专业：计算机应用技术 指导教师：王正友 20091201 摘要 人脸识别技术以其具有直观性、被动性和非侵犯性，在生物特征识别领域有 着无法比拟的优势。在诸多影响人脸识别性能的因素中，光照的变化是识别领域 最具挑战的难题之一。考虑到红外图像基于目标温度成像，完全不受外部光照的 影响，且每个人的脸部温谱图各不相同，即使是长得一模一样的双胞胎，脸部温 谱图也不同。因此，将红外技术与人脸识别技术相结合，在高安全性部门的警戒、 入口控制及计算机保密等领域有着广阔的应用前景。本论文在简单介绍红外人脸 图像特性的基础上，以血流量稳定不变的静态模型为条件，研究了常态下基于血 流图的决策融合方法；以外部环境温度影响血流量发生变化的条件下，研究了非 常态下基于有限元分析的方法，并进行了相关的实验测试。 论文首先分析了红外人脸图像的特性及人脸识别的特点，详细描述了红外人 脸识别系统，包括数据库采集、人脸检测与定位、特征提取及分类识别。此外， 考虑到信息融合的思想已逐步运用到识别系统中，因此，简单介绍了像素级融合、 特征级融合和决策级融合三种融合方法。 考虑到红外图像分辨率低，人脸边缘轮廓和细节特征比较模糊，这对图像的 有效识别产生一定的影响，而有效的人脸识别算法，必须充分挖掘不同方面的特 征信息，本文采用了决策融合的方法。该方法主要基于三种特征提取方法的改进： 离散余弦变换计算速度快，有限个系数即可保留大部分能量，但其只考虑了整体 特征，所以本文利用了D C T 变换的强压缩性能，选取小波分解后的低频子带进行 分块D C T 变换，保留适当的D C T 系数作为其分块的特征，从而得到局部信息，然 后对各个分块特征进行融合得到整体信息；尽管P C A 能有效保留源图像的主要信 息，但其基于整个数据库变换，基于单幅图像本身变换的D C T 方法在一定条件下 比P C A 方法要好，所以本文在小波分解的基础上采用D C T 变换和F L D 的特征提取方 法；小波变换对信号具有自适应性，能有效压缩图像，但传统意义上的小波执行 时间长，且需要较大的内存支持，不适于实时系统。所以本文利用提升小波结构 简单，运算量低，原位运算，节省存储空间，在小波变换的基础上改进为以提升 小波结合P C A 的方法进行特征提取。实验结果表明，在原有基础上，三种方法识 别率均有一定的提高，对于改进后的特征识别方法在融合后识别率也有进一步的 提高。 虽然基于能量图与血流图的红外人脸识别在识别性能上均高于基于温谱图的 红外人脸识别，但它们均假定为基于静态模型下，即血流量保持稳定不变。事实 上，外部环境温度、喝酒、发烧或运动等因素都会对血流产生影响，进而影响识 别性能。为此，本文针对非常态红外人脸识别，尝试开展有限元分析。具体采用 P e n n e s 方程作为生物热模型，由有限元方法重构温谱图，将实际温谱图与模型所 得温谱图的温度进行比较，根据设定的阈值进行不断调整，反向求解离散的人脸 热模型，逐步得到准确的生物信息。初步实验证明，该方法能有效提高识别率， 对于非常态下的鲁棒生物特征提取有一定的指导意义。 【关键字】红外人脸识别能量图血流图决策融合P e n n e s 方程 2 A b s t r a c t F o rt h ec h a r a c t e r i s t i co fb e i n gs t r a i g h t f o r w a r d ，p a s s i v ea n dn o n i n v a s i v e ，f a c e r e c o g n i t i o nh a sa l li n c o m p a r a b l ea d v a n t a g e A m o n ga l lf a c t o r sw h i c hi n f l u e n c et h e p e r f o r m a n c eo ff a c er e c o g n i t i o n , t h ec h a n g eo fi l l u m i n a t i o ni s t h em o s tc h a l l e n g e p r o b l e mi nr e c o g n i t i o n F o rt h er e a s o nt h a t i n f r a r e di m a g e r yi so b t a i n e df r o mi n f r a r e d d e v i c eb a s e do nt h et e m p e r a t u r eo f t a r g e t s ，t h e yd o n tb ei n f l u e n c e db ye x t e r n a ll i g h t i n g 、胁a t Sm o r e ，t h e r r n og r a m sa r ed i v e r s ef r o me a c ho t h e r E v e nt h et w i n sw h oa r ee x a c t l y a l i k e ，t h et h e r m og r a m so ft h e ma r ed i f f e r e n t T h e r e f o r e ，i n f r a r e df a c er e c o g n i t i o nh a s b r o a da p p l i c a t i o np r o s p e c t si nt h ea r e ao fg u a r do fh i g h - s e c u r i t ys e c t o r , a c c e s sc o n t r o l ， c o m p u t e rs e c u r i t y , a n dS O0 n I nt h i sp a p e r , b a s e do nab r i e fi n t r o d u c t i o no fi n f r a r e d c h a r a c t e r i s t i c so fh u m a nf a c ei m a g e r y , t w om e t h o d sh a v eb e e nr e s e a r c h O n ei san e w f u s i o nm e t h o du n d e rt h ec o n d i t i o no fn o r m a lm o d e ，w h i c hm e a nt h a tt h em e t h o db a s e d o ns t a t i cm o d e l ，t h eb l o o df l o wv o l u m er e m a i ns t a b l e T h eo t h e ri Sf i n i t ee l e m e n t a n a l y s i s I nt h i ss i t u a t i o n ，t h ev o l u m eo fb l o o df l o wi sc h a n g e db ye x t e r n a le n v i r o n m e n t t e m p e r a t u r e W i t hr e g a r dt ot h e s e ，w ec o n d u c tt h er e l e v a n te x p e r i m e n t a lt e s t F i r s to fa l l ，t h et h e s i sa n a l y z et h ep r o p e r t yo fi n f r a r e df a c e i m a g e r ya n dt h e c h a r a c t e r i s t i co ff a c er e c o g n i t i o n , t h e nd e s c r i b eai n f r a r e df a c er e c o g n i t i o ns y s t e mi n d e t a i l T I l es y s t e mi n c l u d e sf o u rp a n s ，d a t a b a s ec o l l e c t i n g ，d e t e c t i o na n dl o c m i o no f f a c e ， f e a t u r ee x t r a c t i o n ，c l a s s i f i c a t i o na n dr e c o g n i t i o n W h a t Sm o r e ，f o rt h ei d e ao ff u s i o nh a s b e e nc o n s i d e r e di nr e c o g n i z es y s t e mp r o g r e s s i v e l y , s o m ei n t r o d u c t i o no fp i x e l 1 e v e l f u s i o n ，f e a t u r e l e v e lf u s i o na n dd e c i s i o n 1 e v e lf u s i o na r er e f e r r e d F o ri n f r a r e di m a g e r yh a v et h ep r o p e r t yo fl o wr e s o l u t i o n ，v a g u ep i x e li nh u m a n f a c e Se d g e sa n dd e t a i l s c h a r a c t e r i s t i c ，t h ep e r f o r m a n c eo fi d e n t i f i c a t i o nW a si n f l u e n c e d o b v i o u s l y H o w e v e r a l le f f e c t i v e f a c er e c o g n i t i o na l g o r i t h mm u s tf u l l ye x p l o i tt h e c h a r a c t e r i s t i e si n f o r m a t i o ni nd i f f e r e n ta s p e c t s T h e n ，t h em e t h o do fd e c i s i o nf u s i o ni S c o n s i d e r e di nt h i st h e s i s I tw o r t hn o t i n gt h a t ，t h i sm e t h o di s m a i n l yb a s e do nt h e i m p r o v e m e n to ft h r e ek i n d so ff e a t u r ee x t r a c t i o nm e t h o d s T h ec a l c u l a t i o no fD i s c r e t e C o s i n eT r a n s f o r mi sf a s t ，a n do n l yf i n i t en u m b e ro fc o e f f i c i e n t sc a n k e e pm o s te n e r g yo f i m a g e s ，b u tt h i sm e t h o do n l yu s e st h eg l o b a lf e a t u r e ，w i t h o u tt h el o c a lf e a t u r e s S o ，a m e t h o dc o m b i n i n gr h e o g r a p h ya n db l o c kD C Ti nw a v e l e td o m a i ni sp r o p o s e di nt h e 3 t h e s i s E a c h f a c ei Sr e p r e s e n t e db yt h ec o e f f i c i e n t se x t r a c t e df r o mt h es u b b l o c k si n D C T d o m a i n F i n a l l y , r e c o g n i t i o nr e s u l to fe a c hb l o c ki sf u s e dt oo b t a i nt h ef i n a lr e s u l t ； w a v e l e tt r a n s f o r mt os i g n a lh a v et h ep r o p e r t yo fs e l f - a d a p t i n g ，a n di ta l s oc a n c o m p r e s s e di m a g ee f f e c t i v e l y A l t h o u g hP C A c a np r e s e r v et h ee n e r g yo fs o u r c ei m a g e e f f e c t i v e l y , t h et r a n s f o r m a t i o ni sb a s e do ne n t i r ed a t a b a s e ，w h i l eD C T t r a n s f o r mw h i c h b a s e do nas i n g l ei m a g ep e r f o r mb e R e ru n d e rc e r t a i nc o n d i t i o n s S o ，c o m b i n et o r h e o g r a p h y , t h i sp a p e rr e p l a c eP C Ab yD C T i nt h ef e a t u r ee x t r a c t i o nm e t h o do fP C A a n dF L Db a s e do nt h ew a v e l e td e c o m p o s i t i o n T r a d i t i o n a lw a v e l e tn e e dl o n gt i m ei n i m p l e m e n t a t i o na n dr e q u i r el a r g em e m o r ys u p p o r t ，i ti s n o ts u i t a b l ef o rr e a l t i m e s y s t e m sw h i l el i f t i n gw a v e l e tt a k ea d v a n t a g eo fs i m p l es t r u c t u r e ，l o wc o m p u t a t i o n a l c o m p l e x i t y , i n - s i t uo p e r a t i o n s ，a n dl e s ss t o r a g es p a c e T h e r e f o r e ，t h i sp a p e rr e p l a c et h e m e t h o do fw a v e l e tt r a n s f o r mb yl i f t i n gw a v e l e tt oc o m b i n eP C At r a n s f o r mi no r d e rt o e n h a n c et h ee f f i c i e n c y E x p e r i m e n t a lr e s u l t ss h o wt h a t ，c o m p a r i n gt ot h eo r i g i n a lb a s i s ， t h e r ei sac e r t a i ni n c r e a s eo nr e c o g n i t i o nr a t eo ft h et h r e em e t h o d s A f t e rf u s i n gt h et h r e e r e s u l t s ，r e c o g n i t i o nr a t ei m p r o v e df u r t h e r U n d e rt h ec o n d i t i o no fs t a t i cm o d e l i nw h i c hb l o o df l o wv o l u m er e m a i ns t a b l e ， i n f r a r e df a c er e c o g n i t i o nb a s e do ne n e r g yd i a g r a ma n dr h e o g r a p h yb o t hC a np e r f o r m b e t t e rt h a nt h er e c o g n i t i o nb a s e do nt h e r m og r a m A sam a t t e ro ff a c t ，t h ef a c t o r ss u c ha s e x t e m a le n v i r o n m e n tt e m p e r a t u r e ，d r i n k i n g ，h a v i n gaf e v e ro rs p o r t sh a v ea ni n f l u e n c e o nt h ev o l u m eo fb l o o df l o w , t h e na f f e c tp e r f o r m a n c e F o rt h i sr e a s o n , t h i st h e s i s a t t e m p tt oc a r r yo u tf i n i t e e l e m e n ta n a l y s i s ( F E A ) a i ma ta b n o r m a li n f r a r e df a c e r e c o g n i t i o n S p e c i f i c a l l y , t h i sm e t h o dc o n s i d e r sP e n n e se q u a t i o na st h eb i o h e a tm o d e l f i r s t l y , a n dt h e nr e c o n s t r u c t st h e r m og r a mb yt h em e t h o do fF E A W h a t Sm o r e ， c o m p a r e st h et e m p e r a t u r ew h i c ho b t a i n e df r o mp r a c t i c a lt h e r m og r a m a n dm o d e l ， a d j u s t st h e i rc o m p a r i n gr e s u l t sc o n s t a n t l ya c c o r d i n gt ot h et h r e s h o l d A tl a s t ，s o l v e st h e d i s c r e t eh e a tm o d e lo ff a c er e v e r s e l yt og e tt h ea c c u r a t eb i o l o g i c a li n f o r m a t i o n p r o g r e s s i v e l y P r e l i m i n a r ye x p e r i m e n tp r o v e st h a t ，t h i s m e t h o dC a ni m p r o v et h e p e r f o r m a n c e ， a n dh a sc e r t a i nd i r e c t i v es i g n i f i c a n c eo nr o b u s tb i o l o g i c a lf e a t u r e e x t r a c t i o nu n d e ra b n o r m a ls t a t e s K e y w o r d i n f r a r e d f a c er e c o g n i t i o n e n e r g yi m a g e r y R h e o g r a p h y d e c i s i o nf u s i o n P e n n e se q u a t i o n 4 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工 作及取得的研究成果尽我所知，除了文中特别加以标注和致谢 的地方外，论文中不包含其他人出空发表或撰写的研究成果，也 不包含为获得江西财经大学或其他教育机构的学位或证书所使用 过的材料与我一同工作的同志对本研究所做的任何贡献均已在 论文中作了明确的说明并表示了谢意 签名：二蛙日期：2 掣一 关于论文使用授权的说明 本人完全了解江西财经大学有关保留，使用学位论文的规定， 即：学校有权保留送交论文的复印件，允许论文被查阅和借阅； 学校可以公布论文的全部或部分内容，可以采用影印、缩印或其 他复制手段保存论文 ( 保密的论文在解密后遵守此规定) 签名：墨亟蛰师签名：一吆日期：三刍：t r 1 绪论 1 绪论 1 1 选题背景和意义 随着数字化时代的到来，如何准确鉴别一个人的身份、保护信息的安全是当 今信息化时代必须解决的一个关键的技术问题。各种生物识别技术，如指纹、人 脸、虹膜、掌纹、语音识别技术都有了一定的发展。人脸识别技术有其它生物特 征识别技术无法比拟的优势，它对被识别者具有直观性、被动性和非侵犯性，在 公共安全、信息网络上的应用已体现出重要的社会和经济价值。 人脸识别技术中关键的问题是，识别系统能适应具体应用中出现的各种外在 条件的变化和可变的人脸。关于这个问题，可见光入脸识别领域已有大量研究， 但在光照条件变化、人脸姿态变化、人脸表情、化妆、照片欺诈等条件下识别仍 然非常困难。1 9 9 2 年，美国M i k o s 公司的P r o k o s k i 博士最早提出用红外进行人脸 识别这一设想。红外图像( 又称温谱图) 基于目标的温度成像，不受外部光照的 影响，可实现全天候识别，也不存在阴影问题。研究证明，人体皮肤具有很高的 发射率，其中，在中波红外波段的发射率至少为O 9 1 ，在长波红外波段的发射率 至少为0 9 7 ，可近似认为是黑体( 黑体的发射率为1 ) 。由于发射率不受种族、肤 色的影响，因此，也可以说种族和肤色对红外人脸识别没有影响。此外，当人体 温度与环境温度相近时，所拍摄的红外人脸图像中人脸部分总是最亮的，这为图 像的分割带来了很大的便利【M J 。 随着军事技术的民用化，红外技术的不断普及，基于红外图像人脸识别的身 份认证技术将得以广泛的推广和应用。但同时我们也应该看到，红外图像人脸识 别也有其缺点，如红外人脸图像反映的是人脸的温度分布，脸部边缘轮廓和细节 特征比较模糊，没有可见光那么清晰；红外线对玻璃的透射性较差，戴眼镜的人 的红外人脸图像中，眼睛部位全部是黑色，这造成了眼睛信息的缺少，识别性能 受到很大影响；红外图像人脸识别性能受环境温度变化和图像采集时间误差的影 响较大1 4 j 等等。 因此，在对红外图像人脸图像进行研究时，很有必要对红外人脸图像的特性 和影响红外图像人脸识别性能的有关因素等进行深入的分析。而如何针对红外图 像的特点，提出一种新颖而且有效的方法来提取人脸特征，提高识别性能，仍是 一个非常前沿而具有挑战性的课题。 红外人脸识别中的决策融合和有限元分析 1 2 研究现状与存在的问题 1 9 9 2 年，专利号为U SP a t e n t s5 ，1 6 3 ，0 9 4 的美国专利中有一个红外图像人脸识 别系统，它以简单的直方图和模板匹配技术为基础，据称能达到非常高的准确率， 甚至可以将一对双胞胎分辨出来，然而却没有实验结果发表。1 9 9 6 年，由美国D o D ( D e p a r t m e n to fD e f e n c e ) 发起的人脸识别计划中，J o s e p hw i l d e r 等人研究了可见 光图像人脸识别与红外图像人脸识别的区别，并给出了初步结果。近几年来，美 国【5 ，6 7 m 】、日本【1 4 】、新加坡1 5 - 1 7 1 及我国国防科大【1 8 1 等少数几个国家也相继开展了对 红外人脸识别技术的研究。研究包括红外人脸数据库的建立、温谱图的分析、红 外图像用于人脸识别的可行性论证及性能分析。如美国E q u i n o x 8 】公司建立了相同 条件下的红外与普通图像数据库，在此基础上对二组数据库运用相同的算法比较 其识别率。测试结果表明：1 ) 对同一张脸在相同变化条件下，红外图像的变化比 普通图像的变化要小；2 ) 不管用哪种方法( P C A 等) ，红外图像的识别率均高于 普通图像。文献【7 ，8 ，1 2 1 6 ，1 8 ，1 9 】的研究表明，用红外进行人脸识别是有效的。 由于红外图像中目标与背景的对比度比较低，边缘模糊，噪声比较大，这对 图像的有效识别产生一定的影响，而有效的人脸识别算法，必须充分挖掘不同方 面的特征信息。因此，研究逐步将多传感器数据融合的思想应用于人脸识别中。 随着9 0 年代多颗雷达卫星J E R S 1 ，E R S 1 和R a d a r s a t 的发射升空，多传感器数 据融合成为目前遥感及相关学科领域的研究热点。对遥感图像进行融合处理的目 的主要有锐化图像、改善几何矫正、色彩矫正、改善分类特性、弥补某种图像中 丢失的数据、检测观测大地环境的变化等。2 0 世纪8 0 年代末，人们开始将图像融 合技术应用于可见光、红外等图像的处理中。9 0 年代后，对于图像融合技术的研 究不断增多，应用的领域包括遥感图像处理、可见光图像处理、红外图像处理、 医学图像处理等。随着研究的不断深入，应用领域的不断扩大，有关这方面的研 究内容及成果才逐渐大量披露于各种学术会议和公开文献中，如美国三军数据融 合年会，S P I E 传感器融合年会，国际机器人与自动化会刊，军事运筹学会会议录， 以及I E E E 的相关会议和会刊等。近二十年来，以美国为代表的技术发达国家，图 像融合技术遥遥领先，具有代表性的机构是美国M I T 林肯实验室和荷兰的人力因素 所，专著是多传感器图像融合及其应用。在国内，图像融合技术主要处于算法 理论研究阶段，有关实用图像融合系统的研制正在开发中。北京理工大学是国内 最早开展系统性图像融合技术研究的单位。 图像融合的目的是综合同一个场景的多个图像的信息，找到更适合人眼视觉 和计算机视觉的一幅图像，或需要进一步处理的图像。而决策层融合在信息处理 上方便、灵活，系统对信息传输带宽要求较低，能够有效地合成反映环境或目标 2 1 绪论 各个侧面的不同类型信息、处理非同步信息，并且对信息关联的要求大大降低。 文献 2 0 2 1 1 表明，基于决策融合识别效果总是优于只考虑一种传感器进行识别的 效果，但文献【2 0 】中的可见光图像容易受光照的影响，文献【2 l 】中虽然采用了红外 温谱图，但其识别性能同样受外界环境温度的影响。文献【2 2 】提出了一种血流图模 型，它受外界温度的影响较小。同时，我们也考虑到不同的特征提取方法识别性 能不同，因此，本文在改进特征提取方法的基础上，基于血流图提出一种简单的 决策融合。 红外人脸识别中另一个值得注意的问题是针对同时段数据，即训练样本与测 试样本同时采集。研究发现，人脸温谱图会随着环境温度、心理状况( 愤怒，害 羞等) ，以及生理状况( 如发烧，疲劳，喝酒等) 的变化而变化【1 7 , 2 3 彩】，基于温谱 图的识别系统1 7 , 8 , 1 2 - 1 5 , 1 8 , 1 9 ，温度的影响相对于可见光系统中光照的影响，它对同 时段数据识别性能好，对时延数据性能较差。如果考虑到测试样本来自几星期或 几个月以后，红外入脸识别的性能会急剧下降 9 - 1 1 , 1 4 - 1 7 1 ，识别率将从9 0 9 5 降到 6 0 一7 0 。文献 2 7 1 提出基于辐射能量的红外人脸识别，其中的辐射能量图对周围 环境温度的敏感度较低。实验结果表明，基于辐射能量图的识别率高于基于温谱 图的识别率。文献【2 2 提出把易受外部环境影响的温度信息( 温谱图) 转为人体生 理信息的血流模型，将温谱图转化为血流图来进行识别，该方法在几乎不降低识 别的同时，还可以减小时间复杂度，实验证明识别性能比能量图高。虽然基于能 量图与血流图的红外人脸识别在识别性能上均高于基于温谱图的红外人脸识别， 但它们均假定为基于静态模型下，即血流量保持稳定不变。事实上，外部环境温 度、喝酒、发烧或运动等因素都会对血流产生影响，进而影响识别性能。作为一 个高性能的识别系统，必须考虑这类情况下也能识别，而目前关于非常态下各种 因素带来的影响，还未有较好的方法解决这一问题，选取其中的基于生理学结构 的方法进行分析，以动态的血流作为人脸的独有特征进行识别将最终发展趋势之 1 3 本文研究的主要内容 本文基于“国家自然科学基金”项目“非常态下远红外人脸识别中鲁棒生物特征 提取研究”和“江西省自然科学基金”项目“基于生物力学的红外人脸识别理论与系 统研究”这两个课题进行部分工作的研究。针对红外人脸图像的特点和性质，着重 研究如何提取与选取红外人脸图像的有效特征。论文的主要内容安排如下： 第一章介绍了红外人脸识别的选题背景和意义、研究现状与存在的问题。 第二章介绍了红外图像的特性和红外人脸识别的特点，详细介绍了红外人脸 3 红外人脸识别中的决策融合和有限元分析 识别系统，包括数据库采集、人脸检测与定位、特征提取及分类识别，并简单介 绍了应用在识别系统中的像素级融合、特征级融合和决策级融合三种方法。 第三章提出了基于三种改进的特征提取方法而执行的决策融合方法。首先重 点分析和研究了三种特征提取方法，包括：小波域分块加权D C T 的血流图人脸识 别、小波域D C T 和F L D 的血流图人脸识别和基于提升小波与P C A 的血流图人脸 识别；其次，以提出的三种特征提取方法为基础，进行一种简单的决策融合。 第四章提出一种在非常态下有效进行人脸识别的方法。首先介绍了生物传热 学理论基础，进行了人脸热模型的选择，然后使用有限元方法进行分析，得到生 物特征动态血流，最后得到人脸识别结果。 第五章为总结部分，总结了本文所做的工作，并对下一步工作和未来的研究 方向进行了展望。 4 2 红外图像人脸识别概述 2 红外图像人脸识别概述 2 1 引言 随着红外设备性价比的不断提高，应用趋势逐步增大，我们对获得的图像有 了一个更加全新，更加多样的选择，基于红外图像的人脸识别是近年来人脸识别 技术的一个革命性创新。传统的红外摄像机、成像仪采用光敏硅，它们主要能够 探测波长为0 4 1 O g r e 的电磁波辐射的能量，而目前具有的技术已经可以提高不同 红外光谱波段图像测量的质量和性能。考虑到红外图像人脸识别的重要性和意义， 本节在分析红外人脸图像特性及其识别特点的基础上，对红外人脸识别系统做了 详细的介绍。 2 2 红外人脸识别介绍 红外人脸识别是近年来生物识别技术研究的热点，是一个具有广泛应用价值 和挑战性的课题。按照获取红外图像的距离远近来划分可以将其分为远红外( 波 长为8 - - 1 0 0 0 9 m ) 技术和近红外( 波长为O 7 1 O 岬) 技术；按照获取红外图像 的外部环境的不同可以将红外分为常态和非常态等。 2 2 1 红外人脸图像的特性 红外热成像的原理为：自然界一切温度高于绝对零度( - 2 7 3 ) 的物体都能辐 射红外线，而且不同性质的材料辐射特性不同。利用红外探测器探测目标与背景 以及目标各部分之间的热辐射特性差异，把红外图像景物转变为人眼可以察觉的 可见光图像，以获得目标影像。 由红外热成像技术得到的人脸温谱图是由温度信息组成的，P r o k o s k i 指出 1 2 , 1 4 , 1 5 】：人脸温谱图由人脸组织与结构( 如血管大小和血管分布等) 的红外热辐射 决定，每个人的血管分布是独特、不可复制的，且这种特性不随年龄的增长而变 化。同指纹一样，每个人的面部温谱图各不相同，即使是长得一模一样的双胞胎， 都具有不同的脸部温谱图。 2 2 2 红外人脸识别的特点 红外图像人脸识别是通过红外热像仪自动寻找并定位人脸，然后根据每张人 脸组织与结构等红外热辐射系数具有唯一性这特性，提取出每张人脸所蕴含的 身份特征，最后与人脸库中的人脸进行对比，从而识别每张人脸的身份。 红外人脸识别中的决策融合和有限元分析 通过对红外人脸图像特性的研究、分析以及相关实验的总结，并与可见光图 像人脸识别进行比较，我们知道，光照的变化对可见光人脸成像及其识别性能有 很大的影响，为了减小或消除这种影响，各种补偿措施得到研究和采用，如采用 直方图、拉普拉斯变换、g a b 变换、对数变换等对人脸图像进行处理。红外图像人 脸识别推动人脸识别的发展以及提高人脸识别性能的最大优势就是其对变化光照 环境的不变特点。红外人脸图像可以由红外摄像机在暗处拍摄到人脸图像，即使 在光线较弱或没有光亮的地方也可获得图像，因而，无论在白天或夜间，由红外 成像设备获得的红外人脸图像可实现全天候识别。文献 2 8 】 2 9 】通过实验对不同环 境光照条件下( 如光照的强度、方向以及同一光源不同光照距离等) ，采用经典特 征脸等人脸识别方法对红外图像和可见光图像的人脸识别性能的改变做了比较和 分析，实验结果证明，在同样光照环境下，红外图像人脸识别率一般比可见光要 高3 0 左右，在环境光照条件更强的情况下有时要高出5 0 左右。 其次，红外图像人脸识别不受伪装的干扰。由于红外图像由温度信息组成， 即使被测对象经过化妆或整容，也不能改变其人脸面部的血管分布，从而不会改 变人脸的热辐射模式。 最后，红外图像人脸识别防欺骗性强。在可见光摄像头拍摄的情况下，为了 躲过拍摄，可以利用合法用户的照片蒙混过关。虽然利用双目摄像机，通过计算 机三维重建也可分辨照片和真人，但技术复杂。而利用红外摄像设备获得图像， 照片与真实人脸的热辐射差异很容易被检测出来，从而避免了欺骗行为。 尽管红外图像对光照不敏感，不易受伪装干扰，且反欺骗性强，但是研究同 时还表明：1 ) 由于红外辐射的物理本质是热辐射，对温度很敏感，而物体之间存 在热交换，空气对热辐射有散射和吸收作用，这使得红外图像的对比度低，物体 边缘模糊，噪声较大，没有明显的纹理和角点；2 ) 无论是可见光还是红外图像， 当采集的待测试人脸图像样本与训练库中的图像存在时间误差时，人脸识别性能 将受到很大影响。一般情况下，时间误差超过一周以上对识别性能的影响比一周 以内的更大，且对红外图像的识别性能明显会比对可见光图像的性能影响要大。 导致这种情况出现的可能原因有：采集图像数据的时间误差使得同一人脸的红 外图像模式( 如人体的运动、人的情绪改变或者环境温度的改变) 发生较大变化 由于对人脸的定位不精确导致红外图像人脸识别性能的下降。3 ) 当采集的红 外人脸图像由寒冷的室外进入温度较高的室内，以及诸如人体温度的急剧变化， 这些非常态下的因素对红外人脸图像的成像都可产生一定的影响，从而影响红外 图像人脸识别的性能。 6 2 红外图像人脸识别概述 2 3 红外人脸识别系统 人脸识别系统包括可见光人脸识别和红外人脸识别，其中，红外图像以其唯 一性和高防伪性具有很大的优势，如表2 1 所示。然而，无论是可见光图像还是红 外图像，人脸识别系统包括两个主要技术环节：1 ) 人脸的检测与定位，即从输入 图像中找到人脸并且将人脸从背景中分割出来；2 ) 对归一化的图像进行特征提取 与识别【) 0 1 。此外，一个完整的红外人脸识别系统还包括红外人脸图像的采集。 表2 1 红外与可见光图像人脸识别性能比较 生物特征普遍性唯一性 方便性 稳定性 准确性可接受性防伪性 可见光高 低 高 中 低高低 红外中向问低中尚局 2 3 1 红外人脸图像的采集 红外人脸识别技术的发展离不开人脸数据库的建立，它不仅为人脸识别算法 的测试提供了素材，同时也为各种算法的优劣比较提供了有效的依据。目前国际 上还没有统一的红外人脸数据库。常用的数据库是美国H I D 课题组采集的红外人 脸数据库和美国圣母大学的红外人脸数据库。 本文采用的数据库由F L I P , 公司生产的T h e r m o V i s i o n A 4 0 红外相机获得，这种 相机使用无冷却微辐射热测量传感器，光谱响应频段为7 5 - - - 1 3 9 m ，像素分辨率为 3 2 0 x 2 4 0 。为了准确测出被测对象的表面温度，该设备有温度自动校正功能以消除 温漂，它的温度敏感度高达0 0 8 。 这些人脸图像获得的条件为：温度都控制在2 5 6 - - 2 6 3 左右；每个人都站在 照相机前约l 米的地方。其中，数据库包含5 0 个人，共1 0 0 0 张图像，1 0 0 0 张人 脸图像中5 0 0 张为训练样本，5 0 0 张为测试样本。训练样本中有5 0 人，每个人有 l O 个样本：2 个正面，2 个朝上看，2 个朝下看，2 个朝左看及2 个朝右看。为了 减小时延，每个对象的样本都在1 分钟之内获取。因为红外图像中，眼镜对红外 来说是不透明的，所以样本都没有戴眼镜。 2 3 2 红外人脸检测方法 人脸检测就是要找出给定图像中包含人脸的区域。其中又包括对静止图像的 检测和对运动图像的定位检测。 1 静止图像中的人脸检测定位 7 红外人脸识别中的决策融合和有限元分析 1 ) 启发式方法( 基于知识的方法) 基于模板的匹配方法 基于器官或轮廓分布特征的方法 基于肤色模型的方法 2 ) 统计方法 将人脸区域看作一类样本，通过对大量人脸图像进行学习训练，根据人脸的 灰度特征构造人脸模式与非人脸模式分类器，使用分类器判别图像中所有可能区 域属于人脸区域还是非人脸区域，从而实现人脸检测。 基于人工神经网络的方法。它通过对样本的学习构造分类器，并且对分类 器进行训练，最后利用分类器完成仿真分类。 基于概率模型的方法。包括利用贝叶斯公式进行似然度求解问题和隐马尔 可夫模型。 基于支撑向量机的方法。通过非线性变换将输入空间变换到一个高维空 间，然后在这个高维空间中求得最优线性分类面，求出输入模式与所得的最优线 性分类面的距离，实现对未知样本的分类。 基于特征空间的方法。它利用人脸在某个特定特征空间上的分布规律，诸如 M I T 的基于事例学习的方法等都可以分割出人脸图像中的人脸区域。 2 运动图像中的人脸检测定位 1 ) 将差分法和肤色模型相结合的方法。首先对运动前后的两帧图像进行差分 运算，得到差分图像，并去除大量静止背景信息，保留运动的人体部分信息；接 着，根据人脸各部位的肤色特征差异对差分图像建立肤色模型，利用肤色模型检 测出图像中的肤色像素，这些肤色像素连通起来就构成了可能的人脸区域；最后 验证分割出的部分是否为人脸。 2 ) 基于K L 肤色的人脸定位方法。将K L 变换应用到色系坐标系的转换中， 从而得到一种新的基于肤色特征的人脸定位方法。 在红外人脸识别系统中，由于人的皮肤具有很高的发射率，且发射率不受种 族、肤色的影响，因而，常采用基于全局特征的方法来检测人脸【3 0 3 1 1 。 2 3 3 红外人脸特征提取方法 红外成像具有抗干扰性强、独立于可见光源、防伪装、防欺诈等优点，且设 备获得的数据为一个由温度表示的二维矩阵。要达到较高的识别性能，特征的有 效提取是识别中基础与关键的一步。如果能找到每张人脸的独有特征，识别将会 比较简单。否则，识别的重点只能转移到分类器的设计上。常用的图像特征有颜 色特征、纹理特征、形状特征、空间关系特征。 8 2 红外图像人脸识别概述 人脸识别系统研究中，常用的特征提取与识别方法主要有以下几种： 1 ) 基于几何特征的方法 2 ) 主分量分析法 3 ) 线性判别分析方法 4 ) 局部特征分析法 5 ) 独立分量分析法 6 ) 小波变换的方法 7 ) 弹性图匹配的方法 8 ) 人工神经网络的方法 研究人员根据红外人脸图像的特点，结合人体生理学、生物传热学、模式识 别等相关知识，提出了如下特征提取和识别方法【3 2 1 。 1 ) 等温线匹配方法 2 ) 基于生理学结构的方法 3 ) 基于传统统计识别的方法 4 ) 其它特征提取识别方法 2 3 4 分类方法 表情分类指定义一组类别，并设计相应的分类机制对表情进行识别，归入相 应类别。如按照脸部动作分类将脸部的动作分类到4 4 个A U s ( a c t i o nu n i t s ) ；或按照 感情分类，将表情分类到E k r n a n 和F r i e s e n 定义的6 种基本感情。根据是否利用时 间信息来进行分析，人脸表情分类的方法可分为基于空间分析的方法和空时结合 的方法两类。 1 ) 空间分析方法。包括：基于专家规贝1 J ( E x p e r tr u l e s ) 的方法和基于机器学习 的方法( 如人工神经网络、贝叶斯分类) 。 2 )空时分析的方法。在以前的文献中，空时结合的分析方法还包括基于规 则的推理以及循环神经网络等，但近几年的文献中，只有隐马尔科夫模型( H i d d e n M a r k o vM o d e l