（应用数学专业论文）基于图像高频信息提取与光照归一化的人像识别研究.pdf

中文摘要 基于图像高频信息提取与光照归一化的人像识别 研究 专业：应用数学 硕士生：李盛武 导师：戴道清教授 摘要 人脸检测和识别技术在公共安全系统、身份鉴别和虚拟游戏等领域有广泛应用， 但是光照问题却是长期困扰该项技术实用化的主要原因之一。光照往往影响图像的低 频信息，图像高频信息基本不受影响，因此提取图像的高频信息从而能提高识别率。 本文主要讨论几种图像高频信息提取算法以及其在模式识别中的应用。 已有的图像高频信息提取算法有全变分( t v ) 模型，对数域上利用全变分( l t v ) 模型以及对i v 模型所丢弃的人脸低频信息通过二次多项式进行光照归一化，再叠加 到l t v 的高频信息等等。 本文的主要工作是在t v 模型的基础上引入弹性网的思想，通过偏微分方程方法 进行编程实现提取图像高频信息，并把提取的高频信息与对数域上全变分模型提取高 频信息做比较，并用二次多项式对l t v 模型所丢弃的人脸低频信息进行光照归一化 的思想应用到t v 模型中进行光照归一化。本文还结合在图像高频信息提取中的一些 新思想，引入了双向t v 模型( b t v ) 和s o b e l 算子+ l 1 模型两个提取高频信息的新模 型，并通过实验，从视觉效果和识别率两个方面分别进行比较。 第1 页 中山大学硕士学位论文 实验的结果证明，t v 模型提取的高频信息较l t v 模型提取的高频信息在识别率上 要高，并且t v 模型对于参数的选取相对不敏感。与直方图均衡化方法相比，t v 模型 提取的高频信息的识别率有所提高，边缘提取较为理想。相对于t v 模型，t v + 二次 多项式模型能有效提高识别率。但是t v + 二次多项式模型也存在一些不足，例如视 觉效果差，存在许多小斑点，这是有待解决的问题。 本文也通过实验证明，b t v 模型和s o b e l 算子+ l 1 模型视觉效果并不理想，相对 原图像，识别率也没有改善。s o b e l 算子+ l 1 模型识别率比b t v 模型要高，对参数比 较敏感，可以通过大量的实验寻找一个合适的参数值，但不利于实际应用。 关键词：人脸识别，t v 模型，光照归一化，高频信息 第1 i 页 i m a g eh i g h f r e q u e n c yi n f o r m a t i o n e x t r a c t i o na n di l l u m i n a ti o n 英文摘要 州o r m a l l z a t l o n lt1 f o rf a c er e c o g n i ti o n m a j o r ：a p p u e dm a t h e m a t i c s n 锄e ：s h e n 乎w ul i s u p e r v i s o r ：p r o f 萌s o rd a o q i n gd a i a b s t r a c t f h c er e c o g n i t i o nt ec _ h n o l o g yh a sw i d ea p p h c a t i o ni np u b l i cs 如锣s y s t e m s ，i d e i l t i 昏 c a t i o na n d 、r i r t u 砒g a m e s ，龇l do t h e ra e l i i s h o w e v i m ，o n eo ft h eb 远p r o b l e i n si sh o wt o r 锄a v et h ei l l 珈咀i n a t i o n i l l u i n i n a 上i o no r e na 赶b c t st h el o w - f | r e q u e n c yi n f o r m a t i o no fi m - a g e ，a n dt h eh i g h f b q u e n c yi n f 0 1 髓a t i o n0 fi m a g ec a na v o i di t si n l p a c t ，e ) ( t r a c t i n gt h e l l i g h - 行e q u e n c yp a r to ft h e 血a i 驴c a i le n h 龇l c et h er e c o g ：n i t i o nr a t e i nn l i sp a p e r ，s e v e r 越 e 。( t r a c t i i 培h j g h 丘e q u i e n c yi i l j ! ；0 r m a t i o na k o r i t h m sa n dt h e i ra p p l i c a t i 0 1 1 8i np a t t 咖r e c o 乎 毗i o na r ed i s c u s s e d t o t a l 、，a 血a t i o n ( t v ) m o d e lp r o p o s e db yl r u d i ne ta 1 c a n 秫r a u c t t h el l i g h - f e q u e n c yi n f o r m a t i o no fi m a g eu n d e rd i 髓r e n ti u u m i i l a t i o nc o n d i t i o n s t h et v m o d e lc a nb eu s e do nt h el o g a r i t l l l no fi l a g pt oe 吼r a c tt h eh i g h f r e q u e n c yi n f o m a t i o n t h ed i s c a r d e dl o - f e q u e n c yi 6 r m a t i o nc a nb eu s e dt or e s u m et h ei u m 】 1 i n a t i o nt l l r o u g h t h eq u a d r a t i cp o l y n l 3 m i a l ，a i l dt h e nt h e ya r es u 】 n m e du pt om g h - 厅e q u e n c yi i l f 6 r m a t i o n t oi m p r o 、，et h er e c o g n i t i o nr a t e 第1 i i 页 中山大学硕士学位论文 t h em a j o rw o r ko ft h i sp 印e ri n c l u d e 8 ： 1 e l a s t i cn e tt h e o 盯i si n t r o d u c e dt ot vm o d e l ； 2 t h ep r o b l e mi ss o l v e db yp a r t i a ld i f j f e r e n t i a le q u a t i o n ( p d e ) ； 3 t h ee 胝tb e t 嗍nt vm o d e la n dl t vm o d e lo ne x t r a c t i n g h i g h - f r e q u e n c yi n f o r - m a t i o no fi m a g ei sc o m p a r e d ； 4 q u a d r a t i cp o l y i l o m i a lm o d e li si n t r o d u c e dt ot vm o d e l ： 5 b i l a t e r a lt o t a lv a r i a t i o n ( b t v ) r n o d e la n ds o b e lp l u sl 1m o d e l 盯ei n t r o d u c e d t h ee x p e r i m e n t a lr e s m t 8s h o wt h a t ，t vm o d e lh a s l l i g h e ra n d m o r es t a b l er e c o g n i t i o n r a t ei ne 赋r a c t i n gh i g h f r e q u e n c yi n f o r m a t i o no fi m a g et h a nl t vm o d e l a n dc o m p a r e d w i t hh i s t o g r a me q u a l i z a t i o nm e t h o d ，t vm o d e lh a sh i g h e rr e c o g n i t i o nr a t ea n de 斌r a u c t s b e t t e ri i n a g ee d g e c o m p 缸e dw i t ht vm o d e l ，t vp l u sq u a d r a t i cp o l y n o m 湖m o d e l ( 7 q p m ) c a ne 珏t i v e l yi m p r a v et h er e c o g i l i t i o nr a t e h o w e v e r ，t v q p ma bh a sp o o r v i s u a le 珏e c t sa n dm 龇l ys m a l ld o t s ，t h e s ep r o b l e m sh a 、伦n tb e e ns o l v e d t h er e s u l t sa l s os h o wt h a tb t vm o d e la n ds o b e lp l u s 三lm o d e ld o n ti m p r a v et h e r e c o g i l i t i o nr a t e 甜1 dv i s u a le 伍e c t c o m p 盯e dw i t hb t vm o d e l ，s o b e lp l u sl 1m o d e l h a 8h i g h e rr e c o 弘i t i o nr a t e al a r g e 肌l b e ro fe x p e r i m e n t sa r en e e d e dt os e l e c tp r o p e r p a “u n e t e r s ，s oi ti sd i m c u l tt oa p p l 弘 k e yw o r d s ：f 砬er e c o g i l i t i o n ，t vm o d e l ，i n u m i n a t i o nm o d e l ，l l i g h - & e q u e n c yi n f o r m a 矗n n 第页 论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究 工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人 或集体已经发表或撰写过的作品成果。对本文的研究作出重要贡献的个人和集 体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承 担。 学位敝储躲刎叭 日期：泐g 年上月劾日 学位论文使用授权声明 本人完全了解中山大学有关保留、使用学位论文的规定，即：学校有权保留 学位论文并向国家主管部门或其指定机构送交论文的电子版和纸质版，有权将学 位论文用于非赢利目的的少量复制并允许论文进入学校图书馆、院系资料室被查 阅，有权将学位论文的内容编入有关数据库进行检索，可以采用复印、缩印或其 他方法保存学位论文。 学雠文作者签名茗缮叭 日期：啪年 月如日 导师签名：乙人苫【包 日期：抄吒年f 月硝日 第一章绪论 第一章绪论 1 1引言 人脸识别和检测技术【l 】的研究成果有广泛的应用前景，例如在门卫系统、在刑侦 破案、证件验证、视频监视、信用卡身份证验证、公共安全部门侦察、军事视频监 控、智能人机界面、信息搜索、电影画面处理和虚拟游戏身份鉴别；在民事和经济领 域，各类银行卡、金融卡、信用卡、储蓄卡的持卡人的身份验证，社会保险人的身份 验证等具有重要的应用价值；在家庭娱乐等领域，人脸识别也具有一些有趣有益的应 用，比如能够识别主人身份的智能玩具、家政机器人，具有真实面像的虚拟游戏玩家 等等。 光照问题一直是影响人脸识别和检测技术实用化最关键的因素之一。光照过 暗、过亮或者不均匀直接影响到人脸可视化效果，严重导致人脸识别率和人脸 特征检测率的下降。目前常见的人脸识别方法例如特征脸 2 】、f i s h e r 脸【3 】、l d a 【4 】、a s m 和a a m 5 】、l f a 6 】、s v m 【7 】均对光照变化比较敏感。事实上，光照变化 导致人脸图像的差异已经超过由于个体不同引起的图像差异【8 】。解决人脸光照问题 的研究一般有两个目的，一是达到视觉效果上的图像归一化；二是提高人脸识别率和 人脸特征检测率。为获得更高的识别率，其中一个想法就是找到对光照不变性的人脸 表达。y a d i i l i 等从理论上证明，对于光照保持不变性的函数是不存在的【8 】。0 6 年t c h e n 等人提出了l t v 模型方法 9 】，仅提取人脸中的小细节特征进行识别，是一个非 常优秀的图像处理方法，然而，其丢掉的人脸低频信息事实上还有很大的利用价值， 而且l t v 模型并没有达到可视化效果的归一化，本文正是针对这些问题开始深入研 究。 在国内，目前常见的方法有基于g a b o r 小波变换的人脸识别【l o 】，文章针对采集 图像中存在光照变化、摄像方位变异以及其它干扰时，识别系统采集的原始人脸图 像通常以网格像素的灰度值集表示。孤立的像素灰度集合不能直接反映人脸的内蕴 特征，引入适当的变换，将其映射到特征空间进行识别处理是提高识别率行之有效 的方法之一。二维g a b o r 小波变换能够将相邻区域的像素联系起来，从不同的频率尺 第1 页 中山大学硕士学位论文 度和方向反映局部范围内图像像素灰度值的变化 1 0 】；贝叶斯人脸识别算法，基于子 空间的人脸识别方法是目前基于统计方法的人脸识别技术中识别效果最好的方法之 一，包括p c a 方法、b a y e s 方法、i c a 方法、k p c a 方法 1 1 】；基于人脸特征的身份 识别，文【1 2 】中详细介绍了人脸图像几何特征和统计特征提取的方法、最小距离法和 支持向量基等识别方法，并重点介绍了神经网络的识别算法 1 2 】和基于特征脸和支持 向量机的人脸识别方法。假设人脸处于线性空间，选择一种最优特征向量集以实现最 佳人脸表达方法。通过计算测试人脸图像与特征脸的距离，对人脸图像进行分类、识 别【1 】；基于小波变换和支持向量机的人脸识别方法，由于小波变换具有通过变换能 够充分突出问题某些方面特征的主要特点，利用小波变换的这一特性提取的人脸特征 具有特征量少且对人脸表情变化不太敏感的优点。支持向量机是专门针对小样本问题 设计的，它基于统计学习理论的结构风险最小化原则，选用最优分类超平面作为判别 函数，以最大化分类间隔为条件，将分类问题转化为一个简单的二次规划问题，使问 题具有唯一的极值点。通过引入核函数，将线性不可分问题投射到高维空间后转化为 线性可分问题。支持向量机在解决小样本问题方面已经表现出许多特有的优势【1 3 】。 人脸识别目前主要处于试验研究阶段，与完全实用化尚有一定距离【1 4 】。人脸检 测主要分成基于统计和基于知识两类。前者将人脸图像视为一个高维向量，从而将 人脸检测问题转化为高维空间中分布信号的检测问题；而后者用人的知识建立若干规 则，从而将人脸检测问题转化为假设验证问题。有许多研究组在从事人脸识别的研 究，这些研究受到军方、警方及大公司的高度重视和资助。国内也进行了人脸识别方 面的研究，并取得了一定的成果 1 5 】。 1 2 人脸识别研究的难点 人脸识别是一项极具挑战性的任务，影响识别效果的相关因素要表现为以下几个 方面： ( 1 ) 姿态：人脸图像是变化的。由于相关的照相机一脸姿( 正面的、4 5 度、侧面、 颠倒的) 不同，而一些脸部特征如眼睛或鼻子可能部分地或全部被遮挡； ( 2 ) 组件的存在和不存在：面部的特征如胡须和眼镜等可能存在也可能不存在，有 很大的变化，这些组件包括形状、颜色和大小； 第2 页 第一章绪论 ( 3 ) 面部表情：人脸表情直接影响人的外观； ( 4 ) 图像的方向：照相机光轴的不同旋转直接改变人脸图像； ( 5 ) 图像的条件：当图像产生时，一些因素如光( 光谱、光源分布和强度) 和照相机的 特性( 传感器的响应、透镜) 影响人脸的外观。 人脸识别的复杂性和挑战性并没有影响人们对这一课题的研究热情，这与人脸识 别潜在的应用价值和重要的理论意义是分不开的。 1 3 人脸光照处理方法研究现状 人脸光照处理技术已经发展3 0 多年，期间提出了不少著名算法。这些处理方法不 严格地可以划分为以下三大类【1 6 1 ： 1 人脸图像预处理与归一化； 2 提取光照不变特征； 3 建立人脸模型。 1 3 1 人脸图像预处理与归一化 人脸图像预处理与归一化是对整个人脸图像进行简单的灰度增强或者灰度分布均 匀化，减少不均匀光照对视觉效果或者识别率的影响。这类方法实现简单，而且适用 于人脸图像之外的一般图像，实用性比较强。常见的有g 猢a 矫正、对数变换、直 方图均衡( h e ) 【17 】、直方图匹配、适应性直方图均衡( a h e ) 【1 8 】、基于区域的直方 图( r h e ) 【1 9 】、分块直方图均衡( b h e ) 。在图像的平滑区域，a h e 、m l e 和b h e 方法 都会将噪音放大，在边缘区域又会产生振铃现象。因此，有人提出先对原图像做小波 分解，对低频部分进行直方图均衡，对高频部分乘上一个大于1 的系数，再进行小波 重构，这样在低频部分对光照矫正的同时也增强了光照不敏感的高频成分，提高识别 率。 1 3 2 提取光照不变特征 提取光照不变特征的方法是提取人脸图像对光照不敏感的特征来进行人脸识别， 这类方法并没有达到视觉效果上的真正归一化。常见的光照不敏感特征有边缘图、二 维g a b o r 函数滤波系数、灰度微分图像和图像梯度。比较著名的还有f i s h e r 脸【3 】，即 第3 页 中山大学硕士学位论文 提取人脸图像的主成分。而b e l h u m e u r 等人【3 1 提出去掉最大几个特征值对应的主成分 后进行识别，能减少光照的影响，但是这种做法同时也丢失了很多其他有用的特征信 息，而且在具体应用中去掉几个主成分很难确定。其中z h e n g 等人就指出去掉最大的 主成分会严重影响人脸识别率。用上述这些特征进行识别的思想很简单、也很直接， 且能非常有效地提高识别率，但这些方法也存在一定的局限性，例如对于光照过亮、 过暗或有严重偏光现象存在时，归一化效果很不尽人意。y a d i n i 等f 8 1 的研究表明人 脸图像的边缘图、2 dg a b o r 滤波图、灰度微分图像和l o g 变换图像都不能充分地克服 由于光照条件的改变而引起的人脸图像变化。近几年，有一种主流算法是提取人脸图 像的反射分量或者人脸细节特征视为光照不变量进行识别。一般认为，人脸图像中的 光照分量是图像的低频成分，于是l a n d 等人提出r e t i n e x 方法f 2 0 】通过对原图像进 行低通滤波估计出图像中的光照分量，进而得到图像的反射分量，最终以反射分量 作为光照不变量进行识别。髓t i n e x 法中进行低通滤波会使图像边缘区域产生光晕现 象。随后提出的m e a ns h i f t 滤波、a n i s o t r o p i cd i 壬u s i o n 以及自商图像等都有不同程度 上的改进，本身也都存在一定的缺陷。0 6 年t c h e n 9 】等提出l t v 模型。在对数域运 用全变分模型( l t v 模型) 对图像进行分解，提取人脸的小尺度细节结构成分进行识 别，能取得非常高的识别率。运用t v 模型分解能较好地保持边缘信息，同时能有效 地减少”光晕”现象，更重要的是整个模型只有一个参数需要设置，实现简单。 1 3 3 建立人脸模型 建立人脸模型的方法是事先建立好标准人脸模型，然后把所有人脸图像都规范 化，在规范化后的基础上进行识别或者光照归一化。【2 l 】一文建立2 d 脸部模型，通 过固定若干个特征点的位置，把所有人脸进行卷绕归一化，然后根据光照模型进行 光照补偿。事实上，不管是l a n d 等人 2 0 1 提出的r 瓯i n e x 方法i 2 0 1 ，还是改进的m e a n s 龇滤波所提取的反射分量与真实值均有不小的差距。0 6 年t c h e n 等提出l t v 模型 方法【9 l ，仅提取人脸中的小细节特征进行识别，是一个非常优秀的图像分解方法， 然而，其丢弃的人脸图像低频信息事实上还有很大的利用价值。本文将研究高频信息 提取的方法和应用，并研究低频信息的利用。 第4 页 第二章全变分( t v ) 模型与对数全变分( v ) 模型 第二章全变分( t v ) 模型与对数全变分 ( l t v ) 模型 2 1 全变分( t v ) 模型 全变分模型建立在泛函分析和微分几何的数学模型基础上，1 9 9 2 年s o s h e r 等人 提出用于图像去噪和图像归一化【2 2 】【2 3 】。对观测图像，假设，= u + ，其中 为 图像细节，u 为的平滑近似，通过求解变分模型：t y + l 2 模型【2 2 】： ，i 睁 | v u i + 刈，一札嵫) ( 2 1 ) = 1 七v 图2 - 1 t y + 三2 模型示意图 或者t y + l 1 模型【2 2 1 ： 哮 一v 卅w 叫工- ) ( 2 2 ) 其中让为，的平滑近似，入是尺度控制系数，入越大，求解得到的u 与，越接 近。，i v u i 是让的总变分，对它的最小化约束保证了u 的平滑性，约束r n j n ，l ，一训 保证了牡与，的相似性，的边缘信息能在钍中很好地保留下来。全变分模型只有一个 待定系数入，而且用其分解人脸图像不用经过任何归一化等复杂的预处理，实用性很 强。实验结果证明，利用全变分模型进行平滑分解的同时，能够很好地保存图像的边 缘信息，因此用来去除噪音时并不会把图像模糊或者边缘扭曲。根据文章 2 4 所给的 结论，提取光照不变量，选取t y + 三1 模型更加合适，因为l 2 范数对f 与矿的差值有 第5 页 豳豳囡 中山大学硕士学位论文 豳囡 + 图2 2 t y + 三1 模型示意图 较大的点惩罚，更加适合于去除噪音；而l 1 范数对，与u 的差值进行线性惩罚约束， 虽然去除噪声的效果并不明显，但是能把鼻子、嘴巴、眼睛、眉毛、人脸轮廓边缘等 特征一起分离到 成分，使人脸光照不变量更多地保留到了人脸细节中。 2 2 对数域上的t v 模型 对图像光照公式岛( z ，可) = 尼( z ，秒) s 1 ( z ，秒) 进行简化，定义p 1 ( z ，可) 为人脸表面低频 信息和背景的反射率，则有 ，( z ，可) = r ( z ，可) 车工( z ，可) = 【冗( z ，! ，) p l ( z ，剪) 】卓p 1 ( z ，耖) 牢l ( z ，可) 】( 2 3 ) 竺p ( z ，可) 丰s ( z ，可) 其中p ( z ，可) 表示人脸的高频信息的反射成分，定义为人脸细节特征；而s 不仅含有低 频信息的反射成分，同时还有图像的光照成分，定义为人脸低频信息。对上述公式进 行对数变换厂= l o g ( ，) = l o g ( p ) + l o g ( s ) ，记l o g ( s ) = 让，l o g ( p ) = 口，此时有，= 牡+ 2 3t v 模型的求解 t v 模型常见的求解方法有二次规划模型方法和偏微分方程( p d e ) 方 法求解【2 4 】， 本文选取p d e 方法进行实验。下面介绍弹性网模 型：鼍；n j ri v 缸【+ a 1l i ，一训l ，+ 入2i i ，一训至。 的求解过程，l 1 和2 分别对应 着a l 和入2 ，当入2 = 0 时，我们就回到了丁y + 己1 模型；当入1 = 0 时，我们就回到 了t y + l 2 模型。根据l a g r a n g e 定理，求解嚷n ri v 札i + 入li i ，一钍l i l 。+ 入2l l ，一u l i 至： 第6 页 第二章全变分( t v ) 模型与对数全变分( l t v ) 模型 等价于求解以fe u l e r - l a f a n g e 方程： v ( 尚) “禹蚴2 ( 州) 0 ( 2 4 ) 用梯度下降法求解这个偏微分方程，有 害= v ( 尚) 仙禹蚴2 ( 州) ( 2 5 ) 用a r t i f i c i a lt i m es t e p p i n g 方法离散【2 5 】，得到以下迭代公式： 学= 巧 丽蒜卜) “而蒜 亿6 ， + 入1 号三斋一2 入2 ( 仳n 一，) 其中e p 0 ) 是一个无穷小量，它的作用是避免分母为零的情况，是迭代的步 长，。d ；是对z 做向后有限偏微分，类似的w 是对矽做向前有限偏微分，佗代表迭代次 数。用迭代法求解的优点是速度快，对内存要求不高；不足是迭代的收敛速度和稳定 性对迭代步长亡和系数a 1 、a 2 的选取依赖性强，具有随机性，必须通过大量的实验 才能确定迭代步长亡和系数入1 、a 2 的最优取值区间。 2 4 改进的p d e 方法 文章【2 6 】对于方程： 害= v ( 品) 仙高 仁7 ， 提出了改进的p d e 方法，受到其启示，结合本文提出的弹性网模型，本文也采用改 进的p d e 方法进行求解。对于方程 笔= v ( 品) 仙禹蚴2 c u 卅 仁8 ， 为了避免分母为零，将i v u i 正则化 l v 训= 、l v “1 2 + g ( 2 9 ) 从而有 害= v ( 斋) 仙禹 仁 第7 页 中山大学硕士学位论文 设9 为个可微函数，则有 玑执i 孔d 砜 竺颦鬈茗z 淼r 眨 = 韶赛+ 骞考+ 夕( 1 v u i ) v 2 u p 7 其中 塞乱= 嘉撕j 刮嘶一动地枷嘶) ( 吼u 叫) 】( 2 地) 鬻孔= 壶哪一蜘t 啕一) 】( 2 m ) v 2 钍i i j = 去m i + - 。+ 地一l ，j + 仳 j + l + 讹j 一- 一4 u i j l ( 2 1 4 ) 用( i ，歹) 表示由像素点( ，歹) 的四个相邻像素点组成的集合，整理可得： v 囟( 1 v 乱i ) v u ( z ，可，t ) 】，皇生去笋( 钆l 一札t j ) ( 2 1 5 ) ( 七，f ) ( i j ) 又由于l i v u | i = 、屑丽石，从而得到： v 乱忆 ( 2 1 6 ) 从而方程( 2 1 0 ) 可以离散化为： 学2 赢学厂吲仙确蚴2 2 删 ( 七，z ) 0 j )1 t j 一“t j 其中t 是迭代的步长， 是像素点的间隔距离，夕易2 缸。改进的迭代方法考虑 到每个像素点的四个邻点，较传统的前向后向差分离散方法运用到的信息更多，从而 保证分解更加具有稳定性。 第8 页 第三章二次线性光照模型及实验流程 第三章二次线性光照模型及实验流程 本章主要是针对t v 模型分解得到的人脸低频信息进行光照归一化。在线性光照 模型的基础上，提出二次多项式光照模型，并用于人脸低频信息的归一化。所谓光照 归一化，便是在标准图库中，找出一种光照类型( 通常是第一种) ，假设其为标准光 照下得到的人脸图像，因此由其所分解得到的图像低频信息也是标准的，可以作为光 照模型归一化实验的标准图像，对其他各种光照条件下得到的人脸低频信息进行校正 的方法。 3 1 光照模型中函数的讨论 对于光照问题，我们可以通过建立光照模型来求解。被设为光照模型所满足的函 数，必须满足以下三条规则： 一、形式简单：对于一个光照模型，我们没有必要做出过于复杂的假设，主要是 考虑到模型的可计算性。对于过于复杂繁琐的模型，往往难于求解或者出现过份拟合 的情况，而且计算量非常大，这些都是对实际应用的限制。因此，在没有特殊先验知 识的情况，我们要求模型越简单越好； 二、函数可逆：对于一个模型，拟合不是最主要的，关键是做光照归一化，这才 是我们最关心的，也是实际应用所在。如果一个函数不可逆，那么对于光照归一化也 就无从谈起，也就失去了模型的实际意义，也无从检验模型的优劣； 三、对误差不敏感：作为图像的归一化函数，必须对噪音不敏感。否则的话，由 于光照问题存在大量的噪音和光照强度的激烈变化影响，所以光照图像肯定存在误差 问题，如果光照模型对误差敏感，那么很容易产生不理想，甚至相差甚远的结果，所 以我们要求误差函数必须满足对误差不敏感，最好是连续函数。 综合上述三个条件，我们很容易就会想到最普通的多项式函数和指数函数。由于 可逆要求的存在，在多项式函数里面，只有两种形式的式子是满足要求的： ! ，= 口z + 6 第9 页 ( 3 1 ) 中山大学硕士学位论文 而指数函数 耖= n z 2 + 6 可= 扩+ 6 ( 3 2 ) 也是满足以上三个条件的，但是由于我们对图像进行处理的时候已经采用了一次求对 数，如果再采用这个形式，可能会加大运算量。由于篇幅有限，本文暂且不讨论这种 情况，留待以后再进行讨论。 3 2 二次多项式模型的求解 下面我们就二次模型进行讨论。我们将标准光照下人脸图像分解得到的人 脸低频信息定义为s 1 ，第i 种特殊光照下的人脸低频信息定义为& ( 2 i 礼) ， 用g ( 2 z n ) 表示& 通过二次多项式进行归一化的人脸低频信息： 彰( z ，可) ： a i ( z ，可) s ( z ，可) + 鼠( z ，! ，) = 2 ，3 ，几 ( 3 3 ) l s l ( z ，可) ，i = 1 设每种光照条件下的训练样本有m 个，则有下面等式成立： f 7 = f 主 二：茏 ，t = 2 ，3 ，佗 c 3 4 ， i 最( z ，可) i 于是有 f l ： g f = 鼠1 1 ( 3 5 ) 主葛：茏 = c f t f ，一1 f t f 7 ，t = 2 ，3 ，n c 3 6 ， 第1 0 页 第三章二次线性光照模型及实验流程 对每个待归一化的人脸图像j 7 ，估计出光照类别t ，便可选取相应的系数a ( z ，秒) 和鼠( z ，! ，) 对其分解得到的低频信息s 7 进行归一化： f 警卜屯3 ，朋 & ( 删) 2 沁( 则) ， a ( 训) = 0 ； ( 3 - ) is i ( z ，秒) ， 江l 对于个别出现奇异值盟穹铲 6 ； ( 3 8 ) 【鼠( z ，n e f s e 其中o ，6 分别是标准光照下人脸低频信息的最小值和最大值。在这样的算法过后，整 体矫正的效果良好，但是在光照变化很大的边缘地方很容易出现小白块或者小黑块， 这是因为前面直接求伪逆计算a ( z ，矽) 和鼠( z ，! ，) 时，忽略了像素点可能出现奇异值的 情况。根据& ( z ，秒) = 盟笔铲 砉归一化得到的& ( z ，可) 有可能会出现无穷大值 或者。值，这样就会导致出现小白块或者小黑块。文【2 7 】的作者为了改善视觉效果， 对训练方法进行了改进。运用最小二乘法模型进行训练的过程中对a ( z ，y ) 和鼠( z ，) 的取值范围进行限制。设标准光照下人脸低频信息的最小值和最大值分别为口和6 ，即 对任意一点( z ，秒) ，有口& ( z ，秒) 6 ，从而可以通过前面假设的式子，反推a ( z ，秒) 和鼠( z ，可) 合理的取值范围： 口 警铲卜6 9 ， 从而有： 口2 a i ( z ，暑，) 彰( z ，y ) 一鼠( z ，y ) 6 2 a i ( z ，y )( 3 1 0 ) 即： ! 护a ( z ，可) + 鼠( z ，可) 彰( z ，可) ( 3 1 1 ) i 一6 2 a ( z ，可) 一鼠( z ，秒) 一g ( z ，秒) 、。 中山大学硕士学位论文 对m 个训练样本的彰( z ，) 取平均值： 哥( 训) = 去啪，可) ( 3 1 2 ) 其中& j ( z ，可) 表示第i 中光照条件下，第j 个样本所对应的进过二次模型归一化的人脸 低频信息。 从而可以得到二次优化模型： 卜雠洲二 l 0 2 a i ( z ，可) + b ( z ，) 爱( z ，) ( 3 1 3 ) s 亡 一6 2 4 i ( z ，y ) 一鼠( z ，y ) 一彰( z ，) la ( z ，秒) c 其中c 为一个正常数，加上限制a ( z ，! ，) c 是为了防止训练得到的a ( z ，妙) 出现奇异 值，从而导致了彰( z ，可) 出现奇异值。即对每种光照条件i 和每个像素点( z ，) 有以下 二次规划模型： j f 彰( z ，秒) 一a ( z ，秒) 筲( z ，可) 一鼠 0 2 a i ( z ，可) + 鼠( z ，秒) 彰( z ，) 6 2 a ( z ，! ，) 一最( z ，可) 一g ( z ，可) a ( z ，y ) c ( 3 1 4 ) 二次多项式模型的优点是对于少数具有先验知识的训练样本训练得到的参数值， 可以对人脸低频信息在同一种光照条件做一个批量的的归一化，从而能有效避免先分 类再归一化时噪音所造成的影响，这也符合实际应用的要求。二次模型的缺点是测试 样本的光照类型如何确定，而且二次模型缺乏足够的稳定性，容易产生了许多奇异值 点。这也是今后需要进一步探讨的问题。 3 3基于丁y 模型和l t y 模型+ 二次多项式模型的流程 在l t v 模型中，按照辐射度一光照模型，( z ，可) = 冗( z ，秒) 三( z ，! ，) ，对同一个目标， 引起图像差异的是光照成分l 的改变，而反射成分r 是不随光照改变而改变的。而光 第1 2 页 盎 a lp，。，、。l 妇鼬，_ 一 一珈 础 第三章二次线性光照模型及实验流程 照成分l 含于人脸低频信息s 中，相应的，在模型，( z ，可) = p ( z ，耖) s ( z ，3 ，) 中，引起图 像差异的是s ，而p 是光照不变量。 运用l r y 模型提取光照不变量p ，然后对光照变化敏感的人脸低频信息s 进行归 一化调整，再运用矫正后的低频信息和分离得到的人脸细节成分重构出标准光照条 件下的人脸图像。这样便不必要像传统的光照归一化方法，对整体图像进行归一化 的时候对光照不变的人脸细节成分进行不必要的调整。同时，考虑到用t y 模型分解 时，得到人脸图像的低频信息主要含有光照成分，而含有比较少的人脸细节信息， 用其来进行光照估计，会具有很好的稳定性。本文也用三t y 模型的实验结果进行比 较，l t y 模型整体光照归一化步骤如图3 1 ： 类似的，在t y 模型中，只要将l t y 模型的地方改为t y 模型即可得到丁y 模型下 光照归一化的步骤如图3 - 2 ：其中，二次模型归一化低频信息需要确定光照类型，本 文实验都是在已知光照类型的情况下进行实验的。 第1 3 页 中山大学硕士学位论文 i - - _ _ _ - l i - - l l - - - _ - - l l l _ l 一一 图3 1 i j t v 模型图像整体光照归一化步骤 第1 4 页 第三章二次线性光照模型及实验流程 图孓2 t v 模型图像整体光照归一化步骤 第1 5 页 中山大学硕士学位论文 第四章双向全变分( b 丁y ) 模型与s o b e l 算 子+ l 1 模型 前面两章我们已经分别分析t v 模型的求解和用二次模型做光照归一化，本章的 主要目的是在t v 模型的基础上，结合提取图像光照细节的新想法，介绍双向全变 分( b t y ) 模型与s o b e l 算子+ 1 模型。并通过实验，从视觉和识别率两个方面进行讨 论，探索新的算法。 4 1双向全变分( b t y ) 模型 s f 缸s i u 等人在0 4 年的文章 2 8 】中指出，在t v 模型中，无论是 哑n 一v 训+ 刈，刊b ( 4 1 ) 还是 吨n 陬忖刊l 色) ( 4 2 ) t v 模型都是通过梯度变化的l 1 范数来惩罚图像整体的变化，t v 模型最大的优点是 可以保护图像的边缘信息，从而可以有利于图像的重构【2 6 】【2 9 】【3 0 】。但是t v 模型对 于局部梯度值出现急速下降的情况并没有给予足够的惩罚。基于t v 模型的思想和双 向滤波的技术，文 2 8 】的作者提出了具有稳定性的双向t v 模型，这个模型既可以保 护图像的边缘信息，而且在执行过程中具有低内存要求的优点。双向t v 模型把正则 化项定义为： 啊n q l m m 一硅咿札怯 ( 4 3 ) l = 一pr n = 0 、_ _ 一， + m 0 其中键和带都是平移算子，z 表示对水平方向的平移，代表水平方向的位移量，其 中i l o i 表示向右，l f o 表示向下，m 0 表示向上。梯度权重参数q 满足0 q 1 ，它被 用于控制正则化项总和的空间衰减。 第1 6 页 第四章双向全交分( b 丁y ) 模型与s o b e i 算子+ l 1 模型 本文结合t v 模型，把 咤n 加让巾忆t ) u i ， 一 l ( 4 4 ) 叫誊卅川撕忆川忖刊b ) 5 ， f pp u 才1 = 一出 q 川州i ，一暂m 霹。】s 协( u 一硅锣喝) ， l 持一p m = o( 4 6 ) + 入蹦 + u 咖巾卜 三三 7 4 2s o b e l 算子+ l 1 模型 边缘检测对于灰度值间断的检测是最为普遍的检测方法，从本质上来说，边缘与 边界的区别在于一条边缘是一个局部的概念，而由于其定义的方式，一个区域的边界 是一个更具有整体性的概念。为了更好地提取边缘，必须以某种有意义的方式测量灰 度值跳变，因此引入了一阶导数而二阶导数。在图像的边缘，当进入和离开斜面的变 化点，一阶导数为正，在灰度值不变的区域，一阶导数为零。在边缘的跳变点，二阶 导数可能为正，也可能为负，这与点所处区域较亮还是较暗有关，而斜坡和灰度值为 常数的地方，二阶导数为零。 第1 7 页 中山大学硕士学位论文 因此我们可以知道：一阶导数可以用于检测图像中的一个点是否是边缘的点，而 二阶导数的符号则可以判断一个边缘像素点是在边缘亮的一边还是暗的一边。 在图像中，计算一阶导数用梯度计算。一幅二维的数字图像的一阶导数是基于各 种二维梯度的近似值。图像，( z ，) 在位置( z ，可) 的梯度定义为下列向量： 诋，= 计 | | 似8 ， 从向量分析中我们知道，梯度向量指向，( z ，可) 的最大变化率方向。在边缘检测中，定 义向量v f 的大小为v ，计算式为： v ，= 厂【( 鬈) 2 + ( 鼢 ( 4 9 ) 其中v ，表示向量v f 的大小，在计算中是一个重要的量，它表示在v f 方向上每增加 一个单位的距离，( z ，可) 值增加的最大变化率。通常称v ，为梯度。 梯度向量的方向也是一个重要的量。令q ( z ，可) 表示向量亏f 在( z ，! ，) 处的方向角。 然后，由向量分析的知识可以得到： 口( z ，妙) = 缸c t a n ( 孚)( 4 1 0 ) 这里，角度是以z 轴为基准度量的。边缘在( z ，! ，) 处的方向与此点的梯度向量的方向垂 直。 计算图像的梯度要基于在每个像素位置都得到了偏导数甏和筹。令表缸l 显示 的3 3 大小区域的图像，为了表示方便，把图像，( z ，! ) 在旎点的灰度值也记为乞。 表垂1 铂像素位置示意图 圜 定义以下两个式子为铝处的一阶偏导数： 厶= ( 幻+ 2 锶+ 细) 一( z l + 2 钇+ 诒)( 4 1 ；) 第1 8 页 第四章双向全变分( b 丁y ) 模型与s o b e l 算子+ l 1 模型 和 方= ( 绍+ 2 镪+ 2 j 9 ) 一( 名1 + 2 魂+ 幻) ( 4 1 2 ) 其中权值2 用于增加中心点的重要性，从而实现某种程度的平滑效果。这两个公式 合称为s o b e l 算子，是实践中计算数字梯度时最常用的算子之一，特别是在噪音抑制 特性方面效果比较好。然而在实际应用中，由于梯度的计算需要这两个分量按照公 式4 9 显示的方式进行计算，执行的效果总不能令人满意，因为平方根需要大量的计 算，而且对奇异值过分敏感，因此经常使用的一种方法是用绝对值梯度进行近似： v ，l 厶i + i 矗l( 4 1 3 ) 这个公式在计算方面更加方便，而且它仍保持着同灰度值的相对变化。 由于以上所列的优点，作者把其引入到本文的t v 模型： 哑n v u i + 刈，叫b ) ( 4 “) 中，令 i v 让i = i 厶i + i 矗i( 4 1 5 ) 上式中厶和矗含义不变。 双向全变分( b t y ) 模型与s o b e l 算子+ l 1 模型是两个比较新的模型，作者引入本文 只是希望在光照图像高频信息提取中有一个更好更全面的讨论，同时探索一些新的模 型，并通过实验检验，希望能给后来者有所提示。 第1 9 页 中山大学硕士学位论文 第五章线性判别分析 一个高识别率的人脸识别方法很大程度上取决于特征的提取与选择，即如 何从人脸图像中提取特征和描述每个个体的特征，使之区别于其他个体，这是 人脸识别研究的关键