[论文摘要] 局部Gabor 二值模式人脸表示与识别方法研究.pdf

工学博士学位论文 局部 Gabor 二值模式人脸表示与识别方法 研究 张文超 哈尔滨工业大学 2007 年 4 月 国内图书分类号 TP391 41 国际图书分类号 681 39 工学博士学位论文 局部 Gabor 二值模式人脸表示与识别方法 研究 博 士 研 究 生 张文超 导师 高 文 教授 申请学位级别 工学博士 学 科 专 业 计算机应用技术 所 在 单 位 计算机科学与技术学院 答 辩 日 期 2007 年 4 月 授予学位单位 哈尔滨工业大学 摘要 I 摘要摘要 人脸识别是计算机视觉和模式识别研究中的热点问题 近年来受到了越来 越多的研究者的重视 同时 作为生物特征识别的关键技术之一 其在公共安 全 信息安全 金融等领域具有广泛的应用前景 人脸识别的主要难点在于光照 表情 姿态以及时间等外部变化导致了人 脸图像模式具有类内散度大而类间散度小的特点 因而不同人脸图像模式之间 的可分性差 尽管研究人员已对光照 表情 姿态进行了专门的研究 但研究 对各种变化均鲁棒的人脸识别方法仍然是一个极具挑战性的开放问题 本文以 提取对光照 表情 姿态 时间及遮挡等变化鲁棒的人脸表示及其相应的识别 方法为研究目标 以局部变化模式为主要研究思路 对人脸识别问题进行研究 取得了以下成果 1 提出了局部 Gabor 二值模式 Local Gabor Binary Patterns LGBP 算子 该算子是结合 Gabor 与局部二值模式 Local Binary Patterns LBP 两种不同算子 得到的纹理描述算子 通过理论分析得知 LGBP 算子具有 LBP 算子对纹理图 像光照变化不敏感的优点 并且克服了 LBP 算子只能提取单一尺度的纹理特征 并对信号中的噪声敏感的缺点 同时 对于具有相同单调性的不同信号而言 LGBP 算子对信号的可分性要优于 LBP 算子 即 LGBP 算子结合了 Gabor 算子 和 LBP 算子对信号描述的优点 2 提出了局部 Gabor 二值模式人脸表示方法 针对人脸图像可能存在光 照 姿态 表情 时间等既有全局变化又有局部变化的特点 本文从局部特征 描述入手 提取对局部变化不敏感的特征 同时基于这些局部特征构造的全局 特征描述对全局变化也不敏感 该方法首先对图像做 LGBP 变换 然后对变换 结果提取局部直方图特征 最后将所有局部直方图频数串接为一个特征向量作 为该人脸图像的表示 LGBP 作为一种局部变化模式 包含了三个层次的局部 建模过程 首先 Gabor 幅值系数是对图像局部卷积窗口内信息的建模 其次 LBP 则进一步对 Gabor 系数的邻域变化进行编码 最后局部直方图是在一定窗口内 对 LBP 编码信息的统计 实验结果证明该人脸表示方法对光照 姿态 表情 时间 遮挡及误配准等多种人脸图像变化的有效性 并且该人脸表示方法不需 要训练 而性能优于目前主流的人脸识别方法 3 从局部直方图加权 融合相位信息 遮挡自适应与特征降维 四个角度 对基于 LGBP 人脸表示方法进行了扩展和改进 进一步提高了该方法的性能 哈尔滨工业大学工学博士学位论文 II 1 提出了局部直方图加权的 LGBP 人脸识别方法 该方法通过对不同区域 方 向 尺度的 LGBP 局部直方图的分类能力进行分析 在相似度匹配时为不同局 部直方图赋予不同的权重 提高了人脸识别的性能 同时实验表明所获得的权 值对不同的人脸数据库具有良好的适应性 2 提出了融合相位信息的 LGBP 人 脸识别方法 该方法通过对 Gabor 相位进行 LBP 分析和局部直方图建模 有效 利用了相位所包含的判别信息 实验证实了相位信息同样对识别有利 而且可 以作为幅值的有益补充 3 提出了部分遮挡人脸自适应的 LGBP 人脸识别方法 针对人脸图像中可能存在部分遮挡的问题 该方法根据遮挡图像与无遮挡图像 特征分布的差异 首先对测试图像中局部区域是否存在遮挡进行判断 然后根 据遮挡可能性的大小对该区域内局部直方图的匹配赋予相应的权重 从而实现 了对部分遮挡人脸图像更加鲁棒的识别 4 提出了基于互信息的 LGBP 降维方 法 针对 LGBP 表示维数较高的问题 该方法采用互信息方法去除局部直方图 之间的相关性 达到降维的目的 实验表明该方法可以在有效降维的同时保持 识别性能 4 提出了基于 LGBP 人脸表示的局部线性判别分析集成的人脸识别方法 尽管 LGBP 取得了良好的人脸识别性能 但其过高的特征维数导致其时空复杂 度不佳 同时 LGBP 本质上并非判别特征 因此 本文进一步提出采用判别 分析方法对 LGBP 进行降维和判别分析的思路 本文进行了使用直方图特征作 为线性判别分析输入的尝试 通过对 LGBP 特征进行局部分组 然后对每个分 组进行判别分析得到低维表示和相应的分类器 最后将它们组合起来得到人脸 表示和相应的集成分类器 实验表明该方法可以大大降低特征维数 同时显著 提高了识别性能 在 FERET 和 CAS PEAL 人脸数据库上均取得了理想的识别 性能 该方法在 LBP 人脸表示上 同样取得了超过 LBP 人脸识别方法的理想的 性能 本文对所提出的局部 Gabor 二值模式对人脸的表示与识别问题进行了深入 研究 结果表明 人脸图像的局部变化模式包含着对各种图像变化鲁棒而且可 以有效区分不同人脸的丰富信息 对其进行合理建模和高效的判别分析 可以 取得优异的人脸识别性能 关键词关键词 人脸识别 局部二值模式 局部 Gabor 二值模式 直方图 Gabor 变 换 Abstract III Abstract Face recognition has been one of the most challenging and active research topics in computer vision and pattern recognition for several decades It has become an area of interest to researchers in recent years As one of the key techniques of biometric feature recognition face recognition has greater prospect of application in the domains of public security information security and finance The main difficulty of face recognition coming from the variating lighting conditions expression pose and aging which result in large scatter of within class and small scatter of between class So the separability of different face images is poor Though more researchers have studied on the problem of illumination expression and pose the robust approach for face recognition is still a challenging problem The purpose of this dissertation is to extract robust face representation to the variating lighting conditions expression pose and partial occlusion The research method for face recognition is local variation patterns The following research findings have been achieved 1 Propose Local Gabor Binary Patterns LGBP operator The texture operator is obtained by combining Gabor operator and Local Binary Patterns LBP operator Theoretically it can be concluded that LGBP operator has the advantage of LBP for texture description At the same time LGBP operator can extract multiple scale features and is insensitive to the noise of signal compared with LBP operator To different signals with the same monotonicity the separability of LGBP operator is better than that of LBP LGBP operator combines the advantage of Gabor operator and LBP operator for signal description 2 Propose a method of Local Gabor binary patterns LGBP for face representation Since this has the properties of both holistic variation and local variation resulting from variating lighting conditions pose expression and aging which can be presented in face images this dissertation obtains the insensitive feature to local variation from local feature description All the local feature descriptions compose the holistic feature description which is insensitive to holistic variation Firstly face image is labeled with LGBP operator to obtain the LGBP images Secondly local histograms are extracted from the local regions of LGBP 哈尔滨工业大学工学博士学位论文 IV images Finally all the local histograms are concatenated into one feature vector to represent the face image As one of the local variation patterns LGBP contains three levels of local modeling process The first is modeling the information of local convolving window in image by Gabor transform The second is modeling the local variation of Gabor transform by LBP The third is modeling the statistical information of local region LBP coding by local histogram The experimental results demonstrated the effectiveness of the proposed method for the variating lighting conditions pose expression aging occlusion and misalignment The proposed method not only does not need to train but also outperforms the mainstream face recognition methods 3 To further improve the performance of face representation with LGBP weighting local histogram fusion phase information adaptive occlusion and feature reduction are extended and refined 1 Propose face recognition with LGBP by weighting local histogram By analyzing the separabilities of local histograms extracted from different regions orientations and scales different weights are set to different local histograms for measuring the similarities which improve the performance The experimental results show that the weights are adaptable to different databases 2 Propose fusing the Gabor phase information based on LGBP for face recognition By analyzing the Gabor phase information labeled with LBP and modeling with local histogram the separability of Gabor phase information is used effectively Experiments show that Gabor phase information is not only useful for classification it is also beneficial for Gabor magnitude information 3 Propose face recognition with LGBP for adaptive partial occlusion face image For the possible partial occlusion presenting in face image we had to decide first whether a region presentation occlusion should be conducted by considering the difference of feature distribution between the occluded image and the non occluded image Weight is set to each local region histogram according to the probability of occlusion to fulfill a robust face recognition for partial occlusion 4 Propose feature reduction method based on mutual information for LGBP Due to the high dimensionality of face representation with LGBP mutual information is used to reduce the dimensionality by removing the correlation of local region histograms Experiments show that this method can reduce the dimensionality effectively and maintain the performance Abstract V 4 Propose ensemble of piecewise Fisher discriminant analysis based on LGBP for face recognition Though face representation with LGBP achieves good performance its time and space complexities are high In addition LGBP is not discriminant feature Thus discriminant analysis is further used in LGBP to reduce dimensionality and distinguish analysis It is not the simple using of discriminant analysis but grouping the LGBP feature and discriminant analysis is used on each group to get the low dimensional representation and the corresponding classifier All the low dimensional representatio