一种快速的自动人眼定位方法.pdf

2011 47 7 1引言 人脸识别是最具发展潜力的生物特征识别技术之一 近 20年来一直是模式识别和人工智能领域的一个研究热点 一 个完整的自动人脸识别系统主要包括人脸检测和人脸识别两 部分 其中人脸检测包含两任务 1 是否存在人脸 2 获取 人脸的位置并归一化 双眼作为人脸最规则和最稳定的特 征 大多数研究者都将人脸定位的突破口放在了人眼定位上 使人眼定位成为目前人脸识别技术的首要工作 到目前为止 已有国内外研究者提出众多卓有成效的人 眼定位方法 其中文献 1 提出了使用通用投影函数 GPF 来 进行眼睛定位 这种方法的优点是实现简单 计算量小 容易 理解 但是实际图像与理想情况往往差别很大 当图像有噪声 或光照不均匀时 通用投影函数的极值点不明显 很难在此基 础上直接准确地找到眼睛位置 文献 2 提出先用投影的方法 来粗定位眼睛 再使用模板匹配的方法来进一步确定眼睛的 位置 但是模板匹配方法的计算量太大 而且对于原图像的 尺度 光照情况 旋转角度非常敏感 文献 3 使用Gabor滤波 器检测眼睛的内眼角 外眼角和眼睛的中心位置 但这个方法 并不适用于复杂的图像 文献 4 应用了基于Hough变换特征 的人眼定位算法 其优点是实现起来简单 但算法没有考虑眼 睛的微结构特征 文献 5 提出了一种基于多层结构的眼睛定 位算法 其首先用极小值区域 MRE 进行眼睛粗定位 然后用 自然条件约束和Krisch梯度特征筛选 但该算法难以消除眉 毛 鼻孔等的影响 因此人眼定位仍是一极富挑战性的课题 提出一种快速的人眼定位方法 该方法不仅速度快 还获 得了较高的定位正确率 首先用基于Haar like特征的Ada Boost 级联分类器检测出人脸块 粗定位左 右眉眼区域 继而 采用改进的灰度投影法分别剔除两块区域中的眉毛部分 分 别将左右眼区域分割成若干小图像块 最后联合图像块灰度 均值 复杂度和结构居中度等信息精确定位人眼 2基于AdaBoost的人脸粗定位 2001年 Viola和Jones 6 提出了积分图 Integal Image 概 念和基于Haar like矩形特征的Adaboost人脸检测方法 极大 一种快速的自动人眼定位方法 黄增喜 1 张海军1 李一波1 穆志纯2 HUANG Zengxi1 ZHANG Haijun1 LI Yibo1 MU Zhichun2 1 沈阳航空航天大学 自动化学院 沈阳 110136 2 北京科技大学 信息工程学院 北京 100083 1 College of Automation Shenyang Institute of Aeronautical Engineering Shenyang 110136 China 2 College of Information and Engineering Beijing University of Science and Technology Beijing 100083 China HUANG Zengxi ZHANG Haijun LI Yibo et al Method for fast automatic eyes localization Computer Engineering and Applications 2011 47 7 183 186 Abstract Eyes localization is an important part of human face biometrics A fast and effective automatic position approach of the human eyes is introduced It detects face blocks using the AdaBoost cascade classifier based on Haar like features and marks out the rough areas of left and right eye eyebrow regions The Improved Projection Function IPF is applied to sepa rate the eyebrows from the eye regions The two eye regions are devided into a number of small image blocks respectively The accurately positions of eyes are defined after using a united method based on the mean complexity and the structure central measurement This method gets a good performance about 99 1 of correct positioning in the Normal sub library of the CAS PEAL face database The experimental results show that it s a fast and effective eyes localization method Key words eyes localization AdaBoost improved projection function complexity structure central measurement 摘要 眼睛定位是人脸生物特征识别的重要组成部分 提出了一种快速 高效的人眼定位方法 该方法先用基于Haar like特征 的AdaBoost级联分类器检测出人脸块 粗定位左 右眉眼区域 采用改进的灰度投影法分别将两块区域中的眉毛部分分离掉 最 后分别将左右眼区域分割成若干小图像块 联合图像块灰度均值 复杂度和结构居中度等信息精确定位人眼 该方法在中科院 人脸库CAS PEAL的Normal子库上表现优异 取得了约99 的定位正确率 实验结果表明 该方法速度快 定位效果好 关键词 人眼定位 AdaBoost 改进的灰度投影法 复杂度 结构居中度 DOI 10 3778 j issn 1002 8331 2011 07 053文章编号 1002 8331 2011 07 0183 04文献标识码 A中图分类号 TP391 基金项目 国家自然科学基金 the National Natural Science Foundation of China under Grant No 60573058 作者简介 黄增喜 1985 男 硕士研究生 主要研究方向为图像处理与模式识别 张海军 1974 男 副教授 E mail luomu117 收稿日期 2009 06 25 修回日期 2010 09 29 Computer Engineering and Applications计算机工程与应用183 Computer Engineering and Applications计算机工程与应用2011 47 7 地提高了人脸检测地速的和精度 使人脸检测技术真正走向 实用 AdaBoost算法最早是由Freund和Schapire 7 在1996年提 出的 是一种迭代方法 通过从大量的弱分类器中选取最具有 分类意义的组合成一个强分类器 目的是为了提高检测的精 确度 Viola等人设计的人脸级联检测器如图1所示 每个子 分类器使用图像的矩形特征作为分类的依据 为了有效地排 除大量的非人脸窗口 整个分类器由多级子分类器级联而成 每个分类器对应一个Haar like特征 检测的时候 对输入的 待检测窗口进行逐级检验 如果其中的某一分类器将其判断 为非人脸 则立即排除 不再进入下一级分类器 而且当检测 不同大小的人脸窗口时 并不对人脸窗口进行缩放 而是变换 各个分类器的尺度和阈值 这样大大缩短了检测时间 之后 Rainer等人 8 扩展了harr like矩形特征 增加了倾斜特征 如图 2所示 又进一步提高了人脸检测效果 从ORL人脸库 CAS PEAL人脸库和从网络下载的日常 照片中分割出4 000张人脸正样本 并将部分人脸做适当的角 度旋转后得到1 500张正样本 总计5 500张 并准备了7 000 张不含人脸的负样本 其中正负样本的大小均为24 24 本文 采用OpenCV 9 提供的AdaBoost训练程序 在一台双核2 4 GHz 2 GB RAM的PC上训练出一个20层的AdaBoost人脸级联检 测器 实验结果表明 基于AdaBoost算法的人脸检测效果令 人满意 3人眼精确定位 在人脸粗定位和确定大致的左 右眼区域后 将采用经改 进的灰度投影法分离眼睛和眉毛区域 然后对眼睛区域分块 联合纵向复杂度 居中度和灰度均值等信息进行精确的人眼 定位 算法流程如图3所示 3 1改进的灰度积分投影法和眉眼分离 最为常用的投影函数是积分投影函数 假设灰度图像为 I x y 其大小为m n 定义图像的垂直灰度投影为 P x y 1 m f x y x 1 2 3 n 1 定义图像的水平灰度投影为 P y x 1 n f x y y 1 2 3 m 2 当图像某一行或列像素的灰度值发生变化时 这种变化 会在P y 和P x 的值上反映出来 因此 可以通过对积分投 影函数值的分析提取图像中物体的边界特征 这种方法实现简单 计算量小 容易理解 但是实际图像 与理想情况往往差别很大 当图像有噪声或光照不均匀时 投 影函数的极值点不明显或难以分辨 则难以进行精确的人眼 定位 尽管如此 由于眉毛和眼睛在水平方向上略呈粗线型 在对水平灰度投影函数进行经过适当的改进后 仍然可以利 用它来分离眉眼区域的眉毛和眼睛部分 而且效果还很好 通常的水平投影函数是以单行像素为单位进行积分计算 这 样的话 函数曲线可能会出现很多极值点 或极值点不明显 在这里以眉眼区域高度的h 20行为一个单位 当小于3行时 以3行为一个单位 设h为眉眼块的高度 进行积分计算 实验结果表明 一般地 在灰度眉眼块的水平投影函数中 易找到分别经过眉毛和眼珠中心的两个极小值点 以这两个 极值点的中心位置作一条分隔线就可以隔开眉毛和眼睛 提 取只含有眼睛的区域 此外还可能会出现以下三种情况 第 一 没有极值点存在 可能是由于眉毛很稀疏 眼睛紧闭或头 部较倾斜等造成 此时将以眉眼区域作为眼睛区域进行下一 步的处理 由于眉毛稀疏不会对眼睛定位构成干扰 所以此种 情况下的人眼定位效果依然会很好 值得一提的是 这种情况 在实验中没有发生过 第二 只存在一个极值点 则可将这个 极值点的位置认为是经过眼睛的 此时将从这个极值点位置 向上h 5处作为眉眼分隔线 第三 出现3个或3个以上的极值 点 这时选取灰度最低的两个极值点的中间位置作为眉眼分 隔线 图4显示了在这几种情况下眉眼分离的效果 彩线为眉 眼分隔线 利用改进的水平投影法不但能有效地分离眉眼 还提供 了眼睛垂直方向上的可能位置 为后面的分析提供了一个很 待检测图像 分类器1 分类器2 分类器n 非人脸 人脸 通 过 否否 否 否 通 过 通 过 图1Cascade结构人脸分类器 1 Edge features 2 Line features 3 Center surround features 4 Not used but used in 3 2 4 a b c d a b c d e f g h a b 图2Haar like特征 AdaBoost 人脸检测 粗定 位眉 眼区 域 复杂 度和 灰度 均值 分析 居中 度和 灰度 均值 分析 IPF眉 眼分离 人眼 精确 定位 输 出 分 块 人眼位置 图3联合分析算法流程图 图4眉眼分离 184 2011 47 7 好的参考条件 往后的处理主要是寻找人眼在水平方向上 位置 3 2复杂度和灰度均值分析 假设灰度图像为I x y 其大小为m n Ii j表示图像中 第i行第j列像素点的灰度值 则 I y 是I x y 沿y方向的梯 度 I y 可用差分Dy Ii 1 j Ii j来近似 则图像的纵向复杂 度C1的计算公式定义如下 10 C1 j 1 n i 1 m 1 Ii 1 j Ii j 3 式中 i 1 2 m j 1 2 n 复杂度是图像灰度梯度的累加值 反映了在某个方向上 图像灰度的变化程度 在人脸图像中 眼睛所在的图像块的复 杂度将是非常高的 但复杂度最大的图像块不一定就是眼睛 的中心 有时包含眼角和眼白部分图像块的复杂度比真正的 眼睛中心图像块还大 此外 眼睛所在的图像块的灰度均值无疑是非常低的 但也不能仅仅以此作为依据去判断 因为 当由于偏光导致内 眼角很阴暗或眼珠内反射亮光时 灰度均值最低的就不一定 是眼珠块了 综上所述 不能把复杂度或灰度均值作为眼睛定位的单 一依据 而是应结合这两类信息来筛选可能的人眼中心块 本文方法中 在眉眼分离结束后 分别以人眼区域宽度 设为w 的1 5为宽 约为眼珠的直径 2 5为高的9块条形图 像块分割左右眼部区域 每个小块相距w 10 相邻的两小块有 一半相互重叠 分别计算每个图像块的纵向复杂度和灰度均 值 并分别对它们进行降序和升序排列 保留在纵向复杂度中 排前四 并在灰度均值中排前四的图像块 剩下的小图像块将 不超过4块 作为进一步人眼定位的输入 由于小图像块的初始划分是按几何规则划分的 所以剩 下来的图像块还不一定是人脸图像中纵向复杂度最大的图像 块 为了得到纵向复杂度最大的图像块 还要对剩余的图像 块在小范围内进行微调 微调范围为 左右各为小图像块宽 度的1 2 上下各为1 2小图像块高度的一个矩形区域 微调的 步长为一个像素宽度 若微调后的两个小图像块的重叠部分 超过图像块大小的一半 则只保留纵向复杂度最大的那个小块 具体的算法步骤可归纳如下 以单个眼睛区域为例 1 计算10个图像块的纵向复杂度 并按降序排列 2 计 算10个图像块的灰度均值 并按升序排列 3 只保留纵向复 杂度和灰度均值都排在前4的图像块 4 按纵向复杂度对剩 余图像块进行微调和合并 5 将每个剩余图像块在垂直方向 上分成两半 保留灰度均值最小的小正方形图像块 6 若剩 余的图像块数目仍然大于3块 则将灰度均值最大的那块去掉 3 3居中度和灰度均值分析 图像块结构居中度的计算要求将图像块再细分成4小块 取其中加权复杂度最小的图像块作为该大图像块的居中度 值 居中度的计算公式如下 11 C2 Min j 1 n 2 i 1 m 2 1 Ii 1 j Ii j min i m i j n 2 1 n i 1 m 2 1 Ii 1 j Ii j min i m i j 1 n 2 i m 2 m 1 Ii 1 j Ii j min i m i j n 2 1 n i m 2 m 1 Ii 1 j Ii j min i m i 4 式中权min i m i 使得离中心越近的灰度变化贡献越大 从 而使复杂度变化最大的人脸器官居于整个小块的中心 经过上面几个步骤的分析后 剩余的小图像块不会超过3 块 这几个图像块都有可能包含或包含部分人眼中心 为了下 一步的筛选和精确定位 先利用结构居中度对图像块位置进 行纵向和横向微调 尽可能地将图像块中心与人眼中心相对应 本文中采用的微调方式跟上文的纵向复杂度微调相同 将图像块调整至在微调区域中居中度最大的位置 对微调结 果的处理采用如下方法进行处理 1 删除贴近眼睛区域左和 右边界的图像块 2 删除居中度为负值的图像块 3 合并重 叠超过一半的图像块 4 若仍剩余多个图像块 则只保留灰 度均值和离垂直方向上的眼睛位置 在眉眼分离时已获得大 概的人眼位置信息 较近的那一块 5 对最后一个图像块再 次做居中度微调 6 若微调后的图像块的灰度均值大于一定 阈值 本文选取整个眼部区域块灰度均值的1 3作为阈值 时 需再对图像块进行灰度均值微调 3 4人眼精确定位 前文已经筛选出了包含或部分包含眼珠的小图像块 但 是对于人脸识别这个应用目标而言还需要对眼球的位置做进 一步的修正和精确定位 倘若小图像块中包含部分眼白时仍 以该块的中心作为人眼定位的结果 则会降低定位精度 眼 球最显著的特征就是灰度值比周围区域明显要低 本文中只 选择该眼块中灰度值比较低的一部分像素 以它们的质心位 置作为本文算法最终的定位结果 质心公式 Cx Cy x y f x y 255 I x y x y x y f x y 255 I x y 5 其中f x y 1 I x y T 0 其他 式中T是一灰度阈值 采用最大类间方差法来选取眼块的阈值 T 最大类间方差法是由日本学者大津于1979年提出的 是一 种自适应的阈值确定的方法 又叫大津法 简称OTSU 虽然 它在很多情况下都不是最佳的分割 但是分割质量通常有一 定的保障 可以说大津法是最稳定的自适应分割法之一 能满 足本文算法的需要 4实验结果与分析 本实验在两个图像库中进行 1 中科院CAS PEAL人脸 库的 Frontal Normal 部分 共有1 040张不分性别 年龄的人 脸图像 2 BioID http dex php 人脸库 共有1 521幅人脸图像 总计2 561张人脸图 片 实验程序在VC 6 0环境下编写 在一台Pentium Du al Core 1 6 GHz 1 GB RAM的PC上进行测试 本文算法的 整个人眼定位过程如图5所示 测试结果如表1 表1中的总准确率指的是能由AdaBoost方法正确检测出 人脸并能够准确定位人眼的图像比率 即总准确率等于前两 图库 CAS PEAL BioID 图像数 1 040 1 521 AdaBoost人脸 检测率 100 0 99 5 定位正 确率 99 1 92 8 总准确 率 99 1 92 3 表1测试结果 黄增喜 张海军 李一波 等 一种快速的自动人眼定位方法185 Computer Engineering and Applications计算机工程与应用2011 47 7 项比率系数的乘积 由于CAS PEAL和BioID人脸库的图片背景简单 头像清 晰 除了BioID中少数图像外 利用AdaBoost级联检测器都能 正确检测出人脸 从表1中可看出本算法在这两个人脸库中 表现良好 Normal子库是在实验室环境下拍摄的正面上半身 照 光线和角度等影响不大 利用本方法进行人眼定位成功率 非常高 相比较而言 BioID人脸的拍摄环境较为复杂 很多 图像是在光照不均匀 戴眼镜或头部偏转或倾斜的情况下拍 摄的 这些因素加大了人眼定位的难度 在这种情况下 采用 本算法仍然获得了约92 3 的定位正确率 说明了本方法能容 忍一定的光照 遮挡和方向变化的影响 鲁棒性较好 图6展 示了部分人眼定位结果 5结语 由粗到精 利用Gentle AdaBoost人脸级联检测器检测人 脸并粗定位眉眼区域 对灰度投影法做了适当的技术改进 很 好地实现了眉眼分离 融合图像复杂度 结构居中度和灰度均 值信息 优化筛选策略 很好地定位出人眼中心位置 适用于 左右侧旋转 18 18 左右倾斜 10 10 和俯仰 8 8 的人脸图像 眼睛张开时最佳 对偏光严重且偏暗的人脸定 位效果下降 下一步的工作拟在人眼精确定位后期阶段引入 左右眼对称性原理和模板匹配方法 以期提高算法鲁棒性 总的来说 虽然采用的不是最新的方法 但本文结合人脸的特 征 合理而充分地利用这些方法的优势 达到了快速而准确的 人眼自动定位 具有一定的实用价值 参考文献 1 Wen G Bo C Shan Shi guang et al The CAS PEAL large scale Chinese face database and baseline evaluations J IEEE Transac tions on Systems Man and Cybernetics part A Systems and Hu mans 2008 38 1 149 161 2 Gao Y Leung M K H Face recognition using line edge map J IEEETransactionsonPattern AnalysisandMachineIntelli gence 2002 24 764 779 3 Hanouz M Kittler J Kamarainen J K et al Feature based af fine invariant localization of faces J IEEE Transactions on P