脸部特征点定位方法综述_韩玉峰.pdf

Computer Engineering and Applications计算机工程与应用2012 48 1 1引言 人脸识别是近年来随着计算机视觉 模式识别 神经网络 和人工智能等技术的快速发展而出现的一种新的生物特征识 别技术 人脸识别具有简便 准确 经济及可扩展性良好等众 多优势 有着十分广泛的应用前景 人脸识别可应用于诸多 领域 如安全验证 监控 门禁系统 公安系统及人机交互等多 个方面 然而 在人脸识别的过程中 人脸特征点定位是一个极其 关键的步骤 人脸特征点定位为人脸图像的处理与分析提供 了重要的几何信息 通过计算机在一幅人脸图像中自动地定 位出人脸各个器官的准确位置以及人脸外轮廓等 特征点定位是人脸识别技术中的不可缺少的预处理环 节 定位的准确与否直接关系到后续工作的可靠性 人脸特 征定位可以为人脸识别 人脸验证 人脸跟踪 姿态表情分析 等研究工作提供相应的基础数据 而且这些研究在人脸识别 人脸姿态表情分析 人脸合成 人脸动画 及基于模型的人脸 图像编码中有着重要的应用 2特征点定位方法 近年来 国内外学者们已经提出了许多种检测人脸特征 点和特征部位的方法 根据检测所依据的基本信息的类型 现 有的人脸特征点检测的方法可以大致分为以下6类 1 基于 灰度信息的方法 2 基于先验规则的方法 3 基于几何形状的 方法 4 基于统计模型的方法 5 基于小波的方法 6 3D方法 2 1基于灰度信息的方法 2 1 1几何投影法 由Kanade等提出的几何投影方法 1 它利用人脸特征灰度 与其他部分的差异 先统计出X或者Y方向上的灰度值和或者 灰度函数值和 即投影 找出特定的变化点 然后将不同方向 上的变化点位置相结合 基于统计的方法根据投影灰度值找 到人脸特征点的位置 Brunelli等人又对其进行改进 减小了 原算法对光照条件的敏感度 投影的方法计算量较低 但缺 点是对于姿势变化不大并且背景简单的人脸图像检测结果也 很好 但当姿态变化较大或者背景较复杂时容易失效 2 1 2谷分析 谷是指图像中亮度比周围像点暗的区域 显然 人脸的各 个关键部位如眼睛 眉毛 鼻子 嘴巴都是相对较暗的区域 眼睛是面部最显著的特征部位 稳定地处于面部灰度曲面中 的谷位置 通过亮度比较的方法 把各谷点连通即构成谷区 域 该方法运算量小 但受光照影响比较大 2 2基于先验规则的方法 基于先验规则的方法是根据人脸特征的一般特点总结出 一些经验规则 先验规则是关于人脸部特征一般特点的经验 描述 人脸图像有一些明显的基本特征 如脸部区域通常包 括双眼 鼻子和嘴巴等脸部特征 其亮度一般低于周边区域 双眼大致对称 鼻子和嘴巴分布在对称轴上等 人脸的长度比 例 满足 三庭五眼 这些都为识别工作提供了重要参考依据 此类方法一般先对输入图像进行变换 强化其特征 然后 脸部特征点定位方法综述 韩玉峰 1 2 施铜兴1 王小林1 HAN Yufeng1 2 SHI Tongxing1 WANG Xiaolin1 1 安徽工业大学 计算机学院 安徽 马鞍山 243002 2 安徽工业大学 数理学院 安徽 马鞍山 243002 1 School of Computer Sciences Anhui University of Technology Ma anshan Anhui 243002 China 2 School of Math facial features positioning facial features extraction 摘要 人脸识别技术极大推动了图像处理 模式识别 计算机视觉等诸多学科的发展 人脸部特征点的定位是人脸识别中的关 键步骤 定位准确与否直接关系到后续应用的可靠性 系统综述了特征点定位六大类方法 分为基于灰度信息 先验规则 几何 形状 统计模型 小波和3D方法 并给出了对各方法的性能评价以及对未来的展望 关键词 人脸识别 人脸特征点定位 脸部特征提取 DOI 10 3778 j issn 1002 8331 2012 01 051文章编号 1002 8331 2012 01 0180 03文献标识码 A中图分类号 TP391 基金项目 2011年安徽高校省级自然科学研究项目重点项目 No KJ2011A040 作者简介 韩玉峰 1979 男 讲师 主要研究领域为图像处理 模式识别 E mail hipeak 收稿日期 2010 08 26 修回日期 2010 11 19 CNKI出版 2011 03 02 180 2012 48 1 根据规则找到候选点区域 这类方法一般构造简单 易于理 解 对事先设定的先验规则依赖性较强 不需要对人脸进行任 何建模 但对于人脸这样一个复杂的对象显然不能满足需要 局限性很大 比如背景不能过于复杂 表情姿态不能过于丰 富 这类方法适用于人脸特征点和特征部位的粗检 结合其 他方法进一步细致地检测 2 2 1镶嵌图法 该方法将图像划分成一组相同大小的方格 每个方格的 灰度取格中各像素灰度的均值 根据一组规则确定可能是人 脸的区域 然后将方格的边长减半 重新构建镶嵌图 并根据 规则分别定位出眼 鼻 嘴等脸部特征 最后将前两步所得到 的脸部区域二值化 并使用边缘跟踪最终确定脸部特征点的 位置 2 2 2二值化定位 利用直方图阀值将图像二值化 再根据二值化后区域的 面积形状和相对位置等几何信息确定眼睛瞳孔的位置 再逐 步定位其他的人脸特征和特征点 此类方法运算量很小 但 易受光照条件和图像质量的影响 在追踪边界时容易发生断 线问题 稳定性无法保证 2 2 3广义对称法 人脸图像中人眼 眉毛 嘴等都具有很强的点对称性 为 了描述物体的点对称性 定义了广义对称变换 它只考察人眼 中心点的强对称性和脸部特征的几何分布 对人脸偏转 表情 变化 光照变化等条件不敏感 因而具有很好的鲁棒性 但计 算量很大 且只利用了各点的对称性 易产生大量的候选点 使定位精度受到影响 2 3基于几何形状的方法 这类方法根据人脸部特征的形状特点构造一个带有可变 参数的几何模型 该模型的可变参数反映了对应特征形状的 可变部分 如位置 大小 角度等 它们最终通过模型与图像的 边缘 峰 谷和灰度分布特性动态地交互适应来得以修正 该 几何模型还设定一个相应的评价函数以度量被检测区域与模 型的匹配程度 搜索时 不断调整参数使得能量函数最小化 使模型逐渐收敛于待定位的脸部特征 2 3 1Shake算法 该方法利用一条由几个控制点组成的闭合曲线 再利用 一个进行匹配的能量函数来作为评价标准 当不断迭代最后 使得能量函数最小化时就定位到人脸特征点 Snake是主动 的 总是最小化能量函数 因此表现出一种动态特性 但是由 于人脸的多样性和复杂性以及图像中的噪声等复杂因素的影 响 在使用刚性模型分割人脸轮廓时遇到了很大的困难 另 外 Snake模型也没有利用关于对象的知识 所以过于灵活 很 难做到精确的特征点提取 2 3 2可变形模板方法 把眼睛特征为有两条抛物线 上下眼睑 和一个圆 虹膜 构成的几何图形 通过优化的方法来调整其参数以达到最佳 的匹配 嘴巴 下巴等也可以采用类似的几何图形建模 但 是 固定的几何图形并不能很好地建模实际上会千差万别的 眼睛形状 而光照 姿态和表情的变化更使得采用这种固定的 简单数学模型难以适应这些复杂的变化 因此很难实现鲁棒 的特征提取 优化速度慢 容易陷入局部极小也阻止了该算 法的进一步发展 2 3 3基于点分布模型算法 ASM 和 AAM 都是基于点分布模型 Point Distribution Model PDM 的算法在PDM中 外形相似的特定类别物体 比 如人脸 人手的形状通过若干关键的特征点的坐标串接成原 始形状向量 对训练集中的所有形状向量进行对齐操作后 对它们进行PCA分析建模 保留的主成分形成最终的形状模 型 形状模型的参数反映了形状的主要可变化模式 ASM搜索 则首先通过局部纹理模型匹配得到各个特征点的更佳的位 置 经过相似变换对齐后 通过统计形状模型对其进行约束 而后再进行局部纹理模型的匹配 形成一个迭代过程 以期形 状模型最终匹配到输入的形状模式上去 在ASM中 仅使用 了特证点局部纹理特证作为启发式信息 没有使用全局的纹 理约束 实践中发现ASM很容易陷入局部极小 2 而在AAM中 则采用了形状和纹理二者融合的统计约 束 即所谓的统计表观模型 AAM搜索借鉴了基于合成的分 析技术的思想 通过模型参数的优化调整使得模型能够不断 逼近实际输入模式 模型参数的更新则放弃了ASM中的局部 纹理搜索过程 仅使用一个线性预测模型根据当前模型和输 入模式之间的差别来预测和更新模型参数 AAM尽管利用 了全局纹理 但却抛弃了局部纹理匹配过程 因此会在一定程 度上降低关键特证点配准的精度 而且其线性预测模型也有 较大的局限性 在初始位置偏离目标位置过大时 则很难收敛 到正确位置 2 4基于统计模型的方法 鉴于输入人脸图像千差万别 而且不可避免地会有背景 不同 光照强弱 表情丰富程度等复杂因素的影响 显式地描 述人脸特征部位具有一定困难 如果将一定窗口内的图像整 体看作一个随机变量 并映射到高维空间中的一个点 这样 同一类型的脸部特征就可以描述为高维空间中的一个点集 然后用建模表示其分布规律 计算待测区域与模型的匹配度 即可判定其是否包含目标脸部特征 3 此类方法把特征部位看作一类模式 使用大量的 特征部 位 样本与 非特征部位 样本进行训练 然后构造分类器继而 进行识别 由于采用了统计方法进行建模 这类方法对图像 质量 环境条件和表情等方面的变化有较好的鲁棒性 2 4 1肤色唇色分割法 该方法是使用统计方法建立起人脸特征的色彩模型 定 位时遍历候选区域 根据被测点的色彩与模型的匹配度筛选 出候选的人脸特征点 该方法主要是对人脸面部特征的色彩 信息进行研究 构造人脸特征的色彩模型 利用人脸肤色的色 彩信息进行特征点定位 基于色彩信息实现简单 但容易受 环境的影响 定位的可靠性不高 2 4 2特征脸法 该方法利用K L变换将表征人脸的高维向量映射到由若 干个特征向量 也称Eigenface特征脸 张成的子空间中 先用 主成分分析模型重构被检区域 求出重构图与原图之间的距 离 当距离小于一定阈值时 即被认定为候选区域 4 该方法 的缺点是针对不同脸型要分别建模 搜索时采用金字塔策略 算法复杂度高 另外 主成分分析着重优化和解析图像 而没 有着重于特征点的定位 2 4 3支持向量机 支持向量机 Support Vector Machines SVM 是Vapnik等 韩玉峰 施铜兴 王小林 脸部特征点定位方法综述181 Computer Engineering and Applications计算机工程与应用2012 48 1 提出的基于风险最小化原理 Structural Risk Minimization principle SRM 的统计学习理论 用于分类与回归问题 将 SVM方法用于脸部特征检测 使用了方形扫描窗口 将眉毛与 眼睛作为一个整体作为定位的对象 从而减少了眉毛对定位 的干扰 Jefrey Huang则采用该方法来检测眼睛 5 但是由于 训练需要求解计算复杂度极高的二次规划问题 内存需求量 大 其次是训练样本个数较大时 会得到大量的支持向量 使 分类器计算量过高 2 4 4模板匹配法 模板匹配法是较早用于面部特征点定位的方法之一 也 是使用范围较广的一种 这是由于模板匹配法具有比较直 观 易于构造等优点 在对图像进行预处理的基础上产生特 征的候选区域 之后通过一个具有几何约束 五官模板的相关 量 的模板对特征加以定位 Sako等人采用彩色直方图方法 分割脸部区域和嘴唇区域 并根据眼睛的结构和灰度信息特 点预先构造了眼睛模板 利用此模板进行搜索以确定眼睛的 位置匹配的过程是利用事先建立的面部特征的模板在候选窗 口逐点滑动进行特征匹配定位 模板匹配需要考虑面部特征 的尺寸缩放 方向旋转等变化 所以计算量很大 并且由于光 照的不均匀变化往往引起模板匹配的失败 所以基于模板匹 配的人脸检测方法较适合于人脸尺寸 方向 光照等有一定的 约束条件或者先前已确定的情况 该方法虽然速度较慢 但 正确率较高 2 4 5人工神经网络 人工神经网络 ANN 在模式识别中有着广泛的应用 特 别适合研究非线性问题 完整的人脸图像受个体差异 眼睛 状态和目标对象姿态等变化的影响较大 而子特征点 包括左 右眼角和上下眼眶顶点 附近区域相对稳定 根据这一特点 Waite等以各子特征点附近的灰度图像为输入 分别建立神经 网络 检测时 先用各个神经网络对目标区域进行遍历搜索 再结合先验知识对搜索结果进行筛选和结合 这个算法训练 过程比较简单 有较强的鲁棒性 但缺点是区分度不足 2 4 6贝叶斯概率网络方法 Kin和Cipolla使用一个3层的概率网络来对脸型建模 其 网络结构如图1 他们在搜索中采用了自底向上的搜索策略 结合使用高斯滤波器和边缘检测算法找出双眉 鼻和嘴的候 选点 对应于网络中的第1层 据邻近候选点之间的相对关系 两两配对为水平或垂直组合 对应于网络中的第2层 并进一 步归入脸部的上 下 左 右 4 个区域 对应于网络中的第 3 层 从而筛去虚警点 2 5基于小波的方法 小波分析具有良好的时间 频率局部细节的分析能力 是 信号处理 信息获取与信息处理等领域中首选的数学分析工 具 人们自然想到了将小波分析运用于人脸特征点定位的研 究之中 2 5 1弹性图匹配法 该方法是面部关键特证定位的另一个重要算法 该方法 将人脸面部关键特证点的属性及其他们之间的位置关系通过 一个属性图进行描述 图的顶点对关键特征点的局部纹理建 模 通过Gabor特征 图的边则反映了特征点之间的距离等位 置关系 对新输入的图像 其特征点则通过基于相位预测的 位移估计结合图匹配技术来定位 通过属性图的形变 一方 面匹配顶点处的Gabor局部特征 另一方面匹配全局几何结构 特征 尽管弹性图匹配可以达到较高的定位精度 但速度较慢 2 5 2DWN Gabor小波网络 Kr ger等将Gabor小波引入图像处理领域 使用一组同源 派生的Gabor小波函数取代RBF神经网络的基函数 通过训 练 可以将目标图像分解为若干个小波函数的线性组合 GWN的训练中同时对相关权值和小波函数本身的参数作优 化 这使得GWN模型可以用很小数量的小波函数实现对目标 对象的解析和重构 Feris使用两层的GWN树模型来定位脸 部特征 两层GWN分别用于表征全脸和各个脸部特征 在训 练中 他们为每幅训练图建立一个GWN树模型 并标定出各 脸部特征的位置 存入人脸库中 实际搜索的时候 他们首先 通过全脸比对从库中找出与目标图像最接近的一个模型 然 后以该模型的标定位置为搜索起点 在小范围内 通过与该模 型中相应的脸部特征信息的比对求出脸部特征的精确位置 2 63D方法 2 6 1光流向量化技术 光流指的是灰度值图案在整个图像范围内的运动 首 先 在每个点对各自的灰度值计算位移向量 然后计算一个连 续的向量场 该向量场能充分地再现光流 两个步骤的执行 都需要某些限制性假设 而结果也做不到完全无误差 然而 可以获得重要的时域信息 无论是由有利位置产生的连续变 化 还是单个物体的不连续变化 因为变化的连续与否并不 重要 无论怎样都应该清楚 孤立地考虑单幅图像是没有意 义的 检测对象必须是至少包括两幅连续图像的图像序列 采用光流迭代的方法建立输入人脸与参考人脸之间的稠 密的像素级对应关系 Beymer等人提出的基于光流的向量化 vectorize 技术 是计算不同人脸图像之间的密集对应的一个 典型算法 在此方法中 2D的形状由测试图像和参考图像之 间的光流域来描述 6 由于此算法很大精度的限制 因此在实 际应用中很难精确求解 也存在计算复杂 计算速度慢的问题 2 6 23D形变模型 迄今为止 最成功的姿态和光照不变的人脸识别是3D变 形模型方法 3D morphable model 该方法通过主成分分析 对人脸的3D形状和纹理 表面反射率 分别进行统计建模 在此基础上建立了包含形状 纹理统计参数 Phone模型参数 光照参数 摄像机内外参数 绘制参数等在内的复杂成像模 型 最终采用基于合成的分析 analysis by synthesis 技术通 过优化算法估计这些参数 得到输入人脸的3D形状和纹理统 计参数用于最终的分类识别 遗憾的是 该方法需要求解一 个涉及几百个参数的复杂连续优化问题 迭代优化过程耗费 了大量的计算时间 对3D形状 纹理 成像参数等形成的形变 模型参数进行优化 使得合成的模型图像最佳匹配输入图像 从而得到人脸3D形状和纹理 7 水平对1水平对2垂直对1 垂直对2垂直对3 左眉 右眉左眼右眼鼻嘴 上下 左右 图1Kin和Cipolla的概率网络图 下转218页 182 Computer Engineering and Applications计算机工程与应用2012 48 1 荡现象也得到明显改善 光伏器件的输出功率基本稳定 说明 模糊控制器的性能得到提高 值得注意的是 在日照变化时 由于模糊控制器学习次数 较少 因此对日照变化跟踪速度并没有得到改善 当将仿真 实验重复进行20次后 由于学习次数增加 模糊控制器的相关 参数得到充分调整 对日照变化的跟踪速度也得到提高 仿真实验结果说明本文提出的在线扰动优化方法能够对 光伏MPPT模糊控制器的相关参数进行在线优化 从而改善了 光伏MPPT模糊控制器的控制性能 提高了光伏器件的输出功 率和对日照变化的跟踪速度 5小结 以模糊控制为基础 根据已有知识构建初始MPPT模糊控 制器 利用扰动观察法思想 在模糊控制器控制输出的基础 上叠加一个随机扰动 根据控制效果来对模糊规则的相关参 数进行修改 该方法能减轻光伏MPPT模糊控制器的设计复 杂性 诚然 该方法由于涉及模糊控制器输入变量的量化 而 量化精度的选择对方法的有效性有着至关重要的作用 量化 精度不够会导致模糊控制器参数调整失败 而量化精度过细 也将导致学习速度大大降低 参考文献 1 Hohm D P Ropp M E Comparative study of maximum power point tracking algorithms using an experimental programmable maximum power point tracking test bed C Photovoltaic Spe cialists Conference 2000 1699 1702 2 Femia N Petrone G Spagnuolo G et al Optimizing sampling rate of P O MPPT technique C IEEE 35th Annual Power Electronics Specialist Conference PESC04 2004 1945 1949 3 王松 一种基于神经网络的光伏电源最大功率控制系统 J 山东大 学学报 工学版 2004 34 4 45 48 4 Altasa I H Sharaf A M A novel maximum power fuzzy logic controllerforphotovoltaicsolarenergysystems J Renewable Energy 2008 33 3 388 399 5 刘永军 万频 王东海 等 自适应模糊算法在光伏系统MPPT中的 应用 J 太阳能学报 2008 27 6 657 661 6 王岩 李鹏 唐劲飞 基于模糊参数自校正PID方法的光伏发电系 统MPPT控制 J 电力自动化设备 2008 28 3 55 58 7 杨旭 曾成碧 陈宾 基于广义动态模糊神经网络的光伏电池MPPT 控制 J 电力系统保护与控制 2010 38 13 22 25 8 李炜 朱新坚 光伏系统最大功率点跟踪控制仿真模型 J 计算机 仿真 2006 23 6 239 243 图1MPPT控制功率输出波形 02468 110 100 90 80 70 60 50 40 time s the output power of PV W 初始模糊规则控制 初次学习控制 20次学习后控制 3结束语 以上系统介绍了目前为止在特征点定位方面主要方法 总体来说 基于先验规则的方法准确率较低 对图像质量要求 高 受表情姿态光照影响大 但有时也有运算量小的优势 适合与其他方法结合进行特征点定位 基于几何形状的方法 虽然也对图像质量要求高 受表情姿态光照影响大 但准确率 较高 其中 ASM AAM是目前为止该领域的主流算法 也陆 续出现了一些在此基础上改进的算法 基于统计模型和小波 的方法的共同优点是对图像质量要求低 受表情姿态光照影 响小 而且准确率高 但对样本的训练等方面也使得运算量大 大提高 但该类方法是特征点定位方法的发展趋势和方向 3D方法是在处理视频序列中的人脸特征点定位方法 还不太 成熟 有待进一步深入研究 人脸识别中面部的关键特征点定位是一个具有相当挑战 性的问题 也是计算机视觉和图形学领域的一个基本问题 阻碍自动人脸识别系统真