（计算机系统结构专业论文）基于snake模型的人脸检测技术的研究.pdf

摘要 人脸检测和特征提取作为人脸信息处理中的关键技术，近年来，在模式识别 与计算机视觉领域，己经成为一个受到普遍重视、研究十分活跃的课题。人脸检 测与特征提取被广泛运用于人脸识别、表情识别、可视电话会议、人机交互( h c d 、 智能监控等领域，作为这些热点应用的前提条件，其算法效率和精度对后续操作 和整个系统都有着很大的影响。 本文的主要工作是在复杂背景下，检测人脸边缘轮廓。算法包括以下步骤： 首先基于肤色模型分割人脸图像，粗定位人脸矩形区域；定位眼睛和嘴唇等特征 点，利用人脸特征点的几何信息修正人脸矩形，并在此人脸矩形内计算图像几何 矩，初始化人脸边缘椭圆；最后运用改进的s n a l ( e 模型提取精确的人脸轮廓。 本文在传统的s n a k e 算法基础上，针对人脸轮廓提取这一课题，提出了一种 有效的s n a k e 人脸初始轮廓的提取方法，并将肤色模型与图像法线方向力相结合 的能量函数运用于s n a k e 模型的外部能量中。实验结果表明，改进后的s n a l ( e 方 法能精确地收敛到人脸边缘轮廓。 关键词：人脸检测；轮廓提取；s n a l 【e 算法；能量函数 a b s t r a c t i nr e c e n ty e a r s ，a st h ek e yt e c h n o l o g yo fh u m a nf a c ei n f o r m a t i o np r o c e s s i n g ， f a c ed e t e c t i o na n df e a t u r ee x t r a c t i o nh a sb e e np a i dm u c ha t t e n t i o na n db e c o m e av e r y a c t i v er e s e a r c hb r a n c hi np a t t e r nr e c o g n i t i o na n dc o m p u t e rv i s i o na p p l i c a t i o na r e a s f a c ed e t e c t i o na n df e a m r ee x t r a c t i o nh a v eb e e nw i d e l yu s e di n f a c er e c o g n i t i o n , e x p r e s s i o nr e c o g n i t i o n ，v i d e o p h o n ec o n f e r e n c e ，h u m a n c o m p u t e ri n t e r f a c e ( h c i ) ， a n di n t e l l i g e n tm o n i t o r i n gs y s t e ma n ds oo n a sap r e c o n d i t i o no ft h eh o ta p p l i c a t i o n , t h ee f f i c i e n c ya n da c c u r a c yo fi t sa l g o r i t h mw i l li n f l u e n c et h ef o l l o w u po p e r a t i o na n d t h ew h o l es y s t e m t h ef a c ec o n t o u ri sd e t e c t e df r o mac o m p l e xb a c k g r o u n di nt h i sp a p e r t h ed e t a i l a l g o r i t h mi n c l u d e st h ef o l l o w i n gs t e p s ：f i r s to fa l l ，s k i nt o n ea r e ao f t h eb a c k g r o u n d i ss e g m e n t e db ys k i nt o n em o d e l ，a n dt h er o u g hf a c er e c t a n g u l a ra r e ai sl o c a t e d t h e n a r e rt l l el o c a t i o n so fe y e sa n dl i pa r ec a l c u l a t e d ，t h ef a c er e c t a n g u l a ra r e ai sa m e n d e d u s i n gt h eg e o m e t r i ci n f o r m a t i o no ft h e f a c i a lf e a t u r e s ，a n dc a l c u l a t et h ei m a g e g e o m e t r i cf e a t u r e ，t h e nw ec a ng e tt h ef a c e i n i t i a le l l i p s ec o n t o u r ；f i n a l l y , t h e a c e u r a t ef a c ec o n t o u ri se x t r a c t e db yt h ea c t i v ec o o u rm o d e l ( s n a k e ) a sf o rt h ef a c ec o n t o u ri s s u e ，a ne f f i c i e n te x t r a c t i o nm e t h o do fs n a k ei n i t i a l c o n t o u ri sp r o p o s e d ，a n dt h ec o m b i n a t i o no ft h es k i nt o n em o d e la n di m a g ed i r e c t i o n 内i r c ei su s e di nt h ee x t e r i o re n e r g y a n dt h ee x p e r i m e n t a lr e s u l ts h o w st h a tt h e i m p r o v e ds n a k e a l g o r i t h mc a nc o n v e r g et ot h ef a c ee d g ec a c u l a t l y k e yw o r d s ：f a c ed e t e c t i o n ； f e a t u r ee x t r a c t i o n ；s n a k ea l g o r i t h m ； e n e r g y f u n c t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得丕盗苤堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：脓纵签字日期：硼年月21 9 学位论文版权使用授权书 本学位论文作者完全了解玉洼盘鲎有关保留、使用学位论文的规定。 特授权盘鲞盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 日 学位论文作者签名：祛白炙 导师签名： 签字日期：啊一年6 月之日 签字日期：年月 天津大学硕士学位论文 第一章绪论 1 1 研究背景及意义 第一章绪论 在智能化的人机交互过程和对计算机视觉的研究中，人脸可以提供大量有价 值的信息，也可以作为一个友好的交互接口。于是应运而生了许多新的研究热点， 例如人脸识别、表情姿态的识别等【l 】。人脸特征定位，即在图像或图像序列的给 定区域内搜索部分或所有人脸特征( 如眼、鼻、嘴、耳等) 的位置、关键点或轮廓 线，这三种信息都有十分广泛的应用，例如，脸部特征的位置信息在人脸检测中 可用于人脸定位，人脸验证等；在模式识别领域中，主要用于与人脸有关的技术 中如人脸识别、检测、跟踪、特征定位等；而在计算机视觉领域中，人脸及特征 点轮廓线的提取又可以为建立人脸三维立体模型建立基础，为人机交互提供基 础。人脸检测与边缘轮廓提取因其难度大、应用面广，一直是近年来的研究热点。 人脸及特征的检测与定位是人脸跟踪、识别以及表情分析等的基础和前提。因此， 快速而又准确地检测和定位人脸一直是模式识别和计算机视觉领域的前沿课题 和热点【2 】【3 】。 人脸检测与定位实际上对包含人脸的图像分析与理解的过程，图像分析主要 是对图像感兴趣的目标进行监测和测量，以获得客观信息从而建立对图像的描 述。图像分割是图像分析的重要内容，为了识别和分析图像中的目标，需要将有 关区域分离出来。图像分割的目的是把图像空间分割成一些有意义的区域。而目 标轮廓的提取又是图像分割的重要研究内容，在图像识别与图像分析中占有相当 重要的地位，己经广泛应用于军事、医学图像分析等许多领域，取得了令人瞩目 的研究成果1 4 】。 在传统的计算机视觉领域，底层的一些处理任务，如边缘检测、轮廓提取等， 被广泛地认为是自主的自底向上的过程。7 0 年代后期，m t l 人工智能实验室的 专家m a r r 提出了计算机视觉理论【5 】，他将人类视觉任务分为由低到高的三个阶 段，第一阶段的主要功能是把一些有关平面影像的重要信息清楚表现出来，主要 处理线条、角点、零交叉点等；第二阶段主要处理二维半的曲面方向及深度的不 连续性等；第三阶段，三维立体模型。这种分层计算理论对计算机视觉领域产生 了深远的影响，认为计算机视觉领域底层的任务只能依赖于从图像本身获得的信 天津大学硕士学位论文第一章绪论 息进行，不能使用高层信息。以m a r r 的计算机视觉理论为基础出了许多图像分 割方法，如经典的边缘检测算子和图像分割。但是，m a r r 的这种严格的顺序研 究方法将视觉任务分成几阶段，在使任务变得简单的同时，也将底层的误差传播 到了高层，并且没有修正的机会。 为了解决这一问题，人们提出了依赖于高层信息的图像分割的新理论。其中 最引人注目、最富有代表性的是1 9 8 7 年k a s s 等人提出的基于目标轮廓曲线能量 泛函的s n a k e 模型( 或主动轮廓模型) 【6 】。他们试图设计这样一个能量函数：其局 部极值组成了可供高层视觉处理进行选择的方案，从该组方案中选择最优的一种 是由能量项的叠加来完成。这样，在寻找显著的图像特征时，模型可以通过将图 像特征推向一个适当的局部极值点而引入高层机制。s n a k e 是内力约束和外力引 导的能量极小化样条，它可以充分利用高层信息( 轮廓曲线的光滑性等) 。s n a k e 模型是经典力学中粒子运动的最小作用原理在目标轮廓提取中的应用【_ 7 1 。由最小 作用原理和变分法可得到类似于牛顿定律的偏微分方程，即力的平衡式。其中， 内力对s n a k e 的形状所产生约束，克服了由于噪声等对于轮廓所造成的影响；而 外力，即图像力，则将其拖向有着显著图像特征的边缘。通过这种内力和外力的 共同作用，当力达到平衡时，就可将s n a k e 固定在目标轮廓。这就是为什么s n a k e 模型又被称之为“主动”轮廓模型。 s n a k e 模型与先检测边缘点再将它们连接成边缘的方法不同，轮廓的连通性、 角点以及图像的梯度变化等均影响能量泛函。因此，s n a k e 模型可以通过优化能 量泛函得到一个局部最优的轮廓曲线。s n a k e 模型最吸引人之处在于它对于一系 列应用广泛的视觉问题给出了一个统一的理论框架，在近十几年中，已经被越来 越多的研究者成功地应用于计算机视觉的多个领域，如边缘提取、图像分割和分 类、运动跟踪、3 d 重建、立体视觉匹配等。 s n a k e 模型的提出给传统的计算机视觉理论及应用研究带来了新的观点和思 维模式。尽管关于s n a k e 模型的理论研究还很不完善，应用研究还刚刚起步，但 是它所提出的新思想及其广泛的应用已经证明了它的价值。高层机制的引入使其 区别于传统的视觉模型。对s n a k e 模型理论的进一步研究，在计算机视觉及图像 理解领域中都具有重要的意义。 1 2 国内外研究现状 1 2 1 人脸检测算法 人脸检测的任务就是在输入图像中检测有无人脸以及确定人脸大小和位置。 2 天津大学硕士学位论文 第一章绪论 人脸检测是一项非常复杂的系统工程，检测结果很容易受到各种直接或者间接噪 声的影响，主要表现在： 1 ) 受外貌、表情、肤色等因素的影响，人脸具有很大可变性； 2 ) 很多情况下脸上可能存在眼镜、胡须以及装饰品等附属物； 3 ) 头部运动会造成图像中人脸位置、角度等发生变化； 4 ) 不同光照条件对图像中人脸图像产生影响，亮度变化范围很大； 5 ) 不同图像中人脸尺寸及背景噪声等各不相同【_ 7 1 。 由于人脸的复杂性，单纯的使用某种特征( 如颜色、轮廓) 的提取作为检测方 法都无法适应所有的环境，故常用综合各种特征的方法尽可能的适应环境的需 要，目前的人脸检测方法主要有基于整体属性的方法( 如特征脸法) 隅】和基于特征 的方法( 如肤色) 9 1 【1 0 1 ，人工神经网络方法【1 l 】【1 2 】、主分量分析方法【1 3 】b 4 、模板匹 配方法【l5 】等。其中神经网络方法需要正负样本集的训练且要对图片遍历缩放，再 将其输入网络；模板匹配适合于已确定人脸位置的检测。虽然这些方法已取得较 高精度，但算法都需要复杂的训练，运算量大，在实时性要求严格的场合速度很 难满足要求。因此，寻求精度和速度的平衡检测方法是人脸检测系统实现的关键。 肤色信息被证明是一种高效的分割人脸的方法，对复杂背景、几何变换等具有很 强的鲁棒性。因此，可以利用肤色信息构建高效的人脸检测算法。人脸器官分布 有不变的区域特征，可以用来提高检测精度。本文以硬件实现人脸检测为应用目 标，研究并提出一种颜色空间和区域特征相结合，算法简单、定位精确的人脸检 测方法。 1 2 2 唇定位 检测与定位唇部区域是人脸特征定位提取的首要任务，是我们检测识别人脸 的充分条件，所谓检测与定位唇部是指从视频图像序列中找到唇部的大致位置。 由于不同人的唇型、唇色不同，而且易受说话形变、头部运动、光照等因素的影 响，使得在视频图像中快速、精确、鲁棒地定位嘴唇比较困难。基本方法有两种： ( 1 ) 基于人脸结构特征，分析人脸的结构，确定眼睛、鼻孔的位置由眼睛鼻 孔的信息来定位嘴的部位【1 6 】 i7 1 。 ( 2 ) 基于色度分析的方法，对不同人脸图像的肤色和唇色的分布情况进行统 计分析，得出色度聚类的唇色滤波器，由它对感兴趣区域进行滤波，粗定位唇部 区域。文献i i s 提出采用排红和f i s h e r 变换，根据肤色模型和运动相关性在视频图 像中检测人脸。在r g b 空间内排除红色分量，用( g ，b ) 分量作为f i s h e r 变换矢 量，对人脸进行唇部图像增强，并自适应确定肤色和唇色阈值，将唇部从背景 图像中分割出来。该方法检测速度高，对光照、胡须及说话人不敏感。 天津大学硕士学位论文 第一章绪论 1 2 3s n a k e 算法研究 活动轮廓模型( a c t i v ec o n t o u rm o d e l ) ，也被称作s n a k e s 模型，是一种通过模 型内、外部力的相互作用进行变形来匹配图像特征的能量最小化曲线。与传统的 边缘检测和图像分割不同，活动轮廓模型使用了全局性的限制，在曲线变形期间 保持整体轮廓的连续性和平滑性，使模型对特定区域内局部边缘较弱或断开的目 标轮廓具有良好的提取和跟踪能力，并且使图像逼近图像边缘处。在医学图像处 理领域和计算机视觉临域得到了广泛应用。 自19 8 7 年k a s s 等人率先在第一届计算机视觉国际会议上提出活动轮廓模型 s n a k e 【1 9 】模型，应用活动轮廓模型作边界的s n k a e 算法即蛇行算法，广泛应用于 边缘检测与定位。在图像处理和计算机视觉领域，蛇行算法是一种边缘检测和物 体轮廓提取非常有效的方法。h u a n g 和c h e n 采用s n a k e 模型成功地提取出眉毛、 鼻孔和整个人脸的轮廓【2 0 】；重庆大学陈虹宇等人【2 1 1 利用s n a k e 方法对人脸轮廓得 到曲线进行平滑处理获得较好的提取结果，但和所有s n a k e 模型一样，仍需要很 好的初始化过程。 1 3 本文工作及系统概述 1 3 1 设计概述 本文工作的研究背景是已经完成了人脸粗定位和眼睛区域定位的眼睛控制 鼠标的系统，该系统采用肤色模型和积分投影的方法完成了入脸矩形区域的肤色 粗定位，用灰度投影的方法定位眼睛矩形区域，该系统中人脸矩形的高利用人脸 形态学中人脸的宽与高的比值来计算，但是受颈部肤色和头发刘海的影响，所以 人脸矩形的上下边界的定位容易受头发及颈部肤色等的影响，致使人脸下边界定 位不准确，该系统不能准确定位人脸区域，不能将人脸旋转移动信息有效的应用 在鼠标控制系统中，而仅仅依赖眼睛特征点的信息还不能达到控制鼠标的目标， 不能实现自然人机交互。 签于目前系统存在的这些问题，为了精确的定位人脸边缘轮廓，利用人脸的 信息辅助人与计算机之间自然交互。本文在当前系统的基础上，采用s n a k e 模型 提取人脸边缘轮廓，从而得到人脸旋转移动的信息。为了解决因s n k a e 模型对初 始位置敏感的缺陷给人脸轮廓定位带来的困难，本文在粗定位人脸矩形区域和人 眼矩形的前提下，引入了嘴唇的特征信息来辅助人脸的检测与定位，采用唇色模 型和形态学处理嘴唇区域，精确定位嘴唇区域。并利用人脸特征点之间的几何形 态学关系精化人脸矩形，在该矩形区域内计算图像几何矩，根据几何矩的变换得 4 天津大学硕士学位论文第一章绪论 到人脸图像的质心和旋转角度，得到比较精确的人脸初始化椭圆轮廓。最后本文 对传统的s n a k e 模型进行改进，将肤色模型与图像法线方向力相结合的能量函数 运用于s n a k e 模型的外部能量中，得到精确的人脸边缘轮廓。 研究者的实践表明，在构造实际应用视觉系统时，为了提高可靠性，加快速 度，对环境适当的加以约束是必要合理的，如果对环境不加限制，人脸检测问题 是十分复杂的，很难找到有效可靠的解决方案。本文研究的人脸检测系统限定在 背景固定的环境中，并规定任何时刻只有个操作者来操作，所拍摄的图像中操 作者脸部面积要占图像面积的1 5 以上，如果所检测的人脸肤色区域面积小于拍 摄图像面积的1 5 ，认为没有找到人脸区域，指出人脸区域小，丢弃该图像帧， 重新捕获。因此，本文所要研究的是背景固定环境中的单一人脸检测问题。对于 人眼定位的算法选择，考虑到视频帧中人脸检测的实时性和人脸粗定位需要，我 们采用实时性较高的，较为简单的灰度投影的模型来实现。 系统的总体流程如图1 1 所示。系统在时序上主要划分为人脸检测，人脸特 征提取和人脸轮廓提取三个阶段。人脸检测主要是应用肤色模型从前景图像中检 测出肤色区域，粗定位人脸矩形区域；人脸特征提取主要是在粗定位的肤色区域 的基础上，定位人眼和嘴唇区域，并根据人脸特征信息调整人脸矩形；人脸轮廓 提取主要是根据精化后的入脸矩形区域，计算人脸图像的质心和旋转角度，初始 化人脸轮廓，改进传统的主动轮廓模型的流程，将肤色模型处理的结果与向心力 和梯度流相结合，通过迭代的方法不断的逼近轮廓边缘，从而精确定位人脸轮廓。 1 3 2 设计流程 天津大学硕士学位论文 第一章绪论 n 。l 。一 启动定时器，捕捉 背景图像 ：i ：一 背景图像肤色模型 、二值化( y c b c r ) ： 1。，。，。j ，? ) 罗夕 隋爵磊獗虿 模型二值化 l ! ! ! 竺! n ，。1 。一 差分平滑 。膨胀去噪预处理 i，一 ! 一 由二值图得到 l 全竺曼j y 厂王 - i 瓣至汹痞_ 雨强萌砩莱雨可( 慈椭圆的蔚 l 确认是人脸矩形 _ 眼睛等特征定位；- 心以及椭圆的旋转角度，初始 l 舅整缝墅蔓j 邕丛：堕圆 - - - - - - - - - - - - - - u - - t - - - - - - - - - - - u - ! ! ! - - - - - - - - - - - - - - - - - - - - - 。- - - - - - - - - - 一 ! 运用改进s n a k e 模型求得精确 的入脸轮廓 。_ 王一 结束 图1 1 基于s n a k e 模型的人脸检测与轮廓提取流程图 6 淼， 誊翌 天津大学硕士学位论文 第一章绪论 l t 3 3 使用约束 如前所述，对环境加以适当约束在构造实际视觉系统时是合理的、必要的， 我们所设计的系统要求使用者遵守以下约束： ( 1 ) 由于采用肤色模型粗定位人脸，要求背景环境中避免大面积接近肤色的 物体出现( 如黄色，粉色，橙色等) ，使用者不要穿颜色和肤色接近衣服。 ( 2 ) 操作人员需等待系统提示用户背景拍摄完毕再进入视频场，因为我们 的系统需要利用背景的肤色二值图像与当前图像比较，滤掉在背景中出现的 肤色区域，保留当前图像新增的肤色区域做后继处理。 ( 3 ) 人脸检测的阶段，允许使用者在3 0 。以内的姿态变化( 包括平面内的倾 斜以及空间内深度旋转) ，为保证人眼定位成功系统，能确认人脸的存在，所 以系统不支持人脸旋转超过3 0 。角的边缘轮廓检测。 我们认为上面提到的约束条件还是易于满足的，当然，我们仍在致力于改进 算法，放宽约束条件，增强系统的鲁棒性。 i 3 4 设计特点与分析 本文在当前系统的基础上，在粗定位入脸矩形区域和人眼矩形的前提下，引 入了嘴唇的特征信息来辅助人脸的检测与定位，通过分析和实验各个唇色模型， 采用t ( y i q ) 唇色模型处理粗定位的嘴唇区域，根据阈值化处理唇部区域得到嘴 唇二值图像处理，然后对嘴唇二值图像进行形态学处理，去除因为因为光照、牙 齿和胡须等的影响，利用质心法定位嘴唇区域中心和嘴唇矩形区域，实验证明这 种方法不但运算速度快，并且受光照和胡须等等影响小，具有较高的计算精度。 再次，本文根据得到的人脸特征点眼睛和嘴唇矩形区域，利用人脸特征点的 之间的几何形态学关系进行人脸验证，并利用人脸特征点之间的几何形态学关系 精化人脸区域，并在该人脸矩形区域内计算人脸图像几何矩，通过图像矩空间中 相应的变换来表达和分析人脸图像的坐标变化，从而求得人脸图像的质心和旋转 角度，并初始化人脸椭圆轮廓。初始化得到的人脸椭圆轮廓，比较靠近人脸边缘 轮廓，解决了s n a k e 模型对初始化轮廓的敏感的缺陷，从而减小了轮廓提取的计 算时间增强了其计算效率。 另外，为了得到精确的人脸边缘轮廓，实现人脸区域的分割的目的，将人脸 边缘轮廓从复杂的背景图像中分割出来。本文在传统的s n a k e 算法基础上，针对 人脸肤色的特点改造了s n a k e s 能量函数的外部能量项，将肤色模型的运算结果 运用于s n a k e 模型，并且加入了图形法线方向和梯度结合的方法，用以提高算法 的精度。实验结果表明，改进后的s n a k e s 方法能准确收敛到人脸轮廓处。 7 天津大学硕士学位论文 第一章绪论 通过系统的改进，使用者人脸检测和边缘轮廓的提取不受刘海遮挡额头，颈 部肤色的影响，系统能较好的分割人脸边缘轮廓。 1 4 本文结构安排 本章主要介绍了人脸检测与轮廓提取的研究背景和意义、国内外研究现状， 并简要介绍了本文主要研究内容，设计流程图，设计特点与分析等，接下来的几 章将对算法各个部分给出详细的介绍：第二章主要介绍本文研究工作涉及到的主 要函数和思想的阐述，包括用于人脸粗定位的肤色模型，定位嘴唇区域的唇色模 型，以及对阈值处理之后得n - 值图像用于图像平滑和去噪处理的形态学处理算 法，包括腐蚀、膨胀、开运算、闭运算等，s n a k e 算法韵能量函数中用到的边缘 图像的梯度图像的计算等；第三章介绍用于边缘轮廓提取的s n a k e 模型，给出了 s n a k e 模型的原理、主要思想和数学模型等；第四章介绍了本文人脸检测与特征 检测具体处理流程，包括人脸矩形粗定位，嘴唇区域定位，验证人脸是否存在， 根据人脸形态学精化人脸矩形区域，计算人脸区域的图像几何矩，根据几何矩的 变换得到人脸区域的质心和转动角度，初始化人脸椭圆轮廓；第五章介绍对改进 的s n a k e 算法研究，为了使边缘轮廓能尽快的收敛到人脸边缘，改进的s n a k e 算 法的具体实现步骤，具体s n a k e 能量函数在人脸轮廓提取中的应用，第六章实验 结果与分析，第七章结论与前景 天津大学硕士学位论文第二章系统主要函数阐述 第二章系统主要函数阐述 本章主要介绍本文研究工作涉及到的主要函数和思想，包括用于人脸粗定位 的肤色模型，定位嘴唇区域的唇色模型，二值图像中用于图像平滑和去噪处理的 形态学处理算法，如腐蚀、膨胀、开运算、闭运算等，s n a k e 模型中外部能量函 数中用到的人脸梯度图像的计算等。 2 1 肤色模型 在计算机视觉领域里，色彩空间占据着极为重要的位置。对于一种颜色在计 算机内可以有多种方式表达，这就形成了多种多样、各具特色的色彩空间，其中， 计算机视觉研究领域里经常采用的主要有：r g b ( 红、绿、蓝三基色) 、r g b ( 亮度 归一化的三基色) 、s h i ( 饱和度、色调、亮度) t 以及y i q 、y c b c r 等亮度 和色度色彩空间。 肤色信息被证明是一种高效的分割人脸的方法，对复杂背景、几何变换等具 有很强的鲁棒性，处理色彩信息远比处理其他面部特征容易、迅速，再次肤色受 人脸姿态表情变化影响很小。另外，肤色是人脸图像中最显著的特征之一，研究 表明，尽管人类的肤色千差万别，但影响其变化的主要因素是亮度变化，而在色 度空间中，肤色却有很好的聚类特性。因此，肤色模型在人脸检测的研究中广为 采纳，本论文中我们采用肤色模型粗分割人脸区域。 由于我们系统使用的摄像头拍摄的图像是以r g b 色彩空间来描述的，该色 彩空间将色度和亮度信息混合在一起，不便于进行肤色聚类的研究，因此我们将 将其变换到y c b c ry c r c b ( y ：亮度，c b ：色度的蓝色分量，c r ：色度的红色分 量) 色彩空间进行处理。 r g b 色彩空间到y c b c r 色彩空间的转换公式如下： y c b c r 1一。j 言9 9 。：0 ：5 。8 7 0 o 1 1 4 0 o l 0 6 8 703 3 1 305 0 0 01 2 8 rg05 0 0 004 1 8 700 8 1 31 2 8 b0 1 一 1 一 - o y c b c r 空间中的肤色分布如图2 1 所示。 9 公式( 2 1 ) 天津大学顿士学位论文 第二章系统主要函数阐述 气 _ m 图2 - 】y c b c r 空问肤色分布在c b c r 空问的投影 ( 注：蓝色代表显示器色彩的分布，红色代表肤色的分布阻j 选定色彩空间之后，接下来需要考虑的就是如何实现肤色和非肤色的分类。 显然，最简单的办法就是针对给定点的c b ，c r 值，通过判定其是否落在图2 1 中 给出的肤色区间内来决定其是否为肤色点。然而，尽管很多研究假定肤色色调的 色度成分独立于亮度成分，但在实际应用系统中，我们却发现摄像头拍摄的图像 受周围光照明暗影响很大，特别是对于视频应用系统，拍摄对象在运动过程中表 面反射引起的明暗变化，往往导致同一对象在图像序列中的图像帧之间呈现出截 然不同色彩描述。因此我们必须要把光照因素考虑进来。我们利用了h s u 纠 的研究成果，他认为肤色色调非线性的依赖于亮度成分，将y c b c r 色彩空间中 的c b 、c r 用y 来非线性的表达，并将y c b c r 空间坐标经过非线性分段色彩变 换变换到y c b c r 空间坐标，在该空间内建立了肤色聚类的参数椭圆模型。如图 2 - 2 所示 r j 二_ 却_ 图2 - 2 参数椭圆模型 f 注：绿色标记的椭圆内的点为参数椭圆模型的肤色区1 天津大学硕士学位论文第二章系统主要函数阐述 变换的推导过程见参考文献 2 2 1 ，该模型的结果公式： 丁( x - e c x ) z + 妊1 9 掣车1口 y _ c o so s i n 咧o k g 一- - 习c x 公式( 2 2 ) 公式( 2 3 ) 其中，c x = 1 0 9 3 8 ，哕= 1 5 2 0 2 ，0 = 2 5 3 弧度) ， e c x = 1 6 0 ，e c y = 2 4 1 ， a = 2 5 3 9 ，b = 1 4 0 3 参数椭圆模型中的肤色点落在图2 2 中标记的绿色椭圆内。 人脸区域分割的总体流程如图1 1 所示，下面对各人脸粗定位的处理过程给 出解释。对于视频捕获的r g b 图像，首先将其转化为y c r c b 色彩空间，然后将 对应的c r ，c b 带入公式( 2 3 ) ，公式( 2 2 ) ，计算该r g b 对应的肤色二值图g k 如 公式( 2 4 ) 所示： g b i 瓴舻三觐满鬻q 。2 ) 蛐2 - 4 ) 即：通过肤色模型处理图片，可以提取图片中肤色或类肤色，如果是肤色，二值 图像的元素设为白色，若是非肤色，对应的二值图像的元素设为黑色。 2 2 唇色模型 y i q 彩色系统1 2 3 】由美国国家电视标准委员会制定，主要用于彩色电视信号 的传输。其中y 分量代表图像的亮度信息，1 分量代表从橙色到青色的颜色变化， 而q 分量则代表从绿色到品红色的颜色变化。y i q 表示法的重要性是它的亮度 信号( y ) 和色度信号( i q ) 是相互独立的，而且q 分量代表的颜色变化正好覆盖了 嘴唇的颜色范围，因此选用y i q 颜色空间确定嘴唇。y i q 和r g b 的对应关系用 下面的方程式如公式( 2 5 ) 表示： 公式( 2 5 ) 经过论文 2 3 】的统计及实验效果得到各分量的最佳阈值分别为y 8 0 ，2 2 0 ， b 曰日锯培协 l l，”记n 们硒粥胁 8 z k -蹦吻狮吡吣汜r 尺2 9 2 钉菪| m 掀粥m 钞 | i = = 天津大学硕士学位论文 第二章系统主要函数阐述 i 1 2 ，7 8 1 ，q e 7 ，2 5 ，具体统计这里不再赘述，详细请参考文献【2 3 】。通过 上述最佳阈值判断能够比较好地提取嘴唇。 2 3 形态学处理 形态学( m o 印h 0 1 0 9 y ) 原是对于动植物调查时采取的某种形式的研究。数学 形态学( m a t h e m a t i c a lm o r p h o l o g y ) 是分析几何形状和结构的数学方法，它建立在 集合代数的基础上，是用集合论方法定量描述集合结构的学科。1 9 8 5 年之后， 数学形态学逐渐成为分析图像几何特征的工具。数学形态学包括一组基本的形态 学运算子：腐蚀( e r o s i o n ) 、膨胀( d i l m i o n ) 、开( o p e n i n g ) 、闭( c l o s i n g ) 等。运用这 些算子及其组合来进行图像形状和结构的分析及处理。形态学的理论基础是集合 论。在图像处理中形态学的集合代表着黑白和灰度图像的形状，如黑白图像中的 所以黑像素点组成了此图像的完全描述。通常我们选择图像中感兴趣的目标图像 区域像素集合来进行形态学变换。 通常，当有噪音的图像用阈值二值化时，所得到的边界往往是不平滑的，物 体区域具有一些错判，背景区域上则散布着一些小的噪音。使用形态学上的连续 的开和闭运算可以显著的改善这种情况。有时连接几次腐蚀迭代之后，加上相同 次数的膨胀，才可以产生所期望的效果。 1 ) 腐蚀( e r o s i o n ) 简单的腐蚀是消除物体的所有边界点的一种过程，其结果是剩下的物体沿其 周边比原物体小一个象素的面积。如果物体是圆的，它的直径在每次腐蚀后将减 少2 个象素。如果物体任一点的宽度小于三个象素，那么它在该点将变为非连通 的( 变为2 个物体) 。在任何方向上的宽度不大于2 个象素的物体将被除去。腐蚀 对从一幅分割图像中除去小且无意义的物体来说是很有用的。一般意义上的腐蚀 概念定义为： e = b 圆s = x ，yls x v b )公式( 2 6 ) 也就是说，由s 对b 腐蚀所产生的二值图像e 是这样的点( x ，y ) 的集合：如果s 的原点位移到点( x ，y ) ，那么s 将完全包含于b 中。当使用基本的3 木3 结构元素 时，般意义上的腐蚀简化为简单腐蚀。其效果如图2 3 所示： 1 2 天津大学硕士学位论文第二章系统主要函数阐述 ( a ) 原图像 图2 3 腐蚀效果显示 ( b ) 腐蚀后的图像 2 ) 膨胀( d i l a t i o n ) 简单膨胀是将与某物体接触的所有背景点合并到该物体的过程。过程的结果 是使物体的面积增大了相应数量的点。如果物体是圆的，它的直径在每次膨胀后 增大2 个象素。如果两个物体在某一点相隔少于3 个象素，它们将在该点连通取 来( 合并成一个物体) 。膨胀在填补分割后物体中的空洞很有用。一般膨胀定义为： d = bo s _ x ，yi & nb 矽) 公式( 2 - 7 ) 也就是说，s 对b 膨胀产生的二值图像d 是由这样的点( x ，y ) 组成的集合，如果 s 的原点位移n ( x ，y ) ，那么它与b 的交集非空。如采用基本的3 * 3 结构元素时， 一般膨胀简化为简单膨胀。其效果如图2 4 所示： ( a ) 原图像 ( b ) 膨胀后的图像 图2 4 膨胀效果显不 腐蚀和膨胀往往不是单独使用，在实际应用中，使用最频繁的运算方法是对二值 图像进行开运算、闭运算两种操作。 3 ) 开运算 先腐蚀后膨胀的过程称为开运算。它具有消除细小物体、在纤细点处分离物 体、平滑较大物体的边界时又不明显改变其面积的左右。开运算定义为： b s = ( 曰o s ) o s公式( 2 8 ) 天津大学硕士学位论文第二章系统主要函数阐述 4 ) 闭运算 先膨胀后腐蚀的过程称为闭运算。它具有填充物体内细小空洞、连接临近物 体、在不明显改变物体面积的情况下平滑其边界的作用。闭运算可定义为： b s = os ) os 2 4 梯度图像 公式( 2 9 ) 图像的边缘是图像的最基本特征，所谓边缘是指其周围像素灰度有阶跃变化 的那些像素的集合。边缘广泛存在于物体与背景之间、物体与物体之间、基元与 基元之间。它对图像识别和分析十分有用，边缘能勾画出目标物体轮廓，使观察 者一目了然，包含了丰实的信息( 如方向、阶跃性质、形状等) ，因此它是图像识 别中抽取的重要属性、图像分割所依赖的重要特征。物体的边缘是由灰度不连续 性所反应的。经典的边缘提取方法是考察图像的每个像素在某个邻域内灰度的变 化，利用边缘邻近一阶或二阶方向导数变化规律。用简单的方法检测边缘。这种 方法称为边缘检测局部算子法。 当一个像素落在图像中某一个物体的边界上，那么它的领域将成为一个灰度 的变化带。对这种变化最有用的两个特征是灰度的变化率和方向，它们分别以梯 向量的幅度和方向来表示。沿边缘走向的灰度变化平缓，而垂直于边缘走向的变 化剧烈，这种变化可能是阶跃形或斜坡形。在边缘上灰度的一阶导数幅值较大而 二阶导数在边缘上的值为0 ，其左右分别为一正一负两个峰，也就是说，边缘对 应于一阶微分幅度大的点，也对应于二阶微分的零交叉点。因此，可以利用梯最 大值或二阶导数过零点提取边界点。传统的边缘检测方法大都依据这种特征，如 3 x 3 窗口的罗伯茨( r o b e r t s ) 算子、索贝尔( s o b e l ) ，拉普拉斯( l a p l a c i a n ) 微分算子求 解一维实函数的梯度。边缘检测算子检查每个像素的邻域对灰度变化率进行量 化，也包括方向的确定。大多数使用基于方向导数掩模求卷积的方法。下面介绍 几种常用的边缘检测算子【4 】。 图像的局部边缘定义为两个强度明显不同的区域之间的过渡，图像的梯度函 数即图像灰度变化的速度将在这些过渡边界上存在最大值。因此，通过基于梯度 算子或一阶导数的监测器来估计图像灰度变化的梯度方向，增强图像的这些变化 区域然后对该梯度进行阂值运算，如果梯度值大于某个给定门限，则存在边缘。 再将被确定为边缘的像素连接起来，以形成包围着区域的封闭曲线。一阶微分是 图像边缘和线条检测的最基本方法。图像函数v f ( x ，y ) 是f 【x ，y ) 在点( x ，y ) 的梯度 ( 即一阶微分) 是一个具有方向和大小的矢量，即： 1 4 天津大学硕士学位论文第二章系统主要函数阐述 g ( x ，少) = 茹 = 季 梯度的幅值和方向： i g ( x ，y ) i - l 叫+ l l a ( x ，y ) = a r c t a n ( g y g x ) 公式( 2 1 0 ) 公式( 2 一1 1 ) 考虑到数字图像的离散域时，可将图像的一阶差分直接替代图像函数的偏导 数。二维离散图像函数在x 、y 方向的阶差分定义为： g x = f x + l ，y 卜- f i x ，y g y = f 石，y + 1 】一厂 x ，y 】 由罗伯茨( r o b e r t s ) 提出的算了是在2 x 2 邻域上计算对角导数， 度g ( x ，y ) 的幅度是用方向差分的均方值r m s 来近似，即 公式( 2 一1 2 ) 图像点( x ，”的梯 g f ，刀= f ，刀一九i + l ，+ 1 】i + i 九f + 1 ，_ ，】一九f ，j + l 】| 公式( 2 - 1 3 ) 罗伯茨算子的一个主要问题是计算方向差分时对噪声敏感。索贝尔( s o b e l ) t - - 种 将方向差分运算与局部平均相结合的方法。该算子是在f ( x ，y ) 为中心的3 x 3 邻域 上计算x 和y 方向的偏导数，即： s 。= 杪( x + 1 ，y 一1 ) 一2 f ( x + 1 ，j ，) + 厂( x + l ，y + 1 ) ) 一矿 一1 ，y 1 ) _ 2 f ( x 一1 ，y ) + 厂( 工一1 ，j ，+ 1 ) ) 公式( 2 1 4 ) s y = 厂( x 一1 ，y + 1 ) + 2 f ( x ，y + 1 ) + f ( x + 1 ，y + 1 ) ) 一 f ( x 一1 ，y 一1 ) + 2 f ( x ，y 一1 ) 4 - f ( x o r l ，y 一1 ) ) 在实际应用中，通常是利用简单的卷积核来计算方向差分，不同的算子对应 不同的卷积核，它们产生的两个偏导数在图像一个点上用均方值或绝对值求和的 形式结合起来，下图分别给出了罗伯茨、索贝尔的卷积核 天津大学硕士学位论文 s o b e l 算子 f 1 i g x = i 一2 i 一1 l - 子公式可以表示为： = 匕爿 厂1 = l0 i 一1 l 1 6 第二章系统主要函数阐述 公式( 2 - 1 5 ) 公式( 2 1 6 ) 1j o o 算 。 则 n一 交 牡 晦 g 盯b 1illu l o 一 2 o 乞 门刘 o o 0 天津大学硕士学位论文第三章s n a k e 模型原理 3 1 引言 第三章s n a k e 模型原理 众所周知，图像分割和边界提取对于图像理解、图像分析、模式识别、计算 机视觉等具有非常重要的意义。目前，这方面有很多成熟的算法，例如用边界梯 度算子或者形态学算子等来进行图像分割和边界提取，而活动轮廓模型( a c t i v e c o n t o u rm o d e l ) 的提出则是这一领域的一个重大突破。由于其具有计算的高效性、 简单性及特别适用于建模以及提取任意形状的变形轮廓等优点，因此，近2 0 年 来，活动轮廓模型在边缘检测、医学图像分割以及运动跟踪中已经有了广泛的应 用和很大的发展，目前也是计算机视觉领域最活跃的研究主题之一【2 5 1 。 传统轮廓提取方法通常是首先计算图像的梯度，提取出具有较大梯度值的像 素点作为边缘点，然后依据某种跟踪准则将边缘点连接成目标轮廓线；而s n a k e 模型采用另外的策略进行轮廓提取，一开始即建立一个连续光滑的闭合轮廓曲 线，将此曲线设置在感兴趣目标轮廓附近，在某种图像力场的作用下将此轮廓曲 线定位到图像中具有较大梯度值的区域，轮廓曲线的最终位置将是对模型相关能 量函数最小化的结果。s n a k e 模型的独特性在于：它可以通过综合利用从图像数 据中得到的限制( 自底向上) 和各种先验知识( 自上向下) ，把几何、估计理论、高 层知识约束联系起来，保证提取出的目标轮廓是连续光滑的闭合曲线。 3 2 轮廓提取常用的方法 传统的轮廓提取是在完成边缘检测的基础上，对于感兴趣目标在外轮廓上进 行初步的表述。传统轮廓提取对检测出的边缘点按照一定的准则进行跟踪，进一 步将同属于一个目标轮廓的接成轮廓线。在确定轮廓点之后，为进一步的图像分 析、等任务做准备，需要进行相应的轮廓跟踪。轮廓跟踪的基本先根据某些严格 的“探测准则”找到目标轮廓上的像素点这些点的某些特性用一定的“跟踪准则” 找出目标轮廓上的目前，边缘轮廓提