嵌入式环境下实时人脸检测和跟踪技术的研究及应用.doc

浙江大学计算机科学与技术学院硕士学位论文嵌入式环境下实时人脸检测和跟踪技术的研究及应用姓名：嵇存美申请学位级别：硕士专业：计算机系统结构指导教师：卜佳俊;王灿20100301，：，：，：，浙江大学硕士学位论文图口录图目录图典型计算机视觉应用场合。图本文章节结构图图连续两帧原始图像图二值化及形态学处理后的图像图图像在水平方向投影图图像在垂直方向投影图运动前景中肤色检测效果图图和使用的矩形特征。图定义的倾斜矩形特征图积分图计算矩形示意图。图区分度最好的前两个矩形特征图级联强分类器的人脸检测过程图修改前后人脸检测执行时间对比图无肤色检测情况下人脸检测图有肤色检测情况下人脸检测图嵌入式环境下人脸检测效果图图特征点漂移和丢失的情况图人脸跟踪算法框架图图运动检测和肤色检测时间花销。图本文方法和方法执行时间对比图矩形区域计算特征点示意图。图两种跟踪算法执行时间对比（一个人脸情况）图两种跟踪算法执行时间对比（两个人脸情况）图确定人脸区域和特征点图无约束的单人脸跟踪图有约束的单人脸跟踪图无约束的多人脸跟踪图有约束的多人脸跟踪图本文机器人外形图图人脸检测和跟踪系统示意图一图人脸跟踪系统流程图图单人脸情况下人脸跟踪效果图两个人脸情况下人脸跟踪效果图展会机器人示意图浙江人学硕士学位论文表口录表目录表人脸检测问题分类表常用人脸数据库表常用人脸检测测试图像库表修改前后分类器检测率表不同参数条件下检测性能对比表不同参数条件下跟踪的时间性能对比浙江大学研究生学位论文独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得迸姿盔堂或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名：签字日期：年月日学位论文版权使用授权书本学位论文作者完全了解逝鎏态堂有权保留并向国家有关部、或机构送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝姿盘堂可以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后适用本授权书）学位论文作者签名：导师签名：签字日期：年月日签字日期：年月日第章绪论课题研究背景近年来计算机软硬件技术发展迅速，嵌入式系统的运算能力和存储能力得到很大提高，越来越多的嵌入武设备都配置摄像头，可以拍摄实时视频。随着计算视觉和因特网的发展，用机器来模拟实现人类视觉的能力，能够观察理解所拍摄的外界环境，这越来越成为当前研究的热点问题其中一些研究成果己应用于工业领域，给人们带来很大的便利，圉是几种典型应用场合田典型计算机视觉应用场合视觉是人类获取外界信息的主要途径，占人类获取信息总数的一半以上。人胜作为垒身最重要的一部分，所反映的信息在情感表达人与人的交流和交往中有着重要的作用和意义，通过人脸不但可以大致推断出一个人的种族年龄、性别等信息，而且还能判断出对方的性格和当前的情绪，因此与人脸相关的视觉处理分析技术已成为计算机视觉领域持续的研究热点。对人脸进行分析和处理包括人胎辁测和跟踪、人胜识别、表情识别等，其中人脸检测和跟踪是关键宴时人胜桂刺和跟踪技术在智能监控、祝额会议、人机交互等领域有很高的研究价值和广泛的应用前景另一方面，随着科技的发展，机器人技术发展非常迅速。本世纪以来，不但在传统的工业领域发挥着巨大的作用，而且逐渐被广泛应用于军事、医疗、服务、娱乐等领域。机器人技术的发展水平体现一个国家综合实力，世界上许多发达国家如美德、浩、日等都非常重视机器人技术的研究，并将机器人技术作为国浙江大学硕士学位论文第章绪论家未来发展的关键技术，给予大力支持我国机器人技术的研究也受到了国家的高度重视，早在“七五”计划中就已经把机器人技术列入国家重点科研规划内容在国家中长期科学和技术发展规划纲要（）中提到的前沿技术中，智能服务机器人技术被列为我国大力发展的三大先进制造技术之一；另外，个性化的智能机器人和人机交互系统也是信息化技术的研究重点。智能机器人技术代表着机器人未来的发展，人与机器人的智能交互是智能机器人的关键技术。人与机器人的智能交互是指：机器人能够主动感知周围人体的相关信息，并做出反应。通过摄像头获取到视频图像，并把获取的图像信息转化为语义信息，实现自主决策。在人与机器人智能交互的过程中，人脸部信息具有很高的利用价值。利用视觉技术获取人脸部的生物特征具有全自动、非接触性等优点，在人与机器人智能交互领域有着重要的应用和研究价值。研究目的和意义由于人脸检测和跟踪在计算机视觉分析和处理中的重要地位，国内外很多的研究者在该领域开展了广泛的研究，取得了很多的研究成果。但是在实际应用中，人脸表情变化、光照变化、遮挡等复杂情况造成人脸检测和跟踪较为困难，相关问题的研究也使实时人脸检测和跟踪成为当前计算机视觉领域的难点和热点之一随着嵌入式技术的快速发展，嵌入式环境下计算机资源迅速提升，已经具备了处理实时视频信息的能力。嵌入式系统高性能，低功耗、价格便宜等优点，机器人平台大多运行在嵌入式环境下。因此，研究如何在嵌入式环境下实现实时人脸检测和跟踪是实现人与机器人智能交互的关键技术之一在世纪机器人智能化发展的环境下，本文通过研究现有人脸检测和跟踪的算法，结合人与机器人智能交互的需求，提出了嵌入式环境下实时人脸检测和跟踪方法，并通过详细的实验验证方法的有效性本文主要工作本文针对嵌入式环境下实时人脸检测和跟踪问题，通过对现有人脸检测和跟浙江大学硕十学位论文第章绪论踪算法的分析，融合几种算法进行检测和跟踪，有效提高嵌入式环境下人脸检测和跟踪的性能。本文的主要工作如下：）介绍了人脸检测和跟踪技术以及机器人技术的研究现状，结合嵌入式系统工作的特点，介绍了嵌入式环境下实时人脸检测和跟踪技术的当前的研究方向。）提出了一种基于图像序列的运动区域内人脸检测的方法，根据实时视频图像的特点，充分利用运动和肤色等信息来提高人脸检测效率。该算法首先在实时图像序列中提取出运动的前景区域，然后利用肤色检测进一步缩小脸检测搜索区域，最后利用人脸检测算法进行检测）提出了一种改进的金字塔形人脸跟踪方法，在本文的嵌入式平台中实现实时人脸跟踪。该算法利用金字塔形光流法来跟踪人脸，在跟踪过程中，使用肤色和运动信息来减少需计算的区域，提高了算法的实时性。同时，利用距离约束的特征点跟踪方法有效解决特点漂移的现象，当人脸特征点丢失严重时重新校正人脸，提高了人脸跟踪的鲁棒性。）利用上述方法，在本文的机器人平台上实现嵌入式环境下实时人脸检测和跟踪的系统原型，获得了较好的人脸检测和跟踪性能，具有较高的应用价值。本文的组织结构本文内容主要分为六章，具体组织如下：第章为绪论，介绍了课题的背景，研究目的和意义；还包括论文的主要工作和本文的组织结构。第章主要介绍人脸检测和跟踪技术发展现状和相关方法，以及在嵌入式环境下人脸检测和跟踪的研究方向和发展趋势。第章主要介绍了本文在图像序列中运动区域内人脸检测方面的研究工作，浙江大学硕士学位论文第章绪论利用多种信息改进了嵌入式环境下人脸检测的性能。针对本文提出的方法设计了相关实验，并对性能做了必要的分析第章主要介绍了基于改进金字塔形光流的实时跟踪方法，使用距离约束的特征点跟踪方法，在嵌入式环境下获得了较好的时间性能；当人脸特征点丢失严重时，重新校正人脸区域进行跟踪，提高了人脸跟踪的鲁棒性。第章实现了实时人脸检测和跟踪在本文机器人平台上的原型系统，介绍了系统中各个功能模块，对系统进行了相关实验，并对实验结果进行了相应的分析第章主要总结了本文所做的工作，并对下一步工作做出展望本文的文章结构图如图所示。图本文章节结构图浙江大学硕十学位论文第章人脸检测和跟踪技术综述第章人脸检测和跟踪技术综述人脸提供了大量的视觉信息，因此在计算机视觉研究中具有较高的应用和研究价值对人脸进行处理和分析诞生了许多新的研究热点，在智能监控、视频会议、人机交互，图像检索等领域都有广泛的应用前景。人脸研究，主要包括人脸识别、人脸跟踪、姿态估计和表情识别等。最初，人脸研究主要集中在人脸识别领域，随着应用范围的不断扩大，人脸检测和跟踪逐渐发展成为相对独立的研究方向。近年来，嵌入式系统由于价格低廉，功耗低、可适应恶劣的工作环境等优点，嵌入式环境下人脸检测和跟踪的研究和应用已经得到广泛重视。人脸检测技术综述人脸检测（）题以定义为【】：给定任意一幅静止或动态的图像，采用计算机算法判断该图像中是否存在人脸；如果存在，则将人脸从背景中抽取出来，并返回图像中每个人脸的位置和大小。入脸检测问题包含内容十分广泛，从不同的角度可以有多种分类方法【，如表所示。表人脸检测问题分类分类依据类别静止图像（包括如数字化的照动态图像（即视频序列，包括图像图像来源片、数目相机拍摄的图片等）工作台前的人脸序列、保安监类型控录像，影视资料等）颜色信息彩色灰度镜头类型头肩部图像半身全身图像人脸姿态正面（包括端正及倾斜）侧面（包括俯仰、侧面及旋转）图像未知（完全的人脸检测问题，前景单人（是人脸检测问题在已知需判定图像中是否存在人脸，人脸数目人脸数目情况下的特例）人脸的数码以及各个人脸尺寸和位置）图像背景简单背景复杂背景人脸信息处理系统、视频会议或远程教育系统、视觉监控与应用领域跟踪、基于内容的图像与视频检索等待塑兰查兰堡堂垡笙壅翌！童堕丝塑塑堡！堡垫查堡垄根据利用人脸知识的不同，把人脸检测方法分为两类【：基于图像的方法和基于特征的方法。把人脸检测方法分为四类【：基于知识的方法，基于特征的方法，基于模板匹配的方法，基于外观的方法本文按照的分类方法进行介绍和分析。基于知识的方法基于知识的方法是将人脸部各个器官之间的关系编码成通用的规则进行人脸检测，是一种“由上而下”的方法根据人脸区域（眼睛、鼻子和嘴区域）具有的独有的对称性、灰度差异、轮廓等特性，建立若干普遍使用的规则特征之问的相互关系可以通过他们的相对距离和位置来描述。在检测一幅图像时，通过检测输入图像中是否存在满足这些规则的图像块，若存在，则该图像中存在人脸。这类方法的优点是很容易找到一些简单的规则，来描述人脸的特征和特征之间的关系。例如，人脸的轮廓可以简单看成一个近似的椭圆，所以人脸检测可以转化为检测图像中是否有椭圆区域的问题。缺点是很难将人类的先验知识准确地转化为规则，如果制定的规则粒度太详细，则会有较低的检测率；如果制定的规则粒度太粗，则会有较高的错检率。而且，很难将该方法扩展到多姿态下检测人脸，因为很难逐一穷举人脸所有可能出现的情况。这类方法中典型的是杨光正等提出的镶嵌图（）方法【】以及等对镶嵌图方法的改进【。基于特征的方法与基于知识的方法不同，基于特征的方法是通过找到图像中是否存在人脸部的特征，从而判断图像中是否存在人脸。在不同姿势和光照的条件下，人类都可以很轻易的识别出人脸。这说明人脸部位一定存在着一些不变的特质或者特征，比如肤色、纹理信息等。在检测过程中，这类方法中首先搜索这些面部的特征，然后用一种或几种特征构建人脸检测器的模型，来确定待检测区域中是否是人脸区域。这类方法的研究中，研究者利用各种特征进行人脸检测，其中具有代表性的有颜色特征引，纹理（，面部特征【这类方法的缺点在于：在成像过程中，由于拍摄角度，光线、人脸姿势、物体遮挡等缘故，人脸部位的这些特征很浙江人学硕士学位论文第章人脸榆测和跟踪技术综述容易丢失，例如：在使用眼睛或鼻子等特征作为人脸检测器时，在这些部位被遮挡时，会发生该算法失效，检测不到人脸的情况。基于模板匹配的方法这类方法进行人脸检通常可以转化为匹配预先定义的模板的问题。基于模板匹配的方法可以分为使用单一模板和使用多模板的方法。在检测待检测区域是否存在人脸时，计算该图像和模板之间的相似度，根据相应阈值进行判断是否为人脸。这类方法的有点是容易实现，缺点是检测精度不高且计算量很大，在尺度、姿态、形状变化时无法有效处理。这类方法的研究中，典型的有：和等提出模板匹配的方法【】，艾等提出的基于多模板匹配的人脸检测方法【】。基于外观的方法与上一节中的基于模板匹配的方法一样，基于外观的方法也是通过模板匹配的方法来进行人脸检测，但是，这类方法中的“模板”是通过大量的样本图像中学习出来的模板。一般来说，主要利用统计分析和机器学习的方法找出入脸和非人脸图像的不同的特性，这些区别人脸和非人脸的特性被表示成判别模型和判别函数的形式。这类方法的特点是受样本和学习方法影响较大，通过学习过程将样本分为人脸和非人脸两类，利用得到的模型或函数来判别该图像中是否含有人脸。这类方法的研究中，主要有线性子空间方法【，神经网络方法，等其他统计方法皿。人脸跟踪技术综述人脸跟踪是指在视频或图像序列中动态检测出人脸，并确定人脸的运动轨迹、人脸位置和大小的过程。与人脸检测不同的是，视频流和图像序列之间具有较大的相关性。因此，人脸跟踪除了可以利用静止图像的人脸检测方法来进行人脸跟踪，还可以利用图像序列前后帧的相关性来减少当前帧的搜索空闻，大大简化算法的复杂度，提高系统的跟踪性能常用的人脸跟踪方法是将图像序列分为两部分：第一步是人脸检测，利用检测算法确定图像中的人脸位置和大小等信息，浙江大学硕十学位论文第章入脸检测和跟踪技术综述作为后续图像序列的参考；第二步是对后续的图像序列进行人脸跟踪，综合利用肤色，人脸部位器官的结构、运动等信息，快速得到检测结果，从而实现快速可靠的实时人脸跟踪。近年来，随着计算机视觉跟踪算法的不断发展以及计算机性能的不断提高，在某些情况下人脸跟踪已基本可以实现实时效果。根据不同的分类准则，人脸跟踪有不同的分类方法。例如，根据摄像机的状态不同，人脸跟踪可以分为摄像机固定的条件下的人脸跟踪和摄像机运动条件下的人脸跟踪两类。根据颜色信息可以分为彩色图像人脸跟踪和灰度图像人脸跟踪，根据图像背景的不同，可以分为简单背景下人脸跟踪和复杂背景下人脸跟踪针对人脸跟踪复杂的研究课题，国内外研究者提出了很多不同的方法侯志强等将视觉跟踪方法分为四类【，分别是基于特征的方法、基于区域的方法、基于模型的方法和基于变形模板的方法。本文将按照该分类方法简单介绍现有的人脸跟踪方法。基于特征的方法这类方法的主要思想是根据人脸部的特征进行跟踪，也就是说无需知道图像中是否有人脸，只是通过图像中具有的一些不变的特征来进行跟踪。在跟踪过程中，这类方法首先提取一个或多个特征，并根据这些特征对感兴趣的人脸区域进行目标建模，然后对后续图像序列中提取的特征进行匹配如果当前图像中的特征和模板中的特征符合某个相似度算法的阈值，则跟踪成功。在图像序列中利用该方法进行人脸跟踪，一般包括特征提取和特征匹配两个步骤。第一步是选择合适的特征（如特征点或人面部器官，眼睛、鼻子等信息）并提取出来，第二步是在图序列的下一幅图像中提取这些特征，然后对于两者进行匹配或者建立特征模板的方式进行匹配，根据结果判定是否找到目标物体，实现人脸跟踪这类研究方法中具有代表性的有：等提出一种通过加标识点来跟踪视频中的人脸特征点的方法【。段鸿等在首帧中确定搜索特征点，采用改进的（）法对未加标识点的人脸正面视频进行特征点跟踪浙江大学硕十学位论文第章人脸检测和跟踪技术综述【。邢昕等利用形态学运算对人的嘴部位进行跟踪的方法【。这类方法中，由于跟踪的特征点或器官被遮挡将导致跟踪失败。光流跟踪光流法是目前运动图像分析的重要方法之一。最初由和提出，对于连续的两帧图像，由于间隔时间很小，可以假设这两帧图像之间的灰度保持不交，通过对运动物体进行光流分析，能够获得运动目标的运动信息，包括相对速度、目标距离等。到目前为止，各种各样的新算法和改进算法已有几十种。其中算法假设局部领域窗口内的像素具有相同速度向量，通过一阶梯度法求局部最优的方法得到目标点在下一帧图像中的位置，利用方法计算光流的算法是比较常用的特征跟踪的算法。等首先建立模形，用光流法跟踪特征点的方法，开发了摄像鼠标（）方法来帮助残障人士利用嘴部变化操作电脑屏幕【基于区域的方法这类方法的基本思想是首先通过预定义或图像分割获得目标的区域，然后在图像序列中利用该区域内的特征跟踪人脸。在匹配过程中，一般通过计算获取同上一幅图像中目标区域的相关性来判断当前区域是否为跟踪目标的位置，而不是在下一幅图像中寻找和上一幅图像中完全一样的信息。基于区域匹配的跟踪方法可以根据整个目标区域内的单个或多个特征来实现跟踪，比如运动信息、纹理、肤色等。等通过分析颜色直方图的方法分割图像，利用一个鲁棒的似然函数判别的方法提取运动前景的方法，结合的方法实现人脸跟踪【。等使用分块的方法，将目标区域分成的块，然后结合运动估计和匹配子块的方法来跟踪人脸【该算法结合预测算法如卡尔曼滤波等，会获得较好的效果该类方法的优点是：在跟踪目标未被遮挡时跟踪性能较稳定、精度较高；缺点是计算量较大，在目标发生变形或者有遮挡的条件下，容易照成目标丢失的情况浙江大学硕士学位论文第章人脸检测跟踪技术综述基于模形匹配的方法该类方法的基本思想是；首先根据先验知识对输入图像序列中的目标物体建立模型，然后在图像序列中每个窗口都进行模型匹配，从而达到跟踪人脸的目的使用较多的人脸跟踪模型有椭圆模型（根据人脸近视椭圆的特性），肤色模型、纹理模型等其中肤色跟踪模型具有计算简单、跟踪速度快等优点，被广泛应用于人脸跟踪的算法中。比较典型算法有等人提出的结合肤色模型和人脸检测模型的方法实现实时人脸跟踪，适用于人脸无遮挡的情况【。等利用神经网络的方法学习肤色和非肤色的分类器，在空间建立模型并跟踪人脸【基于变形模板的方法这类方法和基于模型的方法的主要不同点是：使用的模板在一定限制条件下是可变性的，通过迭代计算逐渐适应目标物体的变化，从而可以实现复杂背景下物体的跟踪。该类方法中比较经典的是由等提出的活动轮廓模形（），即模型，用于嘴唇的跟踪。等提出利用可变模型的方法【，实现在低像素图像序列中跟踪三维人脸，并结合预测器滤波的方法描述脸部表情变化，获得较好的跟踪鲁棒性。该类方法适用于对形状变化的物体建立模形，利用该方法跟踪人脸可以获得较好的效果，精度较高缺点是计算复杂度高，而且很难处理模型发生拓扑结构变化的情况人脸检测和跟踪技术研究现状和难点目前，许多国内外研究机构对人脸检测和跟踪开展了深入的研究，比较著名的有的、，的等，以及国内的微软亚洲研究院，清华大学，中国科学院计算机技术研究所和中国科学院自动化研究所等单位，都取得了一定的成果。标准组织已经把人脸检测和跟踪纳入其中。随着人脸检测和跟踪技术的研究不断深入，国际上发表的有关论文大幅增加，检索到的文献多达数千篇，（浙江大学硕十学位论文第章人脸榆测和跟踪技术综述）、（）、（）等重要的国际会议每年都有大量相关研究的论文。人脸检测和跟踪技术目前已经开始应用于很多领域，日本本田公司制造的类人型机器人使用了运动和颜色深度信息，利用基于梯度的跟踪器和视频摄像头对目标区域内的人脸进行搜索，其优化了搜索区域，利用级联式人脸检测器对人脸进行动态跟踪。年北京奥运会的部分会场安装了人脸识别系统，将人脸图像作为身份鉴别的一项主要信息。虽然人脸是我们最熟悉的人体的生理特征之一，但是在计算机视觉和模式识别领域，由于人脸结构复杂，变化多样以及复杂背景等因素，这就给计算机正确检测并跟踪带来了很多困难。相关问题的研究使得人脸检测和跟踪成为当前计算机视觉领域的难点和热点之一目前人脸检测和跟踪的难点主要有以下几个方面：）人脸本身差异性，如不同的轮廓、肤色、毛发等；还会有皱纹或者化妆带来的纹理变化。）人脸表情变化会导致人脸外观有很大的变化，如眼晴、嘴巴的开闭，嘴部形状的变化等。）人脸被遮挡的情况，如自己的头发、胡须、眼镜等部位或其他物体的遮挡；另一种情况是拍摄角度导致的。）人脸的多姿态，如平面内旋转或上下旋转等。）成像条件的影响，如光照的差异性（图像的亮度、对比度等），以及相机特性不同（镜头、传感器等）人脸与跟踪评测方法到目前为止，出现了很多适应不同需求的人脸图像数据库，常用人脸数据库如表所示。浙江大学硕士学位论文第章人脸检测和跟踪技术综述表常用人脸数据库数据库名称位置概述最大的人脸数据库之一，美国军方提：供，包括个人在不同表情、不同光照、不同姿态下拍摄的幅人脸图像。包括不同姿态、不同光照条件下的人：脸图像下拍摄的多幅彩色人脸图像：包括个人在不同表情及光照条件：包括多人脸图像，由个人在不同角度和姿态下拍摄组成：包括多幅正面、旋转、俯仰及表情变化条件下的人脸图像：包括个人在表情和姿态变化条件下拍摄的幅图像、，：包括大量不同光照条件下的正面人脸图像：中国人脸数据，包括个人在不同表情、姿态、光照及饰物条件下拍摄的幅图像这些数据库主要用于人脸识别，包括不同的人在不同光照、表情及旋转等条件下拍摄的图片，可作为节中人脸检测方法的训练样本。由于拍摄背景简单，这些人脸库不适合作为人脸检测的测试集，目前比较公认的测试库如表所示。表常用人脸检测测试图像库人脸库名称位置概述：包括、三个数据库，共个不同大小的人脸：包括个人脸，共有幅灰度图像（是测试集的子集）包括幅灰度图像，由个人不同表情、姿态及背景下拍：摄组成：包括幅侧面人脸图像浙江大学硕士学位论文第章人脸检测和跟踪技术综述本文评测人脸检测和跟踪算法的指标主要有：）人脸检测性能，主要包括人脸检测正确率（正确检测出人脸区域）、人脸误检率（把人脸区域检测为非人脸区域）、非人脸误检率（即把非人脸检测为人脸），分别用，办，厶来表示。给定一个数据集，其中所有人脸数目，系统正确检测到的人脸数目为，测试集中所有检测到的窗口数目为。则上述指标可用公式（）、公式（）、公式（）分别表示如下：公式（）办竿公加）工丁公式（）跟踪实时性，主要关注嵌入式平台上人脸跟踪的速度，以适应机器人平台实时跟踪人脸的需求；）跟踪鲁棒性，在人表情变化、头部旋转等条件下跟踪算法的稳定性。本文主要关注保证检测和跟踪正确率的同时，提高人脸检测和跟踪的实时性和跟踪的鲁棒性。嵌入式环境下人脸检测与跟踪当前，嵌入式环境下人脸检测和跟踪的研究和应用主要分为三个方向第一种是利用可编程芯片实现某一种算法，从而实现专有的人脸检测和跟踪的功能。比如，等利用实现硬件人脸检测算法，并对算法进行相应的验证；此外等也从芯片设计的层面阐述了检测芯片的功耗、各个检测单元等是如何考虑的【第二种是在专门的视频芯片上研究人脸检测和跟踪算法第三种是利用通用嵌入式处理器进行一些平台优化和算法移植。后两种主要针对具体的环境下的应用，对人脸检测和跟踪进行改进，从而达到应用的目的。在通用的嵌入式系统上实现人脸检测和跟踪算法，具有较高的应用价值，因此本文将专浙江大学硕十学位论文第章人脸检测和跟踪技术综述注于最后一种研究方向通用嵌入式系统往往处理器能力弱、内存较小、工作环境恶劣等特点，人脸就检测和跟踪技术面临更多的难题：（）如何解决复杂环境和光照下人脸检测和跟踪系统的鲁棒性，能够满足实际应用；（）如何解决人脸检测和跟踪的速度性能，提高系统的实时性。本文将针对通用嵌入式系统的特点，改进现有的人脸检测和跟踪算法，在本文的嵌入式平台上实现实时人脸检测和跟踪。本章小结本章主要介绍了人脸检测的常用方法：基于知识的方法，基于特征的方法，基于模板匹配的方法和基于外观的方法然后介绍了人脸跟踪的常用方法：基于特征的方法、基于区域的方法、基于模型的方法和基于变形模板的方法。最后还介绍了人脸检测和跟踪技术研究现状和评测方法，以及嵌入式环境下人脸检测和跟踪的研究方向。浙江大学硕士学位论文第章图像序列中运动区域内人脸检测第章图像序列中运动区域内人脸检测要在实时视频图像中实现实时人脸检测和跟踪，首要任务是在图像中找到人脸。由于嵌入式系统的处理器能力较弱、内存较小等原因，很难实现实时人脸检测。针对此问题，本章提出的检测方法分为两个部分，第一部分是根据运动信息和肤色信息提取前景；第二部分是在前景区域中利用人脸检测方法得到人脸位置，大小等信息。本文提出的方法有效去除图像中大部分非人脸区域，结合肤色检测和人脸检方法，在保证检测准确性的基础上提高了嵌入式环境下人脸检测的速度图像序列中基于肤色和运动的前景区域提取运动信息是人类世界中重要的视觉信息，人眼对运动物体有高度的敏感性计算机视觉的研究中，运动分析也是一个非常热门的研究课题，在视频编解码、基于内容的图像检索等领域有着广泛的应用运动检测的目的是从图像序列中将运动的前景从背景图像中抽取出来，在本文的图像序列中，我们假设所有的图像都是在摄像头静止的条件下拍摄的。运动区域检测常用的运动检测方法包括背景图像差分法和光流法等。其中，图像差分法又可以分为：当前帧与固定背景之间差分、连续两帧间差分和累积差分三种方法。本文的环境中假设摄像头静止而人体是运动的情况，故选择帧间差分法来检测运动区域。对于摄像头采集的色彩的视频图像，首先对图像序列中两幅连续的图像做灰度图像转化公式（）设分别为（，）和厶（，），则两者的差分图像为堑塾至兰堕主兰垡堡塞翌！兰塑苎壁型！曼塑曼苎！些垫型（，）：。（。，）扛力”公武（）式中，（，），（，）分别表示在，：时刻的图像在（，计点赴灰度值，（，）表示差分结果的二值图像表示每个像素差分的闺值。本文采取的运动检测包括以下几个步骤：）首先利用帧问差分浩，将获取的图像序列中连续两帧图像做差分，如图所示；）对上述得到的差分囝像进行二值化，然后对二值化的图像滤波、去除噪声和形志学处理，如图所示，）利用投影法，对图像，分别在水平方向和垂直方向做投影，如图和图所示，并根据投影得到运动区域确定外接矩形。囤二值化及形盘学赴理后的图像浙江人学硕士学位论文第章图像序列中运动区域内人脸检测图图像在水平方向投影图图像在垂直方向投影连续两帧图像之间时间间隔较短，所以差分图像能稳定而快速的检测出运动物体。但是，运用该方法进行运动前景检测的缺点：（）检测出来的物体位置不精确；（）运动前景中也包括人的躯体部分，可能还会有其他的运动物体或者噪声。所以对运动前景再进行肤色检测是有意义的。浙江人学硕士学位论文第章图像序列中运动区域内人脸检测运动区域中肤色检测肤色信息是入脸部的重要信息，利用肤色特征进行人脸检测的研究也非常多虽然人脸部位的肤色在不同种族之间，不同人之间，甚至同一个人在不同的光照、不同的服饰条件下都有改变，但采集不同性别、不同年龄、不同肤色的人脸图像在颜色空间的分布情况，差异主要存在于亮度而不是色彩上【。而且肤色不依赖于人脸部位的细节信息，对表情变化、人脸旋转等情况都能适用，在大都数情况下人脸肤色和背景物体的颜色区别性较好，具有较快的检测速度和较好稳定性。为提高嵌入式环境下人脸检测的速度，肤色检测要求算法有较好的时问性能和较低的算法复杂度，本文采用等人提出的空间肤色检测的方法【。该方法考虑了亮度信息对肤色检测的影响，把光照环境分成两种情况：强光和一般光照，建立肤色检测模型。该算法简单稳定，可处理不同肤色人种的皮肤，具体算法模型可以表示为：在普通光照条件下，图像中满足如公式（）的像素时，认为是肤色：，。，）公式（）。在强光照条件下，图像中满足如公式（）的像素，认为是肤色：，公式（）【，其中，、分别是图像中每个像素点处对应的分量。在检测的过程中，逐个扫描图像中每个像素点并用上述的模型去判断是否符合。根据上节中得到当前图像的运动区域，在该区域中进行肤色检测，如图所示，然后分别在、轴上投影确定其外接矩形区域，作为下一步处理的前景区域。章目悼月十动内杖测目运动前晕中肤色植测披果囤前景区域中人脸检测人脸检测算法简介和首先提出基于积分图像和算法的人胜拴剥方法“，建立第一个真正意义上的实时人脸捡测系统其主要创新点在于：（）利用矩形特征表示人脸特征，然后用积分图的方浩来计算图像中的矩形特征：（）使用方沾训练人脸检测的分类器：（）利用级联的强分类构成最终分类器。该方法具有速度快、检测率商的优点，在没有引入其他辅助信息的素件下，检测牢和检测速度都达到人脸检领域内最高水平，引起广泛的关注。）积分图计算矩形特征和训练弱分类器时选取四种矩形特征，包括：个一矩彤特征，个一矩彤特征和个矩形特征，如图所示。对于这四种矩形特征分别进行多尺度的组合，从而得到大量的矩形特征，每个矩形特征的值可以通过所有白色矩形的灰度值减去所有黑色矩形的灰度值得到浙江大学硕士学位论文第章图像序列中运动区域内人脸检测图和使用的矩形特征和利用四种矩形特征训练人脸检测器，只能用来检测无旋转的正面人脸。对此进行了扩展，在训练人脸的矩形特征中增加了倾斜特征的定义（如图所示），可用来检测倾斜的正面人脸。图定义的倾斜矩形特征在一个像素的图像中，矩形特征的个数远超过图像像素的总和。为了加快计算速度，利用积分图的方法在多尺度下，快速计算图像中的矩形特征，对于图像内某一个点（，），定义其积分图为（，）地。，）公式（），。公式（）中，积分图（，）代表所有在点（，少）左上方点的灰度值的和，（，）是图像中所有（，）左上方的点灰度值。图像中所有像素点的积分图可以通过以下的公式（）和公式（）迭代计算。浙江大学硕士学位论文第章图像序列中运动区域内人脸检测（，）（一，）（，）公式（）（，）（，）（，）公式（）其中，（，）是点（，）所在的分量上所有图像像素灰度值的和，如图所示图积分图计算矩形示意图按照上述的算法计算出图像中所有像素点的积分图，可以在常数时间内计算出某个矩形特征的像素和，完全扫描图像一次就可以计算出图像中所有的矩形特征的积分图。）算法训练分类器根据上述定义的矩形特征，在一幅图像中矩形特征非常多，这些矩形特征对人脸和非人脸的区分能力有强有弱对于每一个矩形特征，和运用方法训练，选择一个分类最小错误率的弱分类器，并对所有的分类器排序，然后从中选取少数效果最好的弱分类器组成一个强分类器一个弱分类器）可以表示为：十学￥圊镕序动日检测。（誓）。其中，是某个矩形特征，指定阑值，所表示不等式符号算，最终组成一个强分类器最终的强分类墨（）表示为：（，）：岛岛（）；：，公武（）经过坎迭代计公（）其十曲古）级联的强分类器在利用方法训练人脸弱分类器时排名前两位的特征如图所示排名越靠前的特征对人胜和非人脸的区分度越好。围区分虚最好的前两个矩形特征为进一步提高人脸检测的速度，使用级联强分类器级联成为最终分类器方法，进