皮肤检测及人脸检测调研报告.doc

大连交通大学信息工程学院2011届本科生毕业设计（论文）实习（调研）报告大连交通大学信息工程学院毕业设计(论文)调研报告专 业 信息工程 学生姓名 班 级 指导教师 张 燕 职 称 所在单位 教研室主任 完成日期 2015年 月 日5调研报告1 课题来源及意义 数字图象处理技术是20世纪60年代发展起来的一门新兴科学。近40年来，由于大规模集成电路和计算机技术的迅速发展，离散数学的不断突破，以及军事，医学等方面应用需求的不断增长，数字图象处理的理论和方法发展迅速，图像处理技术不断完善。许多有识之士指出，从某种意义上讲，数字图像处理是实现智能计算机，智能机器人或多媒体通信系统的基础，未来计算机及智能机器人的发展与进步，将在一定程度上依赖于机器视觉信息处理理论和技术的突破。目前数字图像处理技术已在工程科学，计算机科学，信息科学，遥感遥测，采矿，地质勘探，工业探伤，自动控制，机器人，军事，公安，生物学，医学，视频，多媒体，统计学甚至社会科学等领域得到了广泛应用。数字图像处理技术的发展，影响之深是不可估量的1。随着计算机媒体信息处理能力的增强，视觉交互界面VBI(Vision Based Interface)已成为“以用户为中心”的新一代人机交互方式的核心之一，它涉及到人脸检测、人体跟踪、手势识别、表情分析等关键技术，包括对图像或视频中的颜色、形状、纹理、运动等视觉特征的提取。其中，肤色特征是一类计算快速且相对稳定的识别线索，它不受检测对象在方向和大小上的影响，对用户姿态、表情变化的敏感度低，适合实时的交互计算，因此有效的肤色建模是视觉交互技术中的重要环节7。皮肤检测是人脸检测与识别,表情识别，手势识别，人体检测等计算机视觉任务的重要组成部分，更是图像与视频索引，色情图像检测的关键步骤，广泛用于人机交互接口，访问控制，视频监控以及互联网敏感内容过滤等领域6。目前应用最热门的三个领域是身份认证与安全防护；媒体与娱乐；图像搜索。基于颜色的皮肤检测具有简单，快速，直观，不受物体形状变化及视点改变等影响的优势，受收到研究者的普遍重视，具有重要的理论研究意义和应用价值3。在静态图像中的肤色检测技术中，颜色空间的选择和肤色建模的方法是肤色检测的关键问题4。2 课题国内外发展状况2.1 肤色检测的研究现状目前，许多国家都展开了人脸检测的研究，主要是美国，欧洲国家，日本，新加坡，韩国等，著名的研究机构有美国MIT的MEDIA lab,A lab,CMU的Human-Computer Interface Institute, Microsoft Research,英国的Department of Engineering in University of Cambridge等。国内开展人脸检测研究的主要单位有清华大学，哈尔滨工业大学，北京工业大学，中科院计算所，中科院自动化所，复旦大学，南京理工大学等，都取得了一定的成果。综合有关文献，目前的方法主要集中在几个方面。例如：模板匹配，基于器官特征的方法，示例学习，神经网络，基于隐马尔可夫模型的方法，基于彩色信息的方法，形状分析，频域中的特征提取，多模态信息融合和基于AdaBoost的方法。肤色建模的相关研究工作，大致可以分为四类方法：非参数化的分布建模、参数化的分布建模、肤色区域的显式定义和基于机器学习的方法。非参数化的肤色建模技术采用了离散直方图或其变种形式来表示模型，需要大量的存储空问，且无法对训练集进行插值或泛化操作，并不适用于视觉交互应用；参数化方法假设了肤色像素在空间中符合某种形态的概率分布并以精简的参数化模型来表示，如单高斯模型、混合高斯模型8、椭圆模型12等，研究结果显示了不同颜色空问下的模型性能存在着较大的差异9；肤色区域显式定义法则以一组规则或多阈值的形式直接定义肤色聚簇在颜色空间中的闭包边界，避免了肤色分布概率的计算，简单、高效，但该类模型大多通过经验观察，由先验知识描述而来，因此要获得较高的识别率，找到最佳的特征空间和足够鲁棒的判定规则是一大难点；作为典型的二值分类问题，MIP多层感知器、SOM 自组织映射图、BN贝叶斯网络等机器学习方法也被广泛地用于构建肤色分类器，如Chen和Chiang10在CIE-nxy空间中训练了一个3层向前反馈神经网络，Karlekar和Desai、Phung在CbCr颜色空间中采用MIP进行肤色分类，机器学习方法能够克服经验规则构造的健壮性不足等问题，但受到参数设定以及学习算法的泛化性等方面的制约。此外，现有的肤色建模研究工作主要面向图像检索、图像过滤等互联网应用11和访问监控、人脸检测 等视频应用12。而VBI应用大多发生在室内场景，但目前尚缺乏面向室内视觉人机交互的肤色研究。近年来在人脸检测中讨论较多的Cascade Aadabootst方法.在不降低现有人脸检测方法的检测率的情况下，在速率上取得重大突破，使得实时人脸检测成为可能。然而实验发现，在进行以检索为目标的视频人脸检测时，单纯试用CA的不足之处也是很明显的。例如人脸外包矩形不够准确，参数不够稳定，复杂背景下报误率高等。因而综合其它线索来辅助检测是非常有必要的4。2.2 肤色检测中比较难解决的问题、丞待解决的问题肤色检测是一个复杂的具有挑战性的模式检测问题，其主要的难点有两方面，一方面是由于人脸内在的变化所引起：（1）人脸具有相当复杂的细节变化，不同的外貌如脸形、肤色等，不同的表情如眼、嘴的开与闭等；（2）人脸的遮挡，如眼镜、头发和头部饰物以及其他外部物体等；另外一方面由于外在条件变化所引起：（1）由于成像角度的不同造成人脸的多姿态，如平面内旋转、深度旋转以及上下旋转，其中深度旋转影响较大；（2）光照的影响，如图像中的亮度、对比度的变化和阴影等。（3）图像的成像条件，如摄像设备的焦距、成像距离，图像获得的途径等等。这些困难都为解决人脸问题造成了难度。如果能找到一些相关的算法并能在应用过程中达到实时，将为成功构造出具有实际应用价值的人脸检测与跟踪系统提供保证。3 本课题研究内容和研究方法在人脸检测领域中，人脸特征的选取是基础与核心。目前主要的人脸检测方法可以分为基于特征的方法和基于统计的方法两大类。基于特征的方法可以处理较大尺度和视角变化的人脸检测问题，但其最大的困难在于很难找到相对稳定的特征，因为图像的显示特征容易受到光照、噪声等的影响；基于统计的方法可以避免特征提取和分析过程，但存在计算量大，以及非人脸样本收集和样本训练难的问题。本课题研究了HSI空间的肤色统计模型。此模型使用的方法对基于肤色分割结合模板匹配的人脸检测方法进行了改进，提出了基于“光照预处理+肤色模型+模板匹配”的人脸检测解决思路，即在光照预处理的前提下，使用HSI空间的肤色统计模型分隔出可能包含人脸的区域，然后使用平均脸模板匹配和人工神经网络验证的方法在这些区域中搜索人脸5。根据肤色模型进行肤色检测和阈值分割，在对分割区域特征分析的基础上，将筛选出的人脸候选区域与人脸模板相匹配；最后将匹配较好的区域在原图像中用矩形框标示出来。3.1 颜色模型的选取一般说来，色调和饱和度相对亮度来说，是相互独立的。在不同的光照条件下，虽然物体颜色的亮度会产生很大的差异，但是它的色度在很大范围内具有恒常性，基本保持不变。建立肤色模型需要使用大量包含不同肤色、不同大小人脸的RGB图像。本课题将读入一幅RGB颜色空间的图像，并把它转换成HSI颜色空间的图像，截取几块肤色区域，计算出的H,S参数，建立在此特定场景下的肤色模型。3.2 模板匹配模板匹配就是将预先建立的人脸模板与筛选出来的人脸候选区域进行相关性匹配。匹配时，首先根据候选区域的大小、质心坐标和方向角度调整人脸模板的尺寸、方向和位置，然后才进行匹配。预先建立的人脸模板如图3所示。图1 人脸模板首先用16个不同的人脸灰度图像计算得到一张平均脸，然后从中分割出人脸的主要部分，作为实验中使用的人脸模板2。模板匹配常用的一种测度为模板与原图像对应区域的误差平方和。确定这个值的一种方法便是使用归一化互相关系数(以下简称相关系数)。两个图像矩阵的相关性匹配通过计下列算式得到：3.3 肤色模型的选取人脸的肤色不依赖于面部的其他特征，对于人脸姿态和表情的变化不敏感，具有较好的稳定性，而且明显区别于大多数背景物体的颜色。大量实验证明，不同肤色的人脸对应的色调是比较一致的，其区别主要在于灰度。人脸的肤色特征主要通过肤色模型来描述。肤色模型是在一定色彩空间描述肤色分布规律的数学模型。本文选用备受青睐的高斯模型2。4 进度计划日期计划完成内容第1周填写进度计划与考核表第2周撰写调研报告第3周撰写外文翻译第4周了解皮肤建模的方法第5周掌握室内光照条件下皮肤建模方法第6周实现皮肤建模算法第7周实现室内光照条件下皮肤建模算法第8周调试程序第9周检验算法实用性第10周撰写论文第11周撰写论文第12周提交毕业论文第13周修改评阅论文第14周论文答辩5 参考文献1 陈天华.数字图像处理M.北京：清华大学出版社.2007.62 李智勇.田贞. 基于肤色模型的人脸检测研究J.现代电子技术.20113 徐战武.静态图像肤色检测研究J.计算机辅助设计与图形学学报.20004 Paul VialoMichael Jones. “Rapid Object Detection using a Boosted Cascade of simple Features”J.COMPUTER VISION AND PATTERN RECOGNITION .20015 黄福珍.苏剑波.人脸检测M.上海交通大学出版社.20066 Hang Z.Faugeras O D.Three-dimensional motion computation and object segmentation in a long sequence of stereo frames J.International Journal on Computer Vision (IJCV).19927 刘婧.孙正兴.面向视觉交互的室内肤色建模研究J.计算机科学.20088 YangM.AhujaN.Gaussian mixture model for human skin color and its Confont Storage and Retrieval for Image and Video DataJ.AutoencoderNN bases Proceedings of the International Conferenceon Imagin.20079 LeeJY. YooSIAne lliptical boundary model for skin coloredScienceJ.Systems and Technology .2