动态人脸识别技术与应用研究ppt课件

1、1C A S I P P动态人脸识别技术与应用研究动态人脸识别技术与应用研究 报告人报告人: 徐从东徐从东导导 师师:肖炳甲肖炳甲 研究员研究员罗家融罗家融 研究员研究员2C A S I P P报告主要内容报告主要内容 一、系统概述一、系统概述二、研究现状二、研究现状三、下一步工作三、下一步工作3C A S I P P一、系统概述一、系统概述系统设计为基于动态图像的人脸识别系统，设计本系统的目的是通系统设计为基于动态图像的人脸识别系统，设计本系统的目的是通过前端的摄像头判断某一视野是否有人，如果有人则对其身份进行过前端的摄像头判断某一视野是否有人，如果有人则对其身份进行鉴定鉴定,进而作出一些必

2、要的反应。进而作出一些必要的反应。 4C A S I P P前前端端摄摄像像头头图像采集图像采集人脸检测与分割人脸检测与分割人脸识别人脸识别特征库管理特征库管理人脸特征库人脸特征库一、系统概述一、系统概述5C A S I P P二、研究现状二、研究现状图像采集图像采集图像采集是指将前端摄像头传过来的信号采集为视频和图片。图像采集是指将前端摄像头传过来的信号采集为视频和图片。主要内容：主要内容：（1）采集摄像头传来的视频信号（2）对采集到的视频进行分割与取帧（3）对处理后的视频的再现在Windows操作系统下，采用VFW方法，对数字摄像头进行操作，用VC6.0编程。（已完成）6C A S I P

3、 P二、研究现状二、研究现状根据采集的图像，确定图像中是否有人脸，如果有则确定人根据采集的图像，确定图像中是否有人脸，如果有则确定人脸的位置，并转化成标准大小的人脸图像。此处我们采用基脸的位置，并转化成标准大小的人脸图像。此处我们采用基于皮肤颜色的人脸检测方法。首先在图像中检测人的皮肤，于皮肤颜色的人脸检测方法。首先在图像中检测人的皮肤，确定皮肤的位置，以此作为人脸的候选区域。再在这些候选确定皮肤的位置，以此作为人脸的候选区域。再在这些候选区域中检测脸部特征，进一步确定人脸区域。区域中检测脸部特征，进一步确定人脸区域。 人脸检测与分割人脸检测与分割7C A S I P P二、研究现状二、研究现

4、状人脸检测与分割人脸检测与分割第一步：光线补偿第二步：将RGB图像转化为YCBCR图像第三步：建立皮肤颜色的高斯分布模型第四步：用高斯模型检测出图像中的皮肤区域第五步：求出皮肤区域中皮肤色调的马氏距离图第六步：用主成份分析法确定皮肤区域是否是人脸8C A S I P P二、研究现状二、研究现状人脸检测与分割人脸检测与分割第一步：光线补偿第二步：将RGB图像转化为YCBCR图像目的是减小外界光照的影响9C A S I P P二、研究现状二、研究现状人脸检测与分割人脸检测与分割第三步：建立皮肤颜色的高斯分布模型皮肤颜色服从高斯分布：)()(2/12/11|21)|(ssTsccseskincp（1

5、）收集皮肤图像样本（收集了一些皮肤图像样本）（2）统计计算出皮肤颜色高斯分布的参数10C A S I P P二、研究现状二、研究现状人脸检测与分割人脸检测与分割第三步：建立皮肤颜色的高斯分布模型（2）统计计算出皮肤颜色高斯分布的参数（颜色分量只取CB与CR分量）均值与协方差：njjscn11njTsjsjsccn1)(1111C A S I P P二、研究现状二、研究现状人脸检测与分割人脸检测与分割第四步：用高斯模型检测出图像中的皮肤区域根据上面的高斯模型，可以直接计算出颜色c是皮肤的可能性的概率，也可用从颜色向量c 到均值向量的Mahalanobis距离来度量，计算公式如下：)()()(1s

6、sTssccc12C A S I P P二、研究现状二、研究现状人脸检测与分割人脸检测与分割第四步：用高斯模型检测出图像中的皮肤区域（1）计算图像的马氏距离（2）根据马氏距离确定图像中各点像素是否是皮肤像素（3）对皮肤像素进行膨胀与腐蚀（4）去除假区域（5）确定可能的人脸区域并缩放到标准人脸图像大小。步骤如下：用MATLAB进行编程13C A S I P P二、研究现状二、研究现状人脸检测与分割人脸检测与分割原始图像根据马氏距离确定的皮肤像素14C A S I P P二、研究现状二、研究现状人脸检测与分割人脸检测与分割对皮肤像素进行膨胀与腐蚀去除假区域15C A S I P P二、研究现状二、

7、研究现状人脸检测与分割人脸检测与分割确定的可能人脸区域16C A S I P P二、研究现状二、研究现状人脸检测与分割人脸检测与分割第五步：求出皮肤区域中皮肤色调的马氏距离图（计算方法与前面完全一样）第六步：用主成份分析法确定皮肤区域是否是人脸（与特征脸法类似，此处是用的马氏距离图）17C A S I P P二、研究现状二、研究现状根据前面检测的人脸图像，计算其特征，根据这些特征判断是不是已知的人脸，从而确定人的身份。这些特征可以是具体的，也可是抽象的。 人脸识别人脸识别为了便于计算，可以将人脸图像作为高维空间的一个点或一个向量，将这个高维向量映射到维数较低的向量空间，并用映射空间的向量表示人

8、脸图像，来进行人脸识别。18C A S I P P二、研究现状二、研究现状人脸识别人脸识别特征脸法：在人脸识别中，用主成份分析方法对人脸图像的原始空间进行转换，即构造人脸图像数据集的协方差矩阵，对之进行正交变换，求出协方差矩阵的特征向量，再依据特征值的大小对这些特征向量进行排序，每一个向量表示人脸图像中一个不同数量的变量 ，这些特征向量表示特征的一个集合，它们共同表示一个人脸图像。在人脸识别领域，人们能常称这些特征向量为特征脸 。每一个体人脸图像都可以确切地表示为一组特征脸的线性组合。 19C A S I P P二、研究现状二、研究现状人脸识别人脸识别采用MATLAB进行编程实现，仿真对象是O

9、RL（Olivette Research Lab) 标准人脸库算法训练过程算法训练过程1 构造训练样本集构造训练样本集trainingSet 即从人脸图像目录中读取多个人脸图像到即从人脸图像目录中读取多个人脸图像到trainingSet 中；中；2 计算出所有训练样本的平均脸计算出所有训练样本的平均脸meanImage 和各训练样本相对于平均脸的差和各训练样本相对于平均脸的差值图像值图像differenceImages；3 用特征值分解的方法求差值图像用特征值分解的方法求差值图像differenceImages 的特征值和特征向量的特征值和特征向量Eimage Eval；4 求训练集中的每个差

10、值图像相对于各特征向量上的投影值求训练集中的每个差值图像相对于各特征向量上的投影值xuWeight构成的构成的特征脸向量；特征脸向量；5 计算每一类的平均投影值计算每一类的平均投影值xuAveWeight（对于最近邻法不需要这一步）对于最近邻法不需要这一步）20C A S I P P二、研究现状二、研究现状人脸识别人脸识别算法识别过程算法识别过程1 读取一幅待识别图像读取一幅待识别图像recogniseImage 2 求取该图像相对于平均脸求取该图像相对于平均脸meanImage 差值图像差值图像recDiffIm3 求差值图像求差值图像recDiffIm 在各特征向量上的投影在各特征向量上的

11、投影weight4 求该投影值求该投影值weight构成的向量与各类的构成的向量与各类的xuAveWeight构成的向量之间的欧氏构成的向量之间的欧氏距离距离xuDiffWeight（基于夹角最小法则：该投影值基于夹角最小法则：该投影值weight构成的向量与各训练样本的构成的向量与各训练样本的xuWeight构成的向量之间的夹角余弦构成的向量之间的夹角余弦 ）5 判断与最小的欧氏距离判断与最小的欧氏距离xuDiffWeight则该图像属于该类则该图像属于该类（基于夹角最小法则：判断最小的夹角余弦所对应的训练样本所属类为该图基于夹角最小法则：判断最小的夹角余弦所对应的训练样本所属类为该图像的类别像的类别）21C A S I P P主要包括对皮肤图像库的管理、对已知人脸图像库的管理，对各种学习方法的管理和计算出的人脸各种表征值的管理。人脸特征库管理人脸特征库管理二、研究现状二、研究现状22C A S I P P（