人脸特征点定位及其应用.ppt

人脸特征点定位及其应用,姓名：沈育平学号：PB99011073导师：董兰芳,二四年六月,整体介绍,主要内容：当前常用的特征点定位方法，主要介绍AAM。提出在人脸特征定位中基于肤色信息的AAM模型的改进方法。介绍一个肖像画生成系统的设计及实现。人脸特征点定位的概念,人脸特征点定位及其应用沈育平PB99011073,常用的几种特征点定位算法,基于灰度及其变化信息基于可变形模板基于神经网络基于ActiveContourModel（Snake，主动轮廓模型）基于ActiveShapeModel（ASM，主动形状模型）基于ActiveAppearanceModel（AAM，主动表观模型）,由于人脸特征复杂性，及图像的多变性，目前仍然没有一个通用的方法,基于AAM(ActiveAppearanceModel)模型AAM模型,常用的几种特征点定位方法,由控制参数矢量c控制形状和纹理的变化，调节c可以得到不同的形状和脸部纹理，从而合成不同的人脸,调节c可以合成不同的人脸,形状,脸部纹理,轮廓变化模式矩阵,脸部纹理变化模式矩阵,精细定位,粗略定位,常用的几种特征点定位方法,AAM搜索过程,原图像,得到粗略定位,不断调整C，使合成人脸的灰度与图像灰度差达到最小值,得到精细定位,由计算公式可得各特征点的位置,对每一个比例、位置、旋转角度进行迭代搜索,常用的几种特征点定位方法,AAM搜索时间分析,85.1%,14.9%,有很大的改进空间,基于肤色信息的AAM改进方法,肤色模型,人脸特征点定位及其应用沈育平PB99011073,采用YCrCb彩色空间进行分析Y反映的是图像的明度，故只Cr,Cb分量分析可以不受图像的亮度影响。,肤色像素在Cr-Cb空间中的分布相对很集中，可以用Gauss分布来描述,高斯分布,基于肤色信息的AAM改进方法,人脸特征点定位及其应用沈育平PB99011073,肤色模型所考察的像素和肤色的相似度：象素的矢量与高斯分布中心的距离,基于肤色信息的AAM改进方法,人脸特征点定位及其应用沈育平PB99011073,计算相似度,AAM改进方法AAM的缺陷对彩色图像进行特征点定位时无疑忽略了色彩信息的作用，可以充分利用肤色信息，使搜索过程加速。一种基于肤色模型的人眼定位方法眼睛在二值图像中的双孔结构,基于肤色信息的AAM改进方法,人脸特征点定位及其应用沈育平PB99011073,AAM改进方法基于肤色模型的人眼定位方法,基于肤色信息的AAM改进方法,计算相似度,使用自动阈值分割算法进行二值化,对二值图进行去噪音处理，就是在以每一个肤色象素为中心的5*5邻域内统计肤色象素的个数，超过半数时中心点保肤色,AAM改进方法基于肤色模型的人眼定位方法,基于肤色信息的AAM改进方法,人脸特征点定位及其应用沈育平PB99011073,对二值图进行腐蚀运算，去掉各区域之间的细连线,用边缘跟踪算法跟踪各区域的轮廓,对所有区域的轮廓进行种子填充，得到“掩盖图”,将二值图与“掩盖图”求异或，即可得到二值图中的所有孔,基于肤色信息的AAM改进方法,AAM改进方法基于肤色模型的人眼定位方法,人脸特征点定位及其应用沈育平PB99011073,获取候选眼，对每个孔进行检测若满足以下条件则为候选眼：1.平均亮度小于802.包围盒大小超过阈值D,获取候选眼对，将候选眼两两配对若符合下列条件，则为候选眼对：1.两包围盒不相交2.两包围盒中心连线斜率不超过阈值3.两包围盒大小不超过一定范围,对每个候选眼对进行模板匹配，计算平均眼对灰度与候选眼对所在区域灰度的相似度,AAM改进方法改进：确定眼睛位置后，根据五官位置分布的规律性，可以由此确定人脸的位置及方向，从而为AAM模型的搜索提供一个较好的初始位置和大小，并且可以缩小搜索窗口，从而减少AAM的搜索时间,基于肤色信息的AAM改进方法,人脸特征点定位及其应用沈育平PB99011073,AAM改进方法,基于肤色信息的AAM改进方法,用基于脸色信息的人眼定位方法确定人眼,根据眼睛和脸部区域的关系获得脸部区域范围，缩小搜索窗口,根据人眼位置确定AAM模型的初始搜索姿态,使用AAM搜索算法，得到特征点精确定位,人脸特征点定位及其应用沈育平PB99011073,基于肤色信息的AAM改进方法,性能比较,人脸特征点定位及其应用沈育平PB99011073,系统结构,人物肖像画自动生成系统,人脸特征点定位及其应用沈育平PB99011073,开发工具：VisualC+6.0，AAM-API,脸部器官处理过程,人物肖像画自动生成系统,人脸特征点定位及其应用沈育平PB99011073,头发的提取过程,人物肖像画自动生成系统,肖像画的合成及显示,人物肖像画自动生成系统,人脸特征点定位及其应用沈育平PB99011073,系统运行界面,系统结果,人物肖像画自动生成系统,系统存在的一些问题和待改进的地方：,系统分析总结从系统的结果来看，对于大多数人脸图像，都可以得到相应的肖像图,人物肖像画自动生成系统,系统对头发的处理并没有考虑头发被分割成若干区域的情况。,系统没有对耳朵进行处理,头发边界的处理太过粗糙，常出现锯齿状边缘。针对这种情况可以使用S