文献阅读----人脸美丽吸引力的特征分析与机器学习

1、摘要：美丽是什么?人脸是否有客观存在的客观的美丽密码？是我们需要研究的问题。针对人脸美丽吸引力的机器学习与图像分析这一新课题,期望能对人脸美丽密码这一人类永恒的话题给出科学、客观及可量化的描述，文章主要提出并解决了一下几个问题：1) 研究了人脸美丽吸引力的可学习性问题2) 提出了一种基于图像特征分析及机器学习的人脸美丽吸引力预测模型3) 基于人脸皮肤纹理和人脸美丽之间的关系存在着认知心理学和生物学!医学上的理论基础,本文提出了基于二维 Gabor 纹理特征的人脸美丽吸引力预测方法正文：第一章 绪论1. 什么是美？在认知心理学方面,研究者们推翻了长期以来所认为的美是主观的的论点,大量的实验发现人

2、们对于什么脸是美的存在着高度的一致,这种高度的一致与文化、种族、年龄、性别无关有没有可能也让计算机通过机器学习的手段来获得同样的智能?我们认为这就是人脸美丽吸引力这一概念是否可学习的一个基本问题,这也是本文研究的主要动机之一2. 最终将要实现的目标可以辅助医院进行美容整形,利用检测出的数据与标准美丽模型相对比得到的结果,为整容者给出各部分改进的最佳方案,以利于整容者做出正确的决定,从而消除整容者或整容师个人对美的错误认知所带来的不良后果。研究人脸美丽吸引力的机器学习还可以为数字娱乐、智能感知、人脸图像处理领域提供较有价值的方法和工具，如美丽自动打分、排名系统可以为以脸部吸引作为基本要求的工作筛

3、选出符合要求的申请者,可以为大型社交网站的用户从大量的人脸照片中搜索出美丽的人脸;人脸美丽评价也可给动画!游戏设计人员设计虚拟人提供参照,为数字娱乐或特定行业提供客观的辅助参考数据等等。本文还研究了基于二维 Gabor 纹理特征的人脸美丽吸引力预测方法在传统 Gabor 滤波器的基础上,研究并提出了几种新的表征人脸美丽吸引力的纹理特征提取方法,包括特征点采样 Gabor特征三角中心采样 Gabor 特征等。通过 实验验证了纹理特征对于人脸美丽吸引力预测的重要作用此外,还研究了将纹理特征与几何特征融合,取得了较好的人脸美丽吸引力预测效果文章的主要内容，由国家自然科学基金重点项目基于认知科学的人机

4、交互智能信息处理基础理论的支持第二章 人脸美丽吸引力的的理解与分析综述如何借助当代先进的计算机图像处理及机器学习技术来对人脸美丽进行分析以帮助其它学科探索美丽的本质,以及更进一步,使得计算机也具有象人一样的美丽感知智能,是在模式识别、图像处理及人工智能领域关于人脸研究中继人脸识别、人脸表情识别!性别识别后出现的又一崭新课题心理学家和社会学家在研究中发现人们对美丽的判断存在一致性，无论种族，性别，甚者是通过对婴儿的对比实验。美丽的脸存在共性,且这些共性相对时空稳定是不可否认的,它为人脸美丽的研究提供了认知理论基础。人脸美丽的定量准则：1. 近古典准则2. 黄金比例准则3. 三庭五眼准则（中国古代

5、）基于图像处理和机器学习的人脸吸引力研究办法与步骤：(1)借助图像处理技术对平均性、对称性、性别二态性的研究;(2)用图像处理技术构建美丽人脸;(3)利用机器学习和模式识别技术对人脸美丽进行分类;(4)借助机器学习技术和图像变形计算进行人脸美化1879 年,实验心理学家 Francis Galton 希望从一个特定群体中找出该群体的人特有的脸部特征(如找出罪犯!素食者!军人等群体的人所共有的外貌特征),他将数张人脸肖像采用光学的方法投影到同一张胶片上,并由此得到合成的人脸图像惊讶地发现得到的合成脸要比组成它的人脸都要美观基于人脸图像的美丽吸引力分析预测：类似的人脸美丽预测系统有Eisentha

6、l Y.等学者采用了两套数据集,各含 92 幅人脸正面图像,28 个打分者,打分等级 7 级,在人脸表示上除了采用37 个特征点距离及比率构成的特征矢量外还使用灰度图像像素值本身,两类人脸表示用PCA 降维,使用支持向量机(Support Vector Machine,SVM)标准 kNN (k Nearest Neighbor)和线性回归进行预测,获得与人打分的最高相关系数为 0.65,特征矢量的性能优于灰度图像KAGIAN A.等学者的实验数据是 91 幅女性人脸正面图像,测量了84 个特征点坐标,3486 个特征距离,特征距离的斜率构成 3486 维斜率矢量,采用线性回 LS-SVM (

7、Least Squares Support Vector Machine), 高 斯 回 归 (Gaussian Regression),获得的预测结果与人的打分的相关系数为 0.82GunesH. 等学者请48 个打分者对 215 幅女性图像进行打分,打分量级为 10 级,统计分析发现所打分数围绕平均值有紧密的分布,尤其对于很美和很不美的人脸的打分比较一致,系统采用黄金比例!三庭法等构成的 15 维距离矢量和 13 维比例矢量表示人脸,用 C4.5 分类树等训练分类器,实验显示机器打分的结果类似于人的打分预测打分主要流程：近年来研究的主要特点： (1) 实验采用的数据规模还比较小,大部分研究

8、采用的人脸图像数据只有几十幅到几百幅(2)图像预处理和人脸的检测及特征点的定位从早期的手工检测方法发展到自动检测方法;(3)几何特征是目前学者应用得最多的特征,主要包括特征点坐标、距离、斜率、三角网格边长、连续值、离散值、纹理特征中主要使用色度、饱和度和光滑度、特征脸投影(Eigenface Projections)、轮廓方向直方图(Edge Orientation Histograms,EOH )等特征;(4)分析预测方法主要有 k 近邻(kNN),支持向量机(SVM),C4.5 决策树,多层感知器(MLP)神经网络,核函数密度估计(KDE)、高斯回归等机器学习模型;(5)普遍预测评分等级不

9、是很多,最高的为 10 级,在预测评分等级不多的情况下,预测或分类性能往往还比较好,第三章 人脸美丽吸引力的几何特征研究本文首先基于图灵测试这一著名的人工智能基本原理,提出了人脸美丽吸引力可学习原理和假设;然后我们研究了对人脸美丽吸引力起着重要影响的多种不同的几何特征,并将人脸美丽吸引力描述为一个可定量学习的机器学习问题,应用几种常用的机器学习方法来学习和预测人脸美丽吸引力这一概念在如图 3-2 的人美丽吸引力的机器学习及预测模块框架下,主要需解决如下两个关键问题: 1. 如何对人脸美这一抽象的概念进行可量化的特征表达：几何特征，纹理特征3. 如何利用机器学习理论和方法构建合理的预测模型:回归

10、预测模型,包括传统的线性回归模型、非参数回归预测模型、神经网络非线性回归预测模型以及支持向量机(SVM)回归预测模型回归(或预测)分析方法是统计学及机器学习领域中对数据进行分析的常见方法,回归分析除了期望能对未知观测样本进行预测之外,其初衷还希望探讨数据之间是否有某种特定的模型关系,例如回归分析希望能学习处理观测数据 X 与其回归值(预测值)y 之间关系的模型,其目的在于了解两个或多个变量之间是否相关以及相关的强度面部特征点之间的距离对人脸美丽与否有着重要的影响,对东方女性也是如此作者根据中国古代的三庭五眼论及当代关于女性的审美论,提出了适合描述东方女性特别是中国女性人脸美的距离特征矢量,该特

11、征矢量一共由 17 维分量组成,其中11 个为横向距离特征,6 个为纵向距离特征,特征的示意图和描述如图 3-11 和表 3-6 所示我们称这种特征为 17 维距离特征实验模拟结果：我们将本文提出的三种特征进行了两种简单的组合,分别为组合特征 1(17 维距离特征与三角形面积特征的组合)和组合特征 2(17 维距离特征!特征点 58 特征以及三角面积特征的组合),发现这两个新的组合特征还能进一步提升预测的准确性,组合特征 1 在使用 RBF 核函数的 SVM 预测模型时取得了高达 0.849 的预测相关度;而组合特征 2 在使用多项式核函数的 SVM 预测模型取得了 0.852 的预测相关度,

12、是所有特征中获得的最高的预测相关度这进一步表明本文提出的这三种几何特征是行之有效的可用来预测人脸美丽吸引力的良好特征当然还可以进行别的多种不同的特征组合,但我们在实验中没有发现别的更好的预测性能的特征组合17 维距离特征在所有特征中取得了最高的 Pearson 相关系数(0.832),说明我们根据东方审美观点而设计的 17 维距离特征来分析中国女性人脸的美丽吸引力具有较好的预测性能第四章 基于纹理特征的人脸美丽吸引力分析及预测人脸是以三维立体形式存在的,人们在观看二维人脸照片时,通过明暗变化可以解读到一些三维的信息,另外皮肤也是纹理的重要特征。在本章,我们将提取 Gabor 特征作为表征人脸美

13、的纹理信息。二维 Gabor小波有如下优点:(1)在空域和频域局部化，即对 Gabor 滤波器的方向、频率、带宽及中心频率能够非常容易的调整从而更好地平衡信号在空域和频域中的分辨能力(2)多分辨率及变焦能力，通过选择 Gabor 滤波器不同的频率和方向可以获得多组不同时频域特性的二维 Gabor 小波,在图像变换中每组都能提取图像的某种特征,这样可以从不同的角度来分析图像(3)二维 Gabor 小波对亮度依赖较小,对光照条件的改变不敏感,能容忍图像的微小变化,能提高系统的鲁棒性Gabor特征提取后的预测值与真实值之间的对比第五章 基于平均脸假说的美丽人脸合成及预测我们对每张人脸的 43 个特征

14、点和图片边界处均匀采样的 16 个点共计 59 个点,先建立一个虚拟的大三角形作为初始三角形,保证大三角形包括了待分割的所有点,并使其为初始的分割三角形,然后通过逐点插入建立 D-三角网,最后再移除与初始三角形相连的所有边,最后便得到了这 59 个点的 D-三角网对一幅人脸特征点模板的剖分结果如图 5-8 所示对准流程图：分段仿射变幻：平均脸的合成办法：合成效果：为了验证心理学上关于平均脸是美丽的这一假说,同时也测试我们在前面提出女性人脸美丽吸引力预测算法的有效性,我们利用本文第 4 章所述的融合几何特征及Gabor 纹理特征以及基于支持向量机(SVM)的人脸美丽吸引力预测模型,来对本章实验数

15、据进行美丽吸引力预测表 5-1 给出了对图 5-19 的五幅不同的合成平均脸使用预测算法进行美丽吸引力得到的预测评分第六章 展望与读后总结：一些值得进一步研究的问题包括: 1更大规模、更科学的基础数据库建设:本文用于人脸美丽吸引力研究的数据库只有 100 幅人脸图像,实验数据的规模还比较小，为了深入开展人脸美丽吸引力自动预测的研究工作,迫切需要更科学地建设更大规模的开放数据库,并结合认知心理学领域的专业知识,寻找各种有代表性的人去对数据库进行科学客观的美丽吸引力评分,建立好具有真值(美丽指标)标注的公共数据库,让全世界的感兴趣的同行学者进行研究,也方便比较不同研究方法的性能。2.更细致的人脸合成对比工作。大规模联机比对系统，将给相亲交友网站提供更大的便利。读后总结：机器学习与人工智能的相关知识与我们的生活息息相关。人的精力总是有限的。个人的认知也往往会被感觉所迷惑，机器学习就是利用计算机弥补人类的上述缺点，更好的为人类服