（信号与信息处理专业论文）新生儿疼痛面部表情特征提取与选择方法.pdf

南京邮电大学硕士研究生学位论文 中文摘要 摘要 近年来对新生儿疼痛的研究在世界上引起了广泛的关注。由于新生儿无法对疼痛 进行自我表述，因此提出了各种不同的人工评估方法。其中，面部表情是所有评估工 具都采用的一项测评指标，而且在新生儿面部编码系统( n e o n a t a lf a c i a lc o d i n g s y s t e m ，n f c s ) 中还作为单一的测评指标。但是，人工评估容易受到医护人员的经验 和主观因素影响，因此，开发一种客观、快速、有效的基于面部表情的自动评估系统 具有非常现实的意义。而面部表情的特征提取是该系统的核心，其有效性直接影响到 系统的性能。 本文综合比较了目前各种面部表情特征提取方法的优缺点，提出了一种g a b o r 小 波变换和a d a b o o s t 算法相结合的特征提取和选择方法。主要完成了以下研究工作：( 1 ) 建立了一个包含3 5 0 幅四类不同表情( 安静、哭、轻度疼痛和重度疼痛) 的新生儿面 部图像的数据库；( 2 ) 对经过归一化后的新生儿表情图像进行g a b o r 小波变换，提取 不同尺度，不同方向的特征：( 3 ) 针对g a b o r 特征维数高、冗余大的特点，引入a d a b o o s t 算法降低特征向量的维数，实现特征选择；( 4 ) 最后以s v m s 多类分类器进行验证。 实验结果表明，本文提出的方法结合了g a b o r 特征对于面部表情表情的良好表征能力、 a d a b o o s t 算法的强大特征选择能力以及s v m 在处理小样本、高维数问题中的优势， 相比于p c a 等其他传统特征提取方法，识别率提高了将近1 0 ，得到了预期的效果。 关键词：新生儿疼痛，面部表情，特征提取与选择，g a b o r 小波变换，a d a b o o s t 算 法 南京邮电大学硕士研究生学位论文英文摘要 a b s t r a c t i nr e c e n ty e a r s ，r e s e a r c ho nn e o n a t a lp a i nh a sa r o u s e dw i d e s p r e a dc o n c e mi nt h ew o r l d k i n d so fm a n u a la s s e s s m e n tm e t h o d so fn e o n a t a lp a i nh a v eb e e nd e v e l o p e da st h er e s u l t t h a tn e o n a t e sa r en o ta b l et od e s c r i b et h e i r s u b j e c t i v ee x p e r i e n c e a b o v ea l l ，f a c i a l e x p r e s s i o n sa r eu s e da st h ec r i t e r i ao fa l lt h ea s s e s s m e n tm e t h o d sa n dt h eo n l yo n eo f n e o n a t a lf a c i a lc o d i n g s y s t e m ，n f c s t h e r e f o r e ，d e v e l o p i n ga ni m p e r s o n a l ，f a s ta n d e f f e c t i v ea u t oa s s e s s m e n t s y s t e mo fn e o n a t a lp a i nb a s e do nf a c i a le x p r e s s i o ni sv e r y m e a n i n g f u l i ti sp r o p i t i o u st or e d u c ee v e na v o i dt h es u b j e c t i v ef a c t o r so ft h eo b s e r v e r s f e a t u r ee x t r a c t i o ni st h ec o r eo ff a c i a l e x p r e s s i o nr e c o g n i t i o n ，w h i c hd i r e c t l ya f f e c t st h e s p e e da n dp e r f o r m a n c eo ff a c i a le x p r e s s i o nr e c o g n i t i o ns y s t e m i nt h i sp a p e r , a f t e rs y n t h e s i z e dc o m p a r eo ft h ea d v a n t a g e sa n dd i s a d v a n t a g e so fv a r i o u s e x t r a c t i o nf e a t u r em e t h o d s ，a l ln o v e la p p r o a c hu s i n gg a b o rw a v e l e ta n da d a b o o s ti s p r o p o s e dt oe x t r a c ta n ds e l e c tt h ef e a t u r e so fn e o n a t a lp a i nf a c i a le x p r e s s i o n t h em a i n c o n t r i b u t i o n so ft h i sp a p e ra r ea sf o l l o w s ：( 1 ) ad a t a b a s ei se s t a b l i s h e dw i t h3 5 0 i m a g e so f f o u rk i n d so fd i f f e r e n tn e o n a t a le x p r e s s i o n s ( q u i e t ，c r y , l o w - g r a d ep a i na n d h i g h g r a d ep a i n ) ( 2 ) e x t r a c tt h ef e a t u r e so nd i f f e r e n ts c a l e sa n dd i f f e r e n to r i e n t a t i o n so ft h ep r e p r o c e s s e d f a c i a le x p r e s s i o ni m a g e su s i n gg a b o rt r a n s f o r m ( 3 ) s i n c et h eh i g h d i m e n s i o n a l o a b o r f e a t u r ev e c t o r sa r eq u i t er e d u n d a n t ，a d a b o o s ti si n t r o d u c e da sam e t h o do f f e a t u r e ss e l e c t i o n ( 4 ) a tl a s t ，u s et h es v m st ov e r i f yt h er e s u l t t h ea n a l y s i so fe x p e r i m e n t a lr e s u l t sc o m et o t h ef o l l o w i n gc o n c l u s i o n s ：t h i sa p p r o a c ht a k e st h ea d v a n t a g e so ft h ef a v o r a b l ea b i l i t yo f g a b o rf e a t u r ei nr e p r e s e n t i n ge x p r e s s i o nv a r i a b i l i t y , t h ee f f e c t i v ef u n c t i o no fa ( 1 a b o o s ti n f e a t u r es e l e c t i o n ，a n dt h eh i g hp e r f o r m a n c eo fs v mi nt h es o l u t i o nt os m a l ls a m p l es i z e h i g hd i m e n s i o np r o b l e m s c o m p a r e dw i t hs o m eo t h e rt r a d i t i o n a lw a y so ff e a t u r ee x t r a c t i o n s u c ha sp c a ，t h er e c o g n i t i o nr a t eo ft h i sp a p e ri m p r o v e s10 k e y w o r d s ：n e o n a t a lp a i n ，f a c i a le x p r e s s i o n ，f e a t u r ee x t r a c t i o na n ds e l e c t i o n ，g a b o r w a v e l e tt r a n s f o r m a t i o n ，a d a b o o s t i i 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：牡日期：竺塑业 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 南京邮电大学硕士研究生学位论文 第一章绪论 1 1 研究背景和意义 第一章绪论 8 0 年代中期，很多麻醉师认为新生儿的大脑皮层对疼痛没有感知而不对新生儿手 术进行麻醉。近二十年来，大量证据证实：反复的疼痛刺激对新生儿，尤其对早产儿 和危重儿，将产生一系列近期和远期的不良影响，其中包括急性生理反应和对中枢神 经系统的永久损伤、发育迟缓和情感紊乱等。这将影响他们将来对疼痛的行为反应， 对家庭和社会带来负面影响【。因此，卫生保健机构已经将新生几疼痛管理措施和疼 痛评估工具纳入系统。 临床医学上，自我评估被认为是最可靠的疼痛评估方法。而针对婴儿或者其他缺乏 语言能力的人，提出了各种不同的人工评估方法。在国际上目前常用的评估工具有以下 4 种：早产儿疼痛评分【3 ( p r e m a t u r ei n f a n tp a i np r o f i l e ，p i p p ) 、新生儿疼痛评分 4 j ( n e o n a t a l i n f a n tp a i ns c a l e ，n i p s ) 、c r i e s ( c r y i n g ，r e q u i r e d0 2f o rs 0 2 9 5 ，i n c r e a s e dv i t a l s i g n s ，e x p r e s s i o n ，s l e e p l e s s n e s s ) 量表【5 】、新生儿面部编码系统1 6 1 ( n e o n a t a lf a c i a lc o d i n g s y s t e m ，n f c s ) 。上述4 种评估工具的比较见表1 1 。其中“”表示有此项观测指标；“+ 表示好：u 表示无或未验证。 表卜1 新生儿疼痛评估工具的比较 p i p pn i p sc r i e sn f c s 面部表情 睡眠觉醒状态 生理指标 哭闹 肢体 孕周 测量者间信度 + 内部一致性 + 同期标准效度 + 南京邮电大学硕士研究生学位论文 第一章绪论 结构效度 + 可行性 + 由表1 1 可以看出：面部表情是所有评估工具都采用的一项测评指标，而且在n f c s 中还作为单一的测评指标。因此，开发一种客观、快速、有效的新生儿面部疼痛自动评 估系统有利于减少甚至回避观察者的主观因素。本课题的研究成果在医疗机构的临床应 用中有着潜在的广阔前景，可在各家医院推广应用，为医护人员客观、可靠、有效地评 估疼痛提供科学的依据，以便在临床上及时采取相应的镇痛治疗措施，以减轻新生儿的 疼痛：也可作为研制开发镇痛药物的评估工具及治疗效果的判断标准。而对其中至关重 要的特征提取这个方面的研究更是体现了重大的意义和价值。 目前面部表情表情识别的大多算法采用由k a n a d e 和c o h n 等建立的d f a t - 5 0 4 面部表情数据库作为训练和测试样本，都是针对普通成年人，至今尚未有针对新生儿 面部图像的；采用e k m a n 提出的情感分类方法，定义“高兴、愤怒、厌恶、恐惧、悲 伤、惊奇”六种“典型”的面部表情，至今还未见到有关针对像“疼痛”这种特定的 面部表情的识别算法。所以，本课题的研究在国际上是一项开创性的工作，研究成果 具有自主知识产权。 此外，面部表情分析与识别作为生物特征识别与情感计算领域的一个极富挑战性 的交叉课题，仍有许多问题亟待解决。本课题的研究思想和实现方法对推动和促进生 物电子学、模式识别、情感计算等学科的发展具有重要的理论意义和学术价值。 1 2 研究的主要内容 在目标分类和识别过程中，首先根据被研究的对象产生出一组基本特征，它可以 是计算出来的，也可以是用仪表或传感器测量出来的，这样产生的特征叫做原始特征。 原始特征的数量可能很大，或者说样本处于一个高维空间中，这会给分类器带来沉重 的计算负担。人们时常会陷入的一个误区就是认为获取的特征越多，分类效果就会越 好。事实是通过编入充分多的冗余特征，我们可以使得任意两个模式相似。因此，我 们希望选择或提取的特征应具有以下特点： 1 简约性：在用很少的特征标识目标的条件下，保持信息( 或信息丢失可以控制) ； 2 可分性：来自同一类的不同模式的特征非常接近，而不同类的模式的特征相距 甚远。 3 可靠性：提取具有鲁棒性( r o b u s t ) 的特征，即对噪声或其他干扰不敏感。 2 南京邮电大学硕士研究生学位论文 第一章绪论 这样获取的特征会使分类器的设计变得简单，从而使分类器运行得更快和更加可 靠。 获取特征的方法有两种：特征选择和特征提取。它们的根本任务就是从许多特征 中找出最有效的特征，这里的“有效 指的是能够区分不同的类别。从一组特征中挑 选出一些最有效的特征，以达到降低特征空间维数的目的，这个过程叫做特征选择。 通过映射( 或变换) 的方法可以用低维空间来表示图像，映射后的特征称为二次特征， 它们是原始特征的某种变换( 通常是线性变换或是非线性变换) ，得出数目比原来少的 综合性特征，对原始特征进行变换得到的这些有利于分类、更本质、更少的新特征的 过程称为特征提取( 见图1 1 ) 。经特征选择后的特征保持它们原始的物理意义，而经特 征提取产生的新特征( 比如，原始特征的线性或非线性映射) 则缺乏认知学上的意义。 这些经过特征选择或特征提取获得的特征代替原始输入特征，能够更迅速有效的进行 目标分类和识别。 v。一7 ，7“”l ； i $ ； f ( x )： ，r 孽幺名。，j 。，兹 1 3 目前发展现状 n 特征选择 特征提取 图1 - 1 特征选择与提取示意图 目前大部分有关面部表情的分析主要针对基本表情特征的分析，使用的方法大致 归为两类：基于静态图像( 单一图像) 的方法，这类方法只考虑单帧图像的空间信息和 面部表情的几何结构信息，计算量较小，比较适合实时表情识别；另一类方法是基于 动态图像序列的识别方法，这类方法考虑了表情图像的运动信息，把表情变化的时间 南京邮电大学硕士研究生学位论文第一章绪论 和空间信息结合起来，因此其识别率较高，其计算量较大。 1 3 1 面部表情图像特征分类 一般来说，面部表情图像特征的分类有很多种，如按提取的区域大小可以分为图 像的局部特征和全局特征：按特征在图像上的表现形式分为点特征、线特征和面特征 ( 区域特征) ；文献【。7 】将用于目标图像识别的特征归纳为如下四种： 1 图像的视觉特征【8 1 1 l ：例如，图像的边缘、轮廓、形状、纹理和区域等。它们 的物理意义明确，提取比较容易。 2 图像的统计特征【1 2 1 4 】：例如，灰度直方图特征、矩特征，其中矩特征包括均值、 方差、峰度及嫡特征等，目前，嫡特征作为图像的特征得到了广泛的应用。 3 变换系数特征【1 5 1 6 】：对图像进行各种数学变换，如傅立叶变换、离散余弦变换、 小波变换等，可以将变换后的系数作为图像的一种特征。 4 代数特征 1 7 1 9 】：代数特征反映的是图像的某种属性。由于图像可以表示为矩 阵形式，因此可以对其进行各种代数变换，或者作各种矩阵分解。众所周知的k l 变 换，实际上就是以协方差矩阵的本征矢量为空间基底的一种代数特征抽取。研究表明， 矩阵的奇异值分解也是一种代数特征，因此也可以作为图像特征。 本文以映射为准则，将能够通过线性映射得到的特征称为线形特征；经过非线性 映射得到的特征称为非线性特征。对应的映射称为线性特征提取方法和非线性特征提 取方法。下面本文将利用数学方法对线性特征和非线性特征分别讨论。 1 3 2 线性特征提取发展现状 传统的线性特征提取方法有主分量分析( p r i n c i p l ec o m p o n e n ta n a l y s i s ，p c a ) 、 奇异值分解( s i n g u l a rv a l u ed e c o m p o s i t i o n ，s v d ) t 1 9 1 、投影寻踪( p r o j e c t i o np u r s u i t ， p p l 【2 0 之2 】等。 p c a 方法是统计领域一种常用的线性变换方法，也称k l 变换【1 9 ，2 3 1 。p c a 方法 是一种最小均方意义上的最优变换，它的目标是去除输入随机向量之间的相关性， 以突出原始数据中的隐含特性。其优势在于数据压缩以及对多维数据进行降维。但 p c a 方法在对数据的处理过程中是根据观测数据的协方差矩阵进行计算的，只涉及 到信号数据协方差矩阵，即二阶统计特性，并未考虑到信号数据的高阶统计特性， 4 南京邮电大学硕士研究生学位论文 第一章绪论 所以变换后的数据间仍有可能存在高阶冗余信息，实际上数据的高阶统计特性往往 包含更重要的特征信息。 p c a 方法处理的数据是将图像矩阵转化为图像向量，然后以该图像向量作为 原始特征进行分析。由于图像向量的维数一般很高，因此会给特征提取造成困难。 同时高维特征向量会造成类内散布矩阵奇异性问题，从而造成计算最优鉴别矢量集 的困难。针对上面的问题，l i u 等人提出了一种线性鉴别分析的新思路【2 4 1 ，其基本 思想是利用数字图像矩阵直接构造图像散布矩阵，并在此基础上进行鉴别分析。 y a n g 等人对l i u 的方法进行了改进【2 5 2 6 】并将该方法称为2 d p c a 。 文献【2 7 1 将2 d p c a 进一步推广，提出了基于模块的2 d p c a ，其基本思想是先对 图像矩阵进行分块，将分块得到的子图像矩阵直接用于鉴别分析。由于通过对图像 分块，抽取到每个单元块局部特征，这些局部特征与2 d p c a 方法抽取的全局特征 相比更能反映图像的差异，有利于目标识别。 f i s h e r 线性鉴别【2 5 。2 6 1 是基于样本类别进行整体特征提取的有效方法。它是在使 用p c a 方法进行降维的基础上，考虑到训练样本的类间信息。p c a 的一个主要的 不足之处在于样本类间离散度增大的同时，会导致样本类内离散度增大，而f l d 在 最大化类间距离的同时最小化类内距离。f l d 的基本原理就是找到一个最合适的投 影轴，使各类样本在该轴上投影之间的距离尽可能远，而每一类内的样本的投影尽 可能紧凑，从而使分类效果达到最佳，它是进行图像整体特征提取的有效方法，有 着广泛的应用。 对于传统的f i s h e r 线性鉴别方法，由于图像是用向量表示的一个高维的样本， 识别中不可避免地存在着小样本问题，即每个类别可得到的样本数远小于样本特征 维数，这会导致f i s h e r 准则中类内散度阵和类间散度阵均为奇异阵，因此最优投影 方向的求解存在病态问题。文献【2 b 】中提出的二维f i s h e r 鉴别方法，在一定程度上避 免了小样本问题的影响。 投影寻踪( p r o j e c t i o np u r s u i t ，p p ) 是用来分析和处理高维观测数据，尤其是处理 来自非正态总体的高维数据的一种统计方法。p p 的基本思想是把高维数据投影到1 维子空间上，寻找出能够反映原来高维数据的结构或特征的投影，以达到研究、分 析高维数据的目的。p p 方法的不足之处体现为计算量大和处理非线性能力弱。 文献【2 9 】给出了利用i c a 提取图像特征的方法。作为p c a 的一种延伸，i c a 着 眼于数据间的高阶统计特性，使得变换以后的各分量之间不仅互不相关，而且还尽 5 南京邮电大学硕士研究生学位论文 第一章绪论 可能地统计独立，它是一种新的线性变换技术。虽然，从统计分析的角度看，简单 i c a 和p c a 一样，同属多变量数据分析的线性方法。但与传统的多维信号分析方法 截然不同的是，经i c a 处理得到的各个分量不仅去除了相关性，还是相互统计独立 的，并且是非高斯分布的信号。因此，i c a 能更加全面揭示数据间的本质结构。 1 3 3 非线性特征提取发展现状 一般的降维方法是建立在正态分布这一假设基础上的线性方法，往往不能满足 现实中的需要团】。将传统的降维方法引入核函数，推广到非线性领域。其中典型的 方法包括支持向量机( s v m ) 1 2 3 , 3 0 】、核主成分分析( k p c a ) 【3 1 碰】、核f i s h e r 判别 ( k f l d ) 2 3 , 3 2 3 3 】等。 一般的p c a 方法是寻找某种意义下最优的一系列投影方向，进行的是一组线性 变换，因而只适应解决线性问题。为了使p c a 能够处理非线性问题，文献 2 3 】中引 出一种非线性主成分分析方法一最小窗口p c a 方法( m w p c a ) ，其思路是：首先 将大数据空间问题划分成一系列子数据空间，然后分别建立子数据模型。显然这种 方法本质上是用线性去逼近非线性，因而无法从根本上解决非线性问题。 基于核的p c a ( k p c a ) 方法【3 1 。3 2 1 通过非线性映射实现输入空间到特征空间的转 换，然后对映射后的数据进行线性p c a ，因而具有很强的非线性处理能力。 f i s h e r 线性鉴别分析是基于线性变换得到的线性鉴别特征，线性变换的本质限 制了抽取图像中更具鉴别力的非线性特征，因此f i s h e r 线性鉴别方法不能满足处理 非线性数据的要求，文献【3 3 3 4 1 提出了基于核的f i s h e r 线性鉴别方法，该方法类似于 基于核的p c a 方法，它通过非线性映射，实现输入空间到特征空间的转换，然后对 映射后的数据再进行f i s h e r 线性鉴别，使数据在特征空间中线性可分。 文献1 3 5 】利用神经网络实现特征提取，实质上是利用输入层到隐含层的非线性映 射功能，与其他特征提取方法相比，基于网络的特征提取方法与分类结合在一起， 因此所提取的特征更有针对性。 曲元分析法是d e m a r t i n e s 3 6 】等提出的一种非线性数据降维的映射方法，其最大 特点是无需预先确定输出网络结构，可采用连续输出空间，理论上可逼近任意复杂 的数据结构。c c a 通过将高维数据非线性降维映射到低维空间，能实现高维数据的 降维。 6 南京邮电大学硕士研究生学位论文 第一章绪论 1 4 本文结构安排 针对新生儿( 7 天以内) 面部表情图像，本文实现了一种基于g a b o r 小波变换 与a d a b o o s t 算法结合的表情特征提取和选择方法。主要做了以下工作： ( 1 ) 建立了一个包含3 5 0 幅不同表情( 分为四类：安静，哭，疼痛轻，疼痛重) 的新生儿灰度图像的数据库，并对其进行了预处理。 ( 2 ) 采用不同方向和尺度( 5 个尺度，8 个方向) 的g a b o r 小波滤波器对表情 图像进行变换。 ( 3 ) 变换后的g a b o r 小波特征维度太高，本文进一步提出了利用a d a b o o s t 算 法进行特征选择，大大降低了g a b o r 特征的维数。 ( 4 ) 设计实验，以s v m s 多类分类器的方法进行多类识别，验证实验结果， 证明了本文提出的特征提取方法的有效性。 全文共分七个章节，内容组织如下： 第1 章讨论了本研究课题的背景和意义，概述了国内外面部表情特征提取的研 究现状，提出了本文的主要研究工作和文章结构。 第2 章介绍了特征提取的准则和方法，详细介绍了现有面部表情特征提取的典 型方法并比较了各种方法的优缺点。 第3 章详细介绍了面部表情图像预处理。 第4 章介绍了g a b o r 小波变换以及g a b o r 小波在面部表情特征提取中的应用。 第5 章提出了利用a d a b o o s t 算法对g a b o r 变换后的特征进行降维和进一步选 择。 第6 章设计实验，验证本文提出方法的有效性和可行性。 第7 章全文工作总结，并对进一步的研究工作进行了展望。 7 南京邮电大学硕士研究生学位论文 第二章面部表情特征提取的般方法 第二章面部表情特征提取的一般方法 面部表情特征提取与识别是面部表情识别研究中最为关键的两个问题。面部表情 特征提取又称面部表情描述，是在基于面部表情检测定位、归一化等图像预处理的基 础上进行面部表情各特征提取的过程，也是对面部表情进行特征建模的过程，建立的 特征模型主要用于区分各面部表情之间的差异性，为面部表情识别分类打下基础。 面部表情特征的选择对于识别成功与否起着极其重要的作用，并且直接影响到面 部表情识别的精度。面部表情特征的分类能力、算法复杂度和可实现性是确定特征提 取算法需要考虑的因素，通常，要求所提取的特征是具有很好代表性和面部表情表征 能力的本质特征，这样的特征具有较强的鉴别力和区分度。另外，还要求所提取的特 征处于低维空间，即特征的维数要低，这样可以去除特征间的相关性，且有利于分类 器的设计。由于面部表情是一种没有任何几何意义的多维弹性体，虽然具有固定的结 构和特征分布，如眼睛、鼻子等，但面部表情是极其复杂的，易受表情、光照、图像 质量等众多因素的影响，因此，提取脸部特征的困难较大。面部表情特征提取的任务 就是针对这些干扰因素，提取出具有一定稳定性、不变性、有效性的面部表情特征信 息用于面部表情识别。 2 1 特征提取的准则 通常情况下，特征形成会产生很高的空间维数，需要降低维数以便分类。一种方 式是通过映射( 或变换) 的方法把原始的高维特征向量变换为低维特征向量，新的特 征向量中包含了原始特征向量的信息，这种方法就是特征提取：另一种方式是从一组 原始特征中挑选出一些最有效的特征以达到降低特征空间维数的目的，即从d 个特征 中挑选出d 个( d d ) ，将d j 个特征忽略掉，这种方法称为特征选择。由此可见 特征选择会丢失部分信息，而特征提取力图尽可能地保留原始特征向量的信息。在一 个比较完善的模式识别系统中，明显或隐含地要有特征提取与选择这技术环节，其 通常在对象特征数据采集和分类识别两个环节之间，特征提取与选择品质的优劣极大 8 南京邮电大学硕士研究生学位论文 第二章面部表情特征提取的一般方法 地影响着分类器的设计和性能，它是模式识别三大核心问题之一。 分类识别的正确率取决于对象的表示、训练学习和分类识别算法。从直观上可知， 在特征空间中如果同一类的模式分布比较密集，不同类的模式相距较远，分类识别就 比较容易正确，因此在由实际对象提取特征时就要非常注意这一要求，这将给后继分 类识别环节带来很大的便利。但是由于某些实际的原因，我们提取的特征没有使模式 如上述那样显著地分布，或者所得的特征过多，为了保证所要求的分类识别的正确率 和节省资源，希望依据最少的特征达到所要求的分类识别的正确率。因此，通常在得 到实际对象的若干具体特征之后，再由这些原始特征选择对分类识别最有效、数目最 少的特征，这就是特征提取与选择的任务。从本质上讲我们的目的是使在最小维数特 征空间中异类模式点相距较远( 类间距离较大) ，而同类模式点相距较近( 类内距离较 小) 。在实现上述目标时，往往需要首先制定特征提取与选择的准则，可直接以反映类 内、类间距离的函数作为准则，或直接以误判概率最小作为准则，也可以用类别判决 函数作为准则，还可以构造与误判概率有关的判据来评判特征对分类识别的贡献或者 有效性。 特征提取与选择的基本任务是研究如何从众多特征中求出那些对分类识别最有效 的特征，从而实现特征空间维数的压缩。从模式样本中提取与选择最能有效反映类别 属性的特征的主要原则和方法包括：基于类别可分性判据、最小误判概率准则、f i s h e r 准则函数、判决边界及基于离散k l 变换法提取与选择特征。 2 2 面部表情特征选取的原则 面部表情特征的选取好坏直接影响表情识别的准确率。面部的运动特征、纹理特 征、脸部器官的位移等都是重要的表情识别特征。综合考虑表情特征的重要性和提取 的有效性，确定了面部表情特征选取应该满足以下原则： ( 1 ) 良好的面部时空特性。所选择的特征点不但能够体现面部的运动特征，还要 体现出空域上的典型性，这样的特征才能体现出良好的分类性能。 ( 2 ) 特征提取的简易性和准确性。为了实现计算机准确获取分析所需要的面部表 情特征，那么特征应该满足容易提取的要求。有些特征，如面部的特征点运动信息， 容易发生提取错误，检测时必须注意到这类信息的处理。 9 南京邮电大学硕士研究生学位论文 第二章面部表情特征提取的一般方法 ( 3 ) 特征选择的充分性。为了准确分类面部表情，必须充分选择面部表情特征， 不完备的特征容易发生难以分类的现象。 2 3 典型的面部表情特征提取方法 在面部表情识别系统中，由于所提取的表情特征与特定的识别算法有关，面部表 情特征提取所采用的技术和方法与面部表情识别所采用的技术和方法有着很强的继承 关系。因此，本章将特征提取与面部表情识别放在一起讨论，论述面部表情识别方法 的同时介绍与之相关的特征提取方法，并对目前常用的多种经典方法进行深入地分析 比较，总结现有方法的优势以及存在的技术困难。 2 3 1 基于几何特征的方法 早期的研究者通常采用基于几何特征的识别方法，利用一些简单的面部表情几何 特征和模式识别中的层次聚类思想设计分类器来对面部表情进行识别。基于几何特征 提取法是通过提取面部表情的眼睛、鼻子、嘴巴、下巴等重要特征点的位置、尺度以 及彼此间的比率，将面部表情用一组几何特征矢量表示，识别归结为特征矢量之间的 匹配，基于欧式距离的判决是最常用的识别方法。它对于表情变化比较敏感，已不是 研究的主流，只有同其他方法结合起来才能达到较好的效果。 它具有如下优点： ( 1 ) 符合人类识别面部表情的机理，易于理解； ( 2 ) 对每幅图像只需存储一个特征矢量，存储量小； ( 3 ) 对光照变化不太敏感。 该方法的缺点： ( 1 ) 从图像中提取稳定的特征比较困难，特别是特征受到遮挡时： ( 2 ) 对强烈的表情变化和姿态变化的鲁棒性较差； ( 3 ) 一般几何特征只描述了部件的基本形状与结构关系，忽略了局部细微特征， 造成部分信息丢失，更适合于粗分类。正是这些缺点使该方法逐渐淡出了研究者的视 线，因此，近年来很少有新的发展。 l o 南京邮电大学硕士研究生学位论文第二章面部表情特征提取的一般方法 2 3 2 基于统计的提取方法 基于统计的方法将面部表情图像视为随机向量，从而用一些统计方法来分析面部 表情模式，这类方法有着完备的统计学理论支持，得到了较好的发展。特别是简单有 效的特征脸方法【37 1 ，已经成功的应用于很多面部表情识别系统中，该方法的出现使面 部表情识别精度提高到了一个新水平。下面针对人们目前研究比较多的方法作进一步 的论述。 2 3 2 1 基于特征脸的方法 特征脸方法是由主成分分析( p c a ) 导出的一种面部表情识别和描述技术，是一种常 用的经典面部表情识别方法，而且，该方法为面部表情识别中子空间分析法( s u b s p a c e a n a l y s i s ) 这一主流方向开辟了道路。在特征脸法的基础上，很多改进的面部表情识 别新方法也层出不穷。 主成分分析法( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 3 8 - 3 9 】是基于k l 变换的一种简 单有效的算法，主成分分析法的输入是k 个向量而，而，五构成的样本集，计算其协 方差矩阵，输出是协方差矩阵的前d 个特征值对应的特征向量 ( f = 1 ，2 ，d ) ，q ，口：，也被称为主成分分量。该方法根据样本点在多维模式空间的 位置分布，以样本点在空间中变化最大方向，即方差最大的方向，作为判别矢量来实 现数据的特征提取与数据压缩。主成分分析从可观测的显式变量中提取信息，组成不 可直接观测的隐含变量。其主要原则是使方差最大，以尽可能多的保留原变量所包含 的信息，同时又能用尽可能少的主成分替代原有变量，从而使问题变得简单。 1 9 9 1 年，t u r k 和p e n t l a n d 最早将主成分分析法应用于面部表情识别。利用p c a 进行面部表情识别时，通过k l 变换将表征面部表情的高维向量映射到由若干个特征 向量张成的低维子空间中，每张面部表情图像在该低维子空间上的投影即作为识别特 征，从而实现对面部表情图像的最优解析和重构。如果将子空间对应特征值较大的特 征向量按照图像阵列排列，则可以看出这些正交向量呈现出面部表情的形状，因此这 些正交特征向量也称为特征脸，这些特征向量张成的低维子空间称为“特征脸空间 ， 该方法称为特征脸法。从数学上来说，特征脸就是面部表情图像集的协方差矩阵的特 南京邮电大学硕士研究生学位论文第二章面部表情特征提取的一般方法 征向量，该面部表情图像集中每个面部表情均可以精确的表示为特征脸的线性组合。 特征脸方法的优点与不足： 特征脸方法简单、快速、有效，目前仍然是面部表情识别领域流行的方法之一。 通过对原始图像的k l 变换，完全去掉了图像中的相关性。从压缩能量的角度来看， k l 变换是最优的，它不仅使得从高维空间降到低维空间后的均方误差最小，而且变 换后的低维空间有很好的面部表情表达能力。 然而，该方法在面部表情识别的应用中也存在着一些不足：虽然由特征脸张成的 子空间从最小误差重建意义上是最优的，但这并不是说己经具有了很好的面部表情辨 别能力，该方法与分类任务没有直接的联系，利用该方法得到的特征在一般情况下是 最佳描述特征，而不是最佳分类特征：特征脸方法作为一种图像的统计方法，图像中 所有的像素都被赋予了同等的地位，光照变化、表情变化、视角变化等干扰都会使识 别率严重下降，鲁棒性较差。对k l 变换而言，外在因素带来的图像差异和面部表情 本身带来的差异是不加任何区分的，因此，不管如何选择正交基，也不能根本解决问 题；特征脸方法的本质是抓住了人群的统计特征，该识别方法虽然在统计意义上可达 到最优，但是应该看到这个最优是基于有限样本空间的，不能代表整个事例空间，该 方法只是反映了特定面部表情库的统计特征，不具有广泛性、代表性；由于面部表情 图像库的变更会导致特征脸的变化，因此，该方法不适于面部表情库中面部表情数目 变化较大的情况。另外，在计算过程中，尽管在特征值的选择上也考虑到了运算量， 但是不足以明显的提高该方法的运算速度，还需要做进一步的改进。 2 3 2 2 弹性图匹配 1 9 8 1 年m a l s b u r g 提出一种神经网络模型动态链接结构( d y n a m i cl i n k a r c h i t e c t u r e ，d l a ) ，它既保留了神经元的独立性，又能够很好的表述神经元之间的相 关语义信息，因而对目标对象的局部突变有很好的适应能力。l a d e s 等人【4 0 将其应用于 模式识别领域，提出采用d l a 的方法来识别面部表情。其后，l a u r e r t zw i s k o t 等人【4 1 】 在此基础上又作了改进，他们将面部表情特征上的一些点作为基准点，强调了面部表 情特征处的重要性，这个结构称为弹性图。 总的来讲，弹性图匹配法( e l a s t i cg r a p hm a t c h i n g ，e g m ) 4 1 1 是一种基于动态链接结 1 2 南京邮电大学硕士研究生学位论文第二章面部表情特征提取的一般方法 构的方法。该方法在二维空间中为面部表情建立属性拓扑图( 等距离网格) ，把拓扑图 放置在面部表情上，每一节点均包含特征向量，它记录了面部表情在该顶点位置附 近的分布信息，在面部表情图像上扫描拓扑图结构可以提取相应节点特征矢量。各节 点之间的拓扑连接关系用几何距离来标记，从而构成基于二维拓扑图的面部表情描述。 在进行面部表情识别时，可以同时考虑节点特征矢量的匹配和相对几何位置的匹配。 在待识别面部表情图像上扫描拓扑图结构并提取相应节点特征矢量，把不同位置的拓 扑图和库中面部表情模式的拓扑图之间的距离作为面部表情相似性度量。此外，用一 个能量函数来评价待识别面部表情图像向量场和库中已知面部表情的向量场之间的匹 配程度，即最小能量函数时的匹配。其中，能量函数的定义可参阅文献【4 2 】。 与特征脸方法相比，弹性图匹配法提取了描述面部表情图像的局部特征，保留了 面部表情二维图像空间的相关性信息，而特征脸方法在将图像矩阵排成一维后，丢失 了很多空间相关性信息。另外，当应用特征脸方法向面部表情库中加入新的面部表情 时，需要重新计算特征脸，不能保证己有的特征脸的通用性，而对于弹性图匹配的方 法，则并不需要改变已有的数据，直接加入新的模板数据即可，且模板中只含有面部 表情的重要特征，不要求面部表情图像的特征向量与模板的特征向量有相同的维数。 该方法的主要缺点是计算量较大，处理时间长，必须对每个存储的面部表情计算 其模型图，而且需要存储大量信息，占用很大的和存储空间。 2 3 2 3 人工神经网络 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，a n n ) 研究具有悠久的历史，它是一种以 大量处理单元( 神经元) 为节点，大量处理单元之间实现加权值互联的复杂拓扑结构， 处理单元是人类大脑神经单元的简化，结构上更类似于人脑，是一种更接近人工智能 的信息处理方式。人工神经网络是一个非线性动力学系统，在解决问题的自适应性和 鲁棒性方面表现出极好的特性，其特色在于信息的分布式存储的并行协同处理，具有 非线性特性、良好的容错能力、联想记忆功能以及通过学习获取知识并解决问题的能 力，用以解决复杂模式识别与行为控制问题。 基于神经网络的面部表情识别方法是最近几年比较活跃的一个研究方向，已被应 用于面部表情检测、正面面部表情识别、表情分析等问题，并取得了较好的效果。它 南京邮电大学硕士研究生学位论文 第二章面部表情特征提取的一般方法 将面部表情用灰度图( 二维矩阵) 表征，利用神经网络的学习能力和分类能力进行识别。 利用该方法进行面部表情识别时通常需要考虑两方面的因素：( 1 ) 选择面部表情图像的 哪些参数作为神经网络的输入；( 2 ) 选择何种神经网络。目前，主要有两种输入策略， 第一种是将提取到的特征向量作为输入向量。这些特征向量可以是由几何特征提取的 特征向量，也可以是整体特征提取，如k l 变换后得到的特征向量等。第二种是将面 部表情图像像素直接输入神经网络，输入可以是全局面部表情图像，也可以是经过定 位的局部面部表情组分图像。第一种输入策略可以有效的控制神经网络的规模，提高 神经网络的运行速度，但同时对提取特征的要求较高，提取什么特征以及提取多少特 征才能满足识别的要求很难先验得出。而第二种输入策略对于特征提取的要求降低， 并可以根据样本集自身的群体特性( 方差特征) 来进行特征选择，但同时带来的问题是 网络的规模扩大而造成收敛的缓慢及不稳定，计算量太大。 很多面部表情识别系统都采用了多层感知机作为人工神经网络基本结构，神经元 之间由权值连接，训练过程就是调整权值的过程。最常用的是反向传播 ( b a c k p r o p o g a t i o n ，简称b p ) 算法，c o t t r e l l 等人使用级联b p 神经网络进行面部表情 识别，对部分受损的人像、光照有所变化的人像识别能力较好。l i nsh 等人【4 2 j 提出 了基于概率决策的神经网络( p r o b a b i l i s t i cd e c i s i o n b a s e dn e u r a ln e t w o r k , p d b n n ) 方 法，将神经网络方法和统计方法结合在一起。其主要思想是采用虚拟( 正反例) 样本进 行强化和反强化学习，从而得到较为理想的概率估计结果，并采用模块化的网络结构 加快网络的学习。径向基函数神