（通信与信息系统专业论文）基于分数阶傅里叶变换和局部二元模式的笑脸识别.pdf

摘要 摘要 近年来，人脸表情识别由于在人机交互，电脑游戏，视频会议等方面有着 巨大的应用前景而逐渐成为研究的热点。随着科学技术的飞速发展，特别是笑 脸检测相机的商业化使用，表情中重要的笑脸表情也日趋受到广泛关注，那么 如何提高笑脸识别率成为亟待解决的问题。分数阶傅里叶变换( f r a c t i o n a lf o u r i e r t r a n s f o r m , f r f t ) 作为傅里叶变换的广义形式，已经广泛应用于信号检测、参数 估计和图像处理等各个领域，然而在图像处理中的大部分应用研究主要集中在 数字水印和加密方面，在模式识别中涉及较少。人脸表情识别系统一般包括人 脸检测、特征提取和特征分类这三个步骤，其中特征提取包含特征降维。本文 主要研究分数阶傅里叶变换作为特征提取方法在笑脸识别系统中的性能。具体 的研究工作包括： i 介绍了表情识别系统中主要的技术方法，对分数阶傅里叶变换的基本定 义、性质以及现有离散算法的特点优势做了相关分析，重点列出了o z a k t a s 等人 提出的实用的量纲归一化算法。由于本文研究的对象是二维的图像，需要将一 维的分数阶f o u r i e r 变换推广至二维的分数阶f o u r i e r 变换，所以对其相关的算法 步骤和性质也进行了说明。 2 构建了基于分数阶f o u r i e r 变换的笑脸识别模型，定义了笑脸识别率和总 识别率来统计仿真结果。由于分数阶f o u r i e r 变换的结果是复值信息，所以本文 将其相位、幅度和复值信息分别作为特征提取的方法，并同广泛应用于图像识 别中g a b o r 特征提取方法做比较，同时对a d a b o o s t 分类算法的相关理论知识和 实现步骤进行了详细说明；并在同一数据库上进行了实验仿真，最后从计算复 杂度和识别效果两方面对仿真结果进行比较分析。 3 由于二维图像的高维数，要想提高系统的实时性，特征降维是其必然步骤， 而表情识别系统的几个步骤相互联系相互影响，所以需要采用合适的降维方法 以及分类判别准则与特征提取方法相适应。本文以常用的降维方法离散余弦变 换和局部二元模式方法作比较，采用距离分类器和a d a b o o s t 分类器分别对其进 行仿真比较，分别从计算复杂度和识别效果两方面来讨论分数阶f o u r i e r 变换和 局部二元模式算法结合的有效性。 摘要 一一 关键词：人脸表情识别；分数阶f o u r i e r 变换；特征提取；g a b o r 黼：a d a b o o s t 算法；局部二元模式；离散余弦变换； a b s t r a c t a b s t r a c t i nr e c e n ty e a r s ，w i t ht h eg r e a ta p p l i c a t i o no ff a c ee x p r e s s i o nr e c o g n i t i o ni nt h e h u m a n c o m p u t e ri n t e r a c t i o n ，c o m p u t e rg a m e sa n dv i d e oc o n f e r e n c e ，e ta l , e x p r e s s i o n r e c o g n i t i o nh a sg r a d u a l l yb e c o m et h er e s e a r c hf o c u s b e s i d e s ，w i t ht h e s c i e n t i f i c r a p i dp r o g r e s s ，e s p e c i a l l yt h ec o m m e r c i a lu s eo fs m i l ed e t e c t i o nc a m e r a s ，s m i l i n g f a c ea sa ni m p o r t a n te x p r e s s i o ni nt h ef a c i a le x p r e s s i o nh a sr e c e i v e de x t e n s i v e c o n c e r n ，s oh o wt oi m p r o v er e c o g n i z i n gs m i l ee m o t i o nb e c o m es e r i o u sp r o b l e m s f r a c t i o n a lf o u r i e rt r a n s f o r m ( f r f t ) a st h eg e n e r a l i z e df o r mo f t h ef o u r i e rt r a n s f o r m ， h a v eb e e nw i d e l yu s e di ns i g n a ld e t e c t i o n , p a r a m e t e re s t i m a t i o n , p h a s er e c o v e r y , i m a g ep r o c e s s i n ga n ds oo n m o s to ft h ea p p l i c a t i o ni ni m a g ep r o c e s s i n gr e s e a r c h f o c u s e so nt h ed i g i t a lw a t e r m a r ka n de n c r y p t i o na r e a s ，w h i l el e s si n v o l v e di np a t t e r n r e c o g n i t i o n g e n e r a l l y , f a c ee x p r e s s i o nr e c o g n i t i o ns y s t e mh a st h r e es t e p si n c l u d i n g f a c ed e t e c t i o n ，f e a t u r ee x t r a c t i o na n df e a t u r ec l a s s i f i c a t i o n ，w h e r ef e a t u r ee x t r a c t i o n i n c l u d i n gf e a t u r ed i m e n s i o n a l i t y t h em a i nw o r ko ft h i sp a p e ri s v e r i f y i n gt h e e f f e c t i v e n e s so ft h ef r a c t i o n a lf o u r i e rt r a n s f o r ma sf e a t u r ee x t r a c t i o ni ne x p r e s s i o n r e c o g n i t i o n t h es p e c i f i cr e s e a r c hw o r ki nt h i sp a p e ri so r g a n i z e da sf o l l o w s ： 1 i ti n t r o d u c e st h em a i nt e c h n i c a lm e t h o do ft h ee x p r e s s i o nr e c o g n i t i o ns y s t e m , t h eb a s i cd e f m i t i o na n dt h ec h a r a c t e r i s t i c so ff r f t m o r e o v e r , i ta n a l y s i sa d v a n t a g e s o ft h ee x i s t i n gd i s c r e t ea l g o r i t h ma n d 1 i s t sp r a c t i c a ld i m e n s i o nn o r m a l i z e da l g o r i t h m s w h i c hp r o p o s e db yt h eo z a k t a sa n do t h e r s b e c a u s et h er e s e a r c ho b j e c t sa r et w o d i m e n s i o ni m a g e ss ow en e e dt oe x t e n dt h eo n ed i m e n s i o no ff l u 可t ot w o d i m e n s i o n s ，w h i c hi t sr e l e v a n ta l g o r i t h ms t e p sa n dp r o p e r t i e sa r ei l l u s t r a t e di nd e t a i l 2 r e c o g n i z i n g s m i l ee m o t i o nm o d e lb a s e do nt h ef 对呵i sc o n s t r u c t e d ， r e c o g n i z i n gs m i l ee m o t i o nr a t ea n dt o t a lr e c o g n i t i o nr a t e a r ea d o p t e dt oc a l c u l a t e s i m u l a t i o nr e s u l t s d u et ot h er e s u l to ft h ef r f tt r a n s f o r mi sc o m p l e xv a l u e i n f o r m a t i o n , s ot h i sp a p e rl a y se m p h a s i so nt h er e s e a r c ho ft h ef r f rp h a s e , a m p l i t u d ea n dc o m p l e xv a l u ei n f o r m a t i o na sa f e a t u r ee x t r a c t i o nm e t h o dr e s p e c t i v e l y ； s i m u l t a n e o u s l yw ec o m p a r ew i t hg a b o rf i l t e rf e a t u r ew h i c hw i d e l yu s e da n da d m i t t e d 1 1 1 a b s t r a c t i n i m a g e sr e c o g n i t i o n b e s i d e s , i td e s c r i b e sr e l e v a n tt h e o r e t i c a lk n o w l e d g ea n d s p e c i f i cp r o c e s s i n gs t e p so ft h ea d a b o o s tc l a s s i f i c a t i o na l g o r i t h m a tl a s t ，t h e s i m u l a t i o nr e s u l t sc a i c u l a t e do nt h es a m ed a t a b a s ed oac o m p a r a t i v ea n a l y s i st o i l l u s t r a t et h ee f f i c i e n c yo f t h em e t h o dw i t hl o w c o m p u t i n gc o m p l e x i t y 3 d u et oh i g hdi m e n s i o no fi m a g e s ，t h e nf e a t u r ed i m e n s i o nr e d u c t i o ni st h e n e c e s s a r ya e p st oi m p r o v et h er e a l - t i m eo fs y s t e m ，b e c a u s et h r e es t e p so fe x p r e s s i o n r e c o g n i t i o ns y s t e mh a sm u t u a li n f l u e n c eo ne a c ho t h e r ，s ow en e e dt ou s es u i t a b l e d i m e n s i o nr e d u c t i o nm e t h o da n dc l a s s i f l c a t i o nc r i t e r i o nt o a d a p tt h em e t h o do f f e a t u r ee x t r a c t i o n i nt h i sp a p e rt h ec o m m o n l yd i m e n s i o n - r e d u c t i o nm e t h o d sd i s c r e t e c o s i n et r a n s f o r ma n dl o c a lb i n a r yp a t t e r na r eu s e da n ds i m u l a t e dw i t hu s i n gd i s t a n c e c l a s s i f i e ra n da d a b o o s tc l a s s i f i e rr e s p e c t i v e l yt od i s c u s st h ee f f e c t i v e n e s so ff r f t a n dl b pc o m b i n e da l g o r i t h m k e yw o r d s ：h u m a ne x p r e s sr e c o g n i t i o n ；f r a c t i o n a lf o u r i e rt r a n s f o r m ；f e a t u r e e x t r a c t i o n ；g a b o rf i l t e r ；a d a b o o s ta l g o r i t h m ；l o c a lb i n a r yp a t t e r n ；d i s c r e t ec o s i n e t r a n s f o r m ； i v 1 绪沧 1绪论 1 1 研究的背景和意义 早期的自动识别技术如条码技术、磁卡技术给人们的日常生活带来便利； 近年来日益发展成熟的人脸识别技术、指纹技术等已在医疗卫生、安防检查等 各行业中得以广泛应用。随着现代科学技术的发展，人们对人机交互的要求日 益升高，而人们日常生活中极其重要的表情，是人们表达感情的重要途径，在 人们的沟通和交流中起着重要的作用。要使智能机器能够根据周围的环境状态 而自动提供优质的服务，那么它们必须具备人的情感识别能力，进而理解人类 情感，所以表情识别技术的研究至关重要。正因为如此，在过去的几十年里， 人脸表情识别技术日益受到关注而成为模式识别中研究的热点。 人脸表情识别是通过计算机技术，根据人的面部信息，提取能表征人脸表 情的信息并能自动根据提取的特征进行识别分类。旱在7 0 年代，人脸表情的研 究主要集中在心理学和生物学方面，心理学家e k m a n 和f r i s e n 【l 】定义了6 种基本 表情，分别是生气、厌恶、恐惧、悲伤、高兴和惊讶。这一分类的广泛认同为 后续的表情识别技术的研究打下了理论基础，也为本文的笑脸识别提供了基础 研究依据。表情识别的研究在科学研究和社会应用方面都有重要的指导意义和 潜在的应用价值【2 1 。 从科研角度来说，人脸表情识别的研究极大的促进了模式识别，人工智能， 人机交互，计算机视觉，生理学以及心理学等相关学科的发展，人脸表情的相 关问题的深入研究和解决可以极大的促进这些学科的成熟发展。相反，这些学 科的相关发展也可以给表情识别技术提供理论基础。 从社会应用角度上来说，人脸表情识别在医学，教育学，心理学，安全监 控等领域具有潜在的应用价值。人脸表情识别不像人脸识别和车牌识别一样仅 局限于识别阶段，它可以根据表情分类分析人的精神状态和心理活动，所以表 情识别的产品更生活化，智能化。具体应用在以下几个方面： ( 1 ) 可用于医疗服务，根据跟踪患者的面部表情自动分析患者的表情，对患者的 痛苦表情发出警报，以便及时的治疗。 ( 2 ) 可用于远程教育，根据学生的面部表情适时的调节课堂情绪和课程进度，变 1 绪论 换教学模式，这样能大大提高学生的听课效率和提高学生的学习积极性。 ( 3 ) 可用于辨别测谎，利用表情识别技术，对罪犯的表情做出分析，从而判别其 心理状态，利用表情来判断说慌的正确率高达9 5 以上。 ( 4 ) 可应用于安全驾驶，根据司机的表情分析其精神状态，可实时的调节车内的 环境来缓和内心，避免因疲劳或者心情不佳而发生交通事故。 ( 5 ) 可用于电子产品，由索尼和日本欧姆龙公司合作开发的索尼t 2 0 0 相机不仅具 有人脸检测的功能而且具有微笑快门功能，通过监测到人咧嘴笑时嘴巴和眼 睛部位的脸部细微变化信息而自动按下快门拍下，就如同使用傻瓜相机一样 简捷方便。 ( 6 ) 国际商业机器公司( i b m ) 的蓝眼睛计划和情感鼠标，目的是给电脑以人的视 觉，听觉和触觉感受，能够根据分析人们的表情来自动对电脑的桌面进行实 时的变化界面，使用户心情变好；而且可以根据人脸的表情而不是通过敲击 键盘或者点击鼠标来决定操作是否正确。随着人脸表情识别技术的发展，这 些将得到广泛的推广和应用，也将越来越好的为人类服务。 1 2 国内外研究现状 人脸表情识别的研究是近几十年才逐渐发展起来的，主要分为三个阶段， 在1 9 8 5 年以前的表情识别研究主要集中在心理学和生物学上，主要是为了发现 各种表情的机理并且对表情做了合理的分类，为以后的识别技术奠定了基础。 直到末期才有人利用计算机产生人脸动画而进行表情分析，并且用仿生学方法 为面部表情建立了模型。从1 9 8 5 年至1 9 9 5 年期间为第二阶段，随着计算机技 术和模式识别的发展，人脸识别和人脸检测技术有了很大的改进，只有极少数 的研究者尝试着把人脸识别的方法运用于表情识别中，但采用的大多数方法是 神经网络，比较单一，这时期的表情识别的研究成果相对稀少。1 9 9 6 年以后， 人脸表情识别才逐渐成为研究热点，各种方法应有尽有。 基于几何法即通过获取脸上局部的变化特征来进行判别。其中最具代表性 的是p a u le k m a n 3 】等人提出的f a c s 和f a p 算法将表情看成不同肌肉运动的组 合，那么不同表情由不同的组合组成，研究人员采用各种各样的方法来辨别肌 肉块的运动。e s s a 4 j 在f a c s 的基础上进行了改进，建立了f a c s + 系统用做动态 建模和运动估计，通过光流法分析脸部变化数据。f a p ( f a c ea n i m a t i o n 2 i 绪沧 p a r a m e t e r s ) 1 5 】是人脸编码的重要标准，主要研究人脸的细微运动，每个编码代表 脸上具体部位的运动而不是肌肉块的运动。 基于统计法是最易实现的思路，将表情数据通过一定的变换投影到特定的 空间，投影系数即为表情特征。a n d r e wj c a l d e r l 6 1 等利用主成分分析( p c a ) j 嘲t 特征分析，采用了5 0 个主分量并且欧式距离分类器，最高识别率达到9 5 ；1 9 9 8 年b a r t l e t t t 7 1 提出了独立分量分析( i c a ) 的人脸表情方法，认为n 幅源图像是m 幅图像的线性组合，只需对这m 幅图像进行独立分析即可。m i c h a e lj l y o n s l 7 l 等人对图像进行二维g a b o r 变换，对变换后的幅度信息做人脸网格标定进而形 成矢量，利用线性判别分析( l d a ) 的方法进行识别分析。 日本成立的“感性工会”，主要是对情感信息的信息学和心理学等重大研究 课题进行研究；美国的m i t 展开了对情感计算的研究；欧洲国家的日内瓦大学 k l a u ss o b e r e r 领导了情绪研究实验室和布鲁塞尔自由大学d c a n a m e r o 领导了情 绪机器人研究小组。国内的中科院，哈工大，清华大学等机构对表情识别做了 相关研究。哈尔滨工业大学的高文教1 9 1 教授领导的团队研发了多功能感知机，构 造了可以研究和开发的各种计算机视觉的软硬件平台。2 0 0 5 年哈工大机器人工 程技术中心利用语音识别，神经网络控制等研制了表情机器人，能够模仿声音 唱歌，陪孩子玩耍。中科院谭铁牛领导的研究组主要从事生物特征的验证。2 0 0 3 年中国科学院举办的第一届中国情感计算与智能交互学术会议i l o 】引起了国内外 的广泛关注；2 0 0 5 年，中国举办了首届国际情感计算及智能交互学术会议【1 1 1 ， 极大的推动了我国表情识别的发展。高磊【1 2 1 把分数阶f o u r i e r 变换的相位信息用 于特征提取进行仿真验证，采用粗搜索和细化区域相结合的方式来分析识别率 和阶次之间的关系，最后采用移动最小二乘曲线拟合进而取得识别效果最高的 对应阶次：然而没有仿真幅值和复值信息作为特征提取时的识别效果，特征降 维方法也缺少对比分析。 随着笑脸检测相机的商业化使用，笑脸识别作为表情识别的分支也逐渐成 为近几年的研究热点。笑脸检测是指从给定的表情图像或者视频序列中分析检 测出高兴的表情状态，也就是计算机能够对人的笑脸进行识别。 目前笑脸检测的主要方法从检测区域上来分主要分为整体面部和局部面 部，整体面部特征提取方法主要包括频域特征和统计特征如g a b o r ，p c a 。部分 区域特征提取方法主要是基于几何特征，分别提取眼睛，嘴部等重要部位的特 征，组成相关特征向量或者跟踪特征点，用相应的分类器进行判别。j a c o b 1 绪论 w h i t e h i l l 等人【i 列分别采用g a b o r 能量、方波作为特征提取方法，用不同的分类 器s v m 和g e n t l e b o o s t 来进行比较仿真；i t o 【1 4 j 等人直接利用面部各个特征点组 成的特征向量作为待识别的特征：n a k a n o ”】等人提取左右眼、鼻子和嘴特征部 位并运用s p c a 方法来进行特征提取并与n n 结合进行分类：s a im o u b a y e d j 等人用比色法进行特征提取，把颜色空间转换到y i q 空间，通过测试嘴部区域 的宽高比的门限来决策；根据嘴区域的垂直强度来进行判别，嘴巴闭合时有一 个最小值，而微笑张开有两个最小值。m a u r i d h ih e r yp u r n o m o 等人【 】用不同的 非线性函数处理数据，为了避免奇异性，对其进行p c a 变换，同时为了保留局 部结构，采用拉普拉斯处理的方法。o l i v e rl e m o n 等人f 1 8 】以嘴部为研究区域， 提出h a a r 特征，用级联分类器分类。黄昱裂1 9 】等人用光流法跟踪右嘴角和左嘴 角的特征点位置来进行判断分类。 在国内，2 0 1 0 年和2 0 1 1 年华南理工大学申请了笑脸识别专利【2 0 j f 2 l l ，笑脸识 别的提取方法是使用层次化的梯度直方图p h o g 特征来区别笑脸与非笑脸。2 0 1 0 年何聪【2 2 】等人首次将生物启发特征引入笑脸识别中，尝试了一种高层次的仿真 生物视觉的新方法。2 0 1 2 年杨卫国【2 3 】等人提出了一种基于g a b o r 和a d a b o o s t 算法的改进人脸提取算法，仿真结果表明该算法不仅速度快而且改善了识别性 能。2 0 1 0 年深圳华为通信技术有限公司发明了笑脸检测的专利【2 4 l ，采用的特征 方法包括：捕捉人脸视频图像中唇部的运动信息；根据所述唇部的运动信息来 确定是否检测到笑脸。 基于几何特征和部分区域的特征提取虽然减少了数据的数据量但也丢失了 部分分类信息，识别效果不是很好：基于嘴部的特征提取方法，通过测试嘴的 宽高比作为门限决策，这样很可能误判其它非笑表情为笑；基于g a b o r 特征提 取虽然识别效果较好，但计算复杂度高。基于此，本文以整个面部区域为检测 区域，采用变换域的特征提取方法进行笑脸识别的研究。 1 3 表情识别的主要技术方法 表情识别系统就是从图像中检测出人脸，然后提取出表征图像表情的特征， 最后分类到预先分类好的训练样本类别中；它一般包括人脸检测，特征提取和 特征分类判别三个步骤，特征提取包括原始特征的获取，特征降维抽取以及特 征分解。对模式识别来说，选择什么样的特征提取方法，用什么样的特征分类 4 l 绪论 判别，往往直接影响识别的结果，特征的提取和模式的分类相互独立又紧密联 系，所以选择合适的特征提取和分类判别至关重要；图像是高维数，往往包含 的信息冗余量大，计算复杂度高，这时就需要特征的降维，特征降维和特征的 提取往往又是交织在一起，特征降维的同时也在有效的特征提取，目的都是提 取最能区分人脸表情的信息。 1 3 1 表情特征提取方法 特征提取就是提取出最能表征表情图像变化的，最能够表示人脸表情的本 质特征的特征向量，是表情识别中至关重要的步骤，有效的特征提取能大大提 高分类性能。好的特征提取方法应该能较全面的描述人脸表情的本质特征，而 且尽可能不受其他因素如噪声，光照等与表情无关的干扰信息的影响，并且维 数较低、相关性低、类间区别性较好。常用的特征提取方法包括基于静态图像 的编码组合特征，几何结构特征，频域特征，局部熵，统计特征和基于动态图像 视频序列的光流分析，特征跟踪，差分图像法和三维运动模型等。下面介绍几 种比较常用的方法： ( 1 ) 编码组合特征就是通过对表情进行分解编码，通过编码组合信息来识别判断， 典型的是f a c s 和f a p ； ( 2 ) 几何结构特征就是用特定的算法重点提取人脸表情的显著特征部位如眼睛， 鼻子，嘴巴等并利用它们之间的几何形状关系：优点是直观，能简洁的描述 人脸宏观的结构变化并且输入量少，缺点是对基准点提取的准确性颇高，同 时也忽略了皮肤纹理等其他方面的信息，因此无法完全提取表情分类信息， 精确性和区分性不够。 ( 3 ) 统计特征是基于像素的方法，反映了人脸图像底层的信息，主要强调尽可能 多的保留原始人脸表情中的信息，通过对整幅人脸的变换来获取特征信息， 如p c a i 2 5 1 ，i c a l 2 们。虽然保留了大量的图像数据，但是容易受光照，背景的 影响，需要较好的预处理方法。 ( 4 ) 频域特征就是将图像从时空域变换到频率域进行分析，提取频域特征，典型 的应用如g a b o r 和离散余弦变换( d c t ) ；这些频域特征相对稳定但不易直接用 于匹配和识别。 ( 5 ) 基于图像序列的特征提取方法包括基于帧内特征的方法和基于序列特征的方 法。基于帧内特征一般是利用帧内的信息进行跟踪或定位，对灰度变化比较 5 1 绪论 大的特征点进行跟踪，获得特征形变的信息。基于序列特征的方法不仅需要 进行跟踪和定位而且还需要利用帧间的信息。如光流法【2 7 1 就是利用像素的瞬 时速度场进行跟踪人脸的形变或者运动肌肉的特征，利用提取的特征进行识 别判断。它不仅能反应表情变化的特点而且受光照的影响小，但计算复杂度 较高，实时性较差。 1 3 2 表情特征降维方法 特征提取后的特征往往存在着信息冗余度高，维数大及带有干扰信息等特 点，这就增加了计算量和复杂度；为了得到良好的表情分类特征，往往对提取 的特征数据进行后处理即特征降维，将高维数特征映射或变换到低维的子空间 中，并且这个子空间的信息能完整的描述特征信息而不影响后续分类或者从高 维特征中抽取一部分特征作为特征向量，这样不仅能降低维数，而且可以达到 提高特征的有效性和去除干扰的目的。特征降维一般分为特征选择和特征抽取 两类。 特征选择是选择全部特征的其中一个子集作为特征向量从而选m 最能代表 表情的特征从而达到降维的目的如a d a b o o s t 特征选择。 特征抽取是指通过一定的规则根据原来的特征组合建立一个新的特征子集 如p c a ，i c a ；p c a 是二阶统计意义下的去相关，主要是通过线性变化寻找最优 的主分量，用它们的线性组合来重构原来的样本，使重构的样本与原样本之间 的均方误差最小，实际上p c a 是均方误差最小下获得数据压缩的最佳变换，而 且不受模式分布的影响限制。i c a 是所有统计意义下的去相关，也是通过计算原 始样本求一个特征空间，然后将新的数据样本投影到这个空间得到一组特征向 量，适当的选择具有代表性的部分特征向量，不仅能减少计算复杂度而且还能 增强分类能力。实际上i c a 是p c a 的一般化方法，p c a 的基向量表征的是全局 空间的特征而i c a 则很好的表征人脸的局部特征；p c a 方法抽取的特征之间统 计不相关而i c a 则是统计独立的。 1 3 3 表情分类判别方法 表情分类是通过相应的分类机制对之前提取的表情进行运算分析进而归入 到相应的类别。常用的表情判别分类方法有隐马尔可夫模型，人工神经网络， 支持向量机，a d a b o o s t 算法，线性判别分析，模糊决策( f u z z ) ，距离分类器等 6 1 绪论 等。 隐马尔科夫模型( h m m ) 2 8 】是具有丰富健壮的数学结构统计模型，使用动态 过程序列进行建模，它需要确定初始和终结状念。主要思想是把样本对象看成 一个观察向量，训练h m m 并从观察中学习典型概率，通过一定的算法来调整 参数进而获得训练数据的最大概率。模型建立后，观察的概率决定测试样本的 归属类别；常用于单独的或者分割好的表情序列中。 线性分类器【2 9 】主要原理是根据不同特征的线性组合即不同表情间的差异来 分类；如f i s h e r 判别准则是通过训练样本来保证类间距离最大化和类内距离最 小化，更好的反应不同类别之间的差异性。 人工神经网络( a n n ) 【3 0 】是模拟人脑神经元细胞的网络结构，由大量简单的神 经元相互连接而成的自适应非线性动态系统。具有自学习功能，联想存储功能 和高速寻找优化解决的能力，在监督学习中将训练样本的数据加到输入端，将 期望输出值和实际输出值比较得到误差信号从而调整权值，直到经过多次训练 达到一个收敛确定的权值，当环境变化时自发的对权值进行调整从而达到改善 系统行为的目的。广泛应用的人工神经网络系统为多层前馈( b p ) 神经网络，径向 基函数( r b f ) 神经网络。 支持向量机( s v m ) 3 q 是在统计理论和结构风险最小化原理的基础上发展起 来的一种基于分类边界的泛化能力很强的线性分类器。通过非线性映射将低维 空问的点映射到高维空间使其线性可分，通过训练找到使其能正确分类的边界 也称线性超平面以便使预知分类错误最小，进而使总体期望误差的上边界达到 最小，适用于解决小样本，非线性和高维数、局部极小点等问题的解决。 1 4 本文的研究内容及结构安排 1 4 1论文的研究内容 基于频域的特征提取虽然数据较大但相对稳定，如二维离散小波变换， g a b o r 变换等已经在模式识别中得到广泛的认同和应用。本文采用的是基于分数 阶域的特征提取方法。分数阶傅里叶变换是传统f o u r i e r 变换的一种广义形式可 以解释为信号在时频平面内进行逆时针旋转；信号在分数阶域上的表示，同时 融合了时域和频域的信息；相较于传统的f o u r i e r 变换，分数阶有更好的普适性 和灵活性。分数阶f o u r i e r 变换已经广泛应用于信号参数估计、雷达应用和数字 7 1 绪论 水印等方面，但在模式识别中涉及较少，所以本文就对其进行探究。 ( 1 ) 分数阶傅里叶变换是非保实变换，变换后的信息包含了幅度信息和相位信息 两部分，本文探究幅度、相位和复值信息哪种算法更适宜于特征提取，更能 有效的表征表情图像。 ( 2 ) 特征提取的效果往往与特征分类密切相关，确定了特征提取方法之后，要选 择适宜的特征分类方法才能达到较好的识别效果。本文要探究分数阶傅里叶 变换究竟适宜于哪种分类判别方法。 ( 3 ) 由于图像是高维度信息，计算复杂度高，特征降维是必然要考虑的步骤。选 择合适的特征降维方法与分数阶傅里叶变换相结合也是我们亟待解决探究 的问题。 1 4 2 论文的结构安排 本文主要研究表情识别中的笑脸识别，研究内容主要包括特征提取、特征 降维和分类判别方法这三个部分。以表情识别系统为基础，研究分数阶傅里叶 变换在整个模式识别系统中的作用。本文的具体内容章节安排如下： 第一部分绪论主要对人脸表情识别的研究背景、国内外研究现状和研究意 义做了相关的描述，并且介绍了模式识别中主要的技术方法包括特征提取、特 征降维和特征分类并对其特点进行了分析。 第二部分主要研究分数阶f o u r i e r 变换的定义、性质和相关的离散算法，重 点讨论了采样型算法，详细列出了其中的两种实用性方法离散尺度化法和数据 补零截取法。因为图像是二维数据，所以介绍了二维分数阶傅里叶变换的定义、 基本性质及其实现步骤，为以后的研究内容打下理论基础。 第三部分主要探究了分数阶傅里叶变换的相位和幅度信息，与广泛应用于 表情识别的g a b o r 特征提取方法在同一数据库进行了仿真比较，探究分数阶傅 里叶变换的特征提取的有效性，并选择分类判别准则a d a b o o s t 算法进行判别分 析；建立了笑脸识别系统模型，定义了笑脸识别率和总识别率统计结果；在r m l 数据库上进行初步仿真验证，从计算复杂度和识别效果两方面对仿真结果进行 分析。 第四部分主要在分数阶傅里叶变换特征提取的基础上，探究与特征提取相 适应的特征降维方法和分类判别方法；以常用的d c t 和l b p 作比较仿真，选择 不同的分类器进行仿真分析，从计算复杂度和识别效果两方面来验证f r f t 与 8 i 绪论 l b p 方法结合的有效性，同时也说明了采用不同的特征提取方法，需要选择合 适的分类器才能达到较好的效果。 第五部分是总结和展望。对本文所做的工作进行总结并探讨人脸表情识别 技术的未来发展的趋势，对下一步工作提取了看法和建议。 9 2 分数阶傅罩叶变换的理论基础概述 2 分数阶傅里叶变换的理论基础概述 在信号处理领域，传统f o u r i e r 变换是研究最为成熟，应用最为广泛的数学 工具之一，它建立了信号从时域与频域之间的联系，得到的是整体频谱仅表示 信号在不同频域下的总强度，无法得到图像局部的频谱特性即信号随时间变化 的频谱。分数阶f o u r i e r 变换是传统f o u r i e r 变换的一种广义形式，如果f o u r i e r 变换是时间轴逆时针旋转万2 到频域轴的表示，那么分数阶f o u r i e r 变换可看成 从逆时针旋转任意角度到u 轴( 分数阶f o u r i e r 变换域) 的表示。分数阶f o u r i e r 变换分别以时间和频率为横轴和纵轴，旋转一定的角度的线性变换，同时包含 了信号的时域和频域信息；已经广泛应用于c h i r p 类信号检测和参数估计，滤波 与信号恢复，通信中的扫频滤波器、多路复用、o f d m 系统以及数字图像处理 中的数字水印、图像加密等各个领域。 2 1 分数阶傅里叶变换的特点 分数阶f o u r i e r 变换f 3 2 j ( f r f t , f r a c t i o n a lf o u r i e rt r a n s f o r m ) 作为新兴的时频分 析工具，可看成信号在时频平面内的任意旋转，如图2 1 所示。 飞a 。 7 图2 1f r f t 与f r 的坐标关系 如果信号的f o u r i e r 变换( f r ) 是从时间轴t 变换到频率轴w ，而f r f r 则可看 成是把( t ，w ) 平面逆时针旋转口角度到( u ，v ) 平面的表示，其中口= p z r 2 ，p 是变换 阶次，那么f r 就是旋转9 0 度的f r f t ，f r f l r 可以做任意角度的旋转，所以f r f t l o 2 分数阶傅里叶变换的理论基础概述 是f r 的广义形式，除了具备f r 的特点优势外，还具备f t 不具备的特点。 1 f r 只显示了信号中的整体频率成分，却不能描述信号随时间变换的频率 分布情况，仅适宜于分析确定性信号和平稳信号。然而在实际运用中，大多数 的信号是非平稳信号，为了解决这个问题，时频分析工具应运而生，作为全新 的时频分析工具的f r f t 则能解决这些问题。当阶次p 从0 到l 的变换过程中， f r f t 展示了信号从时域到频域的所有变化特征。相比较f t ，f r f t 多个自由参 数p ，增加了自由度和灵活性。 2 f t f t 是时频分析工具之一而且是线性变换，没有交叉干扰：多分量的非 平稳信号往往存在交叉项，而我们都期望有尽量小的交叉项，因此更适宜于加 性噪声的多分量情况；f r f r 基于c h i r p 基分解，有较好的时频聚焦性，即c h i r p 信号是在适当的阶次下表现为冲击函数，特别适宜于c h i r p 类信号的检测与参数 估计。 3 f i 册有比较成熟的快速离散算法，计算复杂度低为o ( n l o g n ) ，仅与传 统的f o u r i e r 变换一样，这就保证了f r f t 在数字信号处理领域的应用发展。 2 2 一维分数阶傅里叶变换 2 2 i一维分数阶傅里叶变换的定义 信号厂( f ) 的f r f r 定义为 ( “) = f p 巾) 扣) = 巳巾) ( 埘) 衍 ( 2 1 ) 式中分数阶f o u r i e r 的变换核蜂( f ，”) 为 ( f , u ) 2嚣唧( _ ，下t 2 + u 2 c o r o t - - t u e s e o t 卜口= 2 n w 亿2 ， 6 ( f 一搿) ， 、 式中a = p 刀r 2 为f 可的旋转角度，p 代表f 吓的变换阶次，u 代表分数阶域。 由( 2 1 ) 和( 2 2 ) 式可知，分数阶f o u r i e r 变换可以看成两次c h 叩信号乘积和_ 次 f f t 运算，因此它的计算速度和f f r 相当，具体步骤如下： 2 分数阶傅里叶变换的理论基础概述 首先用线性调频信号调制信号f ( t ) ： g ( ，) ：邝) ，2 o o t 口 其次对调制得到的信号进行f o u r i e r 变换： g ( ) ：熙g ( t ) e - j z r 埘c 口d t 最后用另一c h i r p 信号与变换后的信号相乘： 名= 属1 r u 2 c o t a g ， 2 2 2 一维分数阶傅里叶变换的性质 ( 2 3 ) ( 2 4 ) ( 2 5 ) 分数阶f o u r i e r 变换满足线性性，旋转相加性，交换可逆性，酉性和能量守 恒性等，下面列出其基本的性质。 1 线性性 f p w l f ( t ) + w 2 9 ( t ) = w l f p f ( t ) + w 2 f p g ( ，) ( 2 6 ) f r f t 为线性变化并且满足叠加原理：其中f r f ( t ) 薷0f p g ( t ) 为分数阶变换，w 。和屹 为权系数。 2 周期性 f p ：f p + 4( 2 7 ) 当p ；4 n 时，有足( ”，砧) = k ( u ，材) = 6 ( 材一材，) ； 当p = 4 n + l 时，( ，”) = k t ( u ，口) = e x p ( - j 2 万u u ) ； 当p = 4 n + 2 时，巧( “，矿) = j 匕( 玎，“) = 万( 群+ 甜7 ) ； 当p = 4 n + 3 时，( ) = 疋l ( 甜，封) = 戗p ( ，2 万甜) ； 其中巧( 群，) 为分数阶的变换核，n 为整数。由此可知，分数阶的变换周期为4 ， 对应的旋转角度为【o ，2 石】 3 可逆性 ( f ，) 一1 ：f - p ( 2 8 ) 1 2 2 分数阶傅罩叶变换的理论基础概述 即函数的p 阶次f r f r 是f r f r 的p 阶次的逆变换。 4 旋转可加性 f p l f p 2 ；一+ p 2( 2 9 ) 从分数阶变换的物理意义可知【3 3 】，算子f 和f ，z 分别将函数旋转和吃角度， 相当于两个连续算子把函数旋转+ a ：度。 5 酉性 ( f p ) 一i ：( f p ) h( 2 1 0 ) 由变换核k p 一( “，“) = k ，( 矿，m ) 和分数阶f o u r i e r 变换的可逆性可知， k p 一( “，“) = k p ( 甜，) = 巧h ( 甜，) 6 w i g n e r 分布 ( 材，j u ) = c o s a 一a s i n a ，u s i n a + p c o s a ) ( 2 1 1 ) 表明了阶次口的f i 岍的w i g n e r 分布是相当于原函数w i g n e r 分布的旋转口角 度得到的。 7 能量守恒性 弘1