（通信与信息系统专业论文）基于分数阶fourier变换的人脸面部表情识别.pdf

摘要 摘要 在过去的近十年当中，随着多媒体技术和计算机技术的飞速发展，人脸面 部表情识别技术已经成为一个新兴的研究领域。它可以广泛的应用于人机交互， 多媒体信息的分析和重构，生物识别和安全监控，日常娱乐和电子保健等诸多 领域，具有非常重要的研究价值。通常典型的人脸表情( 情感) 识别包括人脸检 测、表情特征提取、表情分类三大部分。本文将对以上3 个阶段的关键问题进 行相应研究，并将分数阶傅里叶变换( f r f t ) 这一新兴的时频分析工具应用到 人脸面部表情领域当中。分数阶f o u r i e r 变换是传统傅立叶变换的一种广义的形 式，其变换过程可以解释为将信号在时频平面内进行逆时针旋转。通过选择变 换阶次，分数阶傅里叶变换能够将图像映射到任意一个介于空域和频域之间的 变换域空间，从而实现更加有效的特征提取。因此分数阶傅立叶变换不但能够 实现传统变换方法的功能，而且具有更好的普适性和灵活性。故基于分数阶傅 里叶变换的表情特征值提取有望实现比传统特征值提取方法更好的分类效果。 本文主要的研究工作如下： 1 介绍了分数阶f o u r i e r 变换的意义并分析了现有的各种一维离散分数阶 f o u r i e r 变换的算法，重点研究了o z a k t a s 等提出的量纲归一化算法。根据分数 阶f o u r i e r 变换的数学及物理意义，将一维变换推广至二维变换的形式，并且实 现了二维分数阶f o u r i e r 变换的离散算法。同时对二维离散分数阶f o u r i e r 变换 的相关性质进行了必要的说明。 2 对本文仿真实验所选择的人脸面部情感数据库以及对该数据库进行预 处理的过程进行了相关说明。重点研究了二维离散分数阶f o u r i e r 变换在图像处 理领域的性质，并在此基础之上确定了人脸面部情感图像在分数阶f o u r i e r 变换 域特征信息选取的依据，同时对提取的特征信息利用最邻近线性插值的方法进 行了相关降维处理，进一步提高了情感识别的实时性要求。 3 介绍了相关的f i s h e r 线性分类器算法，构建了基于分数阶f o u r i e r 变换 的人脸面部情感识别的模型。对分数阶变换的阶次和情感识别率之间的关系进 行了定量实验分析。同时将本文的实验结果同传统的o a b o r 情感识别的方法进 行了相关的比较，进一步说明了本文提出算法的有效性。 摘要 关键词：人脸面部情感识别：分数阶f o u r i e r 变换；二维分数阶f o u r i e r 变换； 图像处理；特征提取；f i s h e r 分类器算法 a b s n a c t a b s t r a c t o v e rt h el a s td e c a d e ，a u t o m a t i cf a c i a le x p r e s s i o na n a l y s i sh a sb e c o m ea na c d v e r e s e a r c ha r e aw h i c hf i n d sp o t e n t i a la p p l i c a t i o n si nf i e l d ss u c ha sm o r e e n g a g i n g h u m a n - c o m p u t e ri n t e r a c t i o n ，m u l t i m e d i a i n f o r m a t i o n a n a l y s i s a n dr e t r i e v a l ， b i o m e t r i c sf o rs e c u r i t ya n ds u r v e i l l a n c e ，e n t e r t a i n m e n ta n de - h e a l t h h a v i n gh u g e c r u c i a lr e s e a r c h i n gv a l u e s i ng e n e r a l ，t h e r ea r et h r e es t e p si nt h ep r o c e s so ff a c i a l e x p r e s s i o nr e c o g n i t i o ni n c l u d i n g ：f a c ed e t e c t i o n ，f a c i a lf e a t u r e se x t r a c t i o n , c l a s s i f i c a t i o no fe m o t i o n s i nt h i sp a p e r , i tm a i n l ym a k e sr e s e a r c h e so nt h ea b o v e m e n t i o n e ds t e p sa n dp u t sf r a c t i o n a lf o u r i e rt r a n s f o r m ( f r f dw h i c hi sab o o m i n g t o o li nt h ef i e l do ft i m e - f r e q u e n c ya n a l y s i si n t or e c o g n i z i n gh u m a ne m o t i o n a ls t a t e a st h eg e n e r a l i z e df o r mo ft h ef o u r i e rt r a n s f o r m ，t h ef r f tc a nb ei n t e r p r e t e da sa r o t a t i o no fs i g n a l si nt h et i m e - f r e q u e n c yp l a n e t h ea n a l y z e ds i g n a l sc a nb cm a p p e d t oa n yd o m a i nb e t w e e nt i m ed o m a i na n df r e q u e n c yd o m a i nw i t ht h em e t h o do ff f f t a tw i l lt oe x t r a c ti m a g e sf e a t u r e sm o r ee f f e c t i v e l y t h e r e f o r e ，t h ef r f tn o to n l yc a n a c h i e v et h ef u n c t i o n sa st h et r a d h i o n a lt h e o r i e sb u ta l s ob em o r eu n i v e r s a la n d f l e x i b l e a sar e s u l t , t h ef r f ti sh o p e dt oo b t a i nb e t t e rr e s u l t si nt h ef i e l do ff a c i a l e x p r e s s i o nr e c o g n i t i o nt h a nt h et r a d i t i o n a lt h e o r i e s t h em a i nw o r ko ft h i sp a p e ri s o r g a n i z e da sf o l l o w s ： 1 i td e s c r i b e st h es i g n i f i c a n c eo ff r f ta n da n a l y z e st h ee x i s t i n gv a r i o u sd i s c r e t e a l g o r i t h m so ff r f t m o r e o v e r , t h ec r u c i a lr e s e a r c h e dd i s c r e t em e t h o di sp r o v i d e db y o z a l c m s b e s i d e s 。i ta l s oe x t e n d st h eo n ed i m e n s i o nf o r mo ff r f ti n t ot h ef o r mo f t w od i m e n s i o n s ( 2 d - f r f db a s e do nt h em a t h e m a t i c sa n dp h y s i c a lm e a n i n ga n d a c h i e v e st h ed i s c r e t ea l g o r i t h mo f2 d - f r f t s i m u l t a n e o u s l y , i ta l s om a k e ss o m e n e c e s s a r yd i s c u s s i o n so nt h ep r o p e r t i e so f2 d - f r f t m a b s t r a c t 2 i tm a k e si l l u s t r a t i o n so ns e l e c t i n ge m o t i o n a ld a t a b a s ea n d p r e p r o c e s s i n go f t h ef a c i a ld a t a b a s ei m a g e si nd e t a i l f u r t h e r m o r e ，w ep u tt h er e s e a r c h i n ge m p h a s i z e s o ne x p l a i n i n gt h ep r o p e r t i e so f2 d - f r f ti nt h ef i e l do fi m a g ep r o c e s s i n ga n dd e f i n i t e t h er e g u l a t i o no nh o wt oe x t r a c tt h ef e a t u r e sf r o mt h ef a c i a li m a g e s a tt h es a m e t i m e ， i ta l s or e d u c e st h ed i m e n s i o n so ft h eo r i g i n a li m a g e se f f e c t i v e l yw i t ht h em e t h o do f n e a r e s tn e i g h b o ri n t e r p o l a t i o nw h i c hw i l li m p r o v et h ec h a r a c t e ro fr e a l - t i m ei nt h e a b o v ef a c i a le x p r e s s i o nr e c o g n i t i o np r o c e s si ns o m e d e g r e e 3 i ti n t r o d u c e st h ef i s h e rc l a s s i f i c a t i o na l g o r i t h mi ng e n e r a la n dc o n s t r u c t st h e m o d e lo fr e c o g n i z i n gh u m a nf a c i a le x p r e s s i o nb a s e do nt h em e t h o do f2 d f r f t i n a d d i t i o n a l ，i ta l s oq u a n t i t a t i v ea n a l y z e st h er e l a t i o nb e t w e e nt h et r a n s f o r mo r d e r so f 2 d - f r f ta n dt h er e c o g n i z i n gr e s u l t s i nt h el a s t ，i tc o m p a r e st h er e s u l t si nt h i sp a p e r a n dt h er e s u l t sw i t ht h em e t h o d so fg a b o rt oi n t e r p r e tt h ev a l i d i t yo f2 d - f r f ti nt h e f i e l do ff a c i a le x p r e s s i o nr e c o g n i t i o n k 呵w o r d s ：h u m a nf a c i a le x p r e s sr e c o g n i t i o n ；f r a c t i o n a lf o u r i e rt r a n s f o r mt w o d i m e n s i o nf r a c t i o n a l t r a n s f o r m ；i m a g ep r o c e s s i n g ；f e a t u r e se x a c t i o n ；f i s h e r c l a s s i f i c a t i o na l g o r i t h m i v 1 绪论 1 绪论 1 1 课题研究背景 人类情感是指在人类社会历史发展过程中所形成的高级社会性情感，常用 来描述那些具有稳定的、深刻的社会意义的感情。它在人类社会的发展当中起 着重要的作用。对人类情感的研究可以追溯到1 9 世纪，早在1 8 7 2 年c d a r w i n t l 】 就指出人类的情感具有普遍性和持续性的特点。此外，m c h r a b i a n 2 】通过研究证 明了语言对人类情感信息表达所占的比例为7 ，姿态所占的比例为3 8 ，而 其中大约5 5 的情感信息是通过人的面部表情来表达的，这充分说明了人脸面 部表情在情感信息表达中所具有的重要地位。同时也进一步说明了本研究内容 的意义所在。 早期的人脸面部表情分析通常是心理学家所要研究的课题。但是自从 s u w a 3 】等人提出了自动识别人脸面部表情的方法以后，人脸面部表情的研究就 进入了一个新的时代。进入2 0 世纪，随着计算机技术和智能控制技术在日常生 活中的广泛应用，人类和机器设备之间的交互变得日益频繁，这就十分有必要 使人机交互变得更加友好和方便。通过大量的研究，ee k m a n 4 】发现至少存在着 高兴，悲伤，厌恶，惊讶，害怕和愤怒等六种基本的人类表情，这就为人脸面 部表情识别技术提供了必要的研究基础和研究方向，同时这也将是本文所关注 的重点内容。因此，为了使计算机更好地获取人类面部的信息，进而对人类的 各种情感做出正确回应，实现真正的人机交互，需要解决的关键问题之一就是 使计算机能够对人类面部表情进行识别。这一问题被称作表情识别、情感识别 或情感计算问题。 人脸面部表情( 情感) 识别是指从给定的人脸表情图像或者视频序列中分析 检测出特定的表情状态，进而确定被识别对象的心理情绪。人脸表情( 情感) 识 别技术在许多领域有着潜在的应用价值。这些领域包括心理学研究、图像理解、 合成脸部动画、视频检索、机器人技术、虚拟现实技术以及新型人机交互环境 等。在实际应用中的例子如：司机安全驾驶智能监控系统，公共场合安全监控 系统，数字家庭，智能型计算机游戏、玩具和机器人等。 l 绪论 1 2 国内外研究现状 人脸面部表情( 情感) 的研究历史悠久，并取得了一系列的研究成果【5 1 。目前 大部分有关人脸表情的分析与识别主要是针对基本表情的分析识别，其使用的 方法大致归为两类：基于静态图像( 单一图像) 的方法，这类方法只考虑单帧图 像的空间信息和人脸的几何结构信息，计算量较小，比较适合实时表情识别： 另一类方法是基于动态图像序列的识别方法，这类方法考虑了表情图像的运动 信息，把表情变化的时间和空间信息结合起来，因此其识别率较高但计算量较 大。具体来说，研究现状如下： 在国外，日本a t r 媒体信息科学实验室较早地建立了面部表情公用数据库 ( 坩f e ) ，并提出两种基于几何特征的静态二维图像表情识别方法；美国的很 多研究机构也在情感分析方面进行了比较深入的研究并取得了较好的成果，其 中基于二维图像的情感识别系统大多提取人脸的几何特征，然后根据其变化进 行识别：基于三维人脸模型的情感识别系统则主要是建立人头部三维网格结构 模型与选定二维图像的关键特征点进行识别。 m a t t e wn d a i l e y 6 】等采用g a b o r 小波与局部p c a 方法相结合的方式对表情 图像的特征进行提取，并利用f i s h e r 线性鉴别分析( f d a ) 对提取后的图像特征 部位( 如眼、嘴巴等) 进行定位处理，并且采用集成神经网络的方法对不同的表情 进行识别。此方法在p o f a ( e k m a na n df r e s e n ，1 9 7 6 ) 4 】数据库上取得较好识别效 果。此外，m a t t e wn d a i l e y l 7 首先利用g a b o r 变换对图像进行特征提取，然后采 用主成分分析( p c a ) 方法对g a b o r 变换后的图像进行相应的降维处理，并利用 单层神经网络进行表情识别，在p o f a 上测试效果与文献【8 】效果相当，但计算时 间较前者稍小。 g w e nl i t t l e w o r t t 9 】等采用g a b o r 变换对人脸面部区域的上半脸、下半脸及整个 脸部区域分别提取各自的表情特征，然后采用二分类法对不同的情感进行分类， 通过相关的对比试验表明，采用m l r 的融合方法最好，达到较高的识别率： y o n g j i nw a n g 和l i n gg u a n 1 0 利用图形信息和语音信息相结合的方式来实现人脸 表情的自动分析。在研究过程中利用g a b o r d 、波的方法对特征值进行提取并采用 了多层次分类器的分类结构对不同情感的特征进行分类，并取得t 8 2 1 4 总体 识别率。 a n t o n i oc o l m e n a r e z 1 1 】等提出了一种采用嵌入式的人脸表情识别的方法，该 算法主要采用b a y e s i a n 网络框架，同时结合人脸面部表情特征的外在信息及人脸 2 1 绪论 关键部位位置变化的信息对整个人脸区域进行建模处理，最后采用t b a y e s i a n 网 络框架在基于最大似然概率准则的条件下实现人脸表情的识别，并且取得了较 好的效果。 m a r j a n l l 2 】分析并且比较了几种应用于人脸运动单元( a u s ) 自动识别领域 的方法，其主要包括无监督学习的方法例如：独立主成分分析法( i c a ) 、主成分 分析法以及有监督学习的算法例如f i s h e r 线性鉴别法等，并把这些经典算法与采 用g a b o r j 、波分析的方法进行相关的比较。最终的实验表明：利用g a b o r 变换和 i c a 方法的所得出的识别效果最好，它们对人脸运动单元( a u s ) 的正确分类识别 率均达到了9 6 ，此外还可以得出：i c a 的计算时间比g a b o r 变换小得多的结论。 国内的研究工作主要是集中在三大类方法的研究：基于几何特征的人脸正面 自动识别方法、基于代数特征的人脸正面自动识别方法和基于连接机制的人脸 正面自动识别方法。在这期间出现了一批高质量研究文献【1 3 】专著于人脸表情识 别，为后来者提供广阔的研究空间。随着第一届中国情感计算与智能交互学术 会议【1 4 】和首届国际情感计算及智能交互学术会议【1 5 】在中国的成功举办，极大地 推动了我国表情识别技术的向前发展。我国情感识别的研究己经拓展到了更为 广阔的研究空间，主要涉及：线性鉴别分析算法、神经网络、支持向量机、h m m 、 a a m 、人脸建模、情感建模、特征脸、疲劳驾驶、表情合成、线性边缘图( l e m ) 描述表情、权因子调整的曲线形状算法、特征运动算法、情感熵算法、非特定 人表情识别、比例图像外观特征算法、k f d 算法、谱特征向量算法、矩算法、 表情差值算法、表情比例图像( e x p r e s s i o nr a t i oi m a g e ，e m ) 算法、图像质量的 定量评价、人脸表情动画模型、人脸图像数据库等。具体说来： 四川大学周激流【1 6 】实现了具有反馈机制的人脸正面识别系统，同时运用积 分投影法提取面部特征的关键点并用于识别，获得了比较满意的效果。他同时 也尝试了“稳定视点”特征提取方法，即为使识别系统中包含3 d 信息，他对 人脸侧面剪影识别做了一定的研究，并实现了正，侧面互相参照的识别系统。 清华大学辉、张长水和边肇祺【r 7 】等对“特征脸 的方法做了进一步的发展， 提出采用类间散布矩阵作为产生矩阵的方式，进一步降低了产生矩阵的维数， 在保持识别率的情况下，大大降低了运算量；东南大学何振亚【墙】等采用对称主 元分析神经网络，用去冗余和权值正交相结合的方法对人脸进行特征提取和识 别。该方法所用特征数据量小，特征提取运算量也较小，比较好地实现了大量 人脸样本的存储和人脸的快速识别。 l 绪论 哈尔滨工业大学和中科院的金辉，高文f 1 9 】提出了利用h m m 的方法对面部 表情图像序列进行相关的分析与识别。他们主要的研究重点在于说明了动态表 情的识别以及表情的建模和编码问题，同时对表情的特征流进行了一定程度的 研究，并取得了一系列的研究成果；文献【2 0 】在对动态表情图像序列的时序分析 的基础上，提出了对混合表情的进行识别的系统，并取得了良好的分类效果。同 时哈工大做了“具有六种面部表情及视觉的类人头像型机器人及行为研究”项 目，于2 0 0 4 年研制出具有八种面部表情的仿人头像机器人系统，并进行了表情 实验，实现了喜、怒、哀、乐、悲伤、严肃、吃惊、自然( 中性) 等8 种表情。 此外，北京科技大学教授王国良【2 1 】等利用情感熵这一数学工具构造出情感 空间及其概率的转移矩阵中具体每个概率值。利用情感熵对所得出的情感的概 率分布进行评价，从而进行相应的情感分类。同时在文献【2 2 1 ，王志良教授对国 内外面部表情识别作了系统的描述与比较，并分析了面部表情识别目前存在的 问题，并指出了以后的研究重点和方向。 1 3 课题研究的可行性分析 通常典型的人脸表情( 情感) 识别包括人脸检测、表情特征提取、表情分类 三大部分。其中又以特征提取最为关键，它在整个识别系统中起着重要的纽带 的作用，直接关系着系统的识别效果。在特征提取方面目前常用的方法是二维 离散小波变换、二维g a b o r 展开和二维离散余弦变换等。在本文中将利用分数 阶傅里叶变换( f r a c t i o n a lf o u r i e rt r a n s f o n t l ，f r f t ) 对特征值进行提取。分数 阶傅里叶变换是傅立叶变换的一种广义的形式，其变换过程可以解释为将信号 在时频平面内进行逆时针旋转。如果信号的傅立叶变换可以看成将其在时间轴 上逆时针旋转万2 到频率轴上的表示，则f r f t 可以看成将信号在时间轴上逆 时针旋转任意角度到甜( 扰轴被称为分数阶傅立叶域) 轴上的表示。从本质上 讲，信号在分数阶傅立叶域上的表示，同时融合了信号在时域和频域的信息， 因此被认为是一种重要的时频分析方法，引起了信号处理领域的研究人员的广 泛关注f 2 3 ，2 4 】。 分数阶f o u r i e r 变换可以有若干种不同的定义形式，不同的定义方式有不同 的物理意义，但是它们彼此之间都是等价的。目前主要的定义方式包括：线性 积分变换的方式，特征函数与特征值的方式，时间频率平面旋转的方式，坐标 4 l 绪论 算法与求导算子的变换方式，微分方程解的方式等。本文重点说明的将是第一 种定义方式，其他相关的定义方式可参考文献【3 0 】。 由于分数阶傅里叶变换具有很多经典傅里叶变换所不具备的性质，因此近 年来被越来越多地应用于雷达、声纳、通信等信号处理领域。分数阶傅里叶变 换既和小波变换、o a b o r 变换有天然的联系，又有所不同。由于传统的傅立叶 变换只是分数阶傅立叶变换的一个特例，因而分数阶傅立叶变换不但能够实现 传统变换方法的功能，而且具有更好的普适性和灵活性。通过分数阶变换阶次 的选择，能够实现更加有效的特征提取，从而实现比传统特征值提取方法更好 的分类效果。 1 4 本文研究的内容和意义 本文将研究利用分数阶傅里叶变换进行特征提取的人脸面部表情识别，主 要包括二维离散分数阶傅里叶变换算法的研究、二维离散分数阶傅里叶变换的 特征提取以及变换阶次选取的初步研究、以及与二维离散分数阶傅里叶变换特 征值提取相匹配的聚类算法的研究三部分内容。具体研究内容为： ( 1 ) 二维离散分数阶傅里叶变换算法的研究 分数阶傅里叶变换( f r f t ) ，是一种广义的傅里叶变换形式。在数字图像处 理领域，需要利用二维离散形式的分数阶傅里叶变换( 2 d f r f n 来对图像信息进 行运算处理，故首先要研究的内容就是如何将一维离散分数阶傅里叶变换扩展 为二维离散分数阶傅里叶变换。同时由于二维d f t 具有一系列明确的性质，而 离散2 d f r f t 是否也具有类似的特性，尚需得到详细的分析和证明，这对于其 应用是致为关键的；此外，由于存在多种一维离散分数阶傅里叶变换的计算方 法，而各种离散方法所具有的特性各不相同，究竟哪种算法更适合于人脸面部 表情识别将是本文研究的一个重要内容。 ( 2 ) 二维离散分数阶傅里叶变换的特征提取以及变换阶次选取的初步研究 由于图像信号一般都具有高维的数字信息，这无疑增大了识别过程的计算 量，这就需要对图像信号进行相应的降维处理。而降维处理的关键也在于合理 的选择特征值。那么如何有效地进行特征值提取? 这个问题将是本文的重点研 究内容；同时，由于分数阶傅里叶变换阶次选取的灵活性，在不同阶次上总体 的识别率是否一致，在同一变换阶次上不同情感的识别率又是如何的? 这同样 l 绪论 是本文研究的重点内容。 ( 3 ) 与二维离散分数阶傅里叶变换特征值提取相匹配的聚类算法的研究 对于人脸面部表情识别来说，分类器的选取是至关重要的。它直接关系到 面部表情识别的精确度以及识别过程实时性。如何得到一种能够与二维离散分 数阶傅里叶变换特征值提取相匹配的分类器聚类算法同样将是本文需要研究的 问题之一。 作为一种新的数学工具，f r f t 在信号处理中的应用前景十分广泛，新的研 究成果也不断地出现。从方法上来看，国内外关于分数阶傅立叶变换的应用研 究大都遵循着以下几条思路： ( 1 ) 傅立叶变换的某些应用直接推广到分数阶傅立叶域，以获得更好的应用 效果。 ( 2 ) 将f r f t 视为一种时频平面的旋转算子，用于替代w v d 、小波变换、 短时傅立叶变换、r a d o n - - w i g n e r ( r w ) 变换等时频分析工具，以达到 简化计算的目的。 但是截至目前，很少见到有关应用分数阶傅立叶变换进行人脸表情识别的 文献和报道，同时该方法用于其他图像处理工作的文献和报道也十分有限，其 主要原因是由于分数阶傅立叶变换是一种新兴的时频域分析工具，相对于传统 的傅立叶变换来说其本身的理论研究还存在着不成熟的地方。由于分数阶傅立 叶变换的核函数是一个二次相位函数，目前国内外信号处理界一般都认为它非 常适用于对c h i r p 类信号的处理，这在一定程度上也限制了它的应用范围，目前 其应用主要集中在雷达，通信，和声纳等一维信号的处理领域，但l i nq i 2 5 】等 的前期研究已经表明这种工具在图像处理领域特别是在表情特征值提取上具有 重要的研究价值和良好的应用前景。更值得注意的是虽然这些初步研究是针对 人类面部表情识别，但所得到的结论确具有普遍性：分数阶傅立叶变换很有可 能为图像处理与模式识别研究提供一个崭新的工作平台。所以本文的意义是以 情感识别研究为出发点，寻找一条可行之路，把分数阶傅立叶变换广泛应用到 图像和视频信号处理中，这将会极大地丰富相关领域的研究内容。 1 5 本文组织结构 本文将在现有的关于分数阶傅里叶变换的理论和应用的基础之上，研究利 6 1 绪论 用分数阶傅里叶变换进行特征提取的人脸面部表情识别。首先将一维分数阶傅 里叶变换推广至其二维变换形式，并实现了二维形式的离散算法；其次对图像 在二维分数阶傅里叶变换的相关性质进行了必要仿真说明，进一步说明了本文 中图像特征提取的依据；最后对本文相关的分类器算法进行了必要说明，并将 本文结果和利用g a b o r 变换提取图像特征识别方法的结果进行了比较说明。主 要的组织结构如下： 第二章首先介绍了分数阶f o u r i e r 变换的定义及性质，然后重点介绍了几种 常用的、实用价值计较高的离散分数阶f o u r i e r 算法：分解型快速方法、基于特 征值分解的f r f t 、量纲归一化型f r f t 。其中重点介绍了o z a k t a s l 2 6 】的量纲归一 化的f r f t 以及它的性质和计算量的分析。同时将一维分数阶傅里叶变换推广至 其二维变换的形式，并实现了对其连续二维分数阶傅里叶变换形式的离散算法 并且对其二维形式的相关性质进行了说明。 第三章首先对本文所应用的人脸面部情感数据库瑞尔森大学情感数据库进 行了简单介绍并对人脸图像的预处理过程进行了说明；其次描述了本数据库所 采用的人脸区域检测所采用的方法；对图像在二维分数阶傅里叶变换域的特征 进行了详细的仿真和说明，并将此特性作为本文特征提取的主要依据。 第四章对本文所采用的分类器算法f i s h e r 线性分类器进行说明，构建基于 分数阶傅里叶变换情感识别系统的框架；研究不同的变换阶次和总体识别率之 间的关系以及同一阶次下不同情感的识别结果；最后将本文的识别结果和利用 g a b o r 变换所得到的结果进行了比较，进一步说明了本文研究方法的有效性。 第五章是总结与展望。这一章对论文所做的工作及得出的结论进行了总结， 探讨了相关技术的未来发展方向，并对需要进一步研究的有关问题提出了看法 和建议。 2 二维分数阶傅里叶变换理论介绍 2 二维分数阶傅里叶变换理论介绍 分数阶傅里叶变换( f r f t ) 可以理解为信号在时间频率轴上的旋转，它是一 种广义的f o u r i e r 变换，同时包含了信号时间和频率的信息，在信号处理中有着 广泛的应用前景，并已经被应用在科学研究和工程技术的很多方面，如时频滤 波烈2 3 1 、多路传输【2 7 1 、雷达与声纳【2 8 - 2 9 1 、时频分析等领域。对于图像处理领域 来说，一般需要将相关的一维变换推广至二维变换形式，如传统的二维傅里叶 变换，小波变换等。对于分数阶傅里叶变换同样具有相同的情况，因此本文将 首先对分数阶傅里叶变换的一维形式简要说明，而后再将一维变换形式推广至 其二维变换形式，并对其相关的性质进行一定的归纳和总结。 2 1 一维分数阶傅里叶变换的定义和相关性质 2 1 1 分数阶傅里叶变换定义 在信号处理领域中，传统f o u r i e r 变换是一个研究最为成熟、应用最广泛的 数学工具。而f r f t 可以看成是将信号在时间轴上逆时针旋转角度口到材轴上的 射线表示，如图2 1 所示，明显可以看出，当旋转角度口= 万2 时，“轴就变成 了传统意义上的国轴即频率轴；若口= 0 ，则为f 轴即时域分轴，因此可认为分 数阶f o u r i e r 变换是一种广义的f o u r i e r 变换。 国 ，m v 、 ，、口 ，l l d 7 图2 1 ( f ，国) 平面旋转口角转换为( z , ，) 平面 分数阶傅里叶变换的线性积分变换的定义形式如下： 2 二维分数阶傅里叶变换理论介绍 ( “) 量jk p ( “，“) 厂( 孔) 幽( 2 1 ) 其中砗( “，“) 一以e x p lp ( “2 c o t a - 2 u u c s c o ：+ u 2c o t a ) i ，称为分数阶f o u r i e r 变 换的核函数，以奎1 一，c o t 口，口暮p r r 2 ，p 2 n ，刀是整数。 当p = 4 n ( 口= 2 m r ) 时巧( “，“) l 万( i d - - i ) ，当p = 4 n + 2 时( 口= ( 2 以1 ) 万) 时 巧( t t , t t ) 叠a ( u + u 。) 。 进一步地，( ”) 可以表示为： ( “) = ，p 厂( ”) ) ( ) = e 巧( 郴o f ( ”9 d u 。，o i p l 2 ( o z ) ，则归一化间隔可以 取两者的较小的数值，即缸= z 。同样道理，这就需要对相关的原有数据作截取 操作，一般来说，只需要取出其在频域范围卜z 2 ，z 2 】内的数据就可以了，从而 实现了离散信号的归一化。 2 3 二维分数阶傅里叶变换 对于图像处理领域来说，一般需要将相关的一维变换推广至二维变换形式， 如传统的二维傅里叶变换，小波变换等。对于分数阶傅里叶变换同样具有相同 的情况。因此，实现分数阶傅里叶变换的人脸面部表情识别的首要问题就是如 何将一维形式的变换拓广至其二维变换空间。对于分数阶傅里叶变换的高维形 式来说，目前主要分为变换核可分离和变换核不可分离这两种变换形式。由于 变换核可分离的高维变换形式具有操作方便，可重复性好等优点，成为现在研 究的热点内容【4 1 1 。基于此原因，本文也将采用变换核分离的二维分数阶傅里叶 变换作为研究的工具，具体说来其表示形式如下： 设x ( s ，f ) 为一个二维信号，对于该信号的二维分数阶傅里叶变换可写为： x p l , p 2 ( ”，v ) = , p 2 ( x ( s ，f ) ) = 尺- 耽( “，s ，f ) x ( s ，f ) ( 2 1 9 ) 其中k n 加( 材，1 ，s ，f ) 为分数阶傅里叶变换的二维变换核。由于分数阶傅里叶变换 核具有可分离的性质，故式( 2 1 9 ) 可写为： 以l 。p 2 ( “，1 ，) = 护：( “，v ，s ，f ) 。x ( s ，r ) = ( ”，s ) ( 1 ，f ) x c s ，t ) ( 2 2 0 ) 即 l , p 2 ( 甜，v ) = 厶，见( x ( s ，f ) ) = k 。乃( “，s ，f ) 。x ( s ，f ) = c 7 瞄。【x ( j ，f ) 】 - 贸。 c 【z ( s ，f ) 】) ( 2 2 1 ) 1 5 2 二维分数阶傅里叶变换理论介绍 众所周知，对于数字图像处理领域来说，若想要对数字图像进行处理必然需 要对上式进行离散化的处理，即分别对变换核和连续信号进行离散化处理，由 于数字图像信号自身就是离散形式的，故只需要对变换核进行相关的离散处理， 在本文中将采用o z a k t a s 2 6 】提出的量纲归一化的离散算法。根据文献【3 0 】可知： k a 惫唧( 等一可j 2 n ( c s ca ) m n + 1 j 2 n ( e 矿o ta ) r 产 ( 2 2 2 ) 其中a x 为时域的采样间隔，以为一固定的常数，m ，1 分别为时域和分数阶域的 采样点数。 因此，式子( 2 1 9 ) 可写为： x ( 眦) ( 朋，) = x ( p ，q ) k ( p 川( p ，q ，m ，刀) ( 2 2 3 ) x ( 眦) ( 研，疗) = 【x ( p ，q ) k ( g ，) 】k ，：( p ，朋) = x ( p ，g 心：( p ，脚) 】如( g ，刀) ( 2 2 4 ) 从上式( 2 2 4 ) 中不难看出，二维离散信号的2 d f r f t 相当于对数字图像信号 行向量和列向量分别进行一维的离散f r f t 变换【4 1 1 ，这对于计算机的编程和数字 图像处理领域来说都是非常简单的，有效的。此外，这也为分数阶傅里叶变换 应用于大型的d s p 和v l s i 电路来说都是非常重要的。 2 4 二维分数阶傅里叶变换性质 由前面有关二维分数阶傅里叶变换的定义已经知道了它的一些相关性质，但 还需要对二维分数阶f o u d e r 变换的一些主要的性质进行更加深入的探讨和总 结。下面列出较为常用和重要的性质。其他相关的性质请参考文献【4 2 1 。 ( 1 ) 可加性 巳，见厶， f ( x ，少) = + 内见+ “f ( x ，y ) ( 2 2 5 ) ( 2 ) 线性 见【一z 例= ，q ，愚眈湖 ( 2 2 6 ) ( 3 ) 反变换 1 6 2 二维分数阶傅里叶交换理论介绍 ，二，见叫厂( x ，y ) = a 一见f ( x ，y ) ( 2 2 7 ) ( 4 ) 酉性 。见f ( x ，y ) = a ，一见f ( x ，少) = 。见厂( x ，y ) ( 2 2 8 ) 其中表示共轭装置的意思。 ( 5 ) 时移性质 厶，段厂( ，- t o ) ( ，) = e x p 一2 万 r ( ，一o 5 名) 厶p 2 厂( 厂) ( ，一) ( 2 2 9 ) 在上面的公式中：= ，y o r ，= 【嘞c o s # ，y o c o s 孽o r ，= 而s i n # ，y os i n q r ， = a 万1 2 ，驴= p 2 刃r 1 2 。 ( 6 ) 时域坐标原点矩 ，n 【x ”y ”f ( x ，y ) 】= ( x c o s # + ( j s i n o o x ) 万) _ ( y c o s 伊+ ( s i n 伊。o 砂) 万) ” f ( x ，y ) ( 2 3 0 ) 其中= p l n l 2 ，9 = p 2 l r 2 。 ( 7 ) p a r s e v a l 能量守恒性质 jf ( j ，t ) g ( s ，t ) d s d t = ，f e ，声( 刚) g 郇( u , v ) d u d v ( 2 3 1 ) 当f ( s ，f ) = g ( s ，f ) 时，上式变为： jj 厂( j ，t ) f ( s ，t ) d s d t = jjc ，卢( “，功，a t , p ( 材，v ) d u d v ( 2 3 2 ) 即： l 们，f ) 1 2d s d t = 川c 。，( 州) 1 2d u d v ( 2 3 3 ) 由上式可以看出，二维分数阶傅里叶变换满足p a r s e v a l 能量守恒的性质。 2 5 本章小结 本章系统地分析了分数阶f o u r i e r 变换的定义、性质及现有的数值计算方法， 同时将一维变换推广至二维变换形式，并且对二维离散算法作了必要的说明并 介绍了相关的性质。首先介绍了分数阶f o u r i e r 变换的起源和发展，在此基础上 介绍了主要的定义形式并研究了它的一些性质。后面介绍几种离散的分数阶 f o u r i e r 变换，其中详细介绍了采样型和特征分解型的离散分数阶f o u r i e r 变换的 计算方法，并对每种离散算法的性能进行了分析，指出选择量纲归一化算法的 依据。对二维分数阶傅里叶变换的算法原理做出了必要的说明，并且详细的分 1 7 2 二维分数阶傅里叶变换理论介绍 析二维离散算法的原理且对其相关的性质进行了说明，这就为数字图像在分数 阶域的特性的分析奠定了相应的理论基础，这也直接关系到提取图像在分数阶 傅里叶变换域特征信息的问题，这将是第三章讨论的主要内容。 1 8 3基于分数阶傅里叶变换人脸表情特征的提取 3 基于分数阶傅里叶变换人脸表情特征的提取 3 1 引言 情感识别技术作为一个新兴的研究领域，在日常生活中发挥着极其重要的作 用。对该问题的研究来说，首先要解决的问题就是人脸情感数据库的采集问题。 由于目前还没有公认的情感识别数据库，因此在本文中将采用加拿大瑞尔森大 学的情感数据库。此外，一般说来，典型的人脸表情( 情感) 识别主要包括：人 脸检测、表情特征提取、表情分类三大部分内容。其中又以特征提取最为关键， 它在整个识别系统中起着重要的纽带的作用，直接关系着系统的识别效果。但 是由于实际拍摄具体环境的不同，例如：采集设备，光照条件，人脸相对于采 集设备的位移不同，所以采集到的图像具有很大的分散性。此外，由于拍摄的 人脸情感图片中同时包含着大量的背景信息，这些背景信息对于最终的分类来 说是毫无意义的，同时还起着一定的干扰作用，直接影响了最终的识别效果。 因此，必须对采集到的图像进行相关的规范化处理，这就是图像预处理的过程。 经过对采集后的图像进行相关的预处理，便可以开始对图像在分数阶域的相关 特征进行分析，从而提取图像在分数阶域的对应特征。 3 2 本文选用的人脸表情数据库 目前对于人脸面部情感识别的研究领域来说还没有公认的实验数据库，常用 的数据库主要包括：日本的j a f f e 数据库，美国c m u 机器人研究所和心理学系 共同建立的c o h n k a n a d ea u c o d e df a c i a le x p r e s s i o ni m a g e ( 简称c k