（计算机软件与理论专业论文）静态图像中人脸表情和性别识别的研究.pdf

f a c i a le x p r e s s i o na n dg e n d e rr e c o g n i t i o n b a s e do ns t a t i cf a c i a li m a g e b y l i uh u a u n d e rt h es u p e r v i s i o no f p r o f l ij i n p i n g at h e s i ss u b m i t t e dt ot h eu n i v e r s i t yo fj i n a n i np a r t i a lf u l f i l m e n to f t h er e q u i r e m e n t s f o rt h ed e g r e eo fm a s t e ro fe n g i n e e r i n g u n i v e r s i t yo f j i n a n j i n a n ，s h a n d o n g ，p r c h i n a m a y1 8 ，2 0 1 0 2川8洲6 7哪4川7，iiil洲y 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立 进行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含 任何其他个人或集体己经发表或撰写过的科研成果。对本文的研究做出 重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到 本声明的法律责任由本人承担。 论文作者签名：z 盈嘴 日 期： 塑奄世闫 关于学位论文使用授权的声明 本人完全了解济南大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借鉴；本人授权济南大学可以将学位论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段保 存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名： o 5 q + t h t = lt = l 其他 其中，q - 1 。g z 去，历为调节因子，控制证确率和误检率之间的关系。 ( 2 2 ) 弱分类器的构造 弱分类器就是可以根据一些粗略的分类判断经验规则的分类器，只要其分类的准 确度大于5 0 就可以了。将很多这样简单的分类器按照一定的规则组合起来就可以得 到一个高度准确的分类预测法则。弱分类器的算法描述如下： 一个弱分类器蚴包含一个特，一个阈值易和用来表示不等式方向的弓， p ，取士l ，如下所示： h 小，= 三蹦巍粥 ( 2 3 ) 强分类器的构造 a d a b o o s t 算法在构建强分类器之前，需要确定该算法输入参数。 首先，应确定对于每个训练样本的初始化权值w l i ，可由人脸分布的先验知j , n 0 9 ( i ) 决定，实验中采用均匀分布。 其次，算法迭代的次数决定着每个强分类器中包含的弱分类器的数目，实验中采 用一个自适应的方式确定数目确大小。 具体算法步骤如下： 对于训练集中的图像，将其表示为( x b y l ) ，g i 奶) ，棚) ，其中m = o ，1 分别表 示训练集中的人脸样本的假和真； l s 静态图像巾人脸表情和件别识别的研究 对而i - - o ，1 分别初始化权值。= l 2 m ，1 2 1 ，其中m ，盼别表示在训练样本中 有m 个假样本和价真样本。 开始迭代循环： f o rt = l ，硎用a d a b o o s t 算法，得到弱分类器，根据下式得到强分类器输出的正确率： m ，= 壹州少0 5 量q + 历 其他 ( 2 4 ) 在正确率大于9 9 同时误检率小于0 5 时停止，得到一级强分类器。 进入下一级强分类器的学习过程。经过这样的迭代循环过程得到多级的强分类 器。 级联的多级分类器 得到了强分类器之后，使用一种级联的结构联合各个强分类器，系统结构如图2 3 所示。 图2 3 级联的多级分类器 级联分类器的每一层是一个由连续a d a b o o s t 算法训练得到的强分类器，设置每一 层的阈值，每级强分类器建立保证输出的正确率大于0 9 9 9 ，误检率小于0 5 的原则。 在这个原则下，通过添加或减少弱分类器，可实现多级强分类器的构建，越靠后的层 包含越多的弱分类器，分类能力越强。采用这种级联结构的好处是，将全部的判决计 算分级进行，通过前几级就可排除一些明显不是人脸的窗口图像，无需再进行后续计 算，从而大大减少了计算量。只要某个图像窗口不能通过其中的任何一级，就将该窗 口排除判定为非人脸。通过全部各级强分类器的窗口才可以被认定为是人脸窗口。 2 1 2 实验结果 对人脸图像进行特征提取和识别的前提是人脸检测，本文采用基于o p c - n c v 的 1 6 济南人学项l 学位论艾 a d a b o o s t 算法的人脸检测方法，o p e n c v 是i n t e l 开源的计算机视觉库。o p e n c v 提供 了很多图像处理和计算机视觉方面的算法。 人脸检测如图2 4 所示：( a ) 图表示输入一幅原始的人脸图像，( b ) 图表示的实 现人脸检测结果 2 2 图像的尺度归一化 图2 4 人脸检测示意图 由于检测出的人脸的大小不一样，所以需要对检测出的人脸图像进行尺度的归一 化。图像的尺度归一化的思想是将各个尺度大小不一样的图像统一处理成为尺度大小 一样的人脸图像，已为后面的特征提取做准备。本文采用速度快，效果不错的双线性 插值算法。算法介绍： 1 、图像尺寸的缩小 厂伽) 叫孚，学) ( 2 5 ) 公式中，厂是变换后的图像的灰度值函数，厂是变换前的原图像的灰度值函数，是 变换前图像的宽度，为变换后图像的宽度，h 为变换前图像的高度，h 为变换后图 像的高度。 2 、图像尺寸的放大 采用双线性插值算法能很好的解决图像放大出现的马赛克的问题，由于图像比原 来的图像大，所以放大的图像较之前的原始图像肯定会出现一些新的像素点。这些原 来图像中没有的像素点需要通过插值来完成，该算法首先放大后的图像矩形对应的顶 点的灰度值来源于原始图像中矩形顶点的灰度值，下一步就是采用双线性插值算法计 静态图像中人脸表情和悱剔识别的研究 曼1 i i_ i 曼! 曼! 曼曼曼曼曼曼曼! 曼皇曼曼曼皇曼曼曼曼曼曼曼曼曼舅曼曼曼曼 算原始图像中所有点的灰度值，实现尺寸归一。算法实现步骤，假设( ，) 和( 五，乃) 是矩形两个对角定点，( j ，) 是这个矩形中的点，求该点的灰度值的算法如下： s ( x ，) = 厂( 而，y o ) + ( x - x o ) l ( x , - x o ) f ( x ，y o ) - ( x o ，) 】 ( x ，y 。) = 厂( ，y 。) + ( x 一) ( 毛- x o ) f ( x 。，y 。) - ( x o ，y 。) 】 ( 2 6 ) ( 五j ，) = 厂( 五蜘) + ( y 一) “y 。- y o ) f ( x ，y 1 ) - f ( x ，甄) 】 经过尺度归一化的处理将所有人脸表情图像均转化为9 0 x1 0 0 大小。 2 3 图像的灰度归一化 图像的灰度归一化是指对图像进行光照补偿等处理，对于一幅待处理的人脸图像 经常会出现光照不均匀的情况，这样会直接影响特征提取的精度，因此对于输入的图 像必须进行光照处理以改善图像的质量，从而提高对目标图像的识别率。 图像直方图是图像的重要统计特征，它表示了数字图像中每一个灰度级与该灰度 级出现的频率间的统计关系。通过对图像灰度值的统计，可以得到一个一维离散的图 像灰度统计直方图函数，从数学上来说，它统计一幅图像中各个灰度级出现的概率； 从图形上来说，它是一个二维图，横坐标表示图像中各个像素点的灰度级，纵坐标为 各个灰度级上图像像素点出现的概率。直方图反应了图像的概貌，那么就可以通过修 改直方图的方法缩小图像的对比度，提高图像质量。 光线较暗时，直方图的组成部分集中在灰度级低的一侧，反之，光线较亮时，图 像直方图的组成部分集中在灰度级高的一侧，若一幅图像其像素占有全部可能的灰度 级并且分布均匀，则图像有高的对比度和多变的灰度色调。为了消除光照对图像的影 响，为可以对图像的直方图做均衡化处理，使图像均匀的分布在各个灰度级，从而增 大反差，使图像的细节清晰，对比度得到改善。 直方图均衡化的基本思想是对在图像中像素个数多的灰度级进行展宽，而对像素 个数少的灰度级进行缩减，把原始图像的直方图变化为均匀分布的形式，增加了像素 值的范围，从而达到清晰图像的目的。具体算法如下： ( 1 ) 列出原始图像的灰度级厂，歹= 0 ，l ，后，l - 1 ，其中l 是灰度级的个数。 ( 2 ) 统计各个灰度级的像素数目n j ，j = 0 ，1 ，k o l 一1 。 ( 3 ) 计算图像直方图各个灰度级的频度只( ) = ! ，j = o ，l ，尼，l l ，其中以 以 为原始图像总的像素数目。 1 8 ( 5 ) 应用如下公式计算映射后的输出图像的灰度级蜀，f = 0 , 1 , - - - , k ，p - 1 尸为输 出图像灰度级的个数：& = z 研( g 一一g 胁) c ( 门+ g m i n + o 5 ，其中z 7 、盯为取 整符号。 ( 6 ) 统计映射后各级灰度级的像素数目惕，待0 ，l ，尼，p 一1 。 ( 7 ) 计算输出图像直方图p g ( g ，) = 竺，f = 0 ，l ，k ，尸一1 。 行 ( 8 ) 根据，和g j 的映射关系来修改原始图像的像素灰度级，得到新的输出图像， 新的输出图像的直方图近似为均匀分布。 图2 5 ( a ) 是图像灰度均衡化前图像及直方图，图2 5 ( b ) 是图像灰度均衡化后 图像及直方图。直方图均衡化后图像，该图像灰度级分布概率均匀，这样，通过改变 图像的灰度值，图像的对比度变大。由于人脸具有大致相似的形状，在相同的光照情 况下，人脸图像应具有相似的灰度分布，即灰度的均值，方差应相近。因此，采用直 方图均衡化的方法实现人脸图像的灰度归一化。 归一化前的源图像及直方图 图2 5 ( b ) 灰度归一化后的图像及直方图 2 4 实验图像预处理结果 实验预处理结果以日本的j a f f e 表情库为例，图2 6 ( a ) 实验图像预处理源图像， 图2 6 ( b ) 实验图像预处理结果，性别识别的预处理过程与人脸表情识别的预处理过程 相同，实验中特征主要集中在人脸区域，人脸库中的图片是在非受限的环境下拍摄的， 1 9 一一 静态图像中人脸表情和t 牛别识别的研究 人脸图像的尺度、姿态、光照等变化较大，同时由于拍摄距离和环境影响，导致图像 中人脸发生一定的倾斜，光照也不均匀，所以采用a d a b o o s t 算法自动的检测人脸区 域，然后再对纯人脸进行尺度归一化和灰度归一化。 图2 6 ( a ) 实验图像预处理源图像 2 5 本章小结 图2 6 ( ”实验图像预处理结果 本章主要介绍了人脸表情、性别识别的基础研究图像预处理，首先对训练集图像 进行人脸区域的检测，检测方法用基于a d a b o o s t 算法，介绍了a d a b o o s t 算法的理论， 然后对所检测出的人脸图像进行灰度归一化和尺度归一化的处理，最后显示实验图像 的预处理结果。 要的，特征提取的好坏直接影响着后面分类的选取和其性能，特征提取在数学上就是 由测量空间到特征空间的一种映射，这种映射关系首先需要保留测量空间中主要的一 些分类信息，其次映射变换后得到的特征空间的维数要小于原来的测量空间的维数， 也就是要起到降维的作用。但是在实际问题中，那些重要的特征往往不容易找到，有 些时候无法得到原来的测量空间，所以特征提取成为模式识别系统最困难的任务之 一，主成份分析( p c a ) 和线性判别式分析( l d a ) 是常用两种常用的特征提取方法。 l d a 算法在特征提取的过程中考虑到了使模式样本的类内距离最小同时使其类间距 离最大，这样就保证了样本在特征子空间中有最佳的可分性，但是l d a 算法的最大 缺陷就是存在小样本问题，为了解决l d a 算法在特征提取过程中出现的小样本问题， 本文采用p c a 和l d a 相结合的算法提取人脸性别的特征。性别分类器的选择采用最 小距离分类器进行分类。 3 1 主成份分析( p o a ) 早在1 9 0 1 年，由k a r lp e a r s o n 提出了主成份分析法( p r i n c i p a lc o m p o n e n ta n a l y s i s ， p c a ) ，后由h o t e l l i n g 在1 9 3 3 年扩展了该方法。该方法的主要原理就是对样本数据库 进行训练，从原来很多个参量中寻找少数几个既能综合反映原参量信息又彼此间独立 的综合参量，通过这少数的参量来表示多维的参量，大大的降低了参量空间的维数， 该方法在不损失信息的前提下，为其它的多元分析方法提供较少参量的样本数据，起 到了降维的作用【删。 在2 0 世纪9 0 年代初由t u r k 等人提出了经典的特征脸方法，他利用特征脸进行 人脸特征进行提取，实现人脸识别，取得了较好的实验效果。尽管人脸表情和性别识 别与人脸识别在特征上存在很多的不同之处，但有一些研究学者已经研究证明了特征 脸的方法在人脸表情、性别的识别上同样也是有效的，c a l d e r 等研究分别从社会科学 和模式识别理论两个角度说明了主成份分析方法在特征提取方面的有效性和可行性。 p c a 实质上就是k l 展开的网络递推实现，k l 变换是图像压缩中的一种最优 正交变换，训练样本的总体散布矩阵作为其生成矩阵。该方法根据像素问的二阶相关 性，将人脸的图像区域看作成为一个随机向量，采用k - l 变换得到正交变换基，表 2 l 静态圈像中人胞表情和件刖识别的珂f 究 情特征空间的一组基由其中的较大的特征值对应的基底组成，然后人脸性别特征就利 用这组基底的线性组合来描述、表达，以实现性别人脸的识别和重建。最后待测样本 的特征提取过程就是把待识别人脸性别映射到由较大的特征值对应的基底组成特征 向量( 特征脸) 张成的子空间中，分类过程就是将待测样本在子空间中的位置与库中人 脸性别的子空间位置进行对比，位置晟接近的就判为这一类别中。 p c a 算法具体流程如下【4 1 】： 1 、图像向量化 主成份分析( p c a ) 也称为k l 变换，在人脸特征提取过程中，可以将k l 展 开用于图像的表示，在计算机中一幅图像用f ( x ，y ) 表示，用f ( x ，y ) 表示的图像在空 间坐标上和亮度上被离散化了，这样一幅数字图像就可以看成一个矩阵或者一个数 组，用 表示，其行和列标出了图像上的一个点，而矩阵中相应元素的值标出了该 点的灰度等级。图像的向量化就是将图像按列或行相连构成一个高维向量，例如，一 幅n x n 大小的图像按列相连构成一个2 维向量： 工= ( 岛。包r k 。包：也：“：厶如) ( 3 1 ) 它可被视为2 维空间中的一个点。 2 、主成份分析求的训练图像矩阵的非零特征空间 我们以归一化后的标准图像做为训练样本集，以该样本集的总体散布矩阵为产生 矩阵 = e ( x 一) ( 石一) 7 ) ( 3 2 ) 即 2 吉l v a i = 0 ( 誓一) ( 再一) r 3 3 其中，x j 为第i 个训练样本的图像向量，t 为训练样本集的平均图像向量，m 为训练 样本的总数。 下一步特征提取，求解总体散布矩阵的特征值和特征向量，直接求解n 2 n 2 大 小矩阵特征是很困难的，为此引入奇异值分解即s v d ( s i n g u l a rv a l u e d e c o m p o s i t i o n ) 间接求解。 奇异值分解( s v d ) 定理： a 是一个秩为，的n x r 维矩阵，则存在两个正交矩阵： 人= 纰 九，a ，4 一。】r “7 凡丑乃一l 满足 ! a = u a z v r ( 3 4 ) 一! u = a v a 2 ( 3 5 ) 其中：以“= o ，1 ，r - 1 ) 为矩阵朋7 和4 r a 的非零特征值，u i 和_ 分别是州r 和a r a 对应于2 的特征向量。乃是彳的奇异值。 可以表示为= 万1m 缶- i ( 五一) ( 玉一) r = 击麟r 其中：x = 【- p ，五一，x m l 一】 构造矩阵r = x r x 吼肌吖 很容易求出矩阵尺的特征值五和正交归一特征向量，根据推论3 5 得出，的特征 向量u i 吩2 击她汪o ，1 ，2 ，- 1 ( 3 6 ) 这样通过计算较低维矩阵尺的特征值和特征向量问接的求出高维矩阵的特征向量。 本文根据信息量最终确定图像的维数，计算选取的特征量所包含的信息量与总的 信息量的比例大于一定的阈值e ，根据下列公式3 7 计算，e 的取值为9 9 4 e = j j ( 3 7 ) 以 3 2 线性手l j g l j 式分析( l d a ) 线形判别式分析( l i n e a rd i s c r i m i n a n ta n a l y s i s 简称l d a ) 又称为f i s h e r 线性判 别分析，它是模式识别中一个经典的特征提取算法。该算法既考虑了样本的类内信息， 也考虑了样本的类问信息，在l d a 算法求解的特征子空间中使模式样本的类内距离 静态图像中人脸衷情和博别识别的研究 曼曼曼曼曼鼍曼曼曼曼曼鼍曼! 曼曼曼曼曼! 曼曼皇曼曼! 曼曼曼曼毫1 ；= _ ； 一m i n li m i m ii i 毫曼曼曼皇曼皇曼曼曼曼! 寰 最小同时使其类间距离最大，这样就保证了样本在特征子空间中有最佳的可分性。理 论上是一种不错的特征提取方法。 l d a 算法的具体流程如下： l d a 算法首先涉及两个基本的概念：类内散布矩阵和类问散布矩阵其定义分别 如下： 瓯= ( t 一) ( 气一班) r ( 3 8 ) i = 1 女c 最= m ( 镌一m ) ( 一聊) r i = 1 ( 3 9 ) 其中，m 表示类c ：( i = 1 ，2 ，c ) 的样本数，砚是类q 的样本均指，聊表示所有训练 样本的均值。将式( 3 8 ) 和式( 3 9 ) 相加得样本总体散布矩阵： 墨= & + 咒= ( 五一朋) ( 气一聊) 7 ( 3 1 0 ) 也可以表示为 寺= 专；| ；( 一训r 下一步就是用f i s h e r 准则即衡量空间分类能力的重要准则来判别，定义为： 舯鹕甲翮 限 其中，形是由c - 1 个特征所组成的转换矩阵，即形= 【w l ，w 2 ，吧，w c 一。】 下一步就是l d a 算法的核心求得满足式3 1 2 的转换矩阵肜，转换矩阵的求 解在文献 4 2 】中证明得出可以通过求解s w 一& 的特征向量得出。这就涉及一个对乱矩 阵求逆矩阵的问题，求解一个高维矩阵的逆矩阵是很难的，为了避免直接求逆，对 l d a 方法实现求矩阵形采用“同时对角化”即寻求一个能同时对s 。和咒对角化的矩 阵形，公式表示为 形r s 。矽= ，形7 最矿= 人 ( 3 1 3 ) 无论利用求解& 卅最的特征向量还是利用“同时对角化 的方法的前提条件都是 要求瓯矩阵是非奇异矩阵，但是在应用的过程中是很难满足这个条件的，只有在训 练样本的个数不小于样本的维数的条件下瓯才有可能满秩的。 由s v d 知 因为： 如果n m 因为 所以 = 五l 一，l l ，五2 一砚，五c l 一， 屯l m 2 ，x 2 2 一m 2 ，恐c 2 一，吃， ，气l 一，鼍2 一，。一m c ，r 肌 r a n k ( c d c d t ) = r a n k ( c d t ) ， t r m 。m t r r a n k ( t ) n r a n k ( t ) = r a n k ( r ) m t r 材“盯 出( 邱) = o = 施蛾) ( 3 1 5 ) ( 3 1 6 ) ( 3 1 7 ) ( 3 1 8 ) ( 3 1 9 ) 由此可得：& 不可逆。 在实际应用中，所处理的人脸图像的维数一般都很高，比如，一个尺寸大小为 1 0 0 x 1 0 0 的人脸灰度图像，在计算机中存储为l o o x l 0 0 的矩阵，然后将该矩阵按列或 者行转化成1 0 0 0 0 1 维的，要使s 。非奇异，根据以上证明，需要训练样本的个数大 于1 0 0 0 0 ，这在实际情况中是很难满足这一条件的，这就是小样本问题( s m a l ls a m p l e s i z ep r o b l e m ，s s s p ) 。 3 3 图像分类和识别 3 3 1 距离函数 距离测度( 差值测度) 是以两个矢量矢端的距离作为考虑的基础，因此距离测度 值是两矢量各相应分量之差的函数。两矢量间的距离测度的具体算法很多，一般来讲， 两矢量的距离定义应满足下面的公理：设矢量x 和y 之间的距离记为d ( x ，y ) 2 s 静态图像中人脸表情和性别识别的研究 1 、d ( y ) o 当且仅当j ，= 石时等号成立即：d ( 五y ) = o 付少= 石 2 、d ( x ，y ) = d ( y ，工) 3 、d ( x ，y ) j ( x ，z ) + d ( z ，y ) 在模式识别中定义的某些距离测度有时候不满足第3 条公理，在广义上称为距离。 下面给出距离测度的几种具体算式： 设x = ( 五，x 2 ，吒) ，y = ( 咒，y 2 ，y n ) 1 、欧式( e u c l i d e a n ) 距离 d ( 石，y ) = o x y i i = 喜( 薯一 ) 2 j 2 c 3 2 。， l 卢l 2 、绝对值距离( 街坊距离或m a n h a t t a n 距离) d ( x ，y ) = 薯- y i i ( 3 2 1 ) 3 、切氏( c h e b y s h “) 距离 d ( x ，y ) = m a xx i y i l ( 3 2 2 ) 4 、明氏( m i n k o w s h i ) 距离 i - 。7 1 1 d ( 五y ) = l ( x l - y i ) ”l ( 3 2 3 ) lf = lj 5 、马氏( m a h a l a n o b i s ) 距离 设n 维矢量毛和_ 是矢量集 _ ，t ， 中的两个矢量，它们的马氏距离定义为： d 2 ( ) = ( 薯一_ ) 州墨一_ ) 肛熹善( 薯一为( 墨一两 3 2 4 本文采用欧式距离函数进行分类，这种方法简单、直接、方便。而且使用这种方 法进行识别，最终的识别结果能更好的反应前一阶段特征提取操作的好坏。 3 3 2 最近邻决策规则 假设有c 个类别m ，w z ，w 的模式识别问趔4 3 1 ，每类有标明类别的样本f 个 规定w 类的判别函数为 岛( x ) 2 哑n 肛一# l i ，七= 1 ，2 ，m ( 3 2 5 ) 其中# 的角标f 表示w 类，k 表示w 类个样本中的第k 个。按照上式，决策规则可 以写为g ，( 石) = 哑n 岛( x ) ，i = 1 ，2 ，c 则决策为z ，这一决策方法称为最近邻法。 济南人学硕f 学位论文 皇曼皇曼曼m iii i ! ! 曼曼! 曼曼曼! 曼皇皇曼曼篡, 对于未知样本l 的类别判断，只要计算工与= 窆f 个已知类别的样本之间的欧式距 离，并决策x 与离它最近的样本同类。最近邻决策在理论原理上很直观，方法上也十 分简单，但由于最近邻法每次决策都要计算未知样本与全部训练样本的距离并加以比 较，因此计算量和存储量都很大。 考虑到类条件均值向量已经包含了大量的分类信息，本文在算法上对经典的最近 邻分类器进行改进，首先将未知样本同所有己知类别的均值向量进行比较，然后挑选 出最相似的那些类别作为一个候选集，然后对候选集再采用最近邻分类法进行判别。 在计算样本间的距离时选择欧式距离作为相似性度量。 3 4p c a - l d a 在性别识别中的应用 p c a l d a 方法可以解决单纯的l d a 方法无法解决的小样本问题，p c a l d a 方 法，是对原始训练数据进行两次投影变换，首先采用p c a 来降低特征空间的维数， 将图像空间转化为最佳的描述特征空间( t h em o s te x p r e s s i v ef e a t u r e ，m e f ) ，该空间 又称为p c a 变换子空间，降维后在p c a 变换子空间中的s 。不会发生退化，然后利 用线性判别分析( l d a ) 进一步降低维数，将m e f 空间转化为最佳判别特征( t h e m o s t d i s c r i m i n a t i n gf e a t u r e ，m d f ) 空间，最后采用最小距离分类器进行分类【4 4 1 。 下面简单介绍p c a l d a 算法： 第一步：基于p c a 的特征降维 设训练样本集x = 瓴) ，i = 1 ，2 ，m ，玉r 的协方差矩阵为，则有： _ 击委( 五刊( t 刊r 。2 6 其中2 击i = 0 五为训练样本的均值向量，求解协方差矩阵的特征方程： 口= 兄口 ( 3 2 7 ) 最大的m 个非零的特征值 4 丸对应的特征向量 口。，呸，】就张成最佳 的描述特征空间即： = k ，】 ( 3 2 8 ) p c a 特征子空间的维数m 的选择基于以下原则：首先特征公式( 3 2 6 ) 最多有m 1 个非零的特征值，m 为训练样本的总数因此应有m m l 。为了使s 。的不发生退化， 需进一步对m e f 空间的维数进行约束使其小于乱的秩，l 是训练样本的类别数。即 m 的选择方法如下m m i n ( m - l ，r a n k ( s 。) ) 。另一方面，还应保证子空间维数m 不 静态图像中人脸表情和作剔识别的研究 小于类另| j 数l 因此有： l m m i n ( m - l ，阳础( 咒) ) ( 3 2 9 ) 第二步：基于l d a 的投影变换 设经p c a 降维后，训练样本x = “) ，i = 1 ，2 ，m ，蕾r 在p c a 变换子空间的映射集 为】，= 以) ，i = 1 ，2 ，m ，咒r ”即：y = 呢x 。根据式( 3 8 ) 和( 3 9 ) i ) l i 练样本在 p c a 特征予空间中的类内散布矩阵文和类间散布矩阵受分别为： s w = 窆( 乃一磅) ( 乃一厩) r i = 1 y j ec l = 窆形乙( 一惕) ( _ 一) rw e c a ( 3 3 0 ) i = 1x j e c l = 吮凡翻 & ：窆m ( 厩一历) ( 厩一历) 丁 i = 1 ：主m 形乙( 一，z ) ( 一聊) r 翻 ( 3 3 1 ) f = l = w ；c a s 只哪 为了使得在p c a + l d a 变换子空间内，同类i ) l l 练样本分布的尽可能集中，而不同 类的训练样本分布的尽可能分散，最佳的l d a 投影变换矩阵_ 应满足如下的f i s h e r 判别准则： 以( 形) = 而w t s b w ( 3 3 2 ) 因为文是非奇异的，使得该准则函数取最大值的投影向量集合 ，就是最佳投影 方向 = 鹕眦x 瑚= 鹕m x 黜 3 3 ， p c a l d a 的投影矩阵可以表示为：睇= w p c a w l d a 。最后，将人脸图像x 投影到的 列向量上从而得到该人脸图像的一组特征y = 睇r x ，这些特征作为分类的特征。 基于p c a l d a 的人脸性别识别算法步骤如下： ( 1 ) 首先求的i ) f i 练样本集的协方差矩阵的特征值和特征向量，取最大的，个非零 的特征值对应的特征向量，组成p c a 算法的特征子空间如，的取值根据公式3 7 获得。 ( 2 ) 求的p c a l d a 融合的特征子空间= ，获得需先计算训练 济南大学硕f 学位论文 样本在p c a 特征子空间中的类内散布矩阵墨，和类间散布矩阵爱通过公式3 3 0 和 3 3 l ，由于性别鉴别属于两类模式识别问题。公式中的m 为所有训练样本的均值，i 的取值只有1 、2 。m ，为男性样本均值，m 2 为女性样本均值。求的文- 1 爱的p 个最大 的非零的特征值对应的特征向量得到特征子空间形d 。 ( 3 ) 训练样本规范化即将每个训练样本减去所有样本的均值，将每个规范化后的 样本转化为列向量，然后将训练样本矩阵投影到p c a l d a 融合的特征子空间中。 ( 4 ) 将测试样本规范化，转化成列向量，投影到p c a l d a 融合的特征子空间中， 最后采用最近邻准则完成识别。 人脸性别识别的p c a l d a 方法的流程图： ：测试： -i i- 图3 1 人脸性别识别的p c a l d a 方法的流程图 3 5 实验结果分析 本文实验采用a t & t 人脸图像库，实验过程中，选取a t & t 人脸库中的5 男5 女共1 0 人( 如图1 3 ) ，每人1 0 幅图像作为样本图像数据。训练样本随机产生，在相 同实验条件下，从男女两类中每人随机选取i 张人脸图像作为训练样本( f ：2 ，4 ，6 ) ， 每人剩余l o f 张作为测试图像来实验。通过采用不同数量的训练样本来测试正确识别 率，参加训练的样本数与男、女、和总的平均识别率关系如表3 1 所示。 静态罔像中人脸衷情和悱别识别的研究 表3 1 训练样本数与识别率的关系 曼曼皇曼曼曼曼曼蔓曼曼曼曼曼! i i i i i 一_ 鼍曼鼍曼! 曼曼曼曼曼曼曼曼曼曼曼曼曼蔓 训练样本数 总识别率 男识别率女识别率 2 09 6 2 51 0 09 2 5 4 09 6 6 61 0 09 3 3 6 09 7 2 51 0 09 5 i i 由表3 1 可以看出，基于p c a l d a 算法的人脸性别鉴别总体上能达到较高的识 别要求，同时通过表3 1 可以看出随着训练样本的增加，p c a ，l d a 算法的识别率也 随之就越高。同时还可以看出相同的训练样本数的情况下，男性的识别率高于女性的 识别率。这个实验结果是偶然还是女性比男性难识别，经查阅文献 1 9 1 1 拘研究结果： 女性化程度取决于漂亮程度，而男性化程度与漂亮程度无关，并且人脸图像越趋近于 平均脸，越漂亮，女性化程度越高，这样的就容易造成错误识别率，这结论能很好的 解释这个问题，至于该问题是否还与其他因素有关系，还需进一步研究。 实验过程中发现：训练样本的好坏，主要是指训练样本的男性化程度或女性化程 度、两类训练样本的差别，若差别大，待测试样本的识别率高；反之，差别小，待测 试样本的识别率低。总之，训练样本的好坏直接影响最终待测试样本的识别率。 3 6 本章小结 本章首先介绍了p c a 算法的基本原理和l d a 算法的基本理论，l d a 算法在特 征提取的过程中考虑到了使模式样本的类内距离最小同时使其类间距离最大，这样就 保证了样本在特征子空间中有最佳的可分性，但是l d a 算法的最大缺陷就是小样本 问题。为了解决l d a 算法在特征提取过程中出现的小样本问题，本文采用p c a 和 l d a 相结合的p c a l d a 算法提取人脸性别的特征，最后采用最小距离分类器进行 分类，实验取得很好的效果。 济南人 硕l j 学位论丈 第四章基于g a b o r 小波的人脸表情识别 人脸表情识别是人机交互和信息处理领域当中的一个重要的有意义的课题，其研 究具有很高的应用的价值和学术价值。人脸表情识别涉及到数字图像处理、模式识别、 机器学习以及心理学、生物学等学科知识。人脸表情含有丰富的人的行为信息的，是 融合多学科知识的一个研究领域，现在，人脸表情识别作为一个崭新的有挑战性的研 究课题受国内外研究机构的关注，虽然国内外对人脸表情的研究已经取得了一些成 绩，但是离实际应用还很遥远，还有很多有关人脸表情识别过程中的关键问题需要解 决，下面针对人脸表情识别的两个关键问题：特征提取和分类进行介绍。 本文采用g a b o r 小波对人脸表情识别进行特征提取，g a b o r 小波在空间域和频域 均有很好的分辨能力，并有明显的频域选择和方向选择特性，g a b o r 小波的特性决定 了它对图像的亮度和人脸的姿态变化不敏感。g a b o r 小波是多尺度多方向的，每个尺 度和方向在频域上的贡献是不同的，然后介绍了弹性匹配的模式识别算法，利用欧氏 距离计算与模板表情图像的相似度进行分类。最后给出了人脸表情系统的图像用户界 面和实验过程结果分析。 4 1 g a b o r 小波变换提取特征 4 1 1g a b o r 小波变换的基本理论 早在1 9 4 6 年，d g a b o r 【4 5 】注意到f o u r i e r 变换无法解决非平稳信号方面的问题， 他通过与量子力学中的h e i s e n b e r g 不确定性原理进行类比，发现了一个用时间和频率 描述的信号的特征受该信号的带宽和时间乘积的下限所限制，这就是所谓的一维信号 的不确定性原理。同时他还发现和证明了对于任意的一般的信号，都是存在这种最优 化的折中的，也就是说任意用用高斯函数调制的复正弦形式表示的信号都是可以达到 频域和时域联合的得到的h e i s e n b e r g 不确定性关系的下限的，并且可以同时在频域和 时域同时获得很好的分辨率，这中表示就是g a b o r 小波的最初的由来。近些年来，随 着小波技术和生理学等技术的发展，g a b o r 小波逐渐出现了一维小波的形式和二维小 波的形式。早在1 9 8 7 年，j o n e s 等人4 q 通过对哺乳动物视觉皮层信息处理机制的研究 用实验证明了：可以用二维g a b o r 小波拟合哺乳动物的视觉皮层的细胞的滤波相应也 成为哺乳动物视觉皮层的感受野。 3 1 静态图像中入脸表情和忡别识别的研究 = 维 逼近的二 遥近误差璺阏 图4 1 哺乳动物视觉皮层感受野和逼近的二维g a b o r 函数【4 7 】 人脸模式识别若直接采用人脸图像的像素灰度值作为模式特征时，这样的特征很 容易受到人脸表情和光照以及人脸姿态等因素的影响，这样直接影响着识别的精度。 在人脸表情识别中，同样直接采用像素的灰度值也是不可行的，需要通过g a b o r 小波 变化转化到频域空间中。通过实验表明，二维的g a b o r 小波在空间域和频域均有很好 的分辨能力，并有明显的频域选择和方向选择特性，g a b o r 小波的特性决定了它对图 像的亮度和人脸的姿态变化不敏感，g a b o r 小波是多尺度多方向的，每个尺度和方向 在频域上的贡献是不同的。适合表示人脸图像，人脸图像经二维的g a b o r 小波变换后 进行的识别处理的结果明显好于直接按原始图像灰度进行识别处理的结果。 4 1 2 二维g a b o r 小波变换 二维g a b o r 滤波器是一组具有高斯包络的平面波。不同参数的g a b o r 滤波器能精 确提取图像的局部特征，二维g a b o r 小波是一组窄带带通滤波器，其在空间域和频率 域均有较好的分辨能力，并有明显的方向选择和频率选择特性，g a b o r 滤波器的特性 使得其对图像中目标对象的位移、形变、旋转、光照等变化不敏感。 二维g a b o r 小波核函数的定义为f 4 8 】 俨眇q 爿 ，俨j i i k一盯 波矢量： 巧= ( 乏) = ( 乏：乏 ，屯= 2 - ( 2 ) ，2 万 式中，；表示图像坐标即；= ( f ，j ) ；f 是小波的波矢量，即滤波器的中心频率，其取 不同的值就对应该小波簇中不同的小波函数，仃表示小波滤波器的带宽，决定了窗口 宽度和波长的比例关系，控制着高斯频带宽度，置，表示小波的核频率，这个量决定着 震荡的方向和波长以及高斯窗口的宽度由色决定。由于人脸表情特征主要集中在高频 区域，实验中取较高频率的小波函数和人脸表情图像进行卷积，这样就滤掉了与表情 变化无关的低频信息，保留了人脸表情变化相关的高频信息。实验中取万= 2 z r ，吼决 定了滤波器的方向选择性。 下面对公式中的各个部分进行解释【4 9 】： 。，蛭堑用来补偿能量谱衰减，该能量谱由滤波决定 ( 2 ) e x 严 作用是用来约束平面波的高斯包络函数 ，- + _ 、 ( 3 ) e x p lf 乃xl 为一个振荡函数，实部是余弦函数，虚部位正弦函数，由于余弦关 于高斯窗口中心偶对称，其积分值为零，为了消除图像的直流分量对二维小波的影响， 所以减去e x p ( 一了0 - 2 ) ( 4 ) e x p ( 一譬 为直流分量，减去这个分量的作用是使二维小波变换不受图像的灰 度绝对数值的影响，在一定的程度上克服了光照的变化对图像的模式的影响，同时还 保持了空间关系的信息。 二维滤波器的函数是一个复函数( 跏，分为实部和虚部两个分量。 姗一悱) ) = 学e x p 卜呼砺h 一剀 蝴一籼( 俐= 卜1 1 _ j , 1 2 x 1 2 1 s i 小司 h 3 ， 曩墨曩曩 圈曩曩曩曩霜曩 曩曩曩 目墨叠圈曩目 目圈瞄墨圈曩目目 图4 2 一组5 尺度8 方向的小波函数实部的结果描述【5 1 1 二维g a b o r 小波通过卷积描述人脸图像i ( x 1 的灰度特征，图像与第，个g a b o r 小波核函数少，( i ) ，本文，的取值为4 0 ( 5 尺度8 方向) 的卷积定义为 q = ( 如) 掌砸) = 肛肛，i ) 木i ( i ) d x d y ( 4 4 ) 其中元= ( 工，y ) 为像素点的坐标值，( i ) 为对应坐标的像素值。小波变化后的结果是 复数值，取复数的模值作为小波变化后的结果。这样图像中的每个点经过小波变换后 成为4 0 个小波变换系数，图像上的一个点i 经过小波变换后成为4 0 维的特征向量。 需要指出的是在表情信息明显的关键点出，其特征适量的模值是比较大的。 4 1 3g a b o r 滤波器特性分析 g a b o r 滤波器对人脸表情图像的相应特性主要体现在位置、边缘、和亮度三个方 面的特性，下面详细描述g a b o r 滤波器在这三个方面表现的特性阻, 5 3 1 。 首先二维g a b o r 小波变换是通过将小波系数与图像上给定区域的像素灰度值进 行卷积得到的结果图像。因此，变换得到的小波变换得到的系数值不会随着位置的改 变而发生剧烈的变化，克服了像素的灰度值随着位置的改变而发生剧烈的变化的缺 点，由于二维g a b o r 小波变换的这种特性容许人脸表情图像有轻微的几何变换，这样 济南大学硕f ：学位论文 就大大减少了噪声的影响。 边缘特征是图像的局部灰度值与其周围的灰度值有突变的反应，卷积计算的输出 是输入信号与二维g a b o r 滤波信号相叠加的结果，所以当输入的人脸表情图像的局部 变化与滤波器信号的变化一致时，输出的结果值就相应的大，输出较强，反之亦然。 人脸表情图像经二维g a b o r 小波变换后输出较强的部位为眉毛、眼睛、鼻子和嘴巴部 位，这些部位正好是表情变化引起的关键的特征部位，同时也说明用二维g a b o r 滤波 进行人脸表情特征提取的合理性。 图像的亮度信息也影响着识别的结果，图像的绝对亮度表现为直流成分，在二维 g a b o r 滤波器函数中加入了去直流分量见上- d , 节中对公式的解释( 4 ) ，这样，在一 定的程度上克服了光照条件的改变对图像模式的影响。 4 2 弹性模板匹配 弹性模板匹配的方法是经典的模式识别的方法之一【5 1 1 ，该方法在1 9 9 7 年的 f e r e t 人脸识别的测评中取得良好的效果，经验证弹性模板匹配方法对光照，姿态、 表情等变化有很好的鲁棒性。 实验过程中，首先需要在每一幅表情图像上覆盖一幅网格，选择较小尺寸的网格 划分人脸表情图像，网格尺寸的选取对特征的提取有至关重要的影响，选择过大，会 丢失部分表情信息，降低表情识别的识别率，尺寸选择过小，就会使表情分割过细， 增大计算量。 下一步是将待识别图像与表情模板进行弹性匹配，将模板g a b o r 网格覆盖在待识 别图像的关键点上，并做局部的移动变形，计算相似度测度，找到最大值为止，也就 是使网格系统的代价函数最小，网格系统的代价函数公式如下： n c - - z n ( v , ) 一x s ( e ，p ) ( 4 5 ) f - ii = 1 式中，j 2 为控制模型g a b o r 网格变形的弹性参数，为模板的g a b o r 网格的节点数， v 为模板g a b o r 网格的节点，s ( p ，p ) 为相似度，用距离函数来度量，d ( v i ) 为模板 网格的变形。 当目标和模板越相似时，模板和待识别图像的相似性测度越大，模板网格的变形 就越小，这样代价函数就越小。在弹性匹配的过程中，模板的节点的g a b o r 小波变化 的幅值是不变的，变的是模板节点的位置，图4 3 为弹性模板匹配流程： 静态图像中人脸表情和忡别识别的研究 曼曼曼! 曼曼! 曼曼曼皇曼曼曼! 曼皇曼皇曼曼! 曼曼曼鼍i i il_ii i i；i o 鼍曼皂曼鼍曼鼍蔓曼曼! 曼曼曼曼曼蔓 4 3k 近邻法 测 试 图 像 全 局 匹 配 逐 点 调 整 局 部 匹 配 图4 3 弹性模板匹配流程 特 征 点 匹 配 表 情 匹 配 k