（计算机软件与理论专业论文）基于几何特征的表情识别研究.pdf

摘要 人脸表情识别有着广泛的应用前景，逐渐成为当前人机交互领域的研究热点之一。表情 识别是智能化和自然的人机交互的本质。实现自然和谐的人机交互，必须使计算机能够有效 地理解人的情感和意图。目前与表情分析识别相关的研究主要集中在生理学、心理学和认知 j 科学等领域。迫切需要开展对人脸表情的自动分类方法的研究，这项研究不仅对人机交互有 十分重要的意义，而且在计算机辅助的训练及远程教育等众多领域都具有潜在的应用价值。 本文的研究工作是基于人脸的几何特征进行眼睛、眉毛定位以及表情分析与识别的，主 要进行了以下五个方面的研究，取得了一定的研究成果。 ( 1 ) 在人脸表情原图像的预处理过程中，为防止出现一些小的断点产生不利的影响 进行了一定断点连接，提出了基于连通区域的探针法进行上边缘的提取，在对 上边缘进行编号记录时对邻接点的范围进行了扩展，提出了扩展六邻域的方法 来寻找同一边缘上的点，实验表明本文所提出的方法有效地对断点进行了连接。 ( 2 )本文结合眼睛、眉毛之间的几何特征约束，提出了基于上边缘相邻四端点的方 法进行眉毛和眼睛上边缘的精确定位。 ( 3 )本文利用以下几个特征对人脸表情的变化进行刻画，眉毛、眼睛的两端点间的 斜率、中点到两端点所在直线的距离、嘴巴的上下嘴唇与嘴角间的张角以及上 下嘴唇的距离与左右嘴角的距离之间的比值，本文对以上特征数据进行了提取。 ( 4 ) 本文提出了一种新的多维特征数据权重函数用于构造各维表情数据的权值，该 函数对人脸表情的各维特征数据进行了离散化，增加它们的区分度，此结果已 用于人脸表情识别系统中。 ( 5 ) 本文在上述研究的基础上，使用v c + + 6 o 完成了人脸表情识别系统f e r s ，实验表 明本文提出算法的有效性及实时性。 关键词：探针法；扩展六邻域；断点连接：几何特征；权重构造函数；人脸表情识别 a b s t r a c t f a c i a le x p r e s s i o nr e c o g n i t i o nt h a th a st h ee x t e n s i v ea p p l i c a t i o nf u t u r ei sg r a d u a l l yt h eh o t s p o to f t h eh u m a n c o m p u t e ri n t e r a c t i o n f a c i a le x p r e s s i o nr e c o g n i t i o ni st h ee s s e n c eo ft h ei n t e l l i g e n c e a n dn a t u r eh u m a n - c o m p u t e ri n t e r a c t i o n t or e a l i z et h en a t u r ea n dh a r m o n i o u sh u m a n - c o m p u t e r i n t e r a c t i o nm u s tm a k et h ec o m p u t e ru n d e r s t a n dt h ee m o t i o na n di n t e n t i o n a tp r e s e n t ，t h e r e s e a r c ho nt h ef a c i a le x p r e s s i o nm a i n l yf o c u s e so nt h ep h y s i o l o g y ，p s y c h o l o g ya n dc o g n i t i v e s c i e n c ee t c i ti si m p o r t a n tt od e v e l o pt h ea u t o m a t i cc l a s s i f i c a t i o no ff a c i a le x p r e s s i o n ，a n tn o to n l y t h eh u m a n - c o m p u t e ri n t e r a c t i o ni si m p o r t a n t ，b u ta l s ot h e r ea r em a n ya p p l i c a t i o n si nt h ef i e l do f c o m p u t e ra s s i s t a n tt r a i n i n ga n dt h en e t w o r ke d u c a t i o n t h er e s e a r c ho ft h i sp a p e ri sm a i n l yb a s e do nt h ef a c i a lg e o m e t r i c a lf e a t u r et ol o c a t et h eb r o w , e y ea n dt h ef a c i a le x p r e s s i o na n a l y s i sa n dr e c o g n i t i o n ，t h e r ea r e5p a r t sm a i n l y , a n dt h e r eg e t s s o m er e s e a r c hr e s u l t si nt h ep r o c e s s ( 1 ) i nt h ep r o c e s so ff a c eo r i g i n a li m a g ep r e t r e a t m e n t ，t oc o n n e c tt h eb r e a ki st oa v o i d t h ed i s a d v a n t a g eo fs o m es m a l lb r e a kp o i n t s ，t h i sp a p e rp r e s e n t st h eu pe d g ee x t r a c t i o n m e t h o d o ft h ep r o b eb a s e do nt h ec o n n e c t e dr e g i o n ，a n de x t e n dt h en e i g h b o rp i x e lr a n g e w h i l ec o d i n gt h eu pe d g ep i x e l s ，a n dt h i sp a p e rp r e s e n t st h ee x t e n d e d6 - n e i g h b o r h o o dt o s t o r ea n dc o d et h ee d g e ，t h ee x p e r i m e n t ss h o wt h a tt h ea l g o r i t h m sa r ee f f e c t i v e ( 2 ) t h i sp a p e rp r e s e n t st h em e t h o do fu p - e d g ef o u rn e i g h b o r h o o de n d p o i n t sw i t ht h e g e o m e t r i c a lf e a t u r er e s t r i c t i o no ft h eb r o wa n de y et ol o c a t et h eb r o wa n de y ew i t ht h e g e o m e t r i c a lf e a t u r er e s t r i c t i o no ft h eb r o wa n de y e ； ( 3 ) t h i sp a p e rd e p i c t st h ec h a n g eo ff a c i a le x p r e s s i o nw i t ht h ef o l l o w i n gf e a t u r e s ：t h e s l o p eo ft h et w oe n d p o i n t so ft h eb r o wa n de y e t h ee u c l i d e a nd i s t a n c ef r o mt h em i d d l e p o i n tt ot h el i n eo ft h et w oe n d p o i n t s ，t h eo p e n i n go fu p d o w nl i p sa n dt h ec o r n e r so ft h e m o u t h ，t h er a t i oo ft h ed i s t a n c eo fu p - d o w nl i p sa n dl e f t r i g h tc o r n e r ( 4 ) t h i sp a p e rp r e s e n t sa n e wf u n c t i o no fe v e r yd i m e n s i o nd a t at oc a l c u l a t et h ew e i g h t o ft h ee x p r e s s i o nf e a t u r ed a t a ，t h i sf u n c t i o nd i s p e r s e se v e r yd i m e n s i o nd a t ap o s s i b l y ， i m p r o v et h ed i f f e r e n t i a b i l i t yo ft h ed a t a ，w h i c hi sb e t t e ri np r a c t i c e t h i sp a p e rd e v e l o p st h ef a c i a le x p r e s s i o nr e c o g n i t i o ns y s t e m ( f e r s ) i nv c + + 6 0b a s e do n t h e s er e s e a r c h e s ，t h ee x p e r i m e n ts h o w st h a tt h ea l g o r i t h m sp r e s e n t e db yt h i sp a p e ra r ee f f e c t i v e a n dt h es y s t e mh a st h ec h a r a c t e r i s t i co ft h er e a l - t i m e z 一 k e yw o r d s ：t h ep r o b e ；t h ee x t e n d e d6 = n e i g h b o r h o o d ；t h eb r e a kc o n n e c t i n g ；g e o m e t r i c a l f e a t u r e ；t h ew e i g h tf u n c t i o n ；f a c i a le x p r e s s i o nr e c o g n i t i o n 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进 行的研究工作及取得的研究成果。尽我所知，除文中已经标 明引用的内容外，本论文不包含任何其他个人或集体已经发 表或撰写过的研究成果。对本文的研究做出贡献的个人和集 体，均已在文中以明确方式标明。本人完全意识到本声明的 法律结果由本人承担。 、 学位论文作者签名：刍乙c 铷毛年6 ac 。b 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文 的规定，即：学校有权保留并向国家有关部门或机构送交论 文的复印件和电子版，允许论文被查阅和借阅。本人授权云 南师范大学可以将本学位论文的全部或部分内容编入有关 数据库进行检索，可以采用影印、缩印或扫描等复制手段保 存和汇编本学位论文。 1 学位论文作者签名：如 w 萨, q ，。日 指导教师签名：届香够 们占年多月口日 y9 7 4 3 5 ： 基于几何特征的表情识别研究 基干几何特征的表情识别 】j f 究 1 1 问题的提出 第一章引言 随着计算机硬件的发展及计算机运算能力提高，人们对机器智能的研究兴趣愈米愈浓厚。与表 情相关的研究最初主要集中在生理学、心理学和认知科学等领域，1 9 7 8 年s u w a 等人做了一个在图象 序列审自动进行表情分析的研究，将人脸表情识别( f a c i a le x p r e s s i o nr e c o g n i s a t i o n ) 引入机器 视觉领域。表情识别是基于视觉信息将脸部的运动或脸部特征的形变进行分类。表情识别分类数目 一般分为6 种基本表情 p e1 9 7 1 或者有的研究人员将中性表情增加近来可以分为7 种基本表情。表 情识别一般包括三部分：脸部定位、脸部特征抽取和表情分类 王志良2 0 0 2 。脸部定位是在脸部图 象或图象序列中定位脸。脸部特征抽取是从脸部图象中提取所需的脸部运动或脸部特征形变信息。 表情分类是将输入的脸部图象归入某个具体类中，即给出一个类别标记。 人的面部表情在日常生活中起着重要的作用，是人们进行非语言交流的一种重要的肢体语言， 是人类进行语言交流的重要的补充。长期以来表情识别一直是人工智能和计算机视觉领域中的重要 研究方向。近年来，随着人们对人机交互兴趣的增加，表情识别逐渐成为一个研究热点。表情识别 是智能、自然的人机交互的本质。实现自然和谐的人机交互，必须使计算机能够有效地理解人的情 感和意图。表情识别是情感理解的基础，是计算机理解人们情感的前提和有效途径。表情识别是智 能机器走进人们日常生活必须解决的问题，是实现智能机器必然要面i | 缶的问题，也是人们探索智能、 理解智能的有效途径表情识别是基于视觉信息将脸部的运动和脸部特征的形变进行分类。表情的出 现必然导致人的脸部的形状发生变化。脸部形变 方伟1 9 9 7 中包含表情分类需要的信息，要得到表 情信息必须先得到脸部形变信息。脸部形变表现在两个方面：脸部纹理变化和脸部形状变化。脸部 形状信息包含了必要的表情信息，人脑仅依靠脸部形状和结构特征就能够完成表情识别，所以本文 选择从脸部形状信息中提取脸部特征形变信息。现有表情识别方法从脸部的整体形变出发，从中提 取表情相关信息，完成表情的识别。基于局部的分类算法是解决遮挡问题的有效方式。模糊性是表 情识别问题不同其它识别问题的显著特点。人的情感是丰富多样的，单纯一种表情往往不能准确表 达情感，表情模糊性是情感复杂性的一种具体表现。 当前有关于人工智能的研究已经取得了相当优秀的成果，但研究水平仍只是局限在于模拟人的 智能活动，鲜有应用于实际的例子。人工心理理论则是利用信息科学的方法，对人的心理活动的更 全面内容的再一次人工机器实现，它的应用前景非常广泛，主要是情感机器人的技术支持。人脸表 情识别也是人工心理理论研究的重要组成部分人脸表情含有丰富的人体行为信息，对它的研究可以 进步了解人类对应的心理状态。计算机和机器人如果能够象人类那样具有理解和表达情感的能力， 并能够自主适应环境，这将从根本上改变人机交互的方式，使计算机或者机器人能够更好的为人类 服务。研究人脸表情的自动分类方法对于人机交互技术具有重要意义，在计算机辅助的训练及远程 教育 王济军2 0 0 5 等众多领域具有潜在的应用价值。 第一章引言 1 2 研究背景及现状 近年来人脸表情分析、识别与合成是人机交互领域的研究热点，大量学者、研究人员投入了大 量的精力，提出了很多新的观点和方法。其中包括脸部动作的度量，以及表情的识别、分析和合成。 大多数情况下，这些研究都采用自行录制的数据集。 美国心理学家e k m a np a u l 和f r i e s e n 较早地对脸都肌肉群的运动及其对表情的控制作用做了深 入研究，于1 9 7 8 年开发了面部运动编码系统( f a c s ) 来描述面部表情和研究人类的认知行为他们根 据人脸的解剖学特点，将其划分成大约4 6 个既相互独立又相互联系的运动单元( a u ) 。脸部运动单 元分析法( f a c s ) p a u le1 9 7 8 是最早研究面部表情采用的方法之一。很多的方法都是以它为基础 的。 当前越来越多的经典的模式识别方法都可用于人脸表情的分类。 l y o n s 等利用主分量分折和线性判别分析在j 4 f f e ( j a p a n e s ef e m a l ef a c i a le x p r e s s i o n ) 表情 库上得到了很好的结果：识别正确率达到9 2 ；p a d g e t t 等使用反向传播算法训练人工神经网络，在 e k m a n 人脸表情库上能够达到8 6 的正确率；o t s u k a 等采用隐马尔可夫模型的方法也达到了比较好 的结果。近来支持向量机( s w ) 被成功地用于人脸图像处理的各个方面：人脸检测，人脸的姿态估 计和人脸识别等，取得了优于传统模式识别方法的眭能。v i o l a 等提出了一种基于h a a r 特征的 a d a b o o s t 方法，可以进行实时的人脸检测。b a r t l e t t 等使用基于g a b o r 特征的a d a s v m 方法在 c o h n k a n a d e 的人脸表情数据库上取得了相当好的分类结果。使用基于查找表( l o o k u p t a b l e ，l ut ) 型弱分类器的a d a b o o s t 方法，进行人脸表情分类器的学习，实验结果表明对于人脸表情分类的正确 率相当，并且速度接近子实时。a m i 使用1 2 2 个人工定义点刻画人脸特征信息， p 叫使用人工标注的 9 0 个特征点来描述6 种基本表情，但是这2 种方法都需要人工参与；l g 是对图形每个节点进行g a r b o r 小波滤波；光流分析方法可分为对区域的分析、对人脸上部特征点的分析以及这2 种分析方法的结合 使用。 东南大学于2 0 0 4 年 袁建阳2 0 0 4 设计的表情识别系统由多个摄像头和处理相关数据的计算机 组成。在数据库中己存入了喜、怒、哀、乐、厌恶、害怕等6 种表情的有关数据和相关图片，测试者 在该系统中做出任何一个表睛，计算机将根据这个表隋的特征在数据库中进行检索，核对数据库有 关数据后确认是何种表情。对同一个人的不同表情识别率达到9 7 6 5 。这个系统主要应用于儿童脑 的科学研究。 哈工大机器人 崔峰2 0 0 5 3 _ 3 2 程技术中心于2 0 0 5 年研制成功国内首台有表情的机器人，这台铍称 作“百智星”的机器人，利嘲语音识别、神经网络控制和人类仿生学设计完成，不仅有丰富的面部 表情，还具有模仿主人的声音唱歌、陪孩子说话和磊耍等功能。 基于几何特征的表情识别研究 1 3 本文研究内容安排 本文主要是针对2 5 6 * 2 5 6 大小的8 位灰度单人脸占主体的圈像进行人眼的精确定位雨f 表情分析识 别的，本文对原图像做了一定的前提假设：如图像的背景简单，并且以单人脸图像为主充满整个图 像区域。 本文各章节的安排如下： 第一章主要介绍了人眼定位及表情分析识别的研究背景及现状，对过去及当前研究的情况做了 简要性的总结。 一 第二章讲述了表情图像的预处理所要做的工作，结合本文的研究进行了针对性的展开，介绍了 二值化处理及产生的断点的连接算法，详细展开了基于连通区域的探针法提取上边缘的方法，在上 边缘的过滤一节中提出了扩展6 邻域的概念，对提取后的上边缘进行了相应的取舍。 第三章主要进行了基于上边缘相邻四端点的人眼眉毛的精确定位以及嘴巴定位在第一小节中， 主要是采用了本文提出的基于上边缘相邻四端点的方法进行了眼睛眉毛的精确定位。 第四章为本文的另一重要部分，表情的分析与识别。根据定位成功的眉毛、眼睛及嘴巴，对眉 毛、跟睛、嘴巴分别选取3 个特征点，进行了特征向量的自动提取。结合提取后的各维特征向量的特 点以及借鉴t f i b o n a c c i 数列的特性，提出了一种新的表情特征向量权重函数，并给出了表情识别 结果的数学计算模型， 第五章通过程序设计实现了本文的实践验证工作。 最后一章对本文的研究工作做了简要性的总结，并对以后的工作做了展望。 第二章表情分割的预处理 第二章表情分割的预处理 一般而言，系统获取的原始图像并不是完美的或者不符合研究工作的需要，如可能由于噪声、 光照的原因，使得图像的质量不高或者不符合研究工作的需要，因此需要进行一定的预处理过程。 预处理主要包括图像增强、锐化、平滑滤波等过程。图像的预处理既可以在空间域实现，也可以在 频域内实现 刘涛2 0 0 2 。图像的预处理一般不会增加图像的信息量反而会在一定程度上减少相应 的信息，但是这个过程可以得到人们感兴趣的信息，对下一步工作的进行做了前提。当然，对原图 像预处理的质量的优劣会直接影响到下一步的处理工作。 2 1表情图像的二值化及断点连接 图像南方图是图像处理中一种十分重要的图像分析工具 刘涛2 0 0 2 ，它描述了一幅图像的灰度 级内容，任何一幅图像的直方图都包含了丰富的信息，它主要用在图象分割，图像灰度变换等处理 过程中。从数学上来说图像直方图是图像各灰度值统计特性与图像灰度值的函数，它统计一幅图像 中各个灰度级出现的次数或概率：从图形上来说，它是一个二维图，横坐标表示图像中各个像素点 的灰度级，纵坐标为各个灰度级上图像各个像素点出现的次数或概率。本文利用了现有的直方图二 值化算法【黎妹红2 0 0 4 对表情原图像进行了分割处理。 对原图像进行二值化处理后会发现图像含有了一些小的空白区域即断点。 定义2 1 断点是指当前象素点的8 邻域有一象素点为背景色时，若其左领域的连通，并且左领域向上 常数个象素点是连通的并且当前点的上方与左邻域相同高度处也存在与当前点的象素值相等的象素 点。 断点的出现会对人的嘴巴定位产生一定的影响，如下图所示的图2 一l ，其嘴巴的左下部分就出现 了一些较短距离的断开( 箭头所指处) ，这样对下一步的嘴巴寻找下嘴唇中点的坐标时就可能会定 位不到准确的位置；而经断点连接算法扫描后得到图2 2 所示的效果，可以看出已经将左图出现的断 点处进行了较好的连接，以利于下一步基于连通区域的嘴巳定位及嘴巴f 嘴唇下边缘的中点定位。 输入：二值化后的图像： 输出：断点连接的图像； 断点连接算法c 如一f ： c 1 初始化 扫描整幅二值化后的图像 c 2 连接断点 若当前象素点的8 邻域有一象素点的值为背景色时，则对其左邻域的连通情况进 行判断：若左邻域向上有一定的连通并且当前点的上方与左邻域相同高度处也存在与当前点 的象素庭相等的点，则进行连接这段区域： c 3 重复扫描图像 使用与c 2 类似的方法对当前点的右邻域点进行扫描连接：i 基于几何特征的表情识别州究 e 匹蛋飘匿蟊嚣焉墨盔蛋墨a 譬墨黧暖笺鬟鍪鏊滋：j 旦| 剧 目支件迎) 形态学蔓按怨】田像强处理哩) 遥步柱测锰) 眼晤边缘测试哩) 边缘检测哩) 闭值分割哩) 一缱操作逸) 茸世试验也) 用f 反尊孝习世) 帮助噬j 刿到 瞎关l 白n 米歧l 薹柏育鼍冬麓u 图2 1出现断点( f 嘴唇箭头所示) 里曼墼塑塑登堕一一一一。 西关；岛n 米tk 电n 宅驾e ；q 筠u 趣) 闻值分割嬗) 一建操作皓) ：世l 剖 苴他试验心) 创型 图2 2连接厉的效果 一撵 第二章表情分割的预处理 2 2 二值化图像连通区域上边缘的提取算法 边缘【刘军2 0 0 6 1 是图像最基本的特征，所谓边缘就是指周围灰度强度有反差变化的那些像素的 集合，是图像分割所依赖的重要基础，也是纹理分析和图像识别的重要基础。理想的边缘检测应当 正确解决边缘的有无、真假、和定向定位，本文对表情的分析与识别主要是根据几何特征来进行的， 所以对边缘的提取也有了较高的要求。对二值化处理后的图像进行上边缘的提取，边缘的提取或检 测有很多的方法，如常用的r o b e r t s 算子。s o b e l 算子，l a p l a c e 算子等等，分别对原图像进行了相应 的检测，如下图所示。 图2 - 5经s o b e l 算子扫描后的效果图2 - 6 经r o b e r t s 算子扫描后的效果 从结果图2 5 和2 6 中可以看出得到的边缘较宽、也得到了下边缘并且噪声也较多，下一步的人眼定 位就不容易寻找到相应的上边缘。所以本文提出了基于连通区域的探针法对二值化图像进行上边缘 提取，使用如下的判别公式对上边缘进行提取。 pr xjv i ：1 m i n 蚰 u p u p m a x t h 对二值化图像进行扫描的探针u p 的取值若在给定的最小闺值m i n t h 和最大闽值m a x t h 之间时则对该 连通区域的上边缘点进行保存，否则将该点列赋值成背景色。 输入：二值化图像 输出：上边缘提取后的图像 “ 基于连通区域的探针法的算法p 描述如下： p 1 初始化 扫描二值化处理后的整幅图像； p 2 探针初始化 对探针u p 进行初始化； p 3 探针计数 找到图像的某连通夏域的下边缘，探针开始计数，图像指针继续f 移； p 4 扫描整幅图像 若找到上边缘，则计数结束，根据探针的长度与给定的闽值进行比较决定当前上 边缘点的取舍，返回p 2 ：否则目像指针继续下移：l 利用本文提出的算法对- 二值亿后的图像扫描处理后得到的效果图像妇图2 7 所示 基 几何特征的表情识男4 研究 邑盟堡塑些墩翼 一一 苗关岛n 球呔k 七啦百鼍黛套1 麓抄 ：。：止j 型 边燎检测哑) 阁值分剖理) 键操作地) 茸拈试验 ：土创羔j 就绪 数字 图2 7上边缘提取后的图像 从结果图像可以看出很好的将一定高度的连通区域的上边缘很好的去除了，即使保留了一些， 也只是一些离散的象素点；同时也将高度较小的人脸的五官的上边缘有定连续地保存下来，再通 过下一步的过滤处理就可以得到了含噪声较少的预期效果图。 2 3上边缘的过滤及存储 利用上节提出的方法一一基于连通区域的探针法，进行眼睛、眉毛、嘴巴等上边缘的提取，在 提取的过程中，由于在提取区域的上边缘点时每一列的最顶端只能得到一个象素点，这样就不可避 免的会出现断点( 象素点不邻接) 的情况。如图2 8 所示。 _ _ 1 - 。- 、 、- o) _ 、- _ 图2 8出现断点图2 9 左图右边点列被删除 若两个象素点在某个方向上出现了八邻域不连通的情况，按照一般的点列存储疗法如八邻域方 第二章表情分割的预处理 法处理，则右边的点列就被删除了，结果如图2 - 9 所示，这样就会对眼睛的判断、定位产生一定的影 响，甚至会检测不到眼睛。 本文提出了一种新的方法给出了定义如下： 定义2 2扩展六邻域是指在对处理后的上边缘的连续点列进行编码记录保存时，当前点 ( x ，y ) ，右邻域象索点( x + l ，y ) 再向右扩展一个象素点( x + 2 ，y ) ，右上领域象素点( x + l ，”1 ) 再向上扩 展象素点( x + l ，y + 2 ) ，右下象素点( x + l ，y - 1 ) 再向下扩展象素点( x + l ，y 一2 ) ，这样当前点的右方共有 了六个领域点。 当前象素点的六邻域的取值情况如图2 - 1 0 所示： 当 ，0 jl ， ni i 图2 - 1 0 扩展六邻装 在这里对邻域的范围进行了一些扩展图2 - 1 0 ，因为在进行点列的存储时，若两个出现一个断点 的水平象素点，实际上可以视为同一点列，如当前点( 椭圆所指示的点) 正右方的第二个点也纳入 了六邻域的范围。点列的存储是由上边缘提取的结果来进行的。在对连续点列存储的同时也进行了 对长度l e n 忉“t h 的点列进行过滤，考虑到处理的图像可能人 脸在整幅图像占的比例较小，导致眉毛、眼睛的上边缘长度也会较短，所以本文在选取阂值m i n t h 时 取的尽可能的小( 如小于整幅图像宽度的十分之一) 或m a x t h 尽可能的大些( 如大于整幅图像宽度的三 分之一) 。 输入：上边缘提取处理后的整幅图像； 输出：上边缘经过编码及过滤后的图像 。， 上边缘存储过滤算法u 具体实现如下： u 1 初始化扫描上边缘提取处理后的整幅图缘； u 2 堆栈初始化 堆栈初始化：若当前点的象素直p i x e l v a l u e = o ，则入栈； u 3 得到栈顶元素坐标 弹出栈顶元素的坐标作为向下遍历的起始坐标： u 4 扩展六邻域扫描若当前点的象素渣p i x e i j a l u e = o 并且在扩展六邻域的范围内，则入栈并将 该点的象素值做标记为当前点列为长度计数值指针下移；若当前点的扩展六邻域 为空，则跳转刨u 4 ；否则到u 3 ： u 5 i 过滤上边缘】若当前上边缘的k 度l e n ( m i ：i h 歧者le n m a x i e n 则出栈亓将对应自的象蓑值赋 基于几何牦蔓的表茵识别研究 值为背景色；否则存储到数组寻 u 6 ：重复扫描返回u 2 1 本算法中主要是使用了堆栈对象素点实现亭介存储，以便后续对连续点列进行过滤或者保留； 使用数组对需要的象素点的坐标进行记录。冠：i 图像进行扫描后，得到的二维数组已经存据了各个 连续点列的坐标、长度等信息。在算法中u 3 专用了方法：将当前点的象素值做标记为当前点州的 长度计数值，目的是将扫描过的象素点作一个豫记以防止出现重复计数的情况发生，另一方面也可 以知道当前点列的长度。在试验中发现优先考惠当前点( x ，0 ) 正右方向的邻接象素点( x + 2 ，y ) ， 若象素点( x + 1 ，y ) 为背景色则重新赋值，进5 i 了一定的连接，得到了较好的效果。由本算法处理 后余下的所有连续点列的坐标、长度等信息都夺储到了一个二维结构数组中，为f 一步的人眼的定 位提供相应的数据信息。由本算法得到的效果圈如下所示。 _ _ 一 l - 、 _ k e) 、， ， 一 厶 、 _ | 、 k _ - j 图2 11出现断点 图2 1 2 经本算法扫描后的效果 9 第三章基于上边缘酋疆邻四券点的人眼精确定位 第三章基于上边缘的相邻四端点的人眼精确定位 人眼的定位方法已经有了几十年的发展历史，各种方法也是层出不穷，最常使用的经典算法有 如下几个方面： ( 1 ) 基于特征的方法( f e a t u r e b a s e dm e t h o d ) ，基于特征的算法提取人脸的各种几何特征。如 眼睛、鼻子等的组合特征、五官的空间位置分布规则，人脸的轮廓规则等。通过检测图象中是否存 在满足这些规则的图象块即可判断是否有人脸。现有的特征点自动定位还存在一定的错误率，并且 定位计算时的运算量相当大。也有些研究者们使用了一些辅助信息，如颜色信息、运动信息等来提 高检测准确度。但颜色对光照敏感。 ( 2 ) 基于模型的算法( m o d e l b a s e dm e t h o d ) ，将人脸图象考虑为所有可能图象的一种特定事 件，对所得到的图象的窗口进行分析可以确定这些窗口幸是否包含人脸或部分背景。可用概率或统 计的模型来分析每个子窗口中的象素密度。可用不同的方法来建立，如特征脸方法、神经网络方法、 支持向量机等等。p e n t l a n d 等人在人脸检测中茛用了特征脸方法。文献 f a s e l b2 0 0 3 使用了一种 与视网膜相关的神经网络系统检查输入图象的各个小窗口，以确定图象中是否含有人脸。基于一种 新神经网络模型，c o n s t r a i n e dg e n e r a t i r e 模型的方法该方法先使用了简单的基于标准图象的处 理过程，然后使用了基于统计分析的复杂过程。缺点是模型太大，但使用几个预滤波器和一个快速 的搜索算法可解决此缺点。但这些方法需要一个学习的过程，因此只能处理与l i 练集中的人脸相类 似的人脸图像。 ( 3 ) 基于外观( a p p e r e n c e ) 的方法 t f c o o z e s1 9 9 4 ：也是较成功的人脸检测方法。 马淑燕2 0 0 4 使用了基于自然景象的简单概率假设，并设计了进行检测使用的滤波器。但大部分使用这些方法的 文献提供的都是正面人脸检测。如果检测侧面人硷则需要大量的训练工作。 3 1眼睛及眉毛定位 在第二章的上边缘提取及对各连续点列的迂滤、保车等两节中对保留的连续点列的坐标、氏度 等信息存放到了一个二维结构数组中，本节的任务则是对过滤后的图像利用已经产生的二维数组中 的信息，本文提出了基于上边缘相邻四端点的凡河约束关系实现了人眼、眉毛的精确定位。利用本 文提出的方法实现了同时对眉毛、人眼的精确定曳，使习这种思想进行定位要比单一的利用人眼特 征进行定位准确率更高，候选点列对数量更少，可以实现快速的人眼、眉毛的定位。人眼定位模型 见图3 一l 所示。 基于几何特征的表情识别研宄 图3 - i人眼定位模型 人跟眉毛的连续点列候选对还要满足如下的几何特征约束，以确定不是其他连续点列的干扰。 ( 1 ) 上方的两个连续点列为左右眉毛的上边缘，选择一个最长的点列的长度f e n ： ( 2 ) 下方的两个连续点列为左右眼睛的上边缘； ( 3 ) 同一侧的上下两个连续点列的垂直距离在倍f e n 和二倍i e n 之间； ( 4 ) 两个点列的相邻内侧端点的水平距离在一倍f e n 和二倍 e n 之间： 输入：上边缘经过编码及过滤后的图像； 输出：眉毛眼睛定位结果； 眉毛眼睛定位算法l 描述如下： l 1 初始化 扫描经上边缘提取、编号处理后的整幅幽像： l 2 寻找边缘 找到第一个边缘； l 3 判断 依次寻找到第二、三、四个边缘，并判断他们的坐标位置，以便确定两俩为一组进行 定位判断；根据他们的坐标位置关系选取相邻两个点列的相邻端点，根据人眼、眉毛上边缘的 几何特征约束关系，对这四个端点进行人眼、眉毛对的判断； l 4 重复扫描 若这四个上边缘不满足人眼、眉毛的几何特征关系，则向f 移指针并返回l 2 。 本算法寻找人眼眉毛候选对的基本示意图3 一i ，首先确定相邻的连续四个点列的坐标相对位置， 然后选取这四个点列的相邻的内侧的端点，选取效果模型如图3 2 ，同一水平位置上的两个连续点列 的相邻端点的纵横坐标限定在一个约束范同内，然后同垂直方向上( 在同一侧) 的两个连续点列 的端点的纵横坐标也被限定在一个约束范围内，最后再对这四个相邻端点进行相应的整体约束，根 据人眼眉毛之间的几何特征约束关系对这四个点进行判定，最后得到人眼的精确定位，见图3 3 。 第三章 基于上边缘的相邻四端点的人眼精确定位 + 星星篁! 曼塑! 塑塑 i 二出幽 酮值分割旺) 一建操作茸他试警虹) 也j 到 一孬厂_ 图3 2 眼睛、眉毛定位示意图 要曩4 i 翼。止幽 边缘检测q ) 同泣分著l 一建撩惟茸蚀试验虹) 用盟堕! 翌坠! 里竺一一! 型型 西关钿n 幕畦l 七q 鼍黾冬麓。u ： 孪，蠢；毒。j i 澄j ；鏊2 囊受墓l l i 箨戋襄誊誓嘉蓬豢鳝翼妻蠢鹜月l ；l 潮 ：，i 叠；嚣j 嚣麓蒸：爱蠢委；鬻懋懑鬟鍪委黧 偷爱鬻每：臻，燮躐瓣餐甏戮熏懑瓣豳鬻墓鬟 ：衾烹 豢：慧。溪蓊鬻黧瓣鬻鬻 窖。0 “，臻鬣毫黪瓣 燃聚z i 篓墨毒爨。黝臻鬻凝国陵墓醐 l 咀曩，一44 j 。j i 鬓籀i 麓懋嚣黼2 翳j 孽露蒸瀵瞪g g 藿鞫 ： 、o矿蔓冀i ：| 纂豢；鬻雾鬻糕謦 辫豢粼藕冀璧鞫 囊象熹三。一。，y 。一：釜：篓i 鬟耄鬟藿蒸i 蒸溪墼鋈鎏雾 ：瑟巍薹：一+ | ；。i i ：+ i 碧：i ：j i ：溪。0 。：繁餮i i 蓦鹗 幽3 - 3人眼的精确定位 数字 通过实验汪明i 棼之提出的这种人眼眉毛吲时定修的优越胜及精确性，闪为人的表情总是 基于几仁持征的表情识别 ：j f 究 变化不定的，特别是人眼的变化可能更人如人笑时会眯合成一条线；：幽3 一；钎示，若根据灰度投影 胡 正平2 0 0 5 、椭圆检测 薛程2 0 0 6 等就会造成一定构误差，而采鼍本文的算法模型则不会山现这些 干扰的情况。因为本文就是通过提取上边缘来进行定位的，不论人艰的闭台程度如何，都可以较好 的提取人眼的上边缘以实现人眼眉毛的精确定位，所以本文提出的人眼眉毛定位模型具有了较好的 鲁棒性。 图3 4 原图像图3 5 二值化处理效果 用户反馈学习世) 帮助堪) 止| 型 雹) 同值分割辽) 一键摊作茸他试验哑) ：i 创型 就绪 图3 6 人眼眉毛定位结果 数字 z 第三章 基于上边缘的相邻四端点的人眼精确定位 图3 7 头发遮挡了部分眉毛 。j 。：止倒 阉 苴分割旺) 一蹙撩作迭) 茸地试验哑) 。 一。_ 黼e - 。 圈3 8 缺少一只眉毛的情况 有很多情况如图3 7 由于头发的遮挡或者光照的不均匀会导致人眼的眉毛一部分缺失，而会导致 在进行连续点列过滤时将去掉了只眉毛的上边缘，鉴于此，在本文提出的人眼眉毛定位模型的基 础上进行了一些改进或约束也发好的实现了人眼眉毛的精确定位如图3 8 。在定位过程中的方法基 本上与人眼眉毛完整的情况类似在逆 i 儿何特征约束的步骤时对同一列的人眼眉毛进行约束，再 与另一边的眼睛上边缘进行相应约约泶就可以较好的完成了人眼眉毛的定位操作。 利剧本文的人眼眉毛窟弦摸i 捩l f i + 面人芝有上卜旋转的情况进行了研究样本是从网络上进 基十一何特征：最清识趴耐i 究 行f 载得到的，原图如图3 9 。 图3 - 9 正面人脸有上下旋转 匿墨互互葛匣莲蚕墨墨霍誓圈蕾囡雹置叠蕾：互毯乏= ：_ 三：，i型型 i ，文件形态掌变换哩) 图像颈处理鬯) 逐步柱泓篷) 目b 培边鹾疆j 试哩) 边缘检测哩) 阁值分割辽) 一键操作速) 苴他试验嗵) 用户反馈掌习帮助啦)二剧型 数字 ， 图3 10 人眼眉毛定位结果 从图3 1 0 也可以看出人眼眉毛定位结果比较准确，本文的_ 作主要针对了正面人脸没有上f 旋 转的情况进行研究定位操作的，所以并没有将重点救到包含上下旋转情况的研究，只是通过几个例 子来说明了人眼眉毛定位模型的健壮性。 第三章基于上边缘的相邻四端点的人跟精确定位 3 2嘴巴定位 人眼定位成功与否直接影响到了人嘴巴的定位，本文的嘴巴定位是在人眼定位成功的基础上进 行的。根据定位后的人眼上边缘的中点坐标，连接后取两中点坐标连线的中点坐标，在二值化处墓 后的图像上进行嘴巴定位，向人脸的下部探罚、寻找嘴巴的连通区域，见图3 1 1 嘴巴定位示意图， 为了防止出现定位到鼻子的连通区域，使用了一定的判定方法，因为嘴巴的连通区域一般是要比鼻 子的区域大很多，探测到一连通区域后，此时若为嘴巴则为上嘴唇的中点，进行左右方向的探测； 左右方向的总长度耍大于眼睛上边缘点列长度的i 2 。 图3 1 1 二值化后的图像图3 一1 2 嘴巴定位示意图 基于几何特征的表情识别研究 第四章表情分析与识别 人脸表情分析与识别已经聚集了很多的学者、研究人员采用了各种各样的方法，也取得了一定 的成果，如日本学者 m i c h a e ll y o n s1 9 9 8 采用了g a b o r w a v e l e t s 对表情进行特征提取以及表情的识 别，p a d g e t t 等使用反向传播算法训练人工神经网络，在e k m a n 人脸表情库上能够达到8 6 的正确率； 本文提出了基于f i b o n a c c i 数列的特性设计了权重函数对得到的表情数据计算，现有的表情识别方 法中，都力图使用更多的脸部特征，用充分的信息来保证识别的效果。本文在算法设计时尝试使用 尽可能少的脸部特征完成表情分类、识别。本文通过基于f i b o n a c c i 数列的的特性设计的权重函数 尽可能的离散每个特征向量，给出了有良好分类效果的表情分类算法。人类可以只使用脸部形状和 结构特征就能够完成表情识别，如漫画、肖像：美国旧金山的史密斯一凯特威尔眼科研究院的两位 研究者泰勒和康赛维奇研究了蒙娜丽莎的画像，表明，嘴在表达情绪时起最关键作用，同时在研究 和生活中也可以发现人的表情变化还要依赖于眉毛、眼睛才能更好的区分，所以也要兼顾到眉毛、 眼睛的特征提取。 4 1 表情特征提取 人的面部表情非常微妙复杂，想要精准地确定情绪是如何表达出来的，非常困难。表情的特征 提取是进行人脸表情识别、判断的关键，当前已经有很多的学者在这方面进行了广泛的研究并取得 了丰富的成果，如 叶敬福2 0 0 5 提出基于g a b o r 4 、波变换的人脸表情特征提取， e k m a nf r i e s e n 1 9 7 8 提出了脸部运动编码分析法( f a c i a la c t i o n sc o d es y s t e m ，f a c s ) m i c h a e l a l 9 9 8 ，还有 学者采用用f i s h e r 线性判别提取面部表情的整体特征等等方法，各自都取得了较好的结果。 美国旧金山的史密斯一凯特威尔眼科研究院的两位研究者泰勒和康赛维奇研究了蒙娜丽莎的画 像。表明，嘴的变化会使受测试者感觉到蒙娜丽莎的情绪变化，而眼睛的变化却没有使受测试者感 觉到任何神情的不同。研究人员还使用了另一张女性的照片做了同样的测试，并得出了完全相同的 结论。对蒙娜丽莎画像的研究表明，嘴在表达情绪时起最关键作用。实际上通过人们的日常生活、 人们之间的交流以及绘画爱好者画肖像时会发现，人的表情主要通过嘴巴，其次是人眼、眉毛的变 化来体现的；当然还有面部肌肉的运动变化的结果，但是这种特征往往比较难于提取，大多数情况 下并不以此为主，所以本文没有作为研究。 特征数据