（电路与系统专业论文）网络学习疲劳检测中的人脸特征定位研究.pdf

嚣 硕士学位论文 m a s t e r st h e s i s 摘要 在网络学习中，学习者和教师处于时空分离状态，不能面对面进行交流。这种 学习没有常规校园的文化氛围，因而教师不能及时了解学习者的状态，特别是学习 者是否疲劳或精神分散。当前，国际国内对驾驶员疲劳监测及相应的疲劳检测系统 开发已经做了深入的研究，但是，对教育领域疲劳检测研究却比较少。因此，本文 对网络学习疲劳检测进行研究，具有一定的意义。网络学习中对于学习者疲劳检测 的人脸特征定位主要是眼睛定位与嘴巴定位。本文的主要工作如下： ( 1 ) 在人脸定位部分先分析了肤色模型在本应用中快速定位的优势。然后 选择心c ，空间，运用肤色高斯模型定位人脸。 ( 2 )根据眼睛与周围肤色区域的灰度分布不同的特点，运用边缘检测法对 灰度图像进行边缘检测，再通过水平投影对眼睛进行粗定位。然后在 二值图像中，在粗定位的眼睛区域内搜索连通区域，再根据眼睛特征 等限制条件精确确定眼睛。采用边缘检测法与投影法相结合实现嘴巴 定位。 ( 3 )将眼睛开合状态、嘴巴开合状态、眨眼频率和嘴巴打哈欠状态持续时 。 间作为网络学习疲劳检测参数。利用眼睛上下眼睑距离大小来判断眼 睛睁开与闭合状态。利用上下嘴唇距离大小来判断嘴巴的打哈欠状态 与正常状态。通过实验测定网络学习者处于清醒状态时的眨眼频率， 及疲劳时打哈欠的持续时间。最后给出网络学习者疲劳的判定方法。 本文采用v c + + 实现了人脸定位、人眼定位与嘴巴定位，实验达到预期效果。 关键词：人脸检测；肤色模型；人眼定位；人脸特征定位；疲劳检测 a b s t r a c t s t l l d e n t sa n dt h et e a c h e rc a i l tm d k ef a c e t o f - a c ec o m m u i l i c a t i o ni n l ec o n d i t i o no f e l e 锄i i l g i nt h j ss i 眦i o i l ，t h et e a c h e rc a i l tk n o ww h e t l l e r 龇s m d e n ti s 缸do r d i s 仃a c t s 丘o mt l l es t u d y n o w a d a y s ，m 锄i yr e s e a r c h e r sh a v ed o n em a r l yi n q u i r i e st od e t e c t t h ed r i v e r sd r o w s i n e s s h o 、v e v e r ，t 1 1 e r ei sf e wr e s e a r c h e si i ll e 锄i i l gf a t i g u ed e t e c t i o n s ot h es t u d yf o rd e t e c t i n ge - l e a m i n g 矗撕g i l eh 胛eac e r t a i ns i g l l i f i c a n c e f a c i a lf e 撕鹏 l o c a l i z a t i o ni sm a j i l l yt l 斌o fe y e sa i l dt l l em o u mi ne l e a h l i n gf a t i g u ed e t e “o n t h e c l l i e fw o r ki sa sf o l l o w s ： s k i nc o l o r _ b a s e d 1 0 d e l 郴as i m p l ea n d 缸t 印p r o a c hf o rf a c ed e t e c t i o n ，s oi t 、) 粥 u s e di i l 舭p a p e r g a u s s i a nm o d e l 、糨u s e dt ol o c a t em ef a c ei i lt h es p a c eo fy c 6 c ， t h e r e 、e r et l l r e es t e p st 0l o c a t et l l ee y e s f i r s t l y ，t l l ee d g ew a sd e t e c t e di nt h e 伊a y h a g e ；s e c o n d l y ，n l ec o 曲e c t e dr e 西o n sw e r ef o u n di nm er o u 曲a r e ai nm eb i i l a d ri i i l a g e ； t h i r d l y ，t l l ea c c u m t e1 0 c a t i o no fm ee y e sw e r e 硒c e r t a i n e da c c o r d i l l gt or e s t r i c t i o n so fe y c c l l a u 阻c t e r i s t i c s t h em o u t hw 嬲嬲c e 向n e db yt l l em e m o d so fe d g ed e t e c t i o na n d p r o j e c t i o n f o u rp 踟e t e r s 、e r es e l e c t e dt 0a s s e s se - l e 锄i n gl e a l e r sf l a t i g u e t h e ya r et 1 1 e s t a t eo fe y e sw _ 嫩c hw e r ed o s e do ro p e n ，位s t a t eo fm o u mw h i c hw a sc l o s e do ro p e i l ，n l e 丘e q u e n c yo fe y eb l i r l l 【a n dd u r a t i o no fy a w n t h eo p e n e da n d c l o s e ds t a = t eo fe y e s 、v e r e j u d g e db yt h es i z eo fe y e l i d 丘o mt o pt ob o t t o m t h es t a t eo fy a w no rt l l en o 咖a ls t a t e w a sd e t e m i n e db y 也ed i s t a i l c eo ft l l el i p 五mt o pt ob o t t o m 7 i h ee y eb l i n k 毹q u e n c yo f l e 锄e r sc l e 舻h e a d e da n dm ey a w nd u r a t i o no fl e a n l e r st i r e d 、牦r eb o mt e s t e d n g t h e i re - l e a r m n gp r o c e s s e s f i n a l l y ，t 1 1 em e t h o d so ft h ee - l e a h l i n gl e 锄e r sf a t i g u e e v a h i a t i o nw e r ee x p l a i n e d t h e 量a _ c ed e t e c t i o na n df k i a lf e 矾鹏l o c a l i z a t i o nw e r er e a l i z e db yv c + + 7 r h e r e s u l t sp r o v e dn l a t l em e m o d sw e r ee 岱；c t i v e k e yw o r d s ：f k ed e t e c t i o n ；s l 【i nc o l o l b a s e dm o d e l ；e y el o c a t i o n ；f a c i a lf e a ：t u r e l o c a l i z a t i o n ；f a t i 母l cd e t e c t i o n i l 硕士学位论文 m a s t e r s 丁h e s i s 华中师范大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作 所取得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本声明的法律结果由本人承担。 作者签名： 彭惑论 日期：2 口口吕年芗月2 午日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权华中师范大学可以将本学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同时授权 中国科学技术信息研究所将本学位论文收录到中国学位论文全文数据库，并通 过网络向社会公众提供信息服务。 作者签名：彰薏论 日期：呜年芗月2 牛日 导师签名： 日期：沙扩年f 月砰日 本人已经认真阅读“c a l i s 高校学位论文全文数据库发布章程”，同意将本人的 学位论文提交“c a l i s 高校学位论文全文数据库”中全文发布，并可按“章程”中的 规定享受相关权益。园童迨塞量变厦溢蜃! 旦坐生；旦二生；堕三生蕉查。 作者签名：彰甏、；拿 作者签名：弼穗、；拿 日期：汐口8 年岁月2 牛日 导师签名： 日期：。占年厂月砰日 硕士学位论交 m a s t e r st h e s i s 第一章绪论 1 1 论文的研究背景与意义 在网络学习中，教师和学习者处于时空分离状态，他们不能面对面进行交流， 没有常规校园的文化氛卧。因此，检测学习者是否处于疲劳状态，是十分必要的。 当学习者疲劳时给予提醒，便于提高学习者的学习效率。同时也可以将信息反馈给 教师，以便教师采取相应的措施，及时调整学习策略、学习内容和学习方法，从而 达到更好的学习效果。 疲劳指身体在脑力或体力劳动中所引起的生理与心理上的机能失常和紊乱，同 时发生机能的变化或代谢物质的变换以及工作效率的变化。在学习中，其主要表现 为以下7 类：头越来越沉，不自觉的频频点头( 打瞌睡) ，很难保持抬头的姿态； 肌肉放松，眼睑下垂，甚至闭眼；视线模糊，眼睛发红、发干；视野变窄， 总是漏看错看信息；哈欠连天；反应迟钝，判断迟缓；注意力无法集中，思 维能力下降。从上面我们可以看出人脸的主要特征眼睛和嘴巴的状态是反映学 习者是否疲劳的重要因素。因此，可以通过定位眼睛和嘴巴，并根据眼睛和嘴巴的 状态来判断学习者是否处于疲劳状态。在网络学习中，准确检测和定位学习者的眼 睛和嘴巴，再通过眼睛和嘴巴的状态分析就可以识别出学习者是否处于疲劳状态。 定位学习者的眼睛和嘴巴，是实现疲劳识别的关键步骤之一。 1 2 国内外研究现状 目前对教育领域的疲劳检测技术研究比较少。上海交通大学的刘瑾奕【2 】做了智 能教室中基于图像处理和模糊逻辑的睡意检测研究与实现。他分析了智能教室的瞌 睡场景及检测技术方案的实际需求，采用数字图像处理和模糊逻辑结合作为最终研 究和实现的方式，并在m a t l a b 平台上进行了实现。此系统具有如下优点：从普 通的u s b 摄像头获取图像，实现睡意检测；能对测试场所的光照、背景，对被试 者的姿势、是否带有眼镜等都有良好的适应性。但是他仅仅将眼睛的睁开状态作为 清醒的标准，将眼睛的闭合状态作为瞌睡的标准。 关于网络学习疲劳检测的检测方法，可以借鉴驾驶员疲劳检测技术。目前在驾 驶员疲劳监测领域内，在国内外已开展的研究工作有如下方面： 目前大部分研究驾驶疲劳的机构都采用p e r c l o s 【3 】 ( p e r c e n te v e l i dc l o s u r e ， 眼睛闭合时间占特定时间的百分率) 作为生理疲劳程度的测量指标。大多数研究主 硕士学位论文 m a s t e r st h e s i s 要集中于眼睛的变化和眼睛运动状态的监测，包括眨眼频率、眼睛张度和注视方向 等方面的研究。 2 0 0 0 年1 月明尼苏达大学的n i k o l a o s p 与p a p a n i k 0 l o p o u l o s 成功开发了一套 驾驶员眼睛的追踪和定位系统，通过安置在车内的一个c c d ( c h 榷e c o u p l e d d e v i c e ，电子耦合组件) 摄像头监视驾驶员的脸部【4 卜【副，实现以下功能： 用快速简单的算法确定驾驶员眼睛在脸部图像中的确切位置和其他脸部特 征； 通过追踪多幅j 下面脸部特征图像来监控驾驶员是否疲劳驾驶； 追踪多幅侧面脸部特征图像来估算驾驶员是否疲劳驾驶。 由s e e i i l gm a c l l i n e s 公司( 澳大利亚国立大学与沃尔沃公司合作) 研发的f a c e l a b 通过监测驾驶员眼睛的眨动频率、凝视方向、瞳孔直径等特征参量，进行多特征信 息融合，实现对驾驶员精神状态的实时监测【6 ) b ( oa l o n e ) 1 3 ( 3a l o n e ) 4 7 x 硕士学位论文 m a s t e r st h e s i s 1 3 本文研究的主要内容 本文着重研究了网络学习疲劳检测中的人脸特征定位，即眼睛定位与嘴巴定 位。之后给出了网络学习疲劳检测的方法，如图1 1 所示。主要工作具体如下： 在人脸定位部分先分析了肤色模型在本应用中快速定位的优势。然后比较 颜色空间的肤色聚类特点，从而选择c ，空间，运用肤色高斯模型检测 人脸。 眼睛定位主要分为眼睛初定位和眼睛精确定位。根据眼睛与周围肤色区域 的灰度分布不同的特点，对灰度图像运用边缘检测法进行边缘检测，再通 过水平投影对眼睛进行粗定位。然后在二值图像中，在粗定位的眼睛区域 内搜索连通区域，再根据眼睛特征等限制条件精确确定眼睛。嘴巴定位主 要采用边缘检测法与投影法相结合的方法。 将眼睛开合状态、嘴巴开合状态、眨眼频率和嘴巴打哈欠状态持续时间作 为网络学习疲劳检测参数。利用眼睛上下眼睑距离大小来判断眼睛睁开与 闭合状态。利用上下嘴唇距离大小来判断嘴巴的打哈欠状态与正常状态。 通过实验测定网络学习者处于清醒状态时的眨眼频率与疲劳时打哈欠的持 续时间。最后给出网络学习者疲劳的判定方法。 j 入脸定位 ? “ 入眼定位、o 嘴巴定位 t 一 一。“t 7 鼹睛开合状态及嘴巴 “ 张开状态判断、 一i j7 j 。i t j 。 图1 1网络学习疲劳检测步骤图 ”。j ? “1 。疲劳判断 藐。，i | 2 j ：| 硕士学位论文 m a s t e r st h e s i s 第二章网络学习者的人脸定位 2 1 引言 人脸定位是人脸信息处理中的一项关键技术，近年来在模式识别以及计算机视 觉领域内都受到了普遍关注，对人脸定位技术的研究也特别活跃。人脸定位是指在 输入图像中确定所有人脸的过程。 人脸定位问题最初来源于人脸识别。人脸识别的研究可以追溯到世纪六、七十 年代，经过了几十年的发展已经日趋成熟。人脸定位是自动人脸识别系统中的一个 重要环节，但是早期的人脸识别研究一般都是针对有较多约束条件的人脸图像，人 脸位置往往被假设为已知或很容易获得，因此人脸定位问题并未得到很大的重视。 近几年，随着电子商务等应用的发展，人脸识别成为最有潜力的生物身份验证手段， 这种应用背景要求自动人脸识别系统能够适应一般图像，由此所面临的一系列问题 促使人脸定位开始作为一个独立的课题受到研究者的重视。今天，人脸定位的应用 背景已经远远超出了人脸识别系统的范畴，在基于内容的检索、数字视频处理、视 觉监测等方面都有着非常重要的应用价值。 研究人脸定位技术具有重要的学术价值。人脸是一类具有相当复杂的细节变化 的自然结构目标，对此类目标的定位存在以下较难解决的问题：人脸由于外貌、表 情、肤色等不同，具有模式可变性一般意义下的人脸上，很有可能会存在眼镜、胡 须等附属物，这些附属物具有很强的干扰性。人脸是一个三维物体，其影像不可避 免地会受光照影响。因此，如果能够找到解决这些难题的方法，并且成功构造出人 脸定位与跟踪系统，将为解决其它类似的复杂模式定位问题提供重要的启示。 目前，国外对人脸定位问题的研究很多，比较著名的有m i t 等。国内的清华大 学、北京工业大学、中科院计算所和自动化所等都有人员在从事人脸定位相关的研 究。标准组织己经建立了人脸识别草案小组，人脸定位算法也是一项征集的内容。 人脸定位主要有以下几种方法【3 2 卜刚： ( 1 )基于知识的方法 此类算法基于研究者对人脸观察到的知识为基础，得出一定的表征人脸的规 则。这些规则反映出人脸特征之间的联系。例如：“正面人脸都包括两只位置相互 对称的眼睛 、“次度图像中的眼睛要比其它地方暗”等。这些特征之间的联系能够 被它们之间的相对距离和位置表示出来。找到一系列规则后，把他们应用到输入图 像中，搜索出符合规律的人脸区域。 4 硕士学位论文 m a s t e r st h e s l s ( 2 ) 基于人脸特征的方法 这种思想首先用各种数字图像的处理办法对输入图像进行处理，根据处理结果 提取出来的某些特征与人脸的共同特性相比较，借此来判断某一区域是否为人脸。 例如，我们可以用数字图像中常用的提取边界的方法在输入图像中寻找边界，然后 试探哪些边界能像正面人脸的左边线、右边线和发髻线那样构成人脸轮廓；还可以 利用从图像中提取出来的色彩和纹理模型信息进行比较，得出可能的人脸区域。 ( 3 )基于模板的方法 首先，建立并存储一些人脸模板作为标准，可以包括正面人脸或单独的眼睛、 鼻子、嘴。利用一些算法来计算各种待测区域与标准模板的相似程度或称相关性。 利用这一相似度来判决某一区域是否为人脸。 模板匹配的方法很容易实现，但是很难有效的处理姿势、形状和尺度变化的问 题。 ( 4 ) 基于人脸外观的方法 基于人脸外观的方法主要将人脸区域看作一类模式，收集大量的人脸和非人脸 样本作为训练集，用人工神经网络、支持向量机( s v m ) 等方法训练出一个分类器 来定位人脸。这种思想与其他思想不同之处在于它并不是人工的对人脸进行分析或 是抽取模板，也不对输入图像进行复杂的处理；而是利用大量的人脸整体外观用结 构化的方法来训练出人脸定位的分类器。实际上，人脸定位问题被转化为统计模式 识别的分类问题。在这一类方法中，特征向量、统计学、信息学思想也得到了运用。 ( 5 ) 基于肤色的方法 肤色是人脸表面最为显著的特征之一，对彩色图像，肤色是图像中相对集中、 稳定的区域。肤色信息可以将人脸和背景区域很好的区分开来。研究表明，尽管不 同种族、年龄、性别的人肤色看上去不同，但这种不同主要集中在亮度上，再除去 亮度的色度空间中，不同人脸肤色分布具有聚类性。基于肤色的方法就是基于这样 的原理来定位人脸。 人脸的肤色在颜色空间中的分布相对比较集中，颜色信息在一定的程度上可以 将人脸同大部分背景分割开来，因此利用人脸肤色特性对图像进行处理，大大缩小 了人脸的搜索范围。而且，人脸的肤色特性计算复杂度小，对于人脸旋转和缩放等 几何变化都相当的鲁棒性，利用人脸肤色特性对人脸的定位来说是非常有帮助的。 与其它方法相比，基于肤色的方法是一种快速、简单的人脸定位方法。因此， 本课题结合实际采用定位性能较好的基于肤色的人脸定位方法进行人脸定位。人脸 定位步骤如图2 1 ： 5 硕士学位论文 m a s t e r st h e s i s 处理h 艴黟h 构徽颜h 黼h 人繁的 图2 1 人脸定位示意图 2 2 图像预处理 2 2 1光线补偿 光线补偿问题一直是人脸定位和识别中的一个非常重要而难于解决的问题。一 般的人脸定位算法是假定待定位图像是在均匀光照下设计的，然而实际上，光的照 明往往是不均匀的，偏光导致的高光和阴影会使人脸定位的检测率大幅度下降。肤 色等色彩信息经常受到光源颜色和图像采集设备的色彩偏差等因素的影响，而在整 体上偏离本质色彩而向某一方向移动，即我们通常所说的色彩偏冷、偏暖、偏黄、 偏蓝等等。所以有必要对光照进行补偿。 为了抵消色彩中的偏差而进行光线补偿，本文将整个图像中所有像素的亮度从 高到低进行排列，取亮度值前5 的像素点，如果这些像素的数目足够多，我们将 它们的亮度值调整为最大值2 5 5 。整幅图像的其它像素点的色彩值也都按照这一调 整尺度进行变换。 采用这种补偿方法有两点原因：一是绝大部分的图像中都包含有纯白色，特别 是包含人脸在内的图像中，在眼球外围等处通常都是纯白色，所以将具有最大亮度 像素的色彩值调整为纯白色是合理的；二是存在色彩偏差的图像在原来是白色的区 域有着很明显、直观的体现。综合这两个方面，采用上述的补偿方法是合理的。 光线补偿前和光线补偿后效果如图2 2 所示： 静冀 图2 2 光线补偿前和光线补偿后效果图 2 2 2中值滤波 中值滤波是一种典型的低通滤波器。所谓中值滤波，就是指把以某点( x ，y ) 为 翟 硕士学位论文 m a s t e r st h e s i s 中心的小窗口内的所有像素的灰度按从大到小的顺序排列，将中间值作为( x ，y ) 处 的灰度值( 若窗口中有偶数个像素，则取两个中间值的平均) 。由于中值滤波能保 护图像边缘的同时去除噪声，因此本文采用中值滤波去除噪声。本文采用3 3 的模 板实现中值滤波。原图及中值滤波后的效果图如图2 3 所示： m 一蘸 圈群藩霸 图2 3中值滤波前后的效果图 2 3 肤色分割 肤色是人脸表面最为显著的特征之一，对彩色图像，肤色是图像中相对集中、 稳定的区域。肤色信息可以将人脸和背景区域很好的区分开来。研究表明，尽管不 同种族、年龄、性别的人肤色看上去不同，但这种不同主要集中在亮度上，在除去 亮度的色度空间中，不同人脸肤色分布具有聚类性。基于这样的原理采用肤色模型 来定位人脸。 2 3 1 肤色采样 在讨论不同颜色空间的肤色模型时，我们需要一些肤色样本，将这些肤色样本 转换到相应的颜色空间中进行统计研究。为了准确统计出人脸区域的肤色聚类特 征，本文选取了各种彩色人脸图片作为人脸肤色样本的采集源，其中包括了不同光 照、性别、年龄和人种的照片，以便统计的肤色分布更具代表性。 常用的肤色样本选取方法是选取眼睛以下，嘴唇以上的矩形区域作为肤色统计 区域，如图2 4 所示。 7 硕士学位论文 m a s t e r st h e s i s 麟圈淄 圈一慝一 隧黛醚纛熟；鍪簇漶，；_ 图2 4 肤色样本 2 3 2 颜色空间的选择 在进行肤色分割以前，要选择合适的颜色空间。下面就比较尺颜色空间、 册矿颜色空间、c ，颜色空间及其各自特点： ( 1 ) r 颜色空间 尺颜色空间也称为红( r e d ) 、绿( g r e e n ) 、蓝( b 1 u e ) 三基色空间。为标准化 起见，c i e ( 国际照明委员会) 在1 9 3 1 年选择以下三种单色光作为表色系统的三基 色：波长五= 7 0 0 珂所的红色，波长五= 5 4 6 1 ，z 棚的绿色，波长五= 4 3 5 8 珂聊的蓝色。 这就是尺颜色空间，这种空间是最常见的颜色空间。在灭颜色空间中，每一 个数字图像中像素点的颜色都可以用三维空间中的第一象限中的一个点来表示。图 2 5 所示为r 黜彩色立方体。尺颜色空间中，原点表示在任何颜色分量上的亮度 都为零，因此它表示的是黑色；当r 、g 、b 三个分量的亮度都达到最大时表示的 是白色；而当r 、g 、b 三个分量相等时产生的就是灰度像素点，颜色空间中所有 这样的点都位于立方体的对角线上，因此这条线叫做灰度直线。立方体的8 个顶点 中除了黑白两色外，另外三个顶点对应于三基色红、绿、蓝，剩下的则对应于黄、 青以及品红。 r g b 妨俸 费一红 蜀 青 图2 5灭g b 彩色空间的表示法 8 硕士学位论文 m a s t e r st h e s i s 图像处理中最基础、最常用的是尺g b 颜色空间( 颜色立方体) ，但是尺颜色 空间存在着如下的一些缺点： 不直观，从r 值中很难知道该值所表示的颜色认知属性。 r 颜色空间是最不均匀的颜色空间之一。两个颜色之间的知觉差异不能 表示为该颜色空间中两个色点之问的距离。 尺值之间的高相关性。b 一只：o 7 8 ，r g ：0 9 8 ，g b ：0 9 4 。这些高相关性 的存在不但给图像数据的压缩造成了困难，而且对图像中的颜色处理也形成了挑 战。 ( 2 ) 册矿( h u esa = t u r a t i o nv 甜u e ) 颜色空间 相比较而言，r g b 颜色空间都是面向硬件的，娜矿颜色空间则是面向用户的， 该空间对应于如图2 6 所示圆柱坐标系的一个圆锥形子集。圆锥的顶面对应于v = l ， 代表的颜色较亮。色彩h 由绕v 轴的旋转角给定，红色对应于0 度，绿色对应于 1 2 0 度，蓝色对应于2 4 0 度。在雕y 颜色空间中，每一种颜色与它的补色都相差1 8 0 度。饱和度s 取值从0 到1 ，由圆心向圆周过渡。由于脚矿颜色空间所代表的颜色 域是c 匝色度图的一个子集，它的最大饱和度的颜色的纯度值并不是1 0 0 。 在圆锥的顶点处，y = o ，日和s 无定义，代表黑色：圆锥顶面中心处 s = o ，y = 1 ，h 无定义，代表白色，从该点到原点代表亮度渐暗的白色，即不同灰 度的白色。任何y = 1 ，s = 1 的颜色都是纯色。 戡辫：靶v = o 图2 6册y ( h u es a ：t i l r a t i o n u e ) 颜色空间 册y 颜色空间对应于画家的配色方法。画家用改变色浓和色深的方法，从某种 纯色获得不同色调的颜色。其做法是：在一种纯色中，加入白色改变色浓，加入黑 色改变色深，同时加入不同比例的白色、黑色可得到不同色调的颜色。 样本肤色点在硼y 空间的聚类图如图2 7 所示。可见肤色在册矿空间中聚得 不够紧密，求肤色子空间边界的方法都是在y 不变时，对h 和s 设阈值，求得在册 平面的投影，用投影来确定边界，但是这样求得的边界受光照的影响较大。 9 硕士学位论丈 m a s t e r st h e s i s 肤色子空间在册矿空间有6 条边界线，如下： s 1 0 ；矿4 0 ；s 一日一0 1 y + 11 0 ；日一0 4 矿+ 7 5 ： 矿日o ：s 0 0 8 ( 1 0 0 y ) 日+ 0 5 儿p 垃s o 5 日+ 3 5 ( 2 一1 ) ，k 7 a ： ： j 一户歹i 图2 。7 解y 肤色边界区域 ( 3 ) y c c 颜色空间 c ，是数字电视、d v d 、摄像机等视频产品中常用的色彩编码方案。其的】，是 指亮度分量，g 和c ，共同描述图像的色调，c 6 指蓝色色度分量，而c ，指红色色度 分量。人的肉眼对视频的】，分量更为敏感，因此，在通过对色度分量进行采样来减 少色度分量后，肉眼将觉察不到图像质量的变化。这是常用于彩色图压缩时的一种 表色系统。式( 2 2 ) ( 2 3 ) 为c 彩色空间与尺彩色空间之的相互转换的公式： 怫r 引l 意熙凳 p 3 ， 前面已经讲过肤色采样，将这些肤色样本转换到相应的颜色空间中进行统计研 究。由于统计表明不同人种的肤色区别主要受亮度信息影响，而受色度信息的影响 较小，所以直接考虑k c ，空间的c 6 c 分量，映射为c 6 c ，子空间。在g c ，子空间下， 受亮度变化的影响少，且是二维独立分布。通过实践，选取大量肤色样本进行统计， 发现肤色在c 6 c 子空间的分布呈现良好的聚类特性，统计分布如下图2 8 所示： l o b 旧强啪 r 5 o o m b 傩m 4 q gn 好 - 3 、j 1 jm 论甜m 吣铫n 仉 i j 好+ r 硪 黧一 2 n：、 吡煎只 i q q 加 加o 硕士学位论文 m a s t e r st h e s i s c b 图2 8 肤色在g c ，子空间的分布特性 取c ，颜色空间具有如下的优点： c ，色彩格式具有与人类视觉感知过程相类似的构成原理。 心c ，色彩格式被广泛的应用在电视显示等领域中，也是许多视频压缩 编码，如m p e g 、j p e g 等标准中普遍采用的颜色表示格式。 c ，色彩格式具有将色彩中的亮度分量分离出来的优点。 c ，色彩格式的计算过程和空间坐标表示形式比较简单。 实验表明：在c ，颜色空间中肤色的聚类特性比较好。 通常情况下，颜色空间对于人脸图像表面的光照很敏感，因此一般采用颜色空 间的色度分量来构建颜色模型，本文也是基于这样的一种思想，选择c c ，分量来构 建所需要的颜色模型。 2 3 3 肤色模型的建立 用一种代数的或查找表等形式来表达哪些像素的色彩属于肤色，或表示出某一 像素的色彩与肤色相似，这种模型就是肤色模型。常见的肤色模型有高斯模型、混 合高斯模型和直方图模型。 因符合正态分布的人脸肤色的随机样本在特征空间中的分布十分符合高斯分 布，且高斯分布的数学表达形式简单、直观，又是统计学中研究得比较深入的一种 正态模型，所以本文采用高斯模型作为肤色模型。 高斯模型不是一般的二值肤色像素定位，而是通过计算像素的概率值构成连续 的数据信息并由此得到一个肤色概率图，根据数值的大小来完成肤色的确认，克服 了集合模型的缺点，同时不必考虑神经网络模型中关于非肤色样本难以正确提取的 问题。 高斯分布( 沏，c ) ) 的数学表达式为： 研= e x ，x = ( c ，g ) 2 ( 2 - 4 ) c = e ( x 一聊) ( x 一所) 1 ( 2 5 ) 硕士学位论文 m a s t e r st h e s i s 其中行x 表示g c 空间中的一个像素。 图像中像素的肤色相似度采用下式( 2 6 ) ： 尸( c ，c 6 ) = e x p - o 5 一聊) r c - 1 一棚) 】( 2 6 ) 通过对2 3 1 中的方法采集的4 0 0 0 个肤色样本进行统计，其在y c 6 c ，空间的分 布情况如图2 9 所示，这一柱状图表明不同人的肤色在k c ，空间有良好的聚类特 性。图2 1 0 是肤色高斯模型。通过这两图我们可以看出高斯模型能很好的表达肤色 分布。 c 醇孵船1 6 h 埔娟轴t 毒l 鼢川神舯曩| 番鼬煳一p # 嘲洳 一+ 一 肤色在c ，空间的分布 1 2 硕士学位论文 m a s t e r st h e s i s r 瓣9s 啪c d 讲抽魏棚捌艄蝴轴“ 0 n e * ：o e ! 。 图2 1 0肤色高斯模型 本文选取的是基于觋c ，空间的肤色高斯模型。对于k c 彩色模型，按照公式 转换到觋c r 空间，得到像素的g ，c ，值，采用训练的方法来计算得到高斯分布的 中心，然后根据所考察的像素离该中心的远近来得到一个肤色相似度，从而得到一 个原图的相似度分布图，再按照一定的规则对该分布二值化，以最终确定肤色的区 域。 2 3 4 肤色相似度图 对于觋c ，彩色模型，按照公式转换到c 空间，得到像素的g ，c ，值，采 用训练的方法来计算得到高斯分布的中心，然后根据所考察的像素离该中心的远近 来得到一个肤色相似度，从而得到一个原图的相似度分布图。 采用样本训练，按式( 2 4 ) ( 2 5 ) 确定均值朋和方差c 。通过样本训练，计算得 聊= ( 1 1 2 8 9 2 1 ，1 4 4 6 2 7 3 ) 。( 2 7 ) 厂7 6 3 2 4 14 32 8 7 6 、 萨k 2 8 7 62 5 2 4 9 0 1j ( 2 ) l4 3 2 8 7 62 5 2 4 9 0 1 、7 图2 1 1 即为肤色相似度图。 硕士学位论文 m a s t e r st h e s i s 图2 1 1 肤色相似度图 在翰e 空间中的一幅人脸图像，若图像中的像素满足如下条件： 6 0 】，1 8 0 ，1 0 0 g 1 3 0 ，1 3 0 d 1 5 0 ，d g + 2 4 ，m a xc 6 一血n c 厂 3 0 ( 2 - 9 ) 则属于肤色范围。根据式( 2 9 ) 将图像分割为肤色和非肤色区域。 2 3 5 二值化 二值化是为了使物体和背景分开，通过一个设定的阈值t 把原来的灰度图像转 换成二值图像： m 川嬲二； ( 2 1 0 ) 其中，( x ，y ) 为图像二值化结果，厂( x ，y ) 为原始灰度图像，丁为进行二值化过 程中的阈值。 确定最佳阈值的方法主要有直方图法、最小误差法、自适应阈值法。前景物体 内部灰度值与背景灰度值分布都比较均匀，这个图像的灰度直方图将有明显的双 峰，这种情况下可以选择直方图法确定阈值。最小误差法是假设前景和背景的灰度 分布都是正态分布，这种方法在概率上寻求最优值。当照明不均匀、有突发噪声或 者背景灰度变化较大时，就要采用自适应阈值方法，对图像按坐标进行分块，对每 一块分别取阈值进行分割。 本文中二值化的目的是为了把眼睛从肤色中完整地分割出来。现在就可以对图 像进行分析。在人脸区域中，嘴巴、眼睛、眉毛的灰度相对肤色是偏暗的，所以可 以设计一个闽值，使得低于此值的像素在二值化后等于o ，从而把五官从肤色中分 割出来。基于以上分析，本文采用直方图法二值化。直方图如图2 1 3 ，选取第一、 二波峰之间的波谷作为阈值，对图像进行二值化。图2 1 4 为二值化图。 1 4 硕士学位论文 m a s t e r st 1 1 e s i s 图2 1 2 灰度图 ： j m 、 一 ， 图2 1 3 直方图 寻 ， - l _ 图2 一1 4 肤色二值图 2 3 6 形态学处理 形态学中的运算有膨胀和腐蚀。膨胀是将与某物体接触的所有的背景点合并到 该物体中的过程。过程的结果是增大了相应数量的点。表示为 硕士学位论文 m a s t e r st h e s i s d = b + s ( 2 一1 1 ) 其中b 为原图像，s 膨胀系数，+ 表示膨胀运算。 腐蚀是消除物体所有边界点的过程，其结果使剩下的物体沿其周边缩小，经腐 蚀后的结果比原物体小了被腐蚀掉了像素的面积。表示为 d = 召宰s ( 2 1 2 ) 其中b 为原图像，s 腐蚀系数，枣表示腐蚀运算。 所谓的闭运算就是：先膨胀后腐蚀。它具有填充物体内部的小的空洞。连接相 连临近的物体，在不明显改变物体面积的情况下平滑其边缘的作用。表示为 b 母s + s ( 2 1 3 ) 所谓的开运算是：先腐蚀后膨胀的过程，它具有消除细小的物体，在纤细点处 分离物体和平滑较大的物体的边界但不明显改变边界的作用。运算表示为： ( b + s ) 宰s ( 2 1 4 ) 在二值图像中，还存在一些桥接区域，因此采用开预算，先腐蚀后膨胀去除桥 接区域。本文采用3 x 3 模板进行腐蚀和膨胀。形念学处理后的结果如图2 1 5 所示： 专 一 ， 鼍 一 声 ， t ， - l 一一l 图2 1 5 腐蚀和膨胀后的结果图 2 3 7 人脸区域的确定 在网络学习中，被检测人脸数目基本上为一个。在这种场合的限制下，由于二 值图像中肤色的白色区域和非肤色的黑色区域有着强烈的对比，图像已经准确分割 为前景和背景( 肤色和非肤色区) 。所以直接采用投影分析可以确定目标( 人脸) 所在位 置。这样可以大大地减少计算复杂度，进一步提高定位速度。 投影法是沿着图像某个方向截面的灰度值累加计算量的集合。垂直投影( 以x 轴为投影轴) 、水平投影( 以y 轴为投影轴) 公式如式( 2 - 1 5 ) ( 2 1 6 ) ： j l 厂( x ) = 厂( x ，y ) ( 2 一1 7 ) 1 6 硕士学位论丈 m a s t e r st h e s s 厂( y ) = ( x ，y ) ( 2 - 1 8 ) j 1 1 其中， ，y ) 为二维离散亮度函数，m ，z 分别为图像宽和高。 垂直投影的算法流程如下： ( 1 ) 循环各列，依次判断每一行的像素值是否为白，统计该列所有白像素 的数目。设该列共有m 个白色像素，则把该列从第一行到第m 行置为黑。 ( 2 ) 显示该投影图。 水平投影的算法流程如下： ( 1 ) 循环各行，依次判断每一列的像素值是否为白，统计该列所有白像素 的数目。设该行共有n 个白色像素，则把该行从第一列到n 列置为黑。 ( 2 ) 显示该投影图。 用投影法定位人脸的算法如下： 将二值图像进行垂直投影，确定左右边界，再在左右边界区域进行水平投影， 确定上下边界。在原图像中的边界位置画一根线，从而形成一个矩形框，矩形框框 出的就是人脸区域。从而利用投影法确定了人脸在原图像中的位置。 2 4 实验结果 下面给出了采用本算法的人脸定位算法所显示的定位区域。在网络学习环境 中，一般是一个学习者一台电脑，摄像所取的图像一般就是学习者一个人的图像， 并且背景也不是很复杂。从图2 1 6 中可以得出：采用本算法能很好定位出人脸区域。 图2 1 6 人脸定位 1 7 硕士学位论文 m a s t e r st h e s i s 第三章网络学习者的人脸特征定位 眼睛、嘴巴是人脸最重要的器官，而且在网络学习中，眼睛眼睑下垂，闭眼， 视线模糊，眼睛发红、发干，视野变窄，嘴巴不停打哈欠等都是网络学习者疲劳的 体现。因此，准确定位人眼与嘴巴，对网络学习疲劳检测有着重要的意义。 3 1 眼睛定位 3 1 1 眼睛定位算法 本文的眼睛定位算法分为两个步骤：眼睛的粗定位和眼睛的精确定位。眼睛的 粗定位是指在精确定位眼睛前首先要找到眼睛的大致位置。由于眼睛的灰度不同于 肤色，所以在灰度图中，利用灰度投影法初步确定眼睛大致位置。在第二章中已经 讲过，二值图中眼睛被成功地分割出来，所以在初步确定的眼睛区域中，利用4 邻 域搜索算法和眼睛的限制条件实现眼睛的精确定位。如图3 1 所示： 图3 1 眼睛定位方法 ( 1 )眼睛的粗定位。7 边缘检测法是人眼定位的重要方法。边缘检测算子检查每个像素的邻域并对灰 度变化率进行量化，通常也包括方向的确定。 本文采用s o b e l 边缘算子进行边缘检测。图3 2 所示的两个卷积核形成了s 0 b e l 边缘算子。图像中每个点都用这两个核做卷积。一个核对通常的垂直边缘响应最大， 而另一个核对水平边缘响应最大。两个卷积的最大值作为该点的输出值。运算结果 是一幅边缘幅度图像。 1 o 1 202 1ol s o b e l 边缘算子 1 8 硕士学位论丈 m a s 丁e r st h e s i s s o b e l 边缘检测算法考虑图像 ( f ，川厂( f ，) ) 内的每一个点，取每个点的上、下、 左、右四个方向相邻点的灰度加权差，将各个方向加权差之和作为输出达到提取图 像边缘的效果。所以s o b e l 算子定义为： e ( f ，) 三i 。厂i + i ，厂i - i ( ( f 一1 ，歹一1 ) + 2 厂u 一1 ，_ ，) + 厂( f 一1 ，+ 1 ) ) 一 ( ( f + 1 ，一1 ) + 2 厂( f + 1 ，) + 厂( f + 1 ，+ 1 ) ) i + i ( 厂( f 一1 ，一1 ) + 2 厂( f ，一1 ) ( 3 - 1 ) + 厂( f + 1 ，+ 1 ) ) 一( 厂( f 一1 ，歹+ 1 ) + 2 厂( f ，+ 1 ) + 厂( f + 1 ，+ 1 ) ) l 适当取阈值丁，当e ( f ，) r 时，( i ，j ) 为阶跃边缘点；当e ( f ，_ ，) 丁时，处理后 图像仍然保留原图像的灰度值， ( f ，川厂( f ，) ) 作为检测边缘结构输出。 根据灰度函数在边缘点处达到局部极大值这一理论构造传统的s o b e l 算子。它 利用像素上、下、左、右四个方，向相邻点的灰度加权差之和来检测边缘。该算法空 间上易于实现，能够提供较为准确的边缘方向信息：对噪声具有平滑作用，有一定 的抗噪能力，特别是适用于大的邻域时抗噪性能更好。因此在人眼初定位时采用 s o b e l 算子边缘检测法。第二章中已经初步确定人脸，现在在人脸区域内使用s o b e l 算子来检测边缘。然后对其进行水平投影，如图3 3 所示。由图可以看出，眼睛的 大致区域基本确定。 图3 3 边缘检测图与水平投影图 ( 2 )眼睛的精确定位 在第二章讲过，在对图像进行二值化后，再进行腐蚀膨胀运算，从而填充眼睛 中部的白点。在此二值图中，在初步定位的眼睛区域中运用搜索算法寻找出连通域， 1 9 一， 硕士学位论文 m a s t e r st h e s i s 本文采用4 邻域算法。二值图像中，邻接是像素间的基本关系。4 邻域认为一个像 素的水平和垂直方向上的自然邻点与其相邻。由4 个邻点组成的邻域称为4 邻域。 图3 - 4 图像4 邻域示意图 对搜索出的连通域，再根据眼睛特征进行判断，符合条件条件的即为眼睛。 对人脸生理结构的特征进行分析，发现眼睛具有如下特征： t 器殂5 亩脸宽眼宽孝脸宽 眼中心高度、5 脸高度一9 由于眼睛与眉毛比较接近，而且眼睛与眉毛的灰度值都最小。所以搜索出的连 通区域，可能是眼睛，也可能是眉毛。而眼睛在眉毛下面，因此，为了区分眼睛与 眉毛，本文又增加一限定条件：若候选区域多于2 个，则比较候选眼睛区域中心点 纵坐标的大小，取纵坐标小的两个即为眼睛。 在候选眼睛区域，结合眼睛特征及限定条件，就可以精确定位眼睛。 3 1 2 实验结果 通过眼睛的初定位和精确定