（交通信息工程及控制专业论文）司机疲劳监测系统中眼睛检测与跟踪研究.pdf

摘要 疲劳驾驶一直被认为是引发交通事故的重要原因之一，为减少此类事情的发 生，本文将眼睛作为判定司机疲劳驾驶的主要参数，重点研究了司机眼睛的定位 与跟踪技术。 本文主要做了以下几个方面的工作： 1 在对司机眼睛的定位算法上，本文提出将图像处理知识和支持向量机( s v m l 相结合的方法。首先在人脸区域中寻找出眼睛候选区域，然后采用支持向量机眼 睛对分类器检测出真正的眼睛。在提前检测出人脸区域的情况下，这种算法提高 了眼睛检测的速度和准确率。 2 在跟踪算法上，本文提出将k d m 锄滤波和m e a l ls h i 矗算法相结合的方法， 实现眼睛的实时跟踪与眼睛模板的更新。首先在初始帧中定位眼睛的位置，构造 眼睛模板，然后根据图像的运动信息由k a l i l l a i l 滤波估计出被跟踪目标在下一帧的 状态，再运用m e a n s l l i f t 算法确定出被跟踪目标。这种方法对于头部偏转小于1 5 0 的情况具有很好的跟踪效果。 关键字：疲劳驾驶人脸检测眼睛检测眼睛跟踪 a b s t l a c t f a t i g u ed r i v i n gi sr c g a r d e dt ob ea ni m p o n a n tr e a s o no f 仃缸n ca c c i d 豇1 土s i i lo r d e r t 0r e d u c et l l e s e 仃a 伍ca c c i d e n t s ，d r i v e r sf a t i g u el “e lh a sb e e i le s t i m a t e da c c o r d i l l gt o l l i se y e ss t a t ei i lt l l i st h e s i s e y ed e t e c t i o n 舭d 仃a c h i 培m e t h o d so ft h ed r i v e rk i v eb e e n s t i l m e d 锄di m p m v e di n l p o r t a m l y n i st l l e s i sm a i n l yo nm cf o l l o 耐n ga s p e c t s ： f i r s t l y ，an e w m e t l l o dh a sb e e np r o p o s e di nt l l i st h e s i st h a th a sb c e n u s e dt 0d e t e c t “v e r se y e s ht l l i sm m o d ，i m a g ep r o c e s s i n ga n ds v mw e r ec o 巧。硫d b e f o r et w o e y e sa r ed e t e c t e dp r e c i s e l y ，a ne y ep a i ri sl o c a t e d t h es 仉l c t i l r eo ft h ee y er e 百o ni s c o n s i d e r e d 嬲ag t a b l e 粗dr o b u s tf c a t t 】 e 、】v ：h i c hc 趾h e l pd i s t i n g l l i s he y ep a i r 舶mo l 盯 p a t t c n l s i n i 6 a 1 1 y ，t l l e f a c i a l i i l l a g ei sb i i 曲e da n de d 刚e 龇t oo b t a i nt h ee y e c a i 】d i d a t c s n e i l ，a l l 仕屺e y ec a n d i d a t e sa 坞s e mt 0a ns v mc l a s s i f i e r 吐m 、础f i e dt l l e c a n d i d a t e s 锄do b t a i mt h er e a le y ep a i r s f i i l a l l y t l l er e a le y e p a i ri sl o c a t e da c c o r d i n g t 0t h ev e r i f i c a t i o nr e s l l l t s t h em e t h o di ss u p e r i o ri nd e t e c t i n gs p e e da r l dv 嗽c i t y s e c o n d l y n o v de y e 仃a c k i l 鸩m e t l l o dh 船b e 髓p r 叩o s c dt h a th 邵c 0 嘶o i n c dka l _ m 翘 f i l t e ra l l dm e a ns 1 1 i f i ，m ew h o l e 仃a c k i n g p r o c e s st 娜b e 吼d i v i d e di n t 0 也r e es t a g e s ：f i r s t t h ee y em o d c l i sc o n s 饥l c 铆w h j c hb a s 嚣o ne y e si o c a l i o n 疗o mt h ei n i t i a l 如m ， k a l l l l 8 nf i l t c ri su s e dt oe s t i i l l a ：t ee y ep o s i t i o nt l l e i l ，姐dm e a i ls 1 1 i f ti su s e dt oc o r 州e y e p o s i t i o na tl a s t 1 1 1 i se y e 缸越虹n gm e t h o di se 毡c t i v ef b fr e a l i s t i cl i g h t i n gc 伽u d i t i o n 晰t l l m el e s st h 锄1 5a n 百e sh e a dm t a t i o n k q 唧o r d s ：d r i v e rf a t i g l l e f a d e t e c t i o n p u p nd e t e c t i 仰 p u p 丑t r a c 妇g 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：函煎鹚 日期：如e 子、；，f 弓 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业 离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。学 校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部 或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在 解密后遵守此规定) 本人签名： 导师签名：杰磁 日期：塑! 墨：墨：! 墨 日期：a ；f 夕 第一章绪论 第一章绪论 1 1 课题研究背景及其意义 随着经济的不断发展，人民生活水平的不断提高，人们对公路交通的依赖也 越来越大。交通大发展的过程中，交通事故给国家经济、人民生命财产的安全带 来了越来越大的损失。据不完全统计，全世界每年因道路交通事故导致死亡的人 数超过1 0 0 万，其中由于驾驶员疲劳驾驶造成的交通事故至少有1 5 万起，直接经 济损失超过1 2 5 亿美元。根据美国公路交通安全委员会0 q h t s a ) 的交通事故死亡 报告，估计每年近8 0 0 0 例公路交通死亡事故是直接或间接的由于驾驶员注意力不 集中，疲劳或困倦引起的。据英国汽车协会的统计，英国因车祸死亡的人中，有 十分之一是因为司机疲劳驾驶而引起的事故。在我国，因疲劳驾驶而造成的交通 事故约占总数的2 0 、特大交通事故的4 0 以上，以及交通死亡率的8 2 。由此 可见，疲劳驾驶是影响交通安全的重要因素之一i l j 【2 j 。 疲劳驾驶是指驾驶员在一段时间的驾车之后所产生的反应水平下降，导致不 能正常驾车行驶。引发司机疲劳的原因很多，如睡眠时间和睡眠质量，工作性质 和时间，人的生理周期，以及酒精和药物，甚至不同人的身体状况，生活习惯， 年龄差异。而且即使在司机状态很好的情况下，司机在高度集中的情况下驾驶也 很容易产生疲劳，尤其是高速公路的景色单一，更容易使司机疲劳。司机一旦出 现疲劳状态，其心理状态也会发生各种各样的变化。如视力下降，致使注意力分 散、视野逐渐变窄；思维能力下降，致使对事物的反映变的迟钝、判断迟缓、动 作僵硬、节律失调；自我控制能力减退，出错的几率也就大大增加，很容易导致 交通事故的发生l “。 疲劳驾驶问题已经引起了世人的关注，西方国家投入巨大的人力、物力广泛 开展疲劳驾驶的研究工作。为了给大家一个安全的驾驶和乘车坏境，研制开发一 套适合我国的疲劳驾驶检测与预警系统，是相当必要和紧迫的。而如何实时有效 地检测到驾驶员的疲劳状态，无疑是该检测预警系统的核心。本论文将对如何实 时有效地检测、跟踪驾驶员的眼睛来进行研究。 1 2 国内外研究现状 驾驶疲劳研究分为主观和客观两种方法。主观研究方法有主观调查表、驾驶 员自我记录表、睡眠习惯调查表和斯坦福睡眠尺度表四种。 1 ) 最有代表性的主观调查表是皮尔逊疲劳量表，分为1 3 级：( 1 ) 精力极度充 沛，( 2 ) 精力特别充沛，( 3 ) 精力非常充沛，( 4 ) 精力很充沛，( 5 ) 精力比较充沛，( 6 ) 2 司机疲劳监测系统中眼睛检测与跟踪研究 精力有点充沛，( 7 ) 有点疲劳，( 8 ) 相当疲劳，( 9 ) 很疲劳，( 1 0 ) 非常疲劳，( 1 1 ) 特别疲 劳，( 1 2 ) 极度疲劳，( 1 3 ) 快要倒下； 2 ) 驾驶员自我记录表对驾驶任务、驾驶习惯、驾驶时间等进行自我测评； 3 ) 睡眠习惯调查表用来检查驾驶员是否有失眠的情况。该表是疲劳和情绪的 自我评价方式； 。 4 ) 斯坦福睡眠尺度表用来检查驾驶员的睡眠情况。该表是驾驶员睡眠情况的 调查表。 这些反映主观方面的调查表格虽然使用简单，但是由于填写者本身对表格项 目的理解存在一定的差异，填写的准确性必然大打折扣，其结果常常不能令人满 意，因此不能作为驾驶疲劳评测的通用标准尺度。 客观的方法有脑电图【4 】【5 】( e e g ) 、眼电图( e o g ) 、肌电图( e m g ) 、呼吸气流( 鼻 声传感器) 、呼吸效果( 胸腔部传感器) 、动脉血液氧饱和( 手指探针) 时的体温( 用红 外线耳朵探针获取) 和心电图e k g ( 开车和睡眠时) 等测量方法。尽管这些方法是比 较准确的，但是由于这些方法一般是在驾驶前或驾驶后测量，都是超前或滞后的， 是非实时的。况且在驾驶室有限的空间内安置复杂的检测仪器也是十分困难的， 而且驾驶员脱离驾驶室或未进入驾驶室的精神状态是不同的，再精确的仪器其测 量结果也会大受影响。因此，开发一种车载的、实时的、非接触式的疲劳测量装 置已经成为国内外专家学者共同追求的目标。 1 2 1 国外的研究状况 早期对驾驶员疲劳监控的研究主要是从驾驶疲劳测评的医学角度出发，借助 医疗器件进行的。对驾驶疲劳实质性的研究工作是从2 0 世纪8 0 年代由美国国会 批准交通部实施驾驶服务时间( h o s ) 【6 1 【7 】嘲改革，研究商业机动车驾驶和交通安全 的关系，健全卡车和公共汽车安全管理条例开始的。 随着疲劳检测技术研究的深入以及科学技术手段的进步，疲劳驾驶测量方法 也有了很大的发展，尤其以美国的研究发展较快。下面介绍几种典型的试验性产 品： ( 1 ) 美国研制的打瞌睡驾驶员侦探系统d d d s ( 1 kd m w s yd r i v e fd e t e c t i o n s y s t e m ) 。采用多普勒雷达和复杂的信号处理方法，可获取驾驶员烦躁不安的情绪 活动、眨眼频率和持续时间等疲劳数据，用来判断驾驶员是否打瞌睡或处于睡眠 状态。 ( 2 ) 方向盘监视装置【9 】s m “( s t e e r i n g a t t e m i o nm o i l i t o r ) 。一种监测方向盘非正常 运动的传感器装置，适用于各种车辆。方向盘正常运动时传感器装置不报警，若 方向盘4 秒不运动，s a m 就会发出报警声直到方向盘继续正常运动为止。s a m 被 第一章绪论 固定在车内录音机旁，方向盘下面的杆上装有一条磁性带，用以监测方向盘的运 动。使用s a m 并不意味延长驾驶时间，而是要提醒驾驶员驾车时不要打瞌睡。另 外，s a m 与录像机配合使用可以为保险公司提供证据。 ( 3 ) d a s 2 0 0 0 型路面警告系统( 1 kd a s 2 0 0 0r o a d 触e ns y s t e m ) 。一种设置在高 速公路上用计算机控制的红外线监测装置，当行驶车辆摆过道路中线或路肩时， 向驾驶员发出警告。 ( 4 ) 反应时测试仪p v t ( t h ep s y c h o m o t o r g i l a n c et e s t ) 。根据驾驶员对仪器屏 幕上随机出现的光点的反映( 光点出现时敲击键盘) 速度测试驾驶员的反应时间，用 以判断其疲劳程度。 ( 5 ) 日本研制的电子“清醒带”。使用时将“清醒带”固定在驾驶员头部，一端 插头插入车内点烟器的插座，装在带子里的半导体温差电偶使平展在前额部位的 铝片变凉，使驾驶员睡意消除，精神振作。 自2 0 0 0 年以来，随着计算机和集成电路制造技术的提高，机动车驾驶员疲劳 驾驶的研究有了进一步的发展。美国华盛顿大学的j o l 】1 ls t 锄博士领导的由美国 联邦公路管理局和汽车联合会资助的研究所，通过自行开发的专用照相机、脑电 图仪和其他仪器来精确测量头部运动、瞳孔直径变化和眨眼频率，用以研究驾驶 行为等问题【1 0 】。研究结果表明：一般情况下人们眼睛闭合的时间在o 2 o 3 s 之间， 驾驶时若眼睛闭合时间达到o 5 s 就很容易发生交通事故。宾夕法尼亚大学智能交 通实验室和n h t s a 采用p e r c l o s ( 眼睛闭合时间占特定时间的百分率) 【1 1 】作为精 神生理疲劳程度的测量指标，一般认为该方法是目前最可靠、最有效、最有应用 前景并且适合实时检测的方法【l ”。2 0 0 0 年1 月明尼苏达大学计算机科学与工程系 的n i k o l a o sp - p 印a i l ik o l o s p o l l l o s 教授成功开发了一套驾驶员眼睛的追踪和定位系 统【1 3 】，通过安置在车内的一个c c d 摄像头监视驾驶员的脸部，用快速简单的算法 确定驾驶员眼睛在脸部图像中的确切位置，通过追踪多幅脸部特征图像来监控驾 驶员是否驾驶疲劳。2 0 0 0 年3 月，n i k o l a o sp p 印a 1 1 i k o l o p o u l o s 对上述系统进行了 改进，改用红外线彩色摄像头并加滤波器滤除图像的噪声和非脸部的图像，使搜 索脸部图像的次数减少，加快了处理图像的速度。采用灰度模式匹配方法追踪输 入图像序列来搜寻并确定眼睛区域，然后用同样的模式匹配方法来确定眼睛是睁 开还是闭合。 1 2 2 国内的研究状况 国内在驾驶员疲劳监测的研究方面起步较晚。目前国内的主要研究有： ( 1 ) 浙江大学正在研究驾驶防瞌睡装置。该装置通过实时监测一段时间内驾驶 人员眼睛的活动如眼睛的闭合时间、闭合频率等参数，来判断当前驾驶人员的注 4 司机疲劳监测系统中眼晴检测与跟踪研究 意力程度，从而识别驾驶员是否疲劳。 ( 2 ) 北京航天航空大学的眼动测量系统。利用光学系统中的图像传感器获得眼 睛运动的瞬时模拟图像，然后交由图像处理系统，经滤波、放大、以及a 仍转换 产生含有瞳孔位置信息的数字信号。由数字检测系统负责瞳孔中心坐标检测及数 据转换，并以异步串行通信方式和计算机进行通讯，将瞳孔中心坐标数据传输给 计算机完成标定等上作。计算机对于背景视场摄像机传输来的图像和标定后的瞳 孔中心坐标进行叠加及数据后处理。 ( 3 ) 中国农业大学车辆与交通工程学院正在进行机动车驾驶员疲劳测评方法的 研究。他们使用c c d 摄像头来采集图像数据，数据采集到计算机后，先利用高斯 肤色模型进行驾驶员人脸定位，然后根据人脸图像的灰度分布检测出眼睛在图像 中的具体位置，最后利用模板匹配技术判断出入眼的开闭状态，并计算出眼睛的 闭合时间和p e r c l o s 值，当眼睛的持续闭合时间大于3 秒，p e r c l o s 值大于8 0 时，就认为驾驶员处于疲劳驾驶状态，发出警告。 1 3 论文的内容安排 本论文主要利用肤色模型进行人脸的检测，采用图像处理知识和支持向量机 ( s v m ) 来进行眼睛的检测，在运用改进的滤波跟踪算法_ k a l m a n 滤波与m e 蛆 s l l i r 相结合的算法来实现眼睛的实时跟踪与模板的更新，在眼睛检测与眼睛跟踪 这两个部分，如果有一部分出现问题，将会回到试验图片中从新进行眼睛检测， 再跟踪。眼睛检测与跟踪的流程图如图1 1 所示。具体分析请看各个章节。 本文分为五个章节： 第一章：绪论。主要介绍了驾驶员疲劳监测的研究背景、研究意义，并对国 内外的研究现状及一些主要的成果进行了简要的说明，最后介绍了本文的研究内 容和章节安排。 第二章：驾驶员脸部的检测。首先对现有的人脸检测技术进行了一个概述， 在介绍了基于肤色模型的人脸检测算法后，提出了新的肤色模型，并给出了利用 该肤色模型完成的人脸检测结果。 第三章：驾驶员眼睛的定位。这一章首先对目前常用的一些眼睛定位方法进 行了简单的介绍，同时提出了采用图像处理知识与支持向量机( s v m ) 相结合的 眼睛定位方法，在详细的介绍了s v m 的理论后，介绍了本文的眼睛定位算法，并 给出了检测结果。 第四章：驾驶员眼睛的跟踪。在简单的介绍了一些眼睛跟踪方法后，本文较 为详细的介绍了k a l n l a i l 滤波和m e a i ls h i f t 算法的基本理论；然后，针对眼睛模型， 给出了这两种算法相结合的跟踪效果图。 第一章绪论 第五章：全文的总结与展望。对全文做了总结，提出现存的问题，并指出了 今后应努力的方向。 图1 1 眼睛检测与跟踪的流程图 第二章驾驶员脸部的检测 7 第二章驾驶员脸部的检测 要准确的检测并能够实时跟踪到图像中眼睛，首先需要确定图像中的人脸区 域，然后在人脸区域内进一步检测、定位眼睛，这样不仅可以提高检测的精度， 更能大大缩小眼睛检测的区域，提高检测速度。 人脸检测问题是一个具有较大挑战性的课题【1 4 j ，因为人脸包括五官、毛发等 极不规则的复杂待测目标，而且采集的图像很容易受到各种条件变化以及各种噪 声的影响；再次，发型和化妆会遮盖某些人脸特征；另外，人脸在图像中的位置、 旋转角度和尺度也不是固定不变的。 可见人脸检测和定位有一定的难度和复杂性，但对这一问题的深入研究必将 推动模式识别、计算机视觉、人工智能等计算机科学分支的发展。人脸检测问题 在近十年已经得到了广泛的发展，国内外很多研究人士提出了很多方法，在不同 的领域取得了一定的成果。但是对于寻找一种能够普遍适用于各种复杂情况下的 准确率很高的检测算法，还有很大的探索空间。 本章将详细阐述人脸的检测定位过程。第一节概述了目前的各种人脸检测技 术，第二节详述了基于肤色的人脸检测方法，并给出了本文的检测方法。 2 1 人脸检测技术简介 人脸检测是指在输入图像中确定所有人脸( 如果存在) 的位置、大小和姿态 的过程。目前的人脸检测方法大致可分为两种：基于统计的人脸检测和基于知识 的人脸检测【1 5 l 【1 6 】。基于统计的人脸检测方法将人脸的图像视为一个多维向量，从 而将人脸检测问题转化为多维空间中分布信号的检测问题：而基于知识的人脸检 测方法则是利用人脸特征知识建立若干规则，从而将人脸检测问题转化为假设和 检验问题，比如人脸的肤色和几何结构等，常采用比较典型的模式识别理论。 ( 1 ) 基于统计的人脸检测方法 ， 事例学习方法：将人脸检测视为区分非人脸样本与人脸样本的两类模式分类 问题，通过对人脸样本集和非人脸样本集进行学习以产生分类器。事例学习方法 中，普遍采用人工神经网络，因为它避免了复杂的特征提取工作，并能根据样本 进行自我学习，具有一定的鲁棒性和自适应性。典型地，这类方法有基于贝叶斯 【1 刀( b a y e s ) 的决策论概率模型的人脸检测和基于支持向量机f 1 8 1 ( s v m ) 的人脸检测， 但该方法只实用于背景静止的应用场合，对于如辅助驾驶等背景运动的场合不再 有效，当背景颜色与人脸肤色相近的时候，特征向量的提取会很复杂，提高了分 类学习的难度，也会花费更多的时间和系统能量。 子空间法f 1 9 】：对于同一个模式类，虽然它的测量空间是一个多维空问，但实 司机疲劳监测系统中眼睛检测与跟踪研究 际上它的所有样本仅分布在一个较小的、易于参数化的低维子空间里。子空间的 构造使用主元分析法( p c a ) ，对于目标模式，可以通过子空间基的线性组和来进行 重组，并且重构误差较小；对于非目标模式，重构误差较大。利用这个特性可以 进行目标模式的检测。在人脸定位中，采用特征脸的方法，人脸模式在特征脸子 空间的投影系数基本相似，若先将子图在特征脸子空间投影后重建，然后比较原 图和重建图，就能够说明原图是否是人脸，这是因为特征脸子空间能反映人脸的 分布，而对于非人脸则没有很好的表达力，因此重建图和原图的差异会较大，这 样就可以进行人脸的检测。 空间匹配滤波器法：包括各种模板匹配方法、合成辨别函数方法等。模板匹 配方法是一个最基本的分类方法。基本思想是：先对每一类模式建立一个模板， 当要对一个待识别模式进行识别时，就用该模式与模板匹配，并按待识别模式与 模板的匹配情况对它进行识别，固定的相关模板就像一个匹配滤波器，在检测目 标时，通过计算候选位置的图像与参考模板间的匹配度，再通过一个阈值进行判 决，如果匹配度大于门限，就认为检测到了目标。总的来说，模板匹配法的鲁棒 性比较好，但是模板匹配法的速度较慢。例如在文献【2 0 j 【2 ”中，提出了一种在进行 模板匹配之前，先运用基于积分投影的定位算法对人脸进行预定位，然后进行模 板匹配的方法，在一定程度上提高了速度。 隐马尔可夫模型饵m m ) 法【1 9 1 ：隐马尔可夫模型法是一种常用的用于离散时间 序列建模的方法，在语言信号的处理和说话人识别中取得了很大的成功。用m i m 进行人脸识别的基本原理是：将人脸图像看作参数化的随机过程，把人面部的额 头、眼睛、鼻子、嘴巴和下巴等器官所在部位看作随机过程的状态，通过对符合 人脸各器官分布的状态的随机过程的检测来实现对人脸的检测。 ( 2 ) 基于知识建模的人脸检测方法 器官分布方法：虽然人脸在外观上变化很大，但还是遵循一些普遍使用的规 则，如五官的空间位置分布等。检测图像中是否有人脸，即测试该图像中是否存 在满足这些规则的图像块。这种方法一般是先直接检测几个器官可能分布的位置， 然后将这些位置点分别组合，用器官分布的几何关系准则作为分类器进行筛选， 找到可能存在的人脸。这种方法的缺点在于不能有效处理尺度、姿态和形状的变 化。 提取轮廓方法【2 2 】【列：人脸的轮廓可以看成一个近似椭圆，人脸检测可通过对 椭圆的检测来完成。这种方法中，最具有代表性的是h o u 曲变换，h 0 u 曲变换的 基本思想是将图像空间中的检测问题转换到参数空间，通过在参数空间里进行简 单的累加统计完成检测任务，用大多数边界点满足的某种参数形式来描述图像的 区域边界曲线，因而对于一些被噪声干扰或间断区域边界的图像，h o u g l l 变换具 有很好的容错性和鲁棒性，但是h o u 吐变换的计算量很大，影响识别速度。 第二章驾驶员脸部的检测 9 利用颜色、纹理的方法【2 4 】嘲：人的面部肤色受亮度影响较大，受色度影响较 弱，在颜色空间中的分布相对比较集中，颜色信息在一定程度上可以将人脸和背 景区分开来。与其他检测方法相比，利用颜色知识检测出的人脸区域不够准确， 但是由于肤色特征可以用几个简单的参数表示，所以计算速度会比其他方法快。 利用运动的方法【2 6 】【2 7 】：利用运动信息可以简单的将人从任何复杂背景中分割 出来。因为相对背景来说，人总是在运动的，包括利用眨眼、说话等信息，采用 帧相减是最简单的方法。现在常用的图像动态分析法有差分运动分析方法和光流 场分析方法。 利用对称性的方法：人脸具有一定的轴对称性，各器官也有一定的对称性。 有的学者提出连续对称性检测方法，即检测一个圆形区域的对称性，从而确定是 否为人脸；砌e s f i e l d 提出广义对称方法，检测局部对称性强的点来进行人脸器官的 定位。 上述各种方法都存在自身的优缺点和适用领域，很多学者在各自所面临的问 题的范围内不断探索，也发明了许多卓有成效的检测算法。但各种检测算法都存 在着效率与性能上的矛盾，在正确率、鲁棒性能等方而更好的算法往往又会花费 更多的时间及系统消耗。本论文结合实际采用检测性能较好的基于肤色的人脸检 测方法进行人脸的检测。 2 2 基于肤色的人脸检测 一般情况下不同物体的颜色除了受光照的影响较大外，与物体的大小、伸缩 及姿态基本上无关。肤色特征是人脸的重要信息，不依赖于面部的细节特征，对 于旋转、表情等变化情况都能使用，具有相对的稳定性，并且和大多数背景物体 的颜色相区别。 经过统计证明【2 8 】：人类的肤色能在颜色空间中聚成单独的一类，而影响肤色 值变化的最主要因素是亮度变化，与色度几乎无关。为了有效的进行肤色聚类， 首先必须选择合适的颜色空间，在确定了适合的颜色空间后，再进行肤色像素的 检测，然后根据它们在色度上的相似性和空间上的相关性分割出人脸的区域。 基于肤色的人脸检测的过程包括三步：首先，选择合适的颜色空间，并建立 肤色模型；其次，根据所建立的肤色模型，检测输入图像的肤色像素，进行去噪 声平滑处理，对肤色区域和类肤色区域进行检测分割；最后，对于经过区域分割 的图像，进行区域的合并，组成一个完整的人脸候选区域。 以下将从这三个步骤进行具体的描述。 l o 2 2 1 颜色空间 光在频谱分布中的不同位置体现了不同的颜色，颜色是人对光谱中可见光的 感知结果。根据光度学和色度学原理，颜色一般用三个独立分量的线性组合表示， 也就是三位的颜色空间。目前广泛使用的颜色空间主要有r g b 颜色空间、归一化 啦颜色空间、脚y 颜色空间、z 汀颜色空间、y 】z 颜色空间、y ( 揪颜色空间、 坳颜色空间、上曲颜色空间。下面对其中最主要的几种颜色空间做一下简单的介 绍。 ( 1 ) r g b 颜色空间：也称为三基色模型。它是数字图像处理和储存中最常用的 颜色空间。自然界中所有颜色可以很容易的用红、绿、蓝( 胄g b ) 3 种颜色按照不同 比例和强度的混合来表示。矗g b 空间中r 、g 、b 三个分量相互独立，它们其中 的任何一种颜色均不能由其他二色混合产生，同时它们又是完备的。r g b 色彩系 统在图像表示、采集、存储、处理以及显示中有着重要的作用，而且多数的图像 采集设备都是以c c d 技术为核心，直接感知色彩的r 、g 、b 三个分量，这也使 得三基色模型成为图像成像、显示、打印等设备的基础，但它一般不适合直接用 在颜色的分类中，因为该颜色空间中的r 、g 、b 三基色与亮度之间存在很大的 相关性。 ( 2 ) 归一化啦颜色空间：为了消除r g b 颜色本身所包含的亮度信息，在戤珏 空间将颜色值在亮度上进行归一化，就得到馏6 空间。如下为r g b 空间与归一化 啦颜色空间的转化关系： 卧 o o 0 l r + g + b 由于( ，g ，6 ) 存在约束条件，+ g + 6 = l ，因此，归一化，妒空间只有两个维度， 一般用( ，g ) 表示。与r g b 空间相比，、g 和亮度的相关性减小了。 ( 3 ) 船矿颜色空间：该空间描述了三个基本特征，即色相( h u e ) 、饱和度 ( s 亦l r a t i o n ) 和亮度( u e ) 。色相表示色彩信息，即所处的光谱色彩位置，该参数用 一个角度表示，红绿蓝三色分别相差1 2 0 度，互补色分别相差1 8 0 度；饱和度指 颜色的纯度或强度，它表示色相中白色成份所占的比重，范围从o 到1 ；亮度是颜 色相对明暗程度，通常从0 到l ，它与光强度之间没有直接的联系。该颜色空间与 r g b 空间转换如下： 。 。一 。 志。 第二章驾驶员脸部的检测 ：j _ 兰n ! 爹其中，口：。一， s = 1 一等i i l i n ( r ，g ，b ) 其中，口= c o s 。l y = 去( r + g + b ) 。 ( 4 ) 删颜色空间：该空间有两个特点。一是分量与图像的彩色信息无关；二 是h 和s 分量与人感受颜色的方式是紧密相连的。该空间里，颜色的亮度分量和 色彩分量可以直接分离。因而，傩，空间非常适合于借助人的视觉系统来感知彩 色特征的图像处理算法p o 】。由置g 占色彩空间转化可以得到脚色彩空间的分量信 息如下： 日：一。：丝三竺丝三墅丝 ( ( r g ) 2 + ( r b ) ( g b ) ) s ：1 3 竺垫( 墨：堡! 堡2 r + “+ 占 j = 墨g 里 气 ( 5 ) 砌c ，颜色空间：鼢c 厂颜色空间是以演播室质量标准为目标的c c 哳0 l 编码方案中采用的彩色表示的模型，该空间广泛地应用于欧洲电视系列和图像压 缩中。它具有删模式中亮度分量与色度分离的优点。y c 6 c r 颜色空间中，】，代 表颜色的亮度分量，c 6 、d 分别代表颜色的蓝色分量和红色分量，它们一起表示 颜色的色度信息。色度信息非常适合于将皮肤区域从图像背景中分割出来。该颜 色空间由r g b 颜色空间转化为如下形式。 r y r 1 6 1ro 2 5 7 o 5 0 4 o 0 9 8 1 r 胄 时矧+ l 黹嚣端蚓 研究表明【2 司：虽然不同人的皮肤颜色可能相差很大，但它们在色度上的差异 要远远小于亮度上的差异。这也就是说，不同人的肤色在色度上往往是相近的， 但在亮度上有较大差异。因此，对于以颜色特征来检测人脸的系统而言，需要求 颜色空间的聚类效果好，基本不受亮度影响。我们知道r g 口空间中的三个分量都 分别包含亮度信息和色度信息，这样肤色分割的结果就容易受光照的影响，所以 选用一个把亮度信息作为单独分量的色彩空间更为合适。在以上介绍的各种颜色 空间中，爿研空间和r c t 6 d 空间是满足条件的。本文在这一节引入一种改进的空 y c 6 c ，间来进行人脸的检测，选择陀6 d 空间的理由主要有： 1 2 司机疲劳监测系统中眼睛检测与跟踪研究 ( 1 ) 同月酎空间相比，y c 6 c ，空间同样是亮度与色度的分离，但月跚空间是连 续空间，y ( 冶d 空间是离散空间，易于实现聚类算法； ( 2 ) 陀6 c r 空间是感知均匀的色彩空间，同脚相比，肤色在y c 6 c r 空间的聚 类更为紧促。 2 2 2 肤色模型的建立 选择了合适的颜色空间后，需建立准确的肤色模型。常见的肤色模型有高斯 模型、混合高斯模型和直方图模型。 由上节对陀毋d 空间的分析可知，y ( 冶c ，色彩格式直接由r g 四色彩格式通过 线性变换得到，所以其亮度分量r 并不是独立于色度信息而存在，故肤色的聚类区 域也是随着y 的不同而呈非线性变化的趋势。y c 6 c ，空间中，在亮度】，值较大和较 小的部分，肤色聚类区域随之缩减，即呈现两头尖的纺锤形状。由此可见，在y 值 不同的地方，c 6 和c ，之间的关系是不定的，所以简单的排除y 分类，若按照传统 的做法在二维的c 6 一d 子平面中寻求肤色聚类区域是不行的，我们必须考虑y 值 的不同造成的影响，从而对y ( 冶c r 色彩格式进行非线性变换。经过变化后得到的 颜色空间我们用砌c ，表示，在k 乃c r 。空间中肤色的聚类性独立于亮度，从而 获得理想的肤色检测效果。两坐标空间的变换过程推导如下： 色差c 6 和c ，可分别看作亮度】，的函数c 6 ( d 和c ，( y ) 。设变换后的色差分量 为c 6 。( 即和c ，y y ) 。他们的表达式为口1 】： tn r d ( 】，) ： ( c f ( y ) 一弓( y ) ) 。蕞斋+ 弓( 瓦) 纵r 置) o ，( 毛 y ) lg ( y )矿( 】，】) 式中石石( y ) 和石( y ) 表示肤色区域的中轴线，万i ( d 和两( y ) 表示肤色区域的 宽度，分别表示为 d ( y ) 1 5 4 + 竖二塑：! ! 竺二! 塑 墨一k 1 0 8 + 垡二鱼巡! ! 二! 丝 一瓦 矿( 】， k ) 矿( 毛 】，) 矿( 】， k ) 矿( d 一一一一一一 + + 吣 ， = )o 万 第二章驾驶员脸部的检测 矿( y k ) 矿( 蚝 o ，心( x ) 国= l ，毛( f ) = 去k 白 式( 4 - 1 1 ) 这里厅是核函数的带宽。 在多维空间中使用的核函数为多变量核函数。令x 代表一个d 维欧式空间，x 是该空间中的一个点，用一个向量表示。x 的模h 1 2 = x o ，r 表示实数域。如果 一个函数k ：x 寸r 存在一个剖面函数后： o ，叫专五，即 k ( x ) = _ j ( 2 ) 式( 4 - 1 2 ) 式中，若满足：( 1 ) 七o ； ( 2 ) 后为非增的，如果口 6 ，那么七( 口) 七( 6 ) ； ( 3 ) 七是分段连续的，并且f 七( ，) 咖 。o 。 那么，我们称k ( x ) 为核函数。j j ( x ) 为k ( x ) 的剖面函数，其负导函数为g ( 算) ， 即g ( 功= 一七( 工) ，其对应的核函数为g ( 功= g ( 2 ) 式( 4 1 3 ) 在m 锄s l l i f i 中，有两类核函数经常用到，他们分别是： 单位均匀核函数： 弛，= 器糠： 柳 单位高斯核函数： ( x ) = p 一讦式( 4 1 5 ) 这两类核函数如图4 4 所示，其中( a ) 图为单位均匀核函数，( b ) 图为单位高斯 核函数。 俞 i i 彻 图4 4 ( a ) 单位均匀核函数( b ) 单位高斯核函数 司机疲劳监测系统中眼睛检测与跟踪研究 4 2 3m e a ns h i f t 算法与其收敛性分析 吲垆鬻叫 船坳 一鬻 船乃 善咩) 心 ( 3 ) 如果0 ( 一x 0 夕( 乃) 。由此可证得：序 列 夕( y ，) 1 收敛。 3 8 司机疲劳监测系统中眼睛检测与跟踪研究 为了证明序列 乃 的收敛性，对于乃o ，式( 4 - 2 5 ) 可以写为 饥，。啦去w 。印警| | 2 榔回 现在对于标号- ，+ 1 ，+ m + 1 ，对式( 4 2 6 ) 的左右两边分别求和，得到 舭卜地) 南眇。1 川巴1 9 i i 半叶 + 去眇川晓。 | 降n “2 二。w ( 而) ”“川“。6 j 去 8 乃+ m 一乃+ 一1 1 2 + + 乃一乃一t m j 去l l 乃+ m 一乃| 1 2 f 式( 4 2 7 ) 其中m 表示对应序列 乃 的所有求和项：，g f l 、 i 的最小值。 j 由于 夕( 乃) 收敛，它是一个c a u c h y 序列，式( 4 - 2 7 ) 意味着 乃 也是一个c a u c h y 序列，因此序列 乃 收敛。 4 3 基于k a l f n a n 滤波与a ns h i f t 算法相结合的眼睛实时跟踪算法 在眼睛的跟踪算法中，运用最广泛的是k a l i n a n 滤波和m e a l ls h i f i 跟踪算法， k a h 锄滤波算法虽然简单有效，但对头部的旋转、人脸与摄像头的距离和外部光 照条件非常的敏感，算法的实时性较差。m e a ns h i f t 算法实时性好，是一个单参数 算法，对目标的旋转、变形都不敏感，但缺乏必要的模板更新算法。本文采用k a l m a n 滤波和m e a ns l l i r 算法想结合的方法，即可以避免跟踪丢失或者出错，还可以实 现模板的自动更新算法，在很大程度上提高了跟踪的效率。 跟踪时首先在初始帧中检测和定位出眼睛的位置，构造眼睛模板( 目标模板) ， 然后根据图像的运动信息由k a l m a l l 滤波估计出被跟踪目标在下一帧的状态，再运 用m e a l ls l l i f t 算法在估计的区域内进行目标搜索，其中颜色分布与目标模板颜色 分布最相似的即为被跟踪目标。为了减小m e a ns l l i f t 的误差漂移，在以后的跟踪 过程中不断地更新眼睛模板。图4 5 为跟踪过程结构简图。 第四章驾驶员眼睛的跟踪 3 9 图4 5 眼睛跟踪过程结构筒图 4 3 1k a l m a n 滤波预测建模 型 在图像序列中，假设跟踪目标f 时刻的坐标为( t ，只) ，采用上述的k a l m a i l 滤 波进行运动预测，则f + l 时刻的坐标为( 。只+ ，) ，协方差为“，以) ，整个跟踪 过程中前后两帧的预测原理如图4 6 所示： 检测点的位 ( 叠，功 预测位置及估计范围 图4 6k a l m 锄滤波前后两帧预测原理 根据上述原理，在眼睛跟踪过程中，将前后两帧中眼睛的运动看作是匀速的， 眼睛运动的特征可用位置和速度来描述，设( ，只) 为f 时刻眼睛的位置( 质心在x 轴 和) ，轴上的坐标) ，( 匕，1 ，。) 为f 时刻眼睛在x 方向和y 方向的速度，所以r 时刻眼 睛的状态向量为x f = ( 薯，以以，b ，) 1 。因此，系统的状态模型可表示为： x i + l = m x ，+ w 式( 4 2 8 ) 其中，w ：是系统噪声。 假定眼睛在连续两帧图像之间( 时间间隔为r ) 的位移很小，且是匀速移动， 那么状态转移矩阵m 可以设定为： m = 1o&o1 ：? 苫l 式( 4 z 9 ) ooo1i 4 0 司机疲劳监测系统中眼睛检测与跟踪研究 而系统的观测模型表示理想跟踪结果与实际跟踪结果之间的关系，观测量 z ，= ( 毫，觅) 为f 时刻眼睛的位置，因此系统的测量模型为： z ，= l ，+ v 式( 4 - 3 0 ) 其中v 为均值为零的白噪声。 同样，由于z 只与位置有关，我们可以设h 为 h = ：i 船s - ， l0 1o 0l 、 7 因为w ，v 为个方向均值为o 且独立的噪声向量，它们的协方差矩阵q 。与r 分别为： 也= 1o ol oo oo oo o o 10 o1 叫凋 斟s 刁 如果给出目标的初始位置和速度，用上述方法就可以估计出下一帧图像中眼 睛的状态向量x + 1 ，以及协方差矩阵，。 4 3 2m e a ns h i f t 跟踪算法 m e 眦s l l i r 算法是一种能对非刚性目标进行实时跟踪的方法。本文以l l m 姐 滤波初始帧为目标模板，计算该模板的直方图分布，然后在当前帧中搜索与目标 模板直方图分布最相似的潜在目标，以两个分布的相似性最大为原则，通过m e 觚 s l l i f 【迭代算法，使搜索窗口沿着密度增大最大的方向，移动到真实目标的位置。 目标模板与候选目标的直方图分布相似度用b b a t t a c l l a r y y a 系数来度量。定义 为 以力喜爿p ( y ) ，们= 艺以丽 式( 4 3 2 ) 其中，“( 1 “m ) 表示目标的颜色，m 为直方图p 与g 的量化层，吼为目标 模板的密度函数，中心在y 的候选目标的密度分布为见( y ) 。一 假设 而+ 。，为目标模型的象素位置，中心为0 ，目标的外接矩形的高度和宽 度分别为 ，和吃。定义函数6 ：r 2 叫 1 ，脚) 是位置在薯的象素的函数。 七：【o ，m ) r ，七是一个凸函数，给目标中的颜色分配概率。把坐标x ，y 分别通 过 ，和吃进行归一化，把内核函数的范围表示为1 ，则概率密度为： 月 2 玩= c ( 8 # 0 ) 6 6 ( f ) 一】，( 其中：。免= 1 ) 式( 4 3 3 ) 第四章驾驶员眼睛的跟踪 4 1 其中万是d e l 诅函数，c 是规范化常数。 类似的，可得候选目标中颜色出现的概率为： 加m 副降胁忖甜， 甜s 其中，c 是归一化常量。 跟踪过程就是b h a ：t t a c h a r y y a 系数最大化的过程。设当前帧中搜