（生物医学工程专业论文）用于检测驾驶疲劳的人眼状态检测研究.pdf

珊l l lf ll lrr ri ii r l l lu f y 17 6 19 9 2 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 研究生签名：王公日期：丝垒：兰：! 兰 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论 文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包 括刊登) 授权东南大学研究生院办理。 研究生签名：兰y t i i j， 摘要 摘要 论文题目：用于检测驾驶疲劳的人眼状态检测研究 研究生姓名：王鑫 导师姓名：顾宁教授汪丰副教授 学校名称：东南大学 随着社会的不断发展与进步，机动车的数量快速增长，随之而来的是交通事 故的发生率也大大提高。据统计，在各种交通事故中，由于疲劳驾驶而引发的占 到事故总数的1 0 到2 0 ，在高速公路的长途运输车辆的事故中更有高达5 0 以 上是由疲劳驾驶引起的。 因此，如何能够快速有效并且在尽可能不影响驾驶员驾驶行为的情况下检测 其疲劳状态称为当今研究的热点之一。在各种疲劳检测方法中，基于机器视觉的 p e r c l o s 参数测量的方法是目前得到公认的有效且无干扰的方法。计算p e r c l o s 参数的关键是准确地判断人眼状态( 睁眼和闭眼) 。 基于以上考虑，为了测试和评价各种人眼状态检测算法，本文首先利用人眼 定位程序构建了人眼数据库。数据库中图像主要由两部分组成，一部分来自 c a s p e a l 、i m m 、g e o r g i at e c h 、o r l 、b i o 、y a l e 等人脸数据库，另一部分是采 集的周围6 0 位同学的图像。为了保证数据库样本的丰富性，花费了大量精力挑 选满足不同测试条件的图像。最终构建的人眼数据库包含1 2 6 8 个测试对象的 1 0 6 1 0 幅图像，基本满足了评价算法性能的需要。 构建人眼数据库之后，本文实现了基于h o u g h 变换的方法、动态模板匹配法 和基于局部二值模式特征的a d a b o o s t 方法共三种人眼状态检测方法。在数据库 和视频上对包括似圆比算法在内的四种算法进行了测试，评价了每种算法的检测 性能。 其中基于局部二值模式特征的a d a b o o s t 方法是本文研究的重点。文中详细 给出了人眼状态检测分类器的训练过程，并总结了导致训练失败的原因，给出了 训练成功的经验。在成功生成多个人眼状态检测分类器后，通过测试比较了该算 法与其它两种算法的检测性能。最终，通过视频测试分类器，获得了p e r c l o s 参 数变化曲线图。 关键词：人眼状态，h o u g h 变换，动态模板匹配，似圆比，局部二值模式，a d a b o o s t a b s t r a c t a b s t r a c t t i t l e ：r e s e a r c ho ne y es t a t e sd e t e c t i o nu s e di nd e t e c t i n gd r i v i n gf a t i g u e a u t h o r ： w a n gx i n s u p e r v i s o r ：p r o f g un i n ga n da s s o c i a t ep r o f w a n gf e n g s c h o o l ：s o u t h e a s tu n i v e r s i t y a st h es o c i e t yi sd e v e l o p i n g ，t h e r ea r em o r ea n dm o r et r a f f i ca c c i d e n t sa l o n g 埘t ht h ef a s t e ri n c r e a s eo ft h em o t o rv e h i t i e s n u m b e r b yt h es t a t i s t i cd a t a , t h e r ea r e 10 一2 0 a c c i d e n t sa r ec a u s e db yf a t i g u ei na l lt h et r a f f i ca c c i d e n t s ；w h a ti sm o r e ，t h e r e a s o no fm o r et h a n5 0 a c c i d e n t si nt h es p e e d w a yi sc a u s e db yd r i v i n gf a t i g u e s o ，h o wt od e t e c tt h ed r i v e r s f a t i g u es t a t e sw i t h o u ti n f l u e n c i n gt h e mb e c o m e s o n eo ft h eh o tr e s e a r c ha r e a s i nv a r i o u sf a t i g u ed e t e c t i o nm e t h o d s ，t h em e t h o db a s e d o nc o m p u t e rv i s i o nt oc a l c u l a t et h ep e r c l o sp a r a m e t e r si sw i d e l ya c c e p t e da n d u s e d t h ek e yp o 缸o fc a l c u l a t i n gp e r c l o sp a r a m e t e ri sd e t e r m i n i n gt h ee y es t a t e s ( o p e na n dc l o s e d ) p r e c i s e l y b a s e do nt h e s ec o n s i d e r a t i o n s ，i no r d e rt ot e s ta n de v a l u a t et h ev a r i o u sh u m a n e y es t a t e sd e t e c t i o na l g o r i t h m s ，t h i sp a p e rc o n s t r u c t sah u m a ne y ed a t a b a s eb yu s i n g t h eh u m a ne y el o c a t i o np r o g r a mf i r s t l y 1 1 1 ei m a g e so ft h ed a t a b a s ec o n t a i nt w op a r t s ， t h ei m a g e so ft h ef i s tp a r ta r ef r o mt h ec a s p e a lf a c ed a t a b a s e ，i m mf a c ed a t a b a s e ， g e o r g i at e c hf a c ed a t a b a s e ，o r lf a c ed a t a b a s e ，b i of a c ed a t a b a s ea n dy a l ef a c e d a t a b a s e ；t h ei m a g e so ft h es e c o n dp a r ta r ec o l l e c t e df r o m6 0c l a s s m a t e sa t o u r u n i v e r s i t y i no r d e rt oe n s u r et h er i c h n e s so ft h es a m p l e ，al o to fe f f o r tw a st a k e nt o s e l e c tt h ei m a g e sw h i c hm e e td i f f e r e n tt e s t i n gc o n d i t i o n s t h eh u m a ne y ed a t a b a s e e v e n t u a l l yc o n t a i n s10 6 10i m a g e so f12 6 8t e s to b j e c t s ，b a s i c a l l ym e e t st h ed e m a n do f e v a l u a t i n ga l g o r i t h m s p e r f o r m a n c e a f t e rc o n s t r u c t i o no ft h eh u m a ne y ed a t a b a s e ，t h ep a p e rr e a l i z e st h r e ek i n d so f e y es t a t e sd e t e c t i o nm e t h o d s ，i n c l u d i n gt h em e t h o db a s e do nh o u g ht r a n s f o r m ，t h e m e t h o db a s e do nd y n a m i ct e m p l a t em a t c h i n g ，t h ea d a b o o s tm e t h o db a s e do nl o c a l b i n a r yp a a e r nf e a t u r e s i tt e s t st h e s ef o u rk i n d so fa l g o r i t h m si n c l u d i n gc i r c u l a r i t y r a t i oi nt h ed a t a b a s ea n dv i d e o s ，a n dt h e ne v a l u a t e st h ed e t e c t i o np e r f o r m a n c eo f e a c h m e t h o d t l l i sp a p e rf o c u s e so nt h ea d a b o o s tm e t h o db a s e do nl o c a lb i n a r yp a t t e r n 2 a b s t r a c t f e a t u r e s i tp r e s e n t st h et r a i n i n gp r o c e s so fh u m a ne y es t a t e sd e t e c t i o nc l a s s i f i e ri n d e t a i l s ，s u m m a r i z e st h er e a s o n so fl e a d i n gt ot r a i n i n gf a i l u r e ，a n dd e s c r i b e st h e e x p e r i e n c eo fs u c c e s s f u lt r a i n i n g a f t e rg e n e r a t i o no fs e v e r a le y es t a t e sd e t e c t i o n c l a s s i f i e r s ，t h ep e r f o r m a n c eo ft h em e t h o di sc o m p a r e d 谢t l lo t h e rt w om e t h o d sb y t e s t i n g i nt h ee n d ，i tg e t st h ep e r c l o sp a r a m e t e rc u r v eb yt e s t i n gc l a s s i f i e r si n v i d e o k e yw o r d s ：e y es t a t e s ，h o u g ht r a n s f o r m ，d y n a m i ct e m p l a t em a t c h i n g ，c i r c u l a r i t y r a t i o ，l o c a lb i n a r yp a t t e m ，a d a b o o s t 目录 目录 摘要i a b s t r a c t ii 目录i v 第一章概述与引言1 1 1 背景和意义1 1 2 驾驶疲劳2 1 3 驾驶疲劳检测研究现状3 1 4 人眼状态检测方法的研究现状4 1 4 1 基于h o u g h 变换的方法5 1 4 2 基于似圆比的方法5 1 4 3 基于模板匹配的方法5 1 4 4 基于颜色饱和度的方法6 1 4 5 基于边缘图像复杂函数的方法6 1 4 6 基于模糊逻辑的方法7 1 4 7 基于统计的方法7 1 4 8 红外光源下的人眼状态检测8 1 5 人眼状态检测方法存在的问题8 1 6 论文的研究内容和章节安排9 第二章人眼状态检测理论基础1 0 2 1 图像处理10 2 1 1 图像平滑。10 2 1 2c a n n y 边缘检测1 1 2 2 模式识别14 2 3p e r c l o s 方法原理15 2 4 ，j 、结16 第三章几种常见人眼状态检测方法的分析及其评价18 3 1 构建人眼数据库18 3 2 几种常见人眼状态枪测方法的分析及其评价2 0 3 2 1 基于h o u g h 变换的方法2 0 3 2 2 基于似圆比的方法2 6 3 2 3 基于动态模板匹配的方法3 0 3 3d 、结3 4 第四章基于局部二值模式特征的a d a b o o s t 方法3 5 目录 4 1 局部二值模式3 5 4 2a d a b o o s t 方法原理。3 8 4 2 1a d a b o o s t 算法基础3 8 4 2 2a d a b o o s t 算法原理4 0 4 2 3 分类器的级联( c a s c a d ec i a s s j f i e r ) 4 3 4 3 基于局部二值模式( l b p ) 特征的a d a b o o s t 方法4 5 4 3 1 获取训练样本的三b 群2 。特征。4 5 4 3 2 用a d a b o o s t g l l 练分类器4 7 4 3 3 保存分类器5 0 4 3 4 结果的分析以及方法的评价5 1 4 4 卅、结5 5 第五章总结与展望5 6 5 1 工作总结5 6 5 1 1 构建人眼图像数据库5 6 5 1 2 实现并分析四种人眼状态检测算法5 6 5 2 展望5 6 致谢5 8 参考文献5 9 v 第一章概述与引言 1 1 背景和意义 第一章概述与引言 随着中国经济的日益强大、交通的愈加便利，机动车辆的数目也与日俱增。 来自公安部的数据显示，截至2 0 0 9 年6 月底，中国机动车保有量为1 7 6 ，5 5 1 ，1 2 9 辆，中国机动车驾驶人1 8 8 ，8 3 6 ，2 4 2 人，其中汽车驾驶人1 2 9 ，1 4 7 ，7 2 2 人。与2 0 0 8 年底相比，2 0 0 9 年上半年中国机动车保有量增加6 ，6 6 3 ，3 8 5 辆，增长3 9 2 ，增量 高于2 0 0 8 年上半年。与2 0 0 8 年底相比，2 0 0 9 年上半年中国机动车驾驶人新增 8 1 7 5 5 0 6 人，增长4 5 3 。与2 0 0 8 年同期相比，增加1 6 ，4 0 6 ，3 1 4 人，增长9 5 1 。 不断增长的机动车及其驾驶员导致交通事故发生量不断增加，给人们的生产，生 活带来了严重影响。表i - i 是近年来我国交通事故发生的统计表。 年份事故次数直接损失( 亿元)死亡人数受伤人数 2 0 0 06 1 6 9 7 i2 6 78 3 8 5 34 1 8 7 2 1 2 0 0 17 5 4 9 1 93 0 91 0 5 9 3 05 4 6 4 8 5 2 0 0 27 7 3 1 3 73 3 21 0 9 3 8 i5 6 2 1 1 6 2 0 0 36 6 7 5 0 73 3 71 0 4 3 7 24 9 4 1 7 4 2 0 0 45 1 7 8 8 92 3 9 1 0 7 0 7 7 4 8 0 8 6 4 2 0 0 54 5 0 2 5 41 8 89 8 7 3 84 6 9 9 1 1 2 0 0 63 7 8 7 3 81 5 28 9 4 5 54 3 1 1 3 9 2 0 0 73 2 7 2 0 9 1 2 2 8 1 6 4 9 3 8 0 4 4 2 2 0 0 82 6 5 2 0 41 0 17 3 4 8 43 0 4 9 1 9 2 0 0 92 3 8 3 5 i9 16 7 7 5 92 7 5 1 2 5 表i 一1 我国交通事故统计表 从上表可以看出，在2 0 0 5 年以前，尤其是2 0 0 2 年n 2 0 0 5 这段时间内我国的交 通事故高居不下，造成了巨大的损失。自2 0 0 5 年开始，由于国家加强了交通安全 的管制，全国交通事故死亡人数首次回落n l o 万人以下。据公安部交通管理局的 统计结果表明：由于疏忽大意，错误判断，措施不当三项造成的死亡率为2 0 左 右，而这三项事故原因中夹杂着疲劳驾驶的因素。同样，在国外，据美国国家公 路交通安全管理局保守估计：每年因驾驶员疲劳而导致的车祸大约有1 0 万起，其 中由于疲劳驾驶直接导致死亡的约占交通碰撞致死事故3 1 ：法国国家警察总署 事故报告表明，因为疲劳驾驶导致的意外占人身伤害事故的1 4 9 ，占死亡事故 东南大学硕士学位论文 的2 0 6 ；日本的事故统计揭示，因疲劳产生的事故约占1 - - - 1 5 。根据英国汽 车协会统计，英国车祸的死亡事故中，有1 0 是因司机疲劳驾驶引起的。同时有 资料表明，高速公路发生的交通事故中，有5 0 以上是由于长时间疲劳驾驶或所 见目标单调使司机注意力不集中、甚至打瞌睡等原因造成的。 通过对以上数据和报道的分析可知：驾驶疲劳造成的交通事故无论是绝对数 字还是所占比例都是很高的，从国内外多年来交通事故的大量案例分析中可以得 出结论：驾驶员因疲劳驾驶所造成的道路交通事故约占总数的1 0 至2 0 ，由此可 知，驾驶疲劳是造成交通事故的主要原因之一。 为预防驾驶疲劳对交通安全的潜在威胁，自上世纪八十年代起，各国都开展 了驾驶疲劳方面的研究工作。一方面，寻找驾驶疲劳发生的规律，从而在法律和 管理上对驾驶员的连续驾驶时间，休息时间等进行规定和要求，避免出现疲劳驾 驶的行为；另一方面，由于疲劳发生的原因非常多样，驾驶员主观上往往无法充 分认识自己的疲劳程度以及疲劳驾驶的危害性，各国都在积极研究实时的疲劳检 测技术，以实现对驾驶疲劳的实时检测，从而及时提醒驾驶员避免疲劳驾驶。 1 2 驾驶疲劳 驾驶员每天驾车超过8 小时、连续驾驶机动车超过4 小时未休息或停车休息少 于2 0 分钟的，或因睡眠不足、体力消耗过大等导致行车中困倦瞌睡、四肢无力， 造成驾驶中会出现暂时性的大脑空白，这种现象称为驾驶疲劳。 驾驶疲劳是脑力、体力同时参与的技术性疲劳。由于驾驶员动作反复、连续， 且重复次数太多，使其生理上、心理上发生变化，在客观上出现驾驶技能低落的 现象。驾驶员在开车过程中，由于长时间精神高度集中，坐在一个座位上，动作 受到一定限制，忙于判断处理车内外刺激信息，精神状态格外紧张，容易出现疲 劳，这种疲劳就是驾驶疲劳。当出现驾驶疲劳后，驾驶员的注意力容易分散，严 重时甚至会打瞌睡，无法正常接受和处理外界的信息，使驾驶操作失误或完全失 去驾驶能力。 当驾驶员驾驶操作处于疲劳状态时，他们不能及时发现并准确处理路面交通 情况，不了解路途情况。没有办法知道何时才能休息，从而错过了调整休息的最 佳时间，而造成疲劳驾驶，驾驶过程中精神高度集中，眼睛盯着公路中心线，又 会继续加重视觉和心理上的紧张，从而导致严重的疲劳驾驶等等。 驾驶疲劳的反应可分为生理和心理两个方面，生理反应有：神经系统的功能、 血液和眼睛的变化，如头重、心跳加快、脉搏加速、手脚酸痛、气喘、胸闷、口 渴、食欲不振、叹气、打哈欠、频繁眨眼、表情变化少、眼睛发红发干、视觉模 糊、耳内轰鸣、感觉烦躁恍惚、分辨不清方位等等。研究人员往往用脑电、心电、 2 第一章概述与引言 眼睑眨动、眼球运动及头部的唯一加以鉴别；心理反应有：视力下降、注意力分 散、视野逐渐变窄、漏看错看信息的情况增多、反应迟钝、判断迟缓、动作僵硬、 节律失调、思维能力下降、头脑糊涂、忘记操作规范、精神不振、郁闷嗜睡、自 我控制能力减退、容易激动、心情急躁或开快车等。图i - i 乜1 描述了疲劳可能导 致的错误的驾驶行为 驾驶疲劳导致错误的驾驶行为 眩晕、打吨 决策错误hh 知觉错误卜_ 1 1l 操作错误 预测不准ll 判断错误ii 疏忽大意ll 注意不当ii 方向控制不准 其它il 精神疏忽ii 视力下降l il 动作错误 交通事故 图i i 驾驶疲劳可能导致的错误的驾驶行为示意图 1 3 驾驶疲劳检测研究现状 对于驾驶员疲劳检测方法，大致可以分为以下三类： ( 1 ) 基于驾驶员生理参数的检测方法口1 ：如脑电图、心电图、肌肉活动情况 等。该类方法能较精确地检测出驾驶员出现的睡意状态，但是驾驶员需要配戴有 电极的头盔等设备，因此有接触、侵入式的不足。此类检测方法都是干扰式的疲 劳检测方法，大多数生理学参数的获得都会造成对人的干扰，因此很难投入到实 际应用中。 ( 2 ) 基于行为特征的检测方法h 3 ：如呼吸状况、凝视方向、手握方向盘用力 的大小、旋转方向盘的角度变化等。基于行为的方法是最近几年开始逐渐流行的 一种客观的疲劳检测方法，采用这类方法的主要依据是基于这样的假设：当驾驶 员处于疲劳状态的时候，驾驶员的行为或者车辆的行为会偏离正常行为。该类方 法可细分为两类：基于驾驶员行为的方法和基于车辆行为的方法。基于驾驶员行 为的疲劳检测方法是一种比较精确的方法，主要是通过监视在行车过程中驾驶员 的动作行为来检测驾驶疲劳。 ( 3 ) 基于计算机视觉的检测方法啼1 ：通过视频传感器获得眼皮的运动、头部运 动、眼睛开闭的信息，该类方法的优点是可以通过非干扰的方式获得。 3 东南大学硕士学位论文 基于驾驶员行为特征和计算机视觉的方法，尤其是检测眼睛状态，由于其检 测直接、非侵入性、与驾驶员的生理参数的变化具有一致性、可接受性强等特点， 是多数研究者广泛采用的方法。 由于本科题对驾驶疲劳的研究属于基于计算机视觉的方法，所以下面重点介 绍一下此类方法的原理： 处于疲劳状态的人会产生一些视觉上的行为表现，这些行为很容易从人脸特 征( 如：眼睑活动、凝视位置、脸部表情等) 的变化中观察得到，同时车辆运行状 况和车内装置的状态变化也可以通过计算机视觉的方法来监控。通过对这些监控 结果分析得出驾驶员疲劳程度的方法就是基于计算机视觉的疲劳检测方法。随着 计算机技术和计算机图像处理技术的迅速发展，以及高精度数字视频采集处理技 术的不断进步，使得基于计算机视觉的疲劳检测方法越来越受到研究者的重视。 研究表明，通过对眼睑活动的观测可以精确地获得人的警觉水平、意向及需 要。近年来，在这个方向上涌现出了大量的研究成果。其中，绝大多数研究都集 中在通过检测人眼的活动状况来评测疲劳程度的方法上。实际上，这些研究大部 分是建立在美国联邦公路管理局f h w a ( f e d e r a lh i g h w a ya d m i n i s t r a t i o n ) 的研 究成果p e r c l o s ( p e r c e n t a g eo fe y e li dc l o s u r e ) 的基础上。p e r c l o s 的原理是： 测量在一定的时间内眼睛闭合时间所占的比例，实验结果显示眼睛闭合时间的长 短与疲劳的程度有着密切关系，驾驶员眼睛闭合的时间越长，疲劳程度越严重。 p e r c l o s 被公认为是检测人类疲劳或警觉性最可靠和最有效的方法。 卡内基梅隆大学机器人研究所的c o p i l o t 系统1 采用p e r c l o s 衡量疲劳程度。 该系统采用红外照明，根据眼睛对红外光反射在图像中的光点效应，以及视网膜 对不同波长红外光的反射率不同，分别用两个c c d 摄像机采集波长为8 5 0 h m 和 9 0 0 n m 红外光照明的图像，同时获得两幅图像，根据这两幅图像的差图像，得到 眼睛的位置，并分析眼球的大小，从而得到驾驶员的眼睛睁开程度，该方法可去 除眼镜的影响。 基于计算机视觉的检测方法最主要的优点是可以通过非干扰的方式获得。其 缺点是由于光照的变化、监测角度变化常常造成目标定位和跟踪的失败。 1 4 人眼状态检测方法的研究现状 人眼状态检测就是区分睁眼和闭眼，最关键的是找到区分两种状态的特征。 目前研究者常用的特征包括虹膜、眼睑、几何特征、颜色特征等边缘特征。近年 来，随着统计方法应用的日益广泛，基于统计的方法凭借较高的准确率和良好的 鲁棒性在人眼状态检测领域得到了很快的发展。 4 第一章概述与引言 1 4 1 基于h o u g h 变换的方法 由图卜2 知，人睁眼时虹膜可见，并且虹膜是圆的，因此一些人提出了利用 h o u g h 变换在圆检测方面的优势来检测虹膜口叫们。在用霍夫变换检测眼球前，先 提取边缘，然后判断满足圆形参数形式的边界点数是否大于累加器的阈值，大于 则认为检测到虹膜，判断为睁眼，否则认为没有检测到虹膜，判断为闭眼。 1 4 2 基于似圆比的方法 乳 图l - 2 人眼结构图 该方法与h o u g h 变换法类似，也是利用睁眼时虹膜可见。由于虹膜的亮度比 较低，可以把接近于圆的虹膜区域分割出来，而闭眼时眼睛区域有一块较长的低 灰度区域，二者的似圆比比值相比，肯定前者的更大一些，因此可以利用区域似 圆比来检测睁眼和闭眼u 1 。 1 4 3 基于模板匹配的方法 胡涛等人n 2 1 通过随机挑选人眼图像，计算伪z e r l i k e 矩特征建立人眼模板 ( 睁眼、闭眼、左眼、右眼) 。在实际检测过程中，先利用人眼区域的高度和宽 度信息做初步判断，然后再对待检图像的边缘计算伪z e r li k e 矩特征，并用得到 的特征建立模板，然后用基于格贴近度的模板匹配对人眼状态做判断。由于伪 z e r n i k e 矩在描述各种模式的形状时具有良好的旋转不变性、尺度不变性、信息 冗余性小、对较小形状改变和噪声具有较强的鲁棒性、能够描述运动物体等特点 n 引。而这些特点决定了提取的人眼伪z e r n i k e 矩特征不会受到面部偏转、倾斜、 到摄像头距离变化等因素的影响，所以该算法对由以上因素引起的变化有较强的 适应性。m i c h a e lc h a u 和m a r g r i tb e t k e n 钔利用人眼定位结果，首先在线建立一 个睁眼模板，然后扫描人脸上半部分区域并计算该区域和模板的互相关系数，当 互相关系数在0 8 5 1 0 之间时判断为睁眼，在o 5 0 0 5 5 之间时判断为闭眼， 在0 0 5 之间表明定位失败，需要重新定位人眼。该方法的优点是在线建立模板， 避免了利用一个不变的模板对所有人进行检测，无疑增加了算法的鲁棒性，并且 5 东南大学硕士学位论文 该算法由于实现了模板的动态更新，所以受光照变化影响不大。 1 4 4 基于颜色饱和度的方法 颜色的饱和度范围在 0 ，1 之间，如果一种颜色中混合了更多的白色，那么 其饱和度值就更低。虹膜像素的饱和度值接近于1 ，大于皮肤的饱和度值。 p o o e h r t a b r i z i 等人u 幻首先把人眼图像转换到h i s 颜色空间，然后把虹膜圆内 饱和度值大于0 5 的像素置为白色。闭眼时虹膜所在的圆覆盖的皮肤区域饱和度 值大于0 5 的像素很少，所以睁眼时虹膜所在圆中白色像素比闭眼时多。h o n g l i u 等人口蜘注意到巩膜的饱和度值比虹膜和皮肤的饱和度值均低这个特点，把整 幅人眼图像中饱和度值低于某一阈值的像素置为白色，反之置为黑色，并统计白 色点数，点数越多表明眼睛睁开程度越大，如图1 - 3 n 阳 网网囵 园匿望_ 圃圜一 ( a )( b )( c ) 图卜3 人眼图像、饱和度图像及二值图像示意图( a ) 眼睛图像；( b ) 饱和度图像；( c 饱 和度图像对应的黑白图像； 作者还接着用h o u g h 变换检测虹膜作为补充来检测人眼状态。基于颜色饱和 度的方法计算简单，但是受光照变化影响明显，因此在光照变化较大的环境中， 检测率下降。 1 4 5 基于边缘图像复杂函数的方法 由于人眼睁开时，其轮廓包括眼睑、虹膜和瞳孔，比闭眼时复杂。h u a b i a oq i n 等人n 7 1 提出了一个能反映图像复杂性的函数，通过对此复杂函数设定一个阈值来 区分睁眼和闭眼。该算法对白天和夜晚检测人眼状态采用了不同的方法，并且与 其它算法相比实时性更好。t i a n y ih o n g 等人n h 町对此复杂函数做出了改进并结 合角点检测一起作为检测人眼状态的判据。李国军等人利用在人眼闭合时使得 人眼图像中各颜色模块间的边缘发生了不同程度的运动的现象，提出了闭合度的 概念。该概念既不同于传统的几何特征，也不同于代数特征，不需要精确的参数 定位，也不需要复杂的矩阵运算，是一种综合考虑位置和边缘信息人眼闭合状态 度量。h u a c h u nt a n 等人乜1 1 通过跟踪虹膜和眼睑乜2 1 来检测人眼状态，综合利用了 拉格朗日系数，亮度阈值，边缘阈值，虹膜掩膜的宽度等4 个参数。 6 第一章概述与引言 1 4 6 基于模糊逻辑的方法 j i a n - d aw u 等人1 通过对人眼图像测试设定某一阈值，使大于该阈值的 像素置为白色，低于该阂值的置为黑色，统计人眼区域黑色像素的数量，该 数量大于一定阈值时判为睁眼，否则判为闭眼。然后把眨眼频率和眨眼时间 作为输入变量，利用模糊逻辑检测人眼状态。w e n h u io o n g 等人乜钔通过计算 上眼睑曲率和眼睑距离利用模糊融合进行人眼状态分类。 1 4 7 基于统计的方法 基于统计的方法一般是通过对大量目标样本和非目标样本进行训练学习得 到一组模型参数，然后基于模型构建分类器或者滤波器来检测目标。在过去的 一段时间中，基于统计的方法被广泛应用于人眼状态检测技术中，通过训练大量 的睁眼和闭眼样本建立分类器，在输入图像中分类出睁眼和闭眼，实践表明这种 方法具有较高的准确度。 1 4 7 1 基于a d a b o o s t 的方法 1 9 9 5 年，f r e u n d 和s c h a p i r e 提出了a d a b o o s t 算法嘶1 。a d a b o o s t 算法不 需要任何关于弱学习器性能的先验知识，加上它和原来b o o s t i n g 算法的效率一 样，因此可以非常容易地应用到实际问题中。徐世峰等人汹1 分别选取了眼睛轮廓 的外接矩形、包含双眼和眉毛的矩形和以瞳孔为中心上边界到眉毛的外接矩形三 种矩形作为a d a b o o s t 的特征，进行人眼状态检测，并比较结果得出以第三种矩形 为特征时检测效果最好。李召荣心 等人系统地比较了几种经典的模式分类方法的 分类性能，这三种方法分别是支持向量机( s u p p o r tv e c t o rm a c h i n es v m ) 啪3 、 f i s h e r 线型鉴别( f i s h e r1 i n e a rd i s c r i m i n a n t ) 和基于h a r r 型矩形特征的 a d a b o o s t ，发现这几种方法在人眼自动分类系统中，当特征点定位有误差时， 这几种方法的正确率都会大幅下降，并且一些简单的改进策略并不能有效地解决 这个问题，因此作者提出了一种基于全局扫描并验证策略的自动分类，采用级联 结构来组织分类器，并给出了a d a b o o s t 算法在该结构上的实现，取得了良好的分 类效果。z h a o j i el i u 等人啪1 也训练了一个级联a d a b o o s t 睁眼探测器，并且实现 了闭眼校正。 1 4 7 2 基于神经网络的方法 由于人眼睁开和闭合时，其几何特征有明显区别，所以一些研究者利用这些 几何特征作为神经网络的输入进行人眼状态检测。c h uj i a n g w e i 等人汹3 利用眼 7 东南大学硕士学位论文 睛区域的6 个高度值和宽度值作为特征向量，然后基于这些几何特征训练b p 神 经网络，最终实现人眼状态检测。刘艳丽等人1 则是先提取出眼睛区域的三个高 度值和宽度值作为特征向量，然后输入到径向基函数神经网络当中对眼部状态进 行检测。y i n g l it i a n 等人口羽把小波和神经网络结合起来检测人眼状态。作者 通过对内眼角、外眼角和眼睛中点三个位置求g a b o r 小波变换得到小波系数，然 后以这些系数作为神经网络的输入进行人眼状态检测。这些基于眼睛几何特征的 方法容易受眼睛定位误差的影响，因此在人脸偏转、倾斜或者眼睛距离摄像头距 离发生变化时检测率会下降。 1 4 8 红外光源下的人眼状态检测 在某些不适合使用常光源的场合，红外光源往往产生不可替代的作用。1 9 9 0 年h u t c h i n s o n 发现因为在近红外波长，瞳孔几乎会把接收到的所有红外光都反 射回照相机。如果近红外光源以特定波长的光沿着照相机的光轴照射眼睛，将会 得到一个明亮的瞳孔，效果和红眼效应很相似。由于睁眼时瞳孔可见，闭眼时瞳 孔不可见，所以利用瞳孔的红眼效应可以很好地进行人眼状态检测。这种方法的 主要优点是对两幅图像直接进行差分，见图卜4 1 ，差分结果只留下瞳孔部分， 能够很快的定位眼睛瞳孔的大小，从而判断眼睛状态。另外，对于带深色眼镜的 情况，不影响红眼效应，所以也能很好地检测，这与常光源下的检测相比是很大 的进步。缺点是系统搭建复杂，易受到光源位置，照射角度以及人脸皮反射等干 扰。 图1 _ 4 红外光源定位瞳孔示意图( a ) 外界光和红外光照射下的图像；( b ) 只有外界光照射 的图像：( c ) a - b 后的图像 1 5 人眼状态检测方法存在的问题 ( 1 ) 依赖于人眼定位技术的发展。 很多人眼检测算法对于眼睛的定位要求很严格，受定位误差的影响很大，人 眼定位的好坏直接影响到人眼状态检测的效果。比如，在人脸出现旋转和偏移等 8 第一章概述与引言 情况时由于定位人眼比较困难，所以人眼状态检测的效率也比较低。还有，对于 戴眼镜的情况，由于眼镜加大了人眼定位的困难，很多方法不能很好地检测。对 于这种情况，目前只有借助红外光才能进行人眼状态检测，然而基于红外光检测 的系统搭建复杂，且容易受到光源位置等其它因素的影响。 ( 2 ) 缺乏公开的权威人眼数据库 目前世界上还没有一个公开的权威人眼数据库，导致研究者在验证算法时往 往会耗费大量精力来构建人眼数据库，这样的数据库往往会受研究者主观因素的 影响，从而缺乏一定的科学性，同时这也对评价各种算法性能高低造成了不便。 ( 3 ) 眉毛、眼睫毛和眼睑对人眼状态检测的影响较大。 由于很多检测方法都是基于边缘图像进行检测的，而眉毛、眼睫毛等因素往 往会对边缘图像产生影响，因此要获得很高的人眼状态检测率，有效地去除这些 干扰十分必要。 1 6 论文的研究内容和章节安排 本文目的在于研究用于驾驶疲劳检测的人眼状态检测方法，本文实现了基于 h o u g h 变换的方法、动态模板匹配法以及基于局部二值模式特征的a d a b o o s t 方法 等三种方法。为了满足测试算法的需要，本文建立了包含1 0 6 1 0 幅图像的人眼数 据库，并在数据库上对本文实现的三种算法和基于似圆比的方法进行了测试和评 价。 l 论文组织如下： 第一章：绪论。分析了进行驾驶疲劳检测的背景和意义，介绍了驾驶疲劳检 测和人眼状态检测的研究现状，提出了本文的研究内容和目标。 第二章：人眼状态检测的理论基础。介绍了目前基于机器视觉的人眼状态检 测方法主要涉及的图像处理和模式识别等领域的知识。 第三章：几种常见人眼状态检测方法的分析及其评价。介绍了两种常见的人 眼状态检测算法，并在自建的人眼数据库上对包括基于似圆比的方法在内的三种 方法进行了测试和评价。 第四章：基于局部二值模式特征的a d a b o o s t 方法。介绍了本课题重点研究的 基于局部二值模式特征的a d a b o o s t 算法，包括构建训练库和测试库、选择分类器 参数、训练级联分类器的过程等，并在人眼数据库上对该算法与其它算法进行测 试和评价。 第五章：总结与展望。对论文的工作进行了总结，对研究的内容进行了总结 与预测，对未来同学的工作提出了一定的设想和建议。 9 东南大学硕士学位论文 第二章人眼状态检测理论基础 基于计算机视觉的人眼状态检测方法主要涉及图像处理和模式识别等领域 的知识，因此本章将主要介绍在研究此类方法时涉及的这两方面的知识。 2 1 图像处理 人眼图像常会存在光照不均匀问题，这会直接影响到人眼的特征提取精度， 因而对输入的图像必须进行光照处理，也就是对图像数据进行灰度变换以改善图 像质量。 图像的灰度预处理可以在一定程度上去除不同光照对人脸图像的影响，使得 图像识别更加准确、可靠。灰度预处理的方法很多，其中比较典型的是直方图法。 2 1 1 图像平滑 图像平滑是一种经常使用的数字图像处理技术，主要目的是减少图像的噪 声。一般情况下，在空间域内可以用邻域平均来减少噪声；在频率域，由于噪声 频谱通常多在高频段，因此可以采用各种形式的低通滤波方法来减少噪声。下面 重点介绍一下高斯平滑的原理。 图2 1 高斯模板示意图 图像的高斯平滑是平滑线性滤波器的另一种应用，与图像的简单平滑不同的 是，它在对邻域内像素灰度进行平均时，给予了不同位置像素不同的权值。图 2 - 1 显示的是3 3 邻域的高斯模板，模板上越是靠近邻域中心的位置，其权值 就越高。如此安排权值的意义在于用此模板进行图像平滑时，在对图像细节进行 模糊的同时，可以更多地保留图像总体的灰度分布特征。 相比图像的简单平滑，高斯平滑对高对比度图像的平滑效率较低，在离散型 杂点的消除方面，高斯平滑的效果并不理想。然而如果需要在平滑过程中保留源 图像的总体特征，高斯平滑就具有很大的优势。图2 - 2 对比了图像的简单平滑和 高斯平滑的处理差异，图2 2 中( a ) 表示一个5 5 邻域内的像素灰度，从图中 可以看出此邻域内有两处灰度较高的亮点，( b ) 为对( a ) 进行3 3 邻域简单平 1 0 第二章人眼状态检测理论基础 滑的结果，从( b ) 中可以看出，源图像中的两处亮点被连接在一起，失去了源 图像的特征，( c ) 为对( a ) 进行3 x 3 邻域高斯平滑的结果，可以发现( c ) 中 依然保留着源图像的特征。 il l 1 1 ll o l 11 l