（通信与信息系统专业论文）基于多特征融合的驾驶员疲劳检测算法研究.pdf

英文缩略词 n h t s a ( n a t i o n 甜h i g t l w a yt r a f j f i cs a 矗毋a d i i l i l l i s 仃a t i o n ) 美国国家高速公路交 通安全管理局 d d d s ( t h ed r o w s yd r i v e rd e t e c t i o ns y s t e l n ) 瞌睡驾驶员侦探系统 s a m ( s t e e 血ga t t e l l t i o nm o l l i t l d r ) 方向盘监视装置 a d s 似l t i - d r o w s i l l 骼ss 蹦e m ) 防瞌睡系统 c c d ( c h a 唱e - c o u p l e dd e v i c c ) 电荷耦合器件 p e r c l o s ( p e f c e l l t a g e0 f e y cc 1 0 s u r ct i m e ) 闭眼所占的时间百分率 a s c i ( a d v a n c 酣s a 脚c o n c e 吣i n c ) 高级安全观念公司 h p s ( h e a dp o s i t i o ns c l l s o r ) 头部位置的传感器 a d a b o o 吼 t i v eb 0 0 s t i n 曲自适应提升 s v m ( s u p p 砥v c c t o rm a c l l i n e ) 支持向量机 5 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名： 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：导师签名：套幽日期：碴二! 多 山东大学硕士学位论文 中文摘要 随着汽车产业和交通运输业的发展，公路交通安全成为一个不可忽视的问题， 交通事故给国家和社会造成了巨大的财产损失和人员伤亡。而有统计表明疲劳驾 驶是造成交通事故的主要原因之一，所以研究一种有效的方法来检测驾驶员的疲 劳状态是非常有必要和有意义的。 当前国际上有不少研究检测疲劳驾驶的机构，正在开发的检测系统也有不少， 一些简单的检测装置甚至已经出现在市场上，但是大多测量的准确度不高，应用 场合受到很多限制，距离真正实际需要还差很多，更为精确的检测方法大都还处 于研究阶段。 本文深入研究了前人提出的各种疲劳检测方法的原理，在对比了国内外较为 流行的各种检测方法并研究了其关键技术和难点之后，提出了一种自然光照下基 于机器视觉的、能够无接触、快速有效的驾驶员疲劳检测方法。该方法利用摄像 头实时拍摄驾驶员的面部，提取最能反映疲劳状态的眼睛特征和嘴部特征，通过 使用模糊逻辑的方法对多个生理特征进行融合判决，可以快速、准确地判断疲劳 的发生。 本文的主要研究内容如下： 1 ) 详细分析当前检测方法中的关键和难点，采用了一种基于动态矩阵的背 景更新算法来实现头部的定位和跟踪。 2 ) 研究了肤色在各颜色空间中的分布特点及各颜色空间与光照的关系，联 合使用肤色分割和基于a l a l ) 0 ) s t 的快速人脸定位算法实现人脸的快速准确定位。 3 ) 研究了一种分级的眼睛定位算法，先使用累积直方图法来对脸部图像进 行二值化，对二值化后的图像进行灰度积分投影实现眼睛的粗定位，然后使用一 种基于圆环形模版的模版匹配方法来实现眼睛的精确定位，最后分别计算了眨眼 持续时间和眨眼频率两个参数。 4 ) 研究了一种基于灰度图像的嘴部定位算法，首先根据先验知识和人体面 部器官分布规律得到嘴巴的大体位置，然后对图像进行边缘增强后，使用o t s u 法确定阈值，对所得图像进行二值化，得到嘴巴张开的程度，判断是否打哈欠。 山东大学硕士学位论文 5 ) 分析了目前较流行的信息融合方法，使用基于模糊逻辑的信息融合方法来 实现多个生理特征参数的融合，然后判决驾驶员的疲劳状况，以提高检测方法的 可靠性。 关键词：动态背景更新；a d a b o o s t 算法；眼睛定位；嘴部定位；模糊逻辑 2 山东大学硕士学位论文 a b s t r a c t ，bt l l ed e v d o p m e i l to ft h e 硼t 0m d u s t 巧觚dt h e 们n s p o r t a t i o ni n d u s t i y t h es 砾毋 o fh i 曲【w a yt m m ch 嬲b e c 伽n eab i gp r o b l e mw h i c hc 姐n o tb ei 印。川，氨d r l e 蛔m c a c c i d e n t sh a v ec a u s e d 蓼e a tl o s si i l l ep r o p e r t y 锄dd 锄a g et ot l l es o c i e 吼s t a t i s t i c s s h o wt l l a td d v i i 培f a t i g u ei so n eo f l em a i nc a u s e so ft 1 1 e 舰m ca c c i d e i 】峪a n ds oi ti s v e d rn c c e s s a d ，锄dm e 锄i i l g m lt 0d 0r e s e a r c h e s0 n 觚e 傣娥i v em e t i l o dt 0d e t e c tm e f a t i g u ed e g r e eo ft h ed r i v e r s a tp r e s 锄t s o i mo 喀a 1 1 i z a t i o 船h a v ed o 鹏s o m er 龉e a r c ha b i o u tm ed e t e c t i o no f 嘶v e rf 抓g u e t h e r ca r ca l s os o m ed e t e c t i o ns y s t 锄su n d c rd e v e l o p m e n ta n ds 0 m e s i m p l ed e t e c t i o no q u i p m 锄t sl 塌v eb e e np u ti n t om em a r k e t b u tm e c u r a c yo ft 1 1 e d e t e c t i o nc 锄n o tm e e t 也ep r a c t i c a l 鹏c d s m o r ea c c u r a t e 龃de f i & t i v em e m o d sa r c s t i l lb e i n gd e v e l o p e d h lm i st l l e s i s ，w e 觚a 1 ) ，z et l l ep r i n c i p l 韶b r o u 曲to u tb e f o r ew h i c ha r cu s e df 0 i 。 l 【i n d so f d e t e c t i n gm e 廿l o d s a r e rc o m p 撕n gm ep o p u l a rd e t e c t i n gm 础o d sa b r o a d 锄d r e s e a r c h i n gt h e i rk e yt e c l l l l i q u e s ，、ep r o p o s eaf a s td e t e c t i i l gm e m o do f 也ed r i v e r s d e g r e eo f f a t i g u e 删c hi si l l 地n 绷l m | l i 龇b a u s e d0 nt 1 1 e 唧u t e r 、，i s i o n 锄dw h i c h d o e m tn e e dc o n t a c t t h em e 1 0 du s e sac 锄e r at 0c a p t u r e 吐l ef 犯e so ft l l e “v e r si n 代础t i m e ，e x t r a u c tt h ec h a r a c t e r i s t i c so fm e i re y e sa n dm o u t h sw 1 1 i c hc 趾b e s tr e f l e c t m e i rf a t i g u ed e g r e e ，觚d l e i l 邺岱l e 脒地o do f 矗l z z yl o g i ct 0j u d g et l l ep h ) ，s i c a l c h 躐眦酣s t i c st om a l ( e 锄i n t e g r a t 嗣d e c i s i 伽r a p i d l y 觚da c c 啪t e l y t h em 2 血c o n t e n t so ft h i sm e s i sa r ca sf 0 1 1 0 w s ： 1 ) d oad e t a i l e dr e s e a f c ho nm ek e y 觚dd i m c u l tp o 缸so f m ep r e s e n td 嗽t i n g m e t h o d s 锄du s eab a c k 毋o u n du p g r a d ea l g o r i m mb 嬲o do nd y n a i i l i cm a t r i ) 【t 0r e a l i z c m el o c a t i o na n dt r a c ko ft l l eh e a d 2 ) s t u d yt l l ed i s t r i b u t i o no ft h ec o l o ro fs k i l l ，t l l er e l a t i o no fi l l u m h l a t i o na n dc o l o r s p a c e s u s eam e m o dc o n l b i n e d 、i mt h ea d a m c ds l ( i nc 0 l o rs e g m e n t a t i o n 锄d a d a b o o s ta l g o r i n mt ol o c a t em ef a c eo fm ed r i v e rr a p i d l y 3 山东大学硕士学位论文 3 ) s t u d y 锄e y e1 0 c a t i o nm e m o d 、枷n ls t 印s f i r s tw eu 锄a c c u m u l a t i v e h i s t o g r a mt i l r e s h o l dm e m o d t 0b 枷z e 廿l ef k ei m a g e a r e r 廿l eb i n a r i z a t i o n ，w e 璐e 卿k l 钾e li n t e 刚i o np 叫e c t i o nm e t h o dt 0 陀a l i z em er o u 曲l o c a t i o no f 也ee y e s 1 1 1 髓 w eg c tt 1 1 ee x a c tp o s i t i 彻0 f9 y e sb yt 锄p l a t em a t c hm 砒o d 、们n la 豳gt e _ m p l a t e f i i l a l l yw ec a l c u l a t eb l i l l l 【f 托q u e n c yo fe y e s 趾l dt h eb l i n kd l l r a t i o n 4 )s t u d yam o u ml o c a t i o na l g o n m mb a s e do ng r a yi m a g e f i r s t w eg e t l e g e n e 脚p o s i t i 伽o ft 1 1 em o u 廿1b a s e d 伽t 1 1 e 掣争h o w l e d g e 锄dt 1 1 eh u m 锄i a lo 唱a 1 1 s d i s 砸b u t i o n a n da r e re n h 锄c i n gm ee d g e so ft h em o u t l l s ，髑et l l eo t s um e 廿1 0 dt 0g e t l ep r o p e rn l r 鼯h o l dt 0b i n a r i z et l l ei m a g e a r e rm a ：t w ec a ng e tt h em o u t ha r e a 蕾吣m m e 妇a g e 觚dd e c i d ew i l e l e rt l l e “v e ry 硼i ，1 1 s 5 ) a n a l y z et l l ec 岫锄tp o p u l a ri n f o m a t i o nm s i n gm e t l l o d s u l ei n f o 肌a t i o n m s i n gm e t l l o db 舔e do n 如z z y1 0 9 i ct o r e a l i z e 廿l em s i o no fm 趾yp h y s i c a l c h a r a c 矧s t i cp a r 黝e t e r s 觚dt i l e nj u d g em ef a t i g u ed e g r e eo ft h e “v e f ss o 弱t o i m p r o v e 廿1 er e l i a b i l i t yo ft l l ed c t e c t i n gm e t h o d k e yw o r d s ：d ) ，l l 锄i cb a c k 舯u n di l p d a t e ；a d a b o o s ta l g 埘t 1 1 m ；e y i 器l o c a t i o n ；m o u 蚀 l o c a t i o n ；舵z yl o g i c 4 山东大学硕士学位论文 1 1 引言 第一章绪论 在交通运输领域，公路交通以其快捷、舒适、方便的特点在人们的社会生活 中占据了重要的位置。然而随着机动车辆的大量增加，公路交通事故发生量明显 上升，造成了巨大的经济损失和人员伤亡。据统计，全世界每年因为交通事故导 致的死亡人数超过1 0 0 万，直接经济损失超过1 5 0 亿美元。 就我国来说，根据公安部统计，截至2 0 0 7 年年底，全国机动车保有量为1 5 9 8 亿辆，并且继续保持快速增长。2 0 0 6 年，全国共发生道路交通事故3 7 8 7 8 1 起， 造成8 9 4 5 5 人死亡，4 3 1 1 3 9 人受伤，直接财产损失达1 4 9 亿元【l 】；2 0 0 7 年全国发 生道路交通事故3 2 7 2 0 9 起，造成8 1 6 4 9 人死亡、3 8 0 4 4 2 人受伤，直接财产损失 1 2 亿元【2 】。另外根据交通部报道，我国由于疲劳驾驶造成的交通事故无论是绝对 数字还是所占的比例都是世界上最高的。从我国历年交通事故的大量案例分析中 得出的结论：因驾驶员疲劳驾驶所造成的道路交通事故约占总数的l o 至1 5 。 特别是近年来，由于疲劳驾驶导致的特大交通事故率有不断上升趋势。根据新华 网报道，疲劳驾驶已经成为高速公路上的第一杀手。例如，华北高速公路股份有 限公司对2 0 0 1 年到2 0 0 4 年京津塘高速公路北京段的交通事故进行了统计分析， 发现造成交通事故的原因主要有疲劳驾驶、行人进入高速公路、司机措施不当、 车距过近、违章、天气、爆胎、超速等1 0 多种，其中疲劳驾驶位列第一，占所有 交通事故起因的2 7 ，比位列第二的“行人违章进入高速公路”造成的交通事故 整整高出1 7 个百分点，而被广泛关注的由天气原因造成的事故仅占总数的6 【3 】。 国外关于疲劳驾驶与交通事故研究的统计数据同样令人触目惊心。英国交通 研究室( 砌n s p o nr e a r c hh b o 咖珂) 【4 】认为疲劳驾驶导致的路面交通事故占全 部交通事故率的1 0 。美国卡内基梅隆大学在驾驶模拟器上研究表明：机动车辆 重大事故率9 1 归因于驾驶员疲劳驾驶，而夜晚疲劳驾驶重大事故率达1 9 9 。 2 0 0 4 年美国国家交通安全委员会n t s bm en a t i o l l a lt r 孤s p o n 砒i o ns a f 匆b o a r d ) 检查了1 0 7 起由驾驶员造成的卡车交通事故，其中5 8 与驾驶员打盹驾驶有关【5 j 。 6 山东大学硕士学位论文 美国国家公路交通管理局( n a t i o n a lh i g h w a yt 豫m cs a 脚枷n i s 缸铽i o 坞 n h t s a ) 最近几年的调查【6 】显示：每年平均有5 6 0 0 0 起车祸与疲劳驾驶相关，造 成7 6 0 0 0 人受伤，1 5 4 4 人死亡( 占交通事故死亡总数的3 7 ) ，调查还显示有2 7 的受访者表示有过开车时打瞌睡的经历。 由此可见，疲劳驾驶是造成交通事故的丰要原因之一，而开展疲劳驾驶相关 检测技术的研究能在很大程度上减少交通事故的发生，进而减少交通事故带来的 危害，使驾驶员和公众的出行更安全，具有重要的社会意义和经济价值。 1 2 疲劳驾驶相关概念 1 2 1 疲劳驾驶定义 尽管疲劳驾驶的危害很大，但到目前为止，人们也不能界定一个准确的疲劳 驾驶定义，所以这就造成了没有一个确定的疲劳驾驶标准。 在法律上，时间是衡量疲劳驾驶的一个重要标准。在交通法中，对司机的疲 劳驾驶做出了明确的规定：“连续驾驶机动车超过4 个小时未停车休息或者停车休 息时间少于2 0 分钟的，将被罚款2 0 0 元、扣两分。在这里疲劳驾驶的界定标准 为连续的驾驶时间。 而从人的生理反应来说，疲劳驾驶是指驾驶员在长时间连续行车后，产生心 理机能和生理机能的失调，出现视线模糊、腰酸背疼、反应迟钝、动作呆板，使 驾驶机能下降的现象。疲劳将使驾驶员的注意、感觉、知觉、思维、判断、意志、 决定和运动诸方面受到很大影响。 1 2 2 疲劳驾驶的机理 严格的讲，疲劳是人体一种极其复杂的心理、牛理状态。人们在1 9 0 7 年就开 始研究疲劳的概念，但始终没有明确的定义，从结果和表现上定义疲劳是指由于 身体和精神状态下降而导致工作能力和工作效率降低，表现为身心疲惫、冈倦、 注意力不能集中和继续完成工作的能力降低。就驾驶任务而言，疲劳往往导致疏 忽和瞌睡，进而引起恶性交通事故，因此，本文中认为“疲劳驾驶 作为惯用词 7 山东大学硕士学位论文 汇和我们通常由于训练过度造成的肌肉疲劳不同，而是由于司机长时间的驾驶或 睡眠不足引发的瞌睡和困倦。 按疲劳的性质，可分为生理疲劳和心理疲劳两种。生理疲劳是由于人体连续 不断地活动，或短时间内剧烈活动，肌肉内产生超过负荷能力的乳酸引起的刺激 反应。心理疲劳是由于长期集中与重复的从事某种活动引起的抑制反应。在驾驶 过程中，生理疲劳和心理疲劳并不一定同时产生，有时身体并不感到疲倦，但单 调的驾驶环境反而使其心理感到疲劳；有时经过长时间的驾驶，虽然身体感到十 分疲倦，但却由于多变的紧张驾驶环境，又使其心理上仍能坚持驾驶。二者既有 区别，又有一定联系和相互制约。如果驾驶员出现生理疲劳，由于某种动机的刺 激或意志的努力，还可以继续驾驶一段时间，但决不可能维持过久。若超过限度， 勉强驾驶引起的必然是过度疲劳，不仅有碍于驾驶员的身心健康，还极易酿成本 不会发牛的交通事故。因此，遵循人体生理、心理规律驾驶是一件绝不能忽视、 轻视的事。 引起疲劳驾驶的主要原因是【7 。8 】： l 、司机睡眠不足，由于工作需要造成绝对睡眠时间减少或者睡眠障碍； 2 、司机的生理节律被扰乱，在生理周期的低潮( 如在凌晨和午后) 驾车或者 长时间的驾车； 3 、车外单调的景色( 高速公路上开车比市区内更容易使人疲劳) ； 4 、司机不善于估计当前的清醒程度，强行长时间驾车； 5 、驾车模式改变( 如突然驾车时间加长或者不习惯夜间驾车) ； 6 、药物的作用，一些抑制中枢神经的药物，如感冒药等。 7 、睡眠障碍方面的疾病导致睡眠质量下降，特别是没有意识到的或者没有得 到治疗的睡眠呼吸暂停综合症( s a s ) 患者，此类患者虽然睡眠时间很长，但是 由于睡眠质量较差，驾驶时容易引起瞌睡。n h t s a 报道s a s 患者引起得恶性交 通事故的数量远高于由于嗜睡症引发的交通事故数量。s a s 患者驾车时，约有6 0 的人发生过瞌睡。 当前防止疲劳驾驶提高驾车安全的方法仍然局限于教育和运用法规方面： l 、教育司机以及家人，认识到疲劳驾驶的后果，注意休息可以降低疲劳驾驶 8 山东大学硕士学位论文 的可能。 2 、认识影响睡眠质量的因素，提高睡眠质量可以降低瞌睡的可能。 3 、对于有嗜睡症或有睡眠呼吸暂停疾病的司机，应尽快到相关的医疗机构作 检查和治疗，提高睡眠质量。 4 、最大可能的保证司机有8 小时以上的无打搅的睡眠。 5 、注意个人的生活规律，可以减少疲劳的可能。 6 、在可能的情况下，短暂的小睡可以很大程度恢复体万，降低疲劳。 7 、减少多次的连续不睡觉，也可以减少疲劳的产生。 防止疲劳瞌睡驾驶的技术方法仍在研究之中。有报道，通过检测闭眼时间、 头部位置、手腕力量和皮肤阻抗来判断是否瞌睡，但是限于技术问题，尚无成功 产品出现。 1 3 国内外研究现状 疲劳检测技术是在人们发现脑电波在睡眠过程中的规律后才开始研究的，近 3 0 年来，随着计算机技术、传感器技术和数字分析技术的发展，出现了很多瞌睡 检测的方法和原理，包括车道的跟踪系统、车辆行驶状态的测量和人体生理信号、 动作特征检测等方法，本文认为对驾驶员人体的生理和动作信号检测比较客观、 准确，是预防疲劳驾驶的研究方向。下面介绍当前常用的几种检测驾驶疲劳的方 法和原理。 当前，国内外对于驾驶员疲劳检测的方法，大致可以分为以下三类： 基于驾驶员行为特征的检测方法蚴1 ：如眼皮的运动，头部运动，眼睛开闭， 呼吸状况，凝视方向，手握方向盘用力的大小，旋转方向盘的角度变化等。 基于驾驶员生理参数的检测方法嘲：如脑电图、心电图、肌肉活动情况等。 该类方法能较精确的检测出驾驶员出现的睡意状态，但是驾驶员需要配戴有电极 的头盔等装备，因此有接触性的不足。 基于交通工具行为特征的检测方法位钔：如车速、车辆行驶的轨迹是否偏离车 道等。该种方法的优点是非接触，缺点是这些参数与交通状况及车辆的类型有关， 难于制定一个统一的标准。 9 山东大学硕士学位论文 下表卜1 对于常用的几种疲劳驾驶检测技术的准确性、实用性和可扩展性做 了一个比较。 检测技术描述准确性实用性可扩展性 基于生理参数的主要检测脑电波、心牢、 很好 很差 一般 检测方法脉搏频率以及皮肤电压等 变化 基于驾身体反头部运动、眼皮运动、眼很好好很好 驶员行 应 睛闭合频率、凝视方向、 为特征打哈欠的频率 的检测 驾驶行检测各种操控器( 如：方向一般好很差 方法为盘、加速器、刹车踏板、 档位等) 的变换 基于交通工具行检测汽车本身的行为( 如：好很好很差 为特征的检测方速度、侧向加速度、偏行 法 速率、侧向位移等) 的变化 基于行驶条件的检测行驶时间以及行驶条很差好很好 检测方法件( 如白天或者晚上、行驶 速度等) 表l l 从表中可以看出不同的方法各有优缺点，其中基于驾驶员行为特征的方法， 尤其是检测眼睛状态的方法，由于其检测直接，非侵入性，并且与驾驶员的生理 参数的变化具有一致性等特点，是多数研究机构广泛采用的方法。 1 3 1 国外的研究现状 1 、美国研制的驾驶员瞌睡检测系统d d d s ( t h ed r o w s yd r i v e rd e t e c t i o n s y s t e m ) 。采用多普勒雷达和复杂的信号处理方法，获取驾驶员烦躁不安的情绪 活动、眨眼频率和持续时间等疲劳数据，用以判断驾驶员是否打瞌睡或疲劳。 2 、方向盘监视装置s a m ( s t e e r i n ga t t e n t i o nm o n i t o r ) 。一种检测方向 盘非正常运动的传感器装置，方向盘下面的杆上装有一条磁性带，用以检测方向 盘的运动。另外，s a m 与录像机配合使用可以为保险公司提供证据。 1 0 山东大学硕士学位论文 3 、卡内基梅隆大学机器人研究所的c o p i l o t 系统1 。c o p i l o t 系统采用 p e r c l o s 衡量睁眼和闭眼状态，p e r c l o s 定义眼睛被眼皮遮挡的百分比，对眨眼 的测量是根据超过8 0 的眼睛被遮挡超过特定的时间间隔。c o p i l o t 系统采用红外 照明根据眼睛对红外光反射在图像中的光点效应，以及视网膜对不同波长红外光 的反射率不同，分别用两个c c d 摄像机采集波长为8 5 0 舳和9 0 0 n m 红外光照明的 图像，同时获得两幅图像，根据这两幅图像的差图像，得到眼睛的位置并分析眼 球的大小，从而得到驾驶员的眼睛睁开程度。该方法可去除眼镜的影响。 4 、内华达大学( u n i v e r s i t yo fn e v a d a ) 计算机视觉和机器人实验室n 到。该实 验室采用特殊的硬件设备，在连续的两帧图像中分别用两种不同波长的红外光照 明，根据连续的两帧图像，检测出眨眼、眼睛凝视方向和头部运动等与疲劳相关 的线索，最后用动态贝叶斯网络d b n 融合这些线索并做出决策。 5 、西班牙的防瞌睡系统a d s ( a n t i d r o w s i n e s ss y s t e m ) ，测量驾驶员驾驶时。 手对方向盘的握力，一旦检测到疲劳发生，利用汽车的灯不停的闪烁，提醒周围 【2 砚 。 的交通车辆。 6 、a w a k e 项目嘲。a w a k e 项目采用多线索融合方法，包括在红外照明下检测 眼皮的状态，检测手握方向盘的用力变化，以及旋转方向盘的角度变化等线索，当 检测出驾驶员疲劳时，可通过安装在座位上的振动装置提示驾驶员。 7 、日本尼桑公司研究的抗困倦系统，利用摄像机检测眼睑的活动情况，然后 将图像信息送入处理器进行分析。司机的眨眼次数、频率与人当时的清醒程度有 直接的关系，以此来检测司机是否疲劳啪】。 8 、高级安全观念公司( a d v a n c e ds a f e t yc o n c e p t si n c ，a s c i ) 研制开发 了用来测量头部位置的传感器( h e a dp o s i t i o ns e n s o r ，h p s ) ，h p s 利用一个相邻 的电极电容传感器阵列，设计了安装在司机座位上面的，每个传感器都能输出司 机头部距离传感器的位置，利用三角代数算法可以计算出头在“x y z 三维空间中 的位置，能够实时计算出头部的位置，同时利用各个时间段的头部位置的变化特 征，可以表现出司机处于清醒还是瞌睡状态。 山东大学硕士学位论文 1 3 2 国内的研究现状 国内最早的与疲劳驾驶相关的研究始于2 0 世纪6 0 年代，是从对飞行员的疲 劳状态研究开始的。中国军事医学科学研究院陈信等人用脑电分析器对1 1 7 名飞 行员进行研究，发现人体疲劳与脑电波的a 节律( 1 4 h z ) 有关。认为正常人脑 电波的a 节律是有规律而且丰富多彩的，a 节律变化缓慢说明产生了飞行疲劳。 1 9 9 1 年哈尔滨工业大学的郭德文指出疲劳是一种自然性的保护反应，它不但与劳 动强度有关，还与心情、健康程度、环境、兴趣和工作绩效有关。 9 0 年代后国内对于驾驶员疲劳驾驶造成的交通事故的严重危害已有所关注， 但由于国内在人脸识别技术和驾驶员疲劳检测的研究方面起步较晚，总体来看， 我国对于疲劳驾驶检测的研究同发达国家还有较大差距。国内关于疲劳检测方法 以及产品方面的研究主要有如下一些： 深圳市天童实业有限公司的周鹏【2 7 】用人体生理学，现代神经学，电子工程学 分析了驾驶员疲劳的起因，提出消除疲劳事故隐患必须消除司机开车时的异常疲 劳和大脑麻痹。根据这一思想，他研究了佩戴于司机小腿部与手腕部的“司机疲劳 事故预防器”，该仪器能在十几分钟至一二小时内消除司机已有的疲劳状况，清醒 大脑。 沈阳工业学院李琪【2 8 】2 0 0 3 年设计了一个疲劳驾驶预警装置，硬件采用1 6 位 m c s 2 9 6 单片机，软件采用汇编语言编写。该仪器以预设的采样频率利用传感器 采集脉搏跳动频率、手握方向盘的压力、人体生物电的信号，将这些数据与标准 值相比，如果其中两项数据超标即启动报警装置。 石坚、吴远鹏、卓斌和马勇、许晓鸣【2 9 】通过传感器测量驾驶员驾驶时方向 盘、踏板等运动参数来判别驾驶员的安全因素，发现方向盘的操纵情况与驾驶员 的疲劳程度具有一定的联系，方向盘较长时间不动，说明驾驶员在打瞌睡。 北京航空航天大学的眼动测量系统，利用光学系统中的图像传感器获得眼睛 运动的瞬时模拟图像，然后交由图像处理系统，经滤波、放大、以及a d 转换产 生含有瞳孔位置信息的数字信号。由数字检测系统负责瞳孔中心坐标检测及数据 转换，并以异步串行通信方式和计算机进行通信，将瞳孔中心坐标数据传输给计 算机完成标定等工作。使用计算机对背景视频摄像机传输来的图像和标定后的瞳 1 2 山东大学硕士学位论文 孔中心坐标进行叠加及数据的处理。 周玉彬【1 6 】等采用头戴式摄像机采集驾驶员眼部图像来分析其眨眼状态，采用 头戴式摄像机使眼睛区域容易从图像中分割出来，但由于接触式、侵入式的缺点 使其应用受到限制。 中国农业大学【3 0 1 车辆与交通工程学院对机动车驾驶员疲劳测评方法进行了 研究，他们使用c c d 摄像头来采集图像数据，数据被采集到计算机后，先利用 高斯肤色模型进行驾驶员人脸定位，然后根据人脸图像的灰度分布检测出眼睛在 图像中的具体位置，最后利用模板匹配技术判断出人眼的开闭状态，并计算出眼 睛的闭合时间和p e r c l o s 值，p e r c l o s 代表闭眼所占的时间。当眼睛的持续 闭合时间大于3 秒，p e r c l o s 值大于4 0 时，就认为驾驶员处于疲劳驾驶状态， 发出警告。 成都理工大学、吉林大学等进行了类似的研究，而西南交通大学等则开展了 疲劳驾驶机理的研究。 综观国内外的研究现状，如何把机器视觉技术、图像处理技术、人脸识别技 术相结合，并且融合多种参数特征来提高检测的精确度，开发出实用的并为市场 所能接受的驾驶员疲劳检测系统是当前研究的一个热点。 1 4 论文的主要工作和内容安排 本文在分析了目前驾驶员疲劳检测方法的基础上，提出了一种使用多个生理 特征参数模糊融合判决的方法来进行驾驶员的疲劳检测，主要使用了驾驶员的眼 部特征和嘴部特征作为判决依据。本文的章节内容安排如下： 第一章为绪论，简述了驾驶员疲劳驾驶的危害，疲劳检测的相关概念，研究 驾驶员疲劳检测的意义以及国内外的研究现状。 第二章介绍了驾驶员视频采集的硬件装置和总体的检测算法流程。 第三章介绍了驾驶员头部跟踪和人脸的定位算法。文中使用了改进的动态背 景更新算法来定位跟踪头部，并同时使用基于肤色分割和a d a b o o s t 的算法进行人 脸定位。 第四章介绍了人眼以及嘴部的定位与特征提取算法。 1 3 山东大学硕士学位论文 1 4 第五章介绍了基于模糊逻辑的多特征融合判决算法，以及部分实验结果。 第六章总结了本文的工作并指出今后进一步的研究方向。 山东大学硕士学位论文 第二章系统实验框架与算法流程 2 1 硬件安装及视频采集 在自然光照下，采用c 觚o np t - v 5 0 i p 彩色c c d 摄像头采集脸部的图像。调节 摄像头的角度、方向及焦距，使其能到得到质量较好的图像。然后把采集到的图 像序列输入p c 机，通过一系列特定的算法对所采集的图像序列进行分析处理，提 取出判断疲劳驾驶所需要的特征参数，然后融合多个生理特征参数对驾驶员是否 疲劳进行判决。 2 2 软件算法流程 对于采集到的图像序列，首先进行一系列的预处理过程，使其适合后续处理 需要，然后在图像中定位和跟踪驾驶员的头部区域图像，在此基础上进行人脸检 测找到人脸区域，在此区域中搜索嘴部和人眼的位置，分别提取出判决疲劳所需 的特征参数，融合多个特征参数判决驾驶员的疲劳状况，具体的算法流程如下图 2 1 所示。 一一，回囤 “ 叫 预处理 - 1 头部定位跟踪 疲劳i 卜匿墨区丑 否i 疲劳_ 一 眨眼频率 眨眼持续时间 图2 1 软件算法流程图 圈o 1 5 山东大学硕士学位论文 第三章头部的跟踪和人脸的检测 31 图像的预处理 在图像的采集过程中由于光照强度以及背景等原幽，采集到的驾驶m 头部图 像一般都存在有不同程度的噪声，而这些噪声对于后续人腧特征的提取有较大影 响，因此，在对图像进行算法处理之前需要对输入图像进行预处理。本文中图像 的预处州丰要分为图像去噪和光照补偿。 图像去噪 常用的滤波去噪方法大致可分为：利用高斯平滑滤波去除噪声；利用均值滤 波去除噪卢；利用中值滤波去除噪声；利用最佳滤波器去除噪声。与其它滤波方 法相比，中值滤波不仅能有效滤除髑像中的孤立噪卢点，还能有效地保护边界信 息，因此本文中采用中值滤波法来进行噪声处理。 中值滤波器是一种非线性滤波器，该方法是将邻域中的像素按灰度级进行排 序，然后选择该组的中间值代替指定点的( 窗口的中心点) 灰度值，对于奇数个 元素，中值是按大小排序后中间的数值；对于偶数个元素，中值是指排序后中间 婀个元素灰度值的平均值。具体步骤是： ( 1 ) 将模板在图像中依次移动，并将模板中心与图像中某个像素的位置重合； ( 2 ) 读取模板下各对应像素的灰度值，并将这些灰度值从小到大排成一列，找 出这些值中排在中间的一个( 或两个) ，如果是两个，则计算平均值； ( 3 ) 将这个中间值赋给对应模板中心位置的像素。 图3 一l 叫1 值滤波效果对比图 山东大学硕士学位论文 幽3 一l 所小为使用巾值滤波滤除孤立点噪声的实验结果，刑比滤波前后图像， 可以看出中值滤波法能有效的滤除孤立点噪声，提高图像的质量。 光照补偿 般的人脸检测算法是假设待处理图像在光照均匀的条件下获得的，而实际 上光照往往是不均匀的。偏光、侧光导致的高光和过亮、过暗、| ；| _ | 影等都会导致 人胎检测的准确件大幅度下降，此外光照条件对肤色算法也有定影响。 h 前常用的光照补偿方法有：同态滤波法、局部图像增强法、最优估计法、 高斯滤波法以及直方图均衡化法。 根据采集到图像的实翰i 情况，本文选用直方图均衡化法进行光照补偿。直方 图均衡化目的是消除光照条件变化以及成像设备感应曲线的不司所带来的影响， 使图像的直方图成为均匀分布的形式。通过对图像进行直方图均衡化的处理，可 以增强图像的对比度，提高图像的质量。经直方图均衡处理后的图像与原图对比 效果如f 图3 2 所刁 ，图像质量与原图相比有明显的提高。 3 2 头部的定位与跟踪 图3 2 直方阁均衡化前后图像对比 自动秩取头部位置算法具有很重要的意义，在人腧识别、视觉监控系统中它都 是直接决定系统性能的关键。在本文中，头部位置的获取直接关系到后续的算法 处理。它的精确度影响了系统的性能，良好的头部跟踪效果可以大大减小人脸识 别步骤中的计算量，并为后续研究中控制石台跟踪头部运动提供了条件。 具体到头部的运动检测，当前常用的方法有基于肤色的定位方法和基于帧间差 分的定位方法。 山东大学硕士学位论文 基于肤色的方法是利用不同人种的肤色区别主要受亮度影响，而几乎不受色度 影响这一特性，选择适当的颜色空间对肤色进行聚类，常用的是在y c b c r 空间中 对肤色进行分割，提取肤色区域，但是该方法受光照影响较大。 帧间差分法主要是利用相邻两幅图像相减，得到的就是两幅图像的差分图像， 当图像静止时，差分图像为o ( 全黑) ；当头部移动时，差分图像中，头和眼睛的 轮廓为1 ( 白色) ，因此得到一个二值化的头部轮廓图像。 基于帧间差分的方法又可以细分为下面两种： ( 1 ) 固定背景差分方法，即当前图像与参考图像之问的差分。 ( 2 ) 时间间隔图像差分方法，即当前连续两幅图像之间的差分。 第一种方法采用一个作为参考图像的背景图像，将当前图像与这个背景图像 做差分来找到作为前景的运动物体。如果参考图像选取得当，这种方法的优点是 可以准确地分割出运动物体。该方法成功与否依赖于所采用的背景更新方法，以 弥补动态场景中的光线变化等因素带来的不利影响。第二种方法是对一个小的时 间间隔前后的两幅图像做比较，根据其中得到的变化区域来区别背景和运动物体。 这种方法在动态环境下的自适应性是很强的，但是这样分割出来的区域实际上是 物体前后两个位置的“或”区域，比物体实际所在的区域要大。采用这种方法时，需 要考虑如何选择合适的时间问隔，这一般依赖于所监视的物体的运动速度。对快 速运动的物体，需要选择较小的时间差，而如果时间差选择的不合适，在最坏情 况下物体在前后两帧中没有重叠，从而造成被检测为两个分开的物体；而对慢速 运动的物体，应该选择较大的时间差，而如果选择得不适当，最坏情况下物体在 前后两帧中几乎完全重叠，根本检测不到目标物体。 由于大多数的摄像机都会有噪声，所以采用帧问差分的方法会得到没有运动的 区域。基于上述方法的缺点，本文使用了一种改进的背景更新方法，使其能够满 足驾驶员头部跟踪的需要。 为了满足疲劳检测中头部跟踪和定位的需要，根据文献 3 1 】的启发，本文使用 一种改进的动态背景更新算法。动态背景更新的基本思路是：以时间间隔图像差 分的方法找出图像内的变化区域。然后将非变化区域的背景使用当前图像替代， 即更新背景。在对背景做了这种更新后，背景的很大一部分区域就已经是当前图 像的一部分了，所以用这个背景去和下一幅图像进行差分，在很大的区域内实际 山东大学硕士学位论文 上就是时间间隔图像差分方法，因此它不仅继承了时问问隔图像差分方法对场景 微小变化，特别是光线变化的适应性，基本消除了积累性误差，而且又具有固定 背景差分的方法检测运动物体准确的优势，从而实现了两种方法的优势互补。 由于大多数的背景帧建立方法算法复杂度很高，为了提高算法的运算速度，本 文采用了一种简单有效的背景帧更新方法。这种背景更新算法的基本思想是基于 这样一种假设，即认为位于运动目标位置处的像素值比那些位于真实背景处的像 素值的变化要快得多。而在大部分的应用领域中，例如智能交通中的视频分析、 人体运动检测、室外安全监控等，这种假设都是合理的。在这种假设下，我们可 以通过简单的帧差的方法来区分出前景和背景。但是，在目标物体内部颜色一致 的情况下的这种简单的方法将会失效，因为这时目标物体内部的像素值不会变化。 为了解决这个问题，我们提出了一种基于动态矩阵的方法来分析帧差法的检测结 果，其中每个像素的运动状态被保存在动态矩阵中，只有这些值变化不大的像素 可以被更新到背景帧中。具体算法流程如图3 3 所示： 图3 3 基于动态背景更新的跟踪算法流程 该方法具体步骤如下： ( 1 ) 基于像素点的运动检测和背景更新。 1 9 山东大学硕士学位论文 这种方法的基本思想是通过分析动态矩阵d ( j | ) 来判断当前像素点是否属于前 景图像。，( 后) 表示七时刻的输入图像帧，屯诉) 的下标f ，j 代表图像帧中像素的坐 标；式( 3 一1 ) 和( 3 2 ) 表明了尼时刻图像的帧差f ( 七) 和动态矩阵d ( 七) 的计算方法。 f oh ( 后) 一，( 七一y ) l n ，卯 f 3 4 、 f ，e ，( 女) 一口e ，( 酬 n 、。 o o e h e n i s e 在上式中，s ( ) 代表川时刻的背景减除结果图像，n 是减除闽值，量，( 七) 山东大学硕士学位论文 ，q ，( 七) ，忍。，( 尼) ，召尽，( 尼) ，艿g ：，( 忌) ，召尽，( 尼) 分别表示输入图像帧和参考背 景帧的r ，g ，b 通道的像素值。 由于使用了或逻辑，将会引入很多噪声，进而会影响到分割的精确性。不过 在大多数应用场合中，噪声多为随机噪声或者包含噪声区域相对较小，我们可以 使用连通域分析的方法来除去这些噪声。 3 3 人脸检测的常用方法 人脸检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确 定其中是否含有人脸，如果含有则返回人脸的位置、大小和姿态，人脸检测是人 脸分析中的关键技术。要进行驾驶员的疲劳检测，首要任务就是从视频流中进行 精确的人脸检测，从输入图像中找到人脸存在的位置，并将人脸从背景中分离出 来。根据本文前一节的描述，在对于输入图像帧进行头部的定位之后，除去了很 多无关的背景区域，缩小了进行人脸检测的搜索区域，可以显著提高检测的速度 和效率。 虽然人类可以毫不闲难地识别出空间中的人脸，但计算机进行完全自动的人 脸检测仍存在许多困难。它是一个复杂的具有挑战性的模式分类问题，其主要的 难点来自两方面： 一、由于人脸内在的变化所引起的： 1 人脸具有相当复杂的细节变化，不同的外貌，如脸形、肤色等，不同的表 情，如眼、嘴的开与闭等，甚至可能有器官的缺失； 2 人脸的遮挡，如眼镜、头发和头部饰物以及其他外部物体等。 二、由于外在条件变化所引起的： 1 由于成像角度的不同造成人脸的多姿态，如平面内旋转、深度旋转以及上 下旋转，其中深度旋转影响较大； 2 光照的影响，如图像中的亮度、对比度的变化和阴影等； 3 图像的成像条件，如摄像设备的焦距、成像距离，图像获得的途径等等