（载运工具运用工程专业论文）汽车驾驶员疲劳实时识别与监测系统研究.pdf

摘要机动车辆与日俱增，交通安全越来越受到世人的关注，特别是疲劳驾驶。疲劳影响驾驶员的警觉性和安全驾驶能力，疲劳驾驶导致了许多汽车碰撞事故的发生。因此，许多国家都积极开展有关驾驶疲劳的研究工作。对驾驶员监测技术的研究主要集中在两个方面的研究：基于驾驶员生理参数测量的监测方法和基于车辆参数的监测方法。这两类中有许多方法受到车辆的类型、驾驶员的驾驶经验、驾驶条件以及须接触驾驶员等限制。在现有众多的方法中，p e r c l o s 是唯一通过美国国家公路交通安全管理局科学验证的，其定义为“在一定时间内眼睛闭合程度为8 0 1 0 0 的时间占总时间的百分比 。本文选择p e r c l o s 作为疲劳检测判断标准并基于此设计开发了一种基于计算机视觉的驾驶员安全驾驶状态监测系统。定位人脸是获得眼睛状态的必要条件之一，本文采用灰度图像的帧间差分和背景差分相互结合的方法来定位人脸，然后根据人脸的几何特征确定人眼的粗略定位区，并对此区域在y c b c r 色彩空间中进行人眼色块的检测。由色块的几何特征可以计算出眼睛的闭合度，从而获得单位时间内的p e r c l o s 值。系统以此为依据进行疲劳程度的计算，并在驾驶员出现疲劳状态时给出警告。在人眼状态检测中，本文用色块宽度与过色块在竖直中心线上的像素点的个数之比来描述眼睛状态的变化，比常用的宽高比值的方法拥有更高的准确性。本文根据对实验数据分析的结果，提出了利用倍数阀值来确定判断驾驶员是否疲劳的p e r c l o s 阀值的方法。关键词：交通安全；疲劳驾驶；p e r c l o s ；人脸检测：人眼定位；疲劳判断a b s t r a c tw i t ht h es t e a di n c r e a s eo fm o t o rv e h i c l e s ，m o r ea n dm o r ea t t e n t i o ni sg i v e nt ot h er o a dt r a f f i cs a f e t y , e s p e c i a l l yt ot h ed r i v e rf a t i g u e f a t i g u ea f f e c t sd r i v e r s a l e r t n e s sa n da b i l i t yt od r i v es a f e l y , a n dm a n yo fv e h i c l ec o l l i s i o n sr e s u l tf r o md r i v e rf a t i g u e m u c hw o r kh a sb e e nd o n ei nd r i v e rf a t i g u ea l lo v e rt h ew o r l d d r o w s yd r i v e rd e t e c t i o nm e t h o d sm a i n l yc e n t r a l i z eo nt h et w oa s p e c t s ：b a s e do np h y s i o l o g i c a lp a r a m e t e ro fd r i v e ra n db a s e do nc h a r a c t e ro fv e h i c l e h o w e v e r m a n ym e t h o d so ft h et w oa s p e c t sa l et o or e s t r i c t e dt ov e h i c l eo rt h ee x p e r i e n c ea n dp e r f o r m a n c eo fd r i v e r , o rh a v i n gt oc o n t a c tw i t l ld r i v e r o ft h ed r o w s i n e s s - d e t e c t i o nm e a s u r e sa n dt e c h n o l o g i e se v a l u a t e di nt h i ss t u d y , p e r c l o si st h et h eo n l ym e a s u r eo fd r i v e rf a t i g u et h a th a sb e e ns c i e n t i f i c a l l yv a l i d a t e db yt h en a t i o n a lh i g h w a yt r a n s p o r t a t i o na d m i n i s t r a t i o n ( n h t s a ) t h et e c h n i c a ld e f i n i t i o ni s t h ep r o p o r t i o no ft i m et h a t as u b j e c t se y e sw e r e8 0 t o10 0 c l o s e d i nt h i sp a p e r ，p e r c l o si ss e l e c t e dt oe v a l u a t ed r i v i n gf a t i g u e ，a n dad r i v e f a t i g u e - m o n i t o rs y s t e mb a s e do nc o m p u t e rv i s i o nt e c h n o l o g ei sd e v e l o p e d i no r d e rt or e c o g n i z et h es t a t eo ft h ee y e s ，t h ef a c em u s tb el o c a t e da tf i r s t a na l g o r i t h mb a s e do nt w oc o n s e c u t i v ef r a m e ss u b t r a c t i o na n db a c k - g r o u n ds u b t r a c t i o ni sc h o s e nt ol o c a t et h ed r i v e r sf a c ei ng r a yl e v e li m a g e s t h e ng e o m e t r yf e a t u r ei n f o r m a t i o no fh u m a nf a c ei su s e dt od e t e r m i n et h ee y e s p r o b a b l ea r e a , i nt h a tt h ee y e s c o l o rb l o c k sa r ed e t e c t e di ny c b c rc o l o r - s p a c e a c c o r d i n gt ot h eg e o m e t r i c a lc h a r a c t e r i s t i co ft h eb l o c k s ，t h ec l o s u r eo ft h ee y e sc a nb ec a l c u l a t e d , a n dt h ec a l c u l a t i o no fp e r c l o sc a l lb er e s o l v e d t h es y s t e md e t e c t st h ed r i v e r sa l e r t n e s sl e v e lo nt h eb a s i so fp e r c l o s ，a n dg i v e saw a r n i n gw h e nt h ed r i v e ri si nt h es i t u a t i o no ff a t i g u e i nt h i sp a p e r , an e wa p p r o a c hi su s e dt od e t e c tt h es t a t eo fh u m a ne y e s ，w h i c hi sm o r ea c c u r a t et h a nt h ec o m m o nm e t h o d a c c o r d i n gt ot h ea n a l y s i so ft h ee x p e r i m e n t a ld a t a , a nm u l t i p l et h r e s h o l da p p r o a c hi sp r o p o s e dt od e t e r m i n et h ed r i v e rf a t i g u ep e r c l o st h r e s h o l dt h a ti su s e dt oj u d g ew h e t h e rt h ed r i v e rf a t i g u e k e yw o r d s ：t r a f f i cs a f e t y ；d r i v e rf a t i g u e ；p e r c l o s ；f a c el o c a t i o n ；e y e sl o c a t i o n ；f a t i g u ej u d g e m e n tn 长沙理工大学学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。名拗劳醐沙p 矿咿fw学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权长沙理工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本学位论文属于1 、保密口，在年解密后适用本授权书。2 、不保密团。( 请在以上相应方框内打“4 )储繇豺学新签名：罄们导师签名：赢毒何日期游矽月加1 1课题研究背景和意义第一章绪论随着交通运输业的飞速发展以及车辆的日益普及，因疲劳驾驶而导致交通事故的发生，已经成为全世界范围内的严重问题。统计表明，在欧洲，1 0 - 2 0 的交通事故因疲劳驾驶造成；在货车运输业内，6 0 以上的货车事故与驾驶人员的疲劳有直接关系【l 】。英国l o u g h b o r o u g h 大学的研究人员分别对9 9 6 名载重汽车和4 6 2 1 名轿车男驾驶员进行跟踪调查，发现有2 9 的驾驶员在开车时打瞌睡，其中1 0 9 6 名驾驶员由于困倦而导致交通事故。美国俄克拉荷马州收费公路局1 9 6 5 年发表了对1 9 5 3 年至1 9 6 4 年2 1 2 8 名机动车驾驶员发生车辆碰撞事故的调查结果：2 2 的驾驶员打盹驾驶，4 8 的交通事故归结于疲劳驾驶。卡耐基梅隆大学在驾驶疲劳模拟器上进行的研究表明：机动车辆重大事故9 1 归因于驾驶员疲劳驾驶，而夜晚疲劳驾驶的重大事故率约达1 9 9 。1 9 9 5 年，美国国家交通安全委员会n t s b检查了1 0 7 起由驾驶员造成的卡车交通事故，其中5 8 与驾驶员疲劳驾驶有关 2 - o 1 。据相关资料统计【7 1 ，美国每年由驾驶疲劳引发的交通事故多达1 0 0 0 0 0 起，占车祸总数的1 0 ，导致4 0 0 0 0 人受伤，1 5 5 0 人丧命。据不完全统计，全世界每年因道路交通事故导致死亡的人数超过6 0 万，其中由于驾驶员疲劳驾驶造成的交通事故至少有1 0 万起，直接经济损失达1 2 5 亿美元哺j 。我国近年来经济发展迅速，交通运输业也得到迅速地发展，截至2 0 0 7 年6 月底，中国机动车保有量为1 5 2 8 亿辆，继续保持较快增长势头1 9 】。交通流量和交通事故也大大地增加，而在各类交通事故中因疲劳驾驶导致的交通事故占有相当大的比例。2 0 0 3年3 月2 1 日，中华医学会等部门在北京地区高速公路白庙、渡家坎和沪杭段嘉兴等地对5 1 6 名驾驶员进行警觉测试和问卷调查结果显示i l o j ，2 5 的驾驶者感觉有疲劳驾驶，其中1 0 的驾驶员调查当天有瞌睡，5 1 的被调查者回忆在驾车中曾打过瞌睡。据中华人民共和国公安部通报全国道路交通事故统计，我国仅2 0 0 5 年就有2 5 6 6 人在因疲劳驾驶导致的交通事故中丧生【l 。从国内历年交通事故统计的大量案例分析中得出结论：因司机疲劳驾驶所造成的道路交通事故约占总数的1 5 , - - , 2 0 1 1 2 1 。在全球范围内，司机的疲劳驾驶已成为导致交通安全事故的重要原因之一。交通事故给国家造成巨大的经济损失和人员伤亡，增加了社会不安定因素。在这样严峻的交通事故形势下，研究预防发生疲劳驾驶的方法尤为必要，其意义深远而重大。1 2 疲劳及疲劳检测方法从心理学的观点来说，所谓的疲劳就是对继续完成手头工作的一种主观厌恶感i i 列。这种厌恶感本来是一种正常的生理反应，但是对于正在作业的驾驶员来说，疲劳驾驶将严重地影响交通安全性和人民生命安全。然而，到目前为止，“疲劳驾驶还没有一个准确的定义，这就造成了疲劳驾驶监测与处理技术的缺失。日本有关专家经过一系列研究，综合地将疲劳概括为1 1 4 j ：疲劳指身体在脑力或体力劳动中所引起的生理与心理上的机能失常和紊乱，同时发生机能的变化或代谢物质的变换以及工作效率的变化。研究表明【1 4 1 ，当司机连续驾驶超过3 个小时就被认为已经进入了疲劳驾驶状态，在这种状态下司机的反应速度、心脏活动能力和保持身体平衡等机能都会相应下降，稍有不慎就会发生交通事故。一天驾驶时间如果在1 0 小时或1 0 小时以上，睡眠不足四五个小时，事故发生率就非常高。在2 0 0 4 年实施的交通法中，对司机的疲劳驾驶做出了明确的规定，根据道路交通安全违法行为处罚及记分标准中规定：“连续驾驶机动车超过4 小时未停车休息或者停车休息时间少于2 0 分钟的，将被罚款2 0 0 元、扣两分一。在这里，疲劳驾驶的界定标准是司机的连续驾驶时间。另外，很多统计数据都指出，驾驶者全天的驾驶时间不得超过1 2 个小时，每周驾驶时间在4 4 个小时以内，这也是从累计驾驶时间的角度来界定疲劳驾驶。1 2 1疲劳驾驶的表征和原因当疲劳产生后，驾驶员身体很多生理现象和生理数据会随之发生改变，具体呈现为可见特征和不可见特征两部分【l5 1 。( 1 ) 可见特征，如驾驶姿势、眼部运动、头部动作以及脸部表情等；( 2 ) 不可见特征，如心率变化、心电波、脑电波和驾驶员施加在方向盘上的握力等，这些特征需要特定的仪器设备进行检测才能获知数据。驾驶员在驾驶过程中进入疲劳状态后，车辆的行驶状态会发生非正常的变化，如：方向盘在较长时间( 大于4 s ) 内保持不动、车身突然地摆过道路中线或路肩、行驶速率不定以及方向随意的变换等均属于疲劳驾驶引起的车辆状态的非正常变化。影响驾驶疲劳的因素很多，主要有四种【1 6 1 ：( 1 ) 驾驶员本身的因素，如工作量、生活状态、身体状态和睡眠质量等。数据统计表明驾驶者全天的驾驶时间不得超过1 2 个小时，每周驾驶时间应在4 4 个小时以内；一天驾驶超过1 0 小时以上，睡眠不足四五个小时，交通事故发生率最高；( 2 ) 工作环境，如天气、温度、空气质量以及噪音等，闷热潮湿、空气污浊、声音嘈杂的道路环境，更容易让人昏昏欲睡：( 3 ) 交通状况，如路况、车流量、交通堵塞和交通事故等，在人群拥挤、狭窄的街道以及山区行车时，要求司机注意力高度集中，动作敏捷，不能有任何疏忽大意，在这种情况下极易造成疲劳；( 4 ) 车辆的技术状况( 简称车况) ，良好的车况和设备有利于驾驶员保持好的驾驶状态，反之，则容易导致驾驶员疲劳。1 2 2 疲劳驾驶的检测方法及其优缺点疲劳驾驶的检测方法众多，按测量参数的不同可分为基于驾驶员本身的检测方法、汽车行驶状态检测法以及综合法三类。( 1 ) 监测司机个体的特征( 例如：眼睑的活动、点头的动作、闭眼、握力、反应能力等) 和生理信号( 脑电波、心率、心电波、眼电波等) ；( 2 ) 监测车辆的运动参数( 速度、加速度、白线位置等) ；( 3 ) 前两类( 1 ) 和( 2 )衍生的综合体。同时，按设备与驾驶员身体是否有接触可以分为接触式和非接触式两种。当前国内外研究较多的方法有下面几种。1 2 2 1 脑电图( e e g ) 测试法j ：对疲劳驾驶的客观测评可以从医学角度出发，借助医用脑电图仪、心电图仪和眼电图仪测试驾驶员的脑电波形、心电波形和眼电波形，从而确定其疲劳程度。其中以脑电图e e g ( e l e c t r o e n c e p h a l o g r a m ) 的研究最为广泛。根据脑电波形测试疲劳的依据就是：大脑皮层处于不同状态时，其脑电图上的表现是不相同的。脑电波表现为以下四种：6 波，频率为1 3 5 h z ；a 波，频率为7 5 1 2 5 h z ；1 3 波，频率在1 2 5 3 0 h z ；0 波，频率为3 5 7 5 h z 。根据研究发现，q 波是四者中最能表征瞌睡欲望的脑电波，文献【1 6 1 的作者提出了用熵值来划分睡眠阶段，文献【1 7 的作者在总结前人成果的基础上，经实验发现：人感觉疲劳渴望入睡时，a 波频带相对比有明显增大，1 3 波频带相对比有明显减小，香农( s h a n n o n ) 熵和k - l ( k u l l b a c k l e i b l e r )熵的值会有快速降低，这些变化灵敏的参数均可用于驾驶员疲劳的检测。另外，心电图( e c g ，e l e c t r o c a r d i o g r a p h ) 和眼电图( e o g ，e l e c t r o o c u l o g r a m ) 在人疲劳时也有明显变化。脑电图，包括心电图和眼电图属于接触式测量，它们的测试条件苛刻，过程复杂，价格过高，而且还要在被测试者的相应部位安装传感器，对驾驶员的操纵带来负面作用，因此，难以投入实际运用，但该类方法作为对比方法，它们的准确度高，可以为我们提供测量的标准，并能作为实验室基础研究的手段，其中e e g 还被奉为疲劳检测方法中的“金标准 。1 2 2 2 道路追踪器它利用驾驶员在疲劳状态条件下，操纵汽车的迟滞特性，通过在车上安装一个与驾驶员同视野的摄像头，参照公路上的各种分道线来辨别车辆的行使状态，以及车辆离开黄线、白线的时间和偏离程度，它在一定程度上反映司机的疲劳程度，属于非接触式测量系统【1 9 l 。道路追踪器也存在一定不足，一旦路面状况不好，比如下雪、大雾等天气，还有路面有损伤等情况，警示器就有可能产生误判，因此，该方法应用有一定局限性的。1 2 2 3 基于p e r c l o s 的检测方法p e r c l o s 的概念最早由w e i r w i l l ew w 在1 9 9 4 年德国慕尼黑第十四届e s v 国际技术大会上提出，并且得到美国联邦公路管理局f h w a ( f e d e r a lh i g h w a y a d m i n i s t r a t i o n )的大力推荐。通过摄像技术对眼睛进行实时检测和跟踪，分析眼睛的状态和提取眼睛的特征参数，计算p e r c l o s 值来判断司机的疲劳程度，它属于非接触式测量系统。眼睛闭合时间的长短与疲劳程度有密切关系，驾驶员眼睛闭合时间越长，疲劳程度越严重，因此通过测量眼睛闭合时间的长短就能确定驾驶疲劳的程度。该方法是目前众多方法中公认最有效最可靠的疲劳检测方法。1 2 2 4 基于心率变化的疲劳判断驾驶员的心率变化与其驾驶状态有很大关系【2 1 1 。强行超车、突然加减速和无视交通信号以及慢行等的莽撞驾驶，都会增加心脏和血管等循环器官的负担。人们受到强烈的刺激后心跳加快，精神紧张时心跳也加快，一般来说要加快2 0 ，车辆运行速度增加时心跳也加快。据国外资料显示，在高速道路上，汽车行驶速度为l o o k m h 时，驾驶人员的心跳次数比8 0 k m h 时增加2 0 i 反之，由于驾驶疲劳，心跳要减慢。如果心跳次数低于标准值的2 0 以下驾驶车辆，就属于疲劳驾驶。由以上资料可知，心率与驾驶状态存在一定关系。可以先利用脉搏计进行测试实验，总结出疲劳与心率的关系，然后根据此关系设计防疲劳驾驶系统，此方法属于接触式测量系统。该系统由两部分组成：可进行信号发射的脉搏计和数据处理单元。脉搏计先采集驾驶员在稳定状态下的脉搏信号( 持续驾驶1 5 分钟后) ，并传输给数据处理单元，作为用于对比的心率初始值，处理单元则根据疲劳与心率的关系，结合初始值和当前脉搏数，进行疲劳程度的判断，当疲劳程度到达某一临界值时，则以声音或者振动的方式提醒驾驶员。基于心率变化的疲劳判断系统结构简单、易于实现、成本也较低，但是由于个体心率变化规律的差异较大，误判率稍高，一般作为疲劳判断的辅助手段。1 2 2 5 其他方式除以上比较常见的三种方式之外，头部姿势、嘴巴状态【2 2 1 、方向盘转角 2 3 1 以及方向盘的握紧力【2 4 1 等等也被纳入到了此类研究中。澳大利亚已经研制出头部位置和眼睛注视位置测量仪器。此技术的难点在于：要求在司机的脸上作一些标记，车辆内的光线变化明显时，测量容易失败。由于点头的动作和瞌睡的相关系数没有找到合适的关系，因此准确率不是很高。还有美国已研制出一种磁卡方向盘监视系统，靠监视方向盘的动作和规律来检测司机的精神状态，这是目前唯一低价位的产品，其缺点：精度很低，误报警概率高。由于大部分单一的方法均难免存在可靠性较低的问题，所以很多研究也开始把其重心转移到综合方法上。文献1 2 5 1 的作者就提出了把整个头部都纳入监视范围，包括眼睛的p e r c l o s 、头部的位置变化以及脸部表情( 主要是嘴巴的状态) 。1 3国内外研究状况在过去的1 0 年里，对疲劳驾驶测评技术的研究逐渐引起许多国家的普遍重视。但是，到目前为止，实用的系统尚未推出，市场上还没有成功的产品，说明这些测量方法在可靠性、有效性和实用性等方面亟需提高，机动车驾驶员疲劳驾驶测评技术还未达到成熟的地步。相对国外来说国内起步晚，但发展速度快。1 3 1国外研究状况早期的驾驶疲劳评价主要从医学角度出发，借助医疗器械进行。1 9 3 5 年美国交通部管辖的州际商业协会i c c ( t h ei n t e r s t a t ec o m m e r c ec o m m i s s i o n ) 要求公共卫生署( t h eu n i t e ds t a t e sp u b l i ch e a l t hs e r v i c e ) 对城市商业机动车驾驶员服务时间管理条例的合理性进行调查。实质性的研究工作始于2 0 世纪8 0 年代，美国国会批准交通部研究商业机动车驾驶和交通安全的关系。2 0 世纪9 0 年代随着计算机和集成电路制造技术的提高，疲劳程度测量方法研究有了很大的进展。现有的研究成果中具有代表性的产品有：l 、2 0 0 5 年，v o l v o 汽车公司推出的“驾驶员警示系统”。该系统不断监测车辆的行驶中的运动过程，记录下司机的驾驶行为，并能判断车辆是处于有效控制状态，还是处于失控状态，在司机进入睡眠状态之前及时给予警示。沃尔沃的疲劳驾驶警示器设计者认为，他们之所以选择监督车的方式，是因为他们认为人的不可控因素太多。2 、2 0 0 2 年，美国研制的打瞌睡驾驶员侦探系统d d d s ( t h ed r o w s yd r i v e rd e t e c t i o ns y s t e m ) 1 2 6 1 。该技术采用多普勒雷达和复杂的信号处理来测量驾驶员打瞌睡或睡着的活动，包括不安烦躁的情绪活动、眨眼频率、眨眼的持续时间和眼皮的活动。该系统的特点是通过耗能低的多普勒雷达系统( d o p p l e rr a d a rs y s t e m ) 非接触式地采集正常驾驶时驾驶员的活动和眼皮的活动行为所表示的疲劳数据。并且该系统能够做成外形较小的仪器，固定在驾驶室内驾驶员头顶上方。3 、转向操作监视器s a m ( s t e e r i n ga t t e n t i o nm o n i t o r ) 是一种监测方向盘非正常运动的传感器装置，适用于各种车辆。如果方向盘4 秒钟不运动，该监视器发出声音报警，直到方向盘继续正常运动为止 2 7 1 方向盘继续正常运动时监视器不发出声音报警。s a m被固定在车内录音机的旁边，在方向盘下面的杆上有一条磁性带用来测量方向盘的运动。s a m 的作用就是：提醒驾驶员不要在驾驶时瞌睡。4 、d a s 2 0 0 0 型路面警告系统( t h ed a s2 0 0 0r o a da l e r ts y s t e m ) 是一种设置在高速公路上用计算机控制的红外线监测装置，当行驶车辆摆过道路中线或路肩时，向驾驶员发出警告【2 引。5 、1 9 9 4 年，宾夕法尼亚大学智能交通实验室和美国国家公路交通安全管理局( n h t s a ) 采用p e r c l o s ( 眼睛闭合时间占特定时间的百分率) 作为精神、生理疲劳程度的测量指标，开发 j p e r c l o s 眼睑闭合监测器1 2 9 11 3 0 。6 、电子“清醒带 ，使用时用一根可以调整的松紧带固定在驾驶员头部，“清醒带的电源插头插入汽车内的香烟自动点火器的插座内，装在带子罩的半导体温差电偶，就使平展在前额部位的铝片变凉，使驾驶员睡意消除，精神振作。据说戴上这种“清醒带”，足足可以消除睡意2 4 ：j , 时。“清醒带”使用的电压是1 2 v - 1 4 v ，电流是5 0 0 m a ，十分安全。7 、1 9 9 7 年1 0 月约翰霍普金斯大学应用物理实验室对世界各大汽车厂商在安全问题的调查显剥3 l j ：三菱公司( m i t s u b i s h id r o w s yd r i v e r w a r n i n gs y s t e m ) 通过检测方向盘的运动来监视驾驶员的疲劳和注意力，如果驾驶员产生疲劳，座椅产生振动来刺激驾驶员以减轻驾驶疲劳，并且给出警告信号。日产( n i s s a nd r o w s yd r i v e r w a r n i n gs y s t e m )在仪表盘用摄像机监视驾驶员面部的表情来识别驾驶员早期疲劳状态，当驾驶员疲劳时，它诱发告警声音。该系统试图通过把薄荷醇气味的冷空气释放在驾驶室中来清醒疲劳的驾驶员，如果驾驶员疲劳状态得不到改善，该系统会使用声光报警，并且自动停车。8 、据英国新科学家杂志报道，日本科学家研制出一种仪器，可以从飞行员或航管人员的声音变化中提早察觉他们的疲劳状态，以防止人为疏忽导致飞机失事的憾事发生【3 2 1 。据了解，全球的空难约有八成是人为疏忽肇祸。而飞行员的精神不济是经常会发生的问题，尤其是飞越许多时区作长途飞行的飞行员更易感到疲倦。由日本电子导航研究所研制的“疲劳侦测器，可以在有关人员注意到自己体力不支的前2 0 分钟侦测出其声音中显露的疲倦征兆。据介绍，这种侦测器可以把声音讯号转化成图形，说话者的声音产生细微变化，从这些变化得出疲倦征兆。志愿者在专心阅读或解决问题2 0 - - 一3 0分钟后接受研究员用侦测器测试，结果发现他们的声音讯号图形呈现明显的锯齿状。此技术也可借鉴地引入车辆疲劳驾驶监测中。1 3 2 国内研究状况我国对驾驶疲劳的研究工作可以追溯到6 0 年代。其阶段性成果如下：l 、中国军事医学科学院陈信1 3 3 】等利用脑电图、读数试验、唾液分泌、闪光融合频率测试来判别飞行员疲劳。他们对1 1 7 名飞行员进行研究，发现人体疲劳与脑电波的q( 1 - 4 h z ) 节律有关系，认为正常人脑波的节律是有规律而且丰富多彩的。q 脑波变化慢会产生飞行疲劳。2 、1 9 9 1 年哈尔滨工业大学郭德文【蚓指出疲劳是一种自然性保护反应，它不但与劳动强度有关，而且还与心情、健康程度、环境、兴趣和工作绩效有关。从生理角度看，疲劳可分为体力疲劳和脑力疲劳。脑力疲劳用诱发电位的方法：肌肉表面上固定好表面电极，肌电信号经表面电极传导到肌电图记录仪，可以看出，e m g ( e l e c t r o m y o g r a p h y )的频率随着疲劳的产生和加深呈现下降趋势，而e m g 的幅值增大则疲劳增大。3 、北京医科大学王生【3 5 l 教授在肌肉疲劳过程肌电变化实验观察中对2 0 名受试者在实验室取坐姿，手持不同负荷，记录和分析肌肉疲劳过程肌电变化情况，结果表明随着负荷增加，肌电的积分值i e m g ( i n t e g r a lo f e l e c t r o m y o g r a p h y ) 增加，随着时间延长，i e m g 的值先升高，后下降，实验结束时i e m g 降至最低值，受试者感觉疲劳程度逐渐增加，分析认为i e m g 值低于初始值时出现疲劳，疲劳时肌电功率谱左移。并且强调疲劳是一种十分复杂的现象。肌肉疲劳是体力劳动过程中造成作业能力下降和引起损伤或疾病的重要原因，但是疲劳一直没有较好的评价方法。尝试在实验条件下，采用肌电技术，观察疲劳过程中肌电变化情况，探讨肌电技术作为判断肌肉疲劳的一个客观指标。4 、1 9 9 8 年深圳长途汽车公司周鹏m j 从生命科学范畴，应用人体生理学，现代神经学，电子工程学论述了驾驶员疲劳事故隐患的起因，提出消除疲劳事故隐患必需消除司机开车时的异常疲劳和大脑麻痹。根据该思想研究成功佩戴于司机小腿部与手腕部的“司机疲劳事故预防器 ，该仪器能在十几分钟至一、两个小时的时间内消除司机已有的异常疲劳，清醒大脑，在开车时佩戴，可预防司机身体异常疲劳和大脑麻痹的出现。他还认为目前国内外项目研究进展缓慢的根本原因所在是单纯地从工程学角度研究开发机动车驾驶员驾驶疲劳检测装置。对交通事故的统计资料研究表明，8 0 的交通事故与驾驶员的主动安全性因素有关，但是驾驶员的主动安全性因素包括许多复杂、多变和不确定性因素，或具有时滞、非线性等复杂关系，难以用通常的控制理论进行分析和控制。5 、阎淑芳阳等人在机动车驾驶员操作技能分析中，从宏观上指出交通事故与人、车、路、环境等因素有关，而人是主要因素。驾驶员控制车辆的运行操作信息9 0 以上是通过视觉得来的，剩余信息靠听觉、位觉、动觉等得来。在驾驶操作过程中信息是不断变化的，必须选择与行车有关的道路环境信息，通过感觉器官传入大脑，经过加工判断支配躯体做出相应的动作去操作车辆的各控制机构。这一系列的信息、动作、信息的反馈和动作相应的变化，就组成了驾驶员的驾驶技能，以及所呈现的驾驶技能水平，机动车操作动作的速度、准确、协调、注意力的敏锐是评价操作技能的重要指标。通过分析机动车驾驶员操作技能，依据驾驶过程和环境，测出驾驶员的反应能力、方向盘的控制能力，手、脚的配合能力、遇有危急情况所采取的措施情况以及对干扰信息的屏蔽能力等。测试指标包括反应时间、判断时间、行驶轨迹、操作正确与错误次数、速度判断左盘寸o6 、上海交通大学石坚和卓斌1 3 8 】通过传感器测量驾驶员驾驶时方向盘、踏板等一些参数来判别驾驶员的安全因素。驾驶员方向盘的操纵情况与驾驶员的安全具有一定的联系。当方向盘较长时间不动，说明驾驶员在打瞌睡。研究表明：当方向盘产生幅度1 5 。以上，0 4 h z 以下的低频率转动，说明驾驶员操作的闭环反应较迟钝，即开始疲劳。驾驶员安全的主观评价值s e d ( s u b j e c t i v ee v a l u a t i o no f d r o w s i n e s s ) 与方向盘的转角和角速度参数的关系最密切，并给出主动安全性的定量指标。7 、文献1 3 9 1 的作者构建了基于p e r c l o s 的机动车驾驶员驾驶疲劳的实验测评系统，该系统初步具备了实时、非接触式检测的特性；提出并实现了人眼的识别与眼睛开、闭状态的测量，提出了脸部活动图像识别的人脸皮肤色彩高斯模型，通过眼睛灰度模式匹配，实现了驾驶员驾驶疲劳的测评。文献【4 0 】作者针对人脸外轮廓定位和用于眼睛特征提取的s n a k e 算法和h o u g ht r a n s f o r m 算法进行了改进，克服了原有算法的弱点，得到了较理想的结果；同时，根据双眼和嘴构成的等腰三角形在平面内旋转时关系稳定的特点，提出了一种检测人脸深度旋转的定位算法，解决了旋转入脸定位和识别困难的问题；建立了一种驾驶员安全测试尺度统计模型，给出了求解算法。我国还有几种疲劳程度报警器：l 、郑州机务南段工程师董世衍j 采用近红外线光电技术研制成功一种防止驾驶员打瞌睡的警报装置。这套装置分两部分，一部分是为主机，另一部分是眼镜框架。戴上这副眼镜框架，打瞌睡或眼毛运动变化，传感器就迅速将信息报告给主机，发出警报。如当驾驶员昏昏欲睡，眼睛刚闭上，主机就发出“滴滴滴 的报警声。若驾驶员继续瞌睡，主机就“通知 相联装置采取自动停车措施。2 、江苏省江都县长江无线电厂【3 3 j 研制生产耳勾式的警钟牌瞌睡报警器，经各地驾驶员应用后，认为它有一定的效果。3 、中国亿龙科技有限公司生产的驾驶疲劳预警系统，也称t w s ( t i r e d n e s sw a r n i n gs y s t e m ) 。该系统外形似普通手表，佩戴于使用者腕部。人在睡觉前皮肤静电会出现减弱的情况，通过监测人体皮肤静电信息的曲线变化来检测驾驶员精神状态。一旦驾驶者精神状态下滑或进入浅层睡眠，t w s 系统会依据驾驶者精神状态指数分别给出：语音提示，振动提醒，电脉冲警示，警告使用者已经进入疲劳状态，需要休息。1 4目前研究所存在的问题尽管国内外关于驾驶疲劳监测技术的研究已经取得了一定进展，但依然存在以下几方面的问题：( 1 ) 实时性车祸往往发生在一瞬间，要避免交通事故，需要迅速、准确、及时地对处于疲劳状态的司机发出警告，因此，疲劳驾驶报警装置应具有很好的实时性。但目前开发的疲劳报警装置受到硬件、算法各方面的限制往往不能快速对疲劳状态做出判断与动作。( 2 ) 非接触性由于大部分监测用传感器为接触性的，在行车过程中会造成驾驶员不适或影响驾驶员操作，如：脑电、心电、肌电的测量一般需要在人体上粘贴电极，监测驾驶员头部运动装置也需要在驾驶员脸上或头部做标记，这会对驾驶员的操作造成影响。( 3 ) 灵敏度与可靠性性能良好的疲劳报警装置应具有很高的灵敏度和可靠性，而现有的大多数检测算法因其检测条件的限制和复杂环境的影响，并不能准确完整的提取驾驶员的疲劳信息，最终导致装置的灵敏度低，可靠性差。( 4 ) 性价比现今的车载疲劳报警装置，或者检测效果不理想，或者成本太高，难以获得广泛的应用。由以上几点可以看出，驾驶疲劳检测系统的性能优劣受软件和硬件两个方面的影响。软件方面，如何改进已有的疲劳检测方法，在保证检测结果准确性的同时提高算法的运算速度是目前所要解决的主要问题。硬件方面则需要对装置的性价比和硬件速度等方面进行改进。综合前面所述，基于p e r c l o s 的方法有一定的实时性、灵敏度和可靠性，也属于非接触性的和高性价比的疲劳检测方法，故本文将基于此展开研究，以它为疲劳检测系统的理论依据。1 5 本研究的主要内容论文基于湖南省科技厅“汽车驾驶员疲劳实时识别与监控系统 课题，对疲劳驾驶检测方法进行了充分的研究。以目前公认最有效的p e r c l o s 法作为疲劳驾驶的评测依据和标准，在借鉴先进技术的基础上，设计开发一种基于计算机视觉的驾驶员安全驾驶状态监测系统，探讨p e r c l o s 具体实施的方法。主要研究内容如下：( 1 ) 运用p e r c l o s 理论构建一个基本的驾驶员驾驶安全状态监测系统，构建系统硬件，完成系统的软件实现；采用v i s u a lc + + n e t 开发图像采集、图像识别和疲劳判断程序；力求使程序能够准确、快速地截图、图像识别和给出判断；( 2 ) 研究总结现有的人脸检测方法，采用背景差分和帧间差分的方法实现驾驶员脸部图像人脸检测；( 3 ) 研究总结现有的人眼定位方法，采用基于人脸和人眼几何特征的人眼定位方法进行驾驶员人眼定位。确定人眼所在位置及其所在区域的几何特征信息，结合人脸的几何特征提取驾驶员眼部区域，并对其进行进一步的处理，结合p e r c l o s 法计算驾驶员眼部闭合度，评测驾驶疲劳；( 4 ) 对实验室现有的驾驶疲劳警示系统t w s 仪器进行校验，如果校验成功，则利用t w s 对本文设计的汽车驾驶员疲劳实时识别与监测系统进行标定。第二章p e r c l o s 疲劳检测理论和现有系统本文在上一章中概括性地介绍了目前的一些疲劳检测方法以及基于这些方法的一些疲劳判断系统，而p e r c l o s 方法是当今世界公认最可靠最有效的判断方法。本章将详细探讨p e r c l o s 方法相关理论和国内外基于p e r c l o s 的疲劳检测系统，为构建驾驶员疲劳实时识别与监测系统做出理论准备。2 1p e r c l o s 定义和计算方法p e r c l o s 的概念最早由w w w e i r w i l l e 在1 9 9 4 年德国慕尼黑第十四届e s v 国际技术大会上提出，并且得到美国联邦公路管理局f h w a ( f e d e r a lh i g h w a y a d m i n i s t r a t i o n ) 的大力推荐。w w w e i r w i l l e 和他的同事把p e i 屺l o s 定义为“在一定时间内眼睛闭合程度为8 0 - 1 0 0 的时间占总时间的百分比 ，其英文解释是“硼1 e p r o p o r t i o n o f t i m e t h a t as u b j e c t se y e sw e r e8 0 t o10 0 c l o s e d l 2 u 1 。设p 为p e r c l o s 值，t 单位为单位时间，t 闭为在此单位时间内眼睛闭合程度为8 0 1 0 0 的时间，为按照定义，计算公式为：p ：且1 0 0 ( 2 一1 )峰位例如，一驾驶员在一分钟里面有有1 5 次闭眼，每次o 4 秒，共计6 秒，那么该驾驶员的p e r c l o s 值就是p = ( 6 6 0 ) 1 0 0 = 1 0 。对p e r c l o s 进行研究的后来者，大部分都沿用这一定义，并对定义中的8 0 1 0 0 的眼睛闭合程度的有效性和可靠性实验进行了验证。2 2p e r c l o s 有效性可靠性实验19 9 4 年f h w a ( f e d e r a lh i g h w a ya d m i n i s t r a t i o n ) 和n h t s a ( n a t i o n a lh i g h w a yt m f f i es a f e t ya d m i n i s t r a t i o n ) 为了评价疲劳检测方法的可靠性、有效性和灵敏性，进行了p v t( p s y c h o m o t o rv i g i l a n c et a s k ) 失误和疲劳的一致性试验。由于这项研究的目的是发现一个可靠的有效的疲劳度检测系统，所以f h w a 和n h t s a 评估了几种有希望的以驾驶员为中心的疲劳度实时检测技术【4 2 l 。这个项目被分成两个实验进行。实验一：为了评估被选择的疲劳度检测技术，让1 4 个成年男子在实验室保持4 2 d , 时清醒，这期间，每两个小时做一个测试。这个测试包括2 0 分钟的精神运动的警戒任务( p v t ) ，要求受试者保持注意力并且根据计算机屏幕上面随机出现的亮点按下键，p v t操作必须在5 0 0 毫秒内根据亮点反应否则就是失误，每分钟的失误被记载下来，总共有2 0 分钟。因为驾驶是一项要求高警觉性的任务，p v t 失误的实验同样要求被实验者的高警觉性，p v t 失误对候选的技术能进行一个有效的评估。在这项研究中，被测试的技术共为六种：两个脑电波扫描仪，能够检测到脑电波的活动；两个眼睛眨眼监测器，能测量基于眼睛眨眼活动的疲劳度；两个头部位置监测装置，它检测基于头部运动的疲劳；以及p e r c l o s 算法。这六种技术产生九个疲劳度级别。p e r c l o s 有3 个疲劳度指标。p 7 0 ，指眼睛闭合度超过7 0 就认为眼睛闭合，统计在一定时间内眼睛闭合时间所占该段时间的比例；p s 0 ，指眼睛闭合度超过8 0 就认为眼睛闭合，统计在一定时间内眼睛闭合时间所占该段时间的比例；e y e m e a s ( e m ) ，眼睑闭合度的均值百分比。研究者同时记录p 成绩和这些疲劳度检测技术在4 2 d , 时期间内每两个小时的检测结果。研究设计了一个各种检测技术检测结果和p v t 操作失误之间的一致性的估计。每种技术检测到的疲劳级别和在定期的p v t 操作测试中对应的p v t 失误应该是一致的。为了证明一种技术和p v t 失误之间有很高的一致性，它的每个操作者的疲劳级别必须在这4 2 d 时内和p v t 操作失误一起变化。tileo fd a y ( h )器置三譬a _p e a r f o r m a n c eb o u t图2 一l平均每隔2 0 分钟的精神警觉疲劳度测试操作的失误次数实验二：实验二在实验一完成6 个月之后开始，在实验一的基础上评估警觉刺激对p v t 操作和p e r c l o s 得分的影响。研究者想发现是否系统的警觉刺激可以减少疲劳度。这项研究设计了一个有效的导致疲劳操作由于缺乏睡眠和生理白天和夜晚失调的综合影响。1 4 个最初的受试者参与了这项试验，同样是受试者要求在实验室保持4 2 d , 时清醒并每两个小时操作精神警觉性任务。和预期的一样，p v t 失误的平均个数在这4 2 d , 时的测试中增加非常明显。v每个受试者在这4 2 d , 时中有2 0 次的测试用来做比较，用每个受试者利用这些技术得到的数据来计算每次的一致性，其结果见表2 一l 并且p e r c l o s 对于每种装置有最好的平均一致性。即在被测试的疲劳检测方法中，p e r c l o s 算法和p v t 之间表现出很好的一致性，并可靠地预测失误。表2 一l 一致性检测结果p e r c l o se e gh e a d p o s i t i o ne y eb l i n ka l g o r i t h m