（电路与系统专业论文）疲劳驾驶检测系统的研究与实现.pdf

b y j u nw a n g s u p e r v i s o r ：a s s o c i a t ep r o f e s s o r l ij i n g h o n g n o r t h e a s t e r nu n i v e r s i t y j u n e2 0 0 9 1 独创性声明 本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得 的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过 的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工 作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢 ：c l 思。 学位论文作者签名： 参拿 日期：弦。7 耳易序1 7 口 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论 文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部 或部分内容编入有关数据库进行检索、交流。 作者和导师同意网上交流的时间为作者获得学位后： 半年口一年口一年半口 学位论文作者签名： 彭专 签字日期：汐口7 年多日f 二j j 两年酉 导师签名：摩芬芳 签字日期：沙。罗多，f 歹 r1。“知， 东北大学硕士学位论文摘要 疲劳驾驶检测系统的研究与实现 摘要 随着生活水平的提高，交通运输事业的发展，道路交通事故逐年增多。频繁发生 的交通事故中，疲劳驾驶是引发交通事故的主要原因之一，其造成的交通事故占交通 事故总数的1 0 以上。因此，如何准确、快速的判断驾驶员的疲劳状态，对减少交通 事故的发生具有重大意义。 本文重点研究了人脸检测、人眼定位以及在其基础上的疲劳判断。疲劳驾驶检测 系统主要由分类器训练模块、图像采集模块、图像处理模块、目标检测模块和疲劳判 断模块五部分组成。利用a d a b o o s t 算法完成分类器训练模块，可以在目标图像中检测 出人脸，定位出人眼的位置。图像采集模块是通过摄像头来采集目标图像的视频帧， 获得原始的目标图像。图像处理模块对摄像头采集到的目标原始图像进行灰度处理、 图像二值化、图像增强和图像去噪声处理，得到待检测的目标图像，以便更加准确的 检测出人眼位置。分类器训练模块训练的分类器加载到系统中在目标检测模块中完成 对目标的检测。疲劳判断模块是利用p e r c l o s 算法，完成对定位的眼睛进行疲劳判 断。通过自适应算法不断地改进阈值的设定，以提高疲劳检测系统的性能。 采用了m i c r o s o f tv i s u a ls t u d i o2 0 0 5 开发环境来开发疲劳驾驶检测系统的识别和 检测算法，实现时用到了i n t e l 的o p e n c v 库，在研祥智能的e c 5 1 7 1 9 c l d n a 嵌入式 开发板上实现，并对系统进行了相关的测试。整个系统基本实现了对目标的疲劳状态 检测的功能，能对正面、侧面和戴眼镜的目标进行判断，具有较高的准确性。 同时，系统不仅应用到驾驶员的疲劳检测，也可以对一些监控室、大型控制室等 场合的操控人员进行疲劳检测，来减少因疲劳而导致的重大损失。 关键词：疲劳驾驶；a d a b o o s t 算法；目标检测；o p e n c v 库；人眼定位；p e r c l o s 算法；疲劳判断 一i i 一 r e s e a r c ha n di m p l e m e n t a t i o no ff a t i g u ed r i v i n g d e t e c t i o ns y s t e m a bs t r a c t w i t ht h ei m p r o v e m e n to fl i v i n gs t a n d a r d sa n dt h ed e v e l o p m e n to ft r a n s p o r t ，t h er o a d 仃a 伍ca c c i d e i l ti si n c r e a s i n gy e a rb yy e a r f a t i g u ed r i v i n gi so n eo f t h em a j o rc a u s e si nt h e f r e q u e n to c c u r r e n c eo ft r a f f i ca c c i d e n t sa n da c c o u n t e df o rm o r et h a n1 0 o ft h et o t a lo ft h e t r a 伍ca c c i d e n t s t h e r e f o r e ，h o wt od e t e r m i n et h e s t a t u so ft h ed r i v e r sf a t i g u em o r e a c c u r a t e l ya n dq u i c k l yi sg r e a ts i g n i f i c a n tt or e d u c et h eo c c u r r e n c eo f t r a f f i ca c c i d e n t s t ! i l i sa n i c l e b c u s e so nt h eh u m a nf a c ed e t e c t i o n ，t h ee y el o c a t i o n ，a sw e l la si n t h e j u d 舀n e n t so ff a t i g u eo nt h eb a s i so ft h e m f a t i g u ed r i v i n gd e t e c t i o ns y s t e mm a i n l yc o n s i s t s o f f i v ep a r t s ，i n c l u d i n gt h ec l a s s i f i e rt r a i n i n gm o d u l e ，i m a g ea c q u i s i t i o nm o d u l e ， i m a g e p r o c e s s i n gm o d u l e ，t a r g e td e t e c t i o n m o d u l ea n df a t i g u ed e t e r m i n e dm o d u l e a d a b o o s t a l g o r i m mi su s e dt oc o m p l e t et h ec l a s s i f i e rt r a i n i n gm o d u l e ，t h eh u m a n f a c ec a nb ed e t e c t e d i nt h et a r g e ti m a g e a n dt h el o c a t i o no f t h eh u m a ne y ec a nb ep o s i t i o n e db yt h ea l g o r i t h m t h e i m a g ea c q u i s i t i o nm o d u l ei su s e dt oc o l l e c t et h eo r i g i n a li m a g eo f t h et a r g e tb yt h ec a m e r a h e a d t h ei m a g ep r o c e s s i n gm o d u l ei sf o rt h eg r a y - s c a l ep r o c e s s i n gt ot h eo r i g i n a ll m a r g e f 幻mt h ec 锄e r a t h eb i n a r i z a t i o no ft h ei m a g e ，t h ee n h a n c e m e n to ft h ei m a g e a n dt h e p r o c e s s i n gt or e m o v en o i s ef r o mt h ei m a g e s ow ec a n g e tt h et a r g e ti m a g ew h i c hi st ob e t e s t e d a n di tc 锄d e t e c tt h el o c a t i o no ft h eh u m a ne y e m u c hm o r ea c c u r a t e l y t h ec l a s s i f i e ro f t h et r a i n i n gm o d u l ei sl o a d e di n t ot h es y s t e m ，a n di ti s t oc o m p l e t et h et a r g e td e t e c t i o ni n m o i i u l e b vt h ep e r c l o sa l g o r i t h m ，w ec a nd e t e r m i n et h ef a t i g u ee y e sw h i c ha r ep o s i t i o n e d ， a n dt h a ti st h ef a t i g u ed e t e r m i n i n gm o d u l e i na d d i t i o n ，i no r d e r t oi m p r o v et h ep e r f o r m a n c e o ff a t i g u et e s t i n gs y s t e m ，w ed oc o n t i n u o u s l yi m p r o v e m e n to ft h es e t t i n go f t h r e s h o l db a s e d o nt h ea d a p t i v ea l g o r i t h m m i c r o s o r s u a ls t u d i o2 0 0 5d e v e l o p m e n te n v i r o n m e n ti s u s e dt od e v e l o pf a t i g u e d e t e c t i o ns v s t e n lo fi d e n t i f i c a t i o na n dd e t e c t i o na l g o r i t h m s ，t h eo p e n c v t h ei n t e ll i b r a r i e si s u s e dt oa c h i e v et h es y s t e m ，a n dt h es y s t e m - r e l a t e dt e s t i sa l s od o n e t h ew h o l es y s t e m b a s i c a l l va c h i e v e st h ef u n c t i o no ft e s t i n gf a t i g u es t a t eo nt h et a r g e t ，a n di th a st h ec a p a b i l i t i e s i n 东北大学硕士学位论文 a b s t r a c t o f d e t e c t i n gt h et a r g e t sw h i c hi sp o s i t i v e ，t h es i d ea n dw e a r i n gg l a s s e sw i t hh i g ha c c u r a c y a tt h es a m et i m e ，t h es y s t e mi sn o to n l ya p p l i e dt ot h ed r i v e r sf a t i g u ed e t e c t i o n ，b u ta l s o c a nt e s tt h ef a t i g u e df r o mt h em a n i p u l a t e ds t a f fw h oa r ei nt h em o n i t o r i n gr o o m sa n ds o m e l a r g e s c a l ec o n t r o l l i n gr o o m sa n ds oo n t h e r e f o r e ，t h es y s t e mc a nr e d u c eh e a v yl o s s e sc a u s e d b yf a t i g u e k e yw o r d s ：f a t i g u ed r i v i n g ；a d a b o o s ta l g o r i t h m ；t a r g e td e t e c t i o n ；o p e n c v ；h u m a ne y e p o s i t i o n ；p e r c l o sa l g o r i t h m ；f a t i g u ej u d g e 一一 东北大学硕士学位论文 目录 目录 独创性声明i 摘要i i a b s l l l a c t j i i i 第1 章绪论- 一1 1 1 研究背景1 1 2 国内外研究状况1 1 2 1 国外研究状况l 1 2 2 国内研究状况3 1 3 研究意义5 1 4 本文的工作内容。6 第2 章相关技术介绍9 2 1 疲劳驾驶知识9 2 1 1 疲劳驾驶定义9 2 1 2 疲劳驾驶的表征9 2 1 3 疲劳对驾驶行为的影响1 0 2 1 4 疲劳驾驶产生的原因1 1 2 2 疲劳检测方法简介1 2 2 2 1 脑电图法1 2 2 2 2 心电图法1 2 2 2 3p e r c l o s 法1 3 2 2 4 瞳孔测量法1 5 2 2 5 其它测量法1 5 2 - 3 硬件平台l 5 2 3 1 摄像头1 7 2 3 2 天敏v c 8 0 0 0 e 卡18 2 3 3e c 5 1 7 1 9 c l d n a 开发板1 9 2 4 系统软件开发环境2 0 v 一 东北大学硕士学位论文 目录 2 5 本章小结2 1 第3 章系统总体设计与算法研究2 3 3 1 系统设计目标2 3 3 2 系统总体设计2 3 3 3 算法研究2 4 3 3 1 支持向量机法2 4 3 3 2 神经网络法。2 7 3 3 3 主成分分析法2 9 3 3 4a d a b o o s t 算法3 0 3 4 系统采用算法3 2 3 4 1 目标检测算法3 2 3 4 2 疲劳判断算法3 8 3 5 本章小结3 9 第4 章系统具体设计与实现4 1 4 1 系统总体设计流程4 1 4 2 分类器训练模块4 2 4 2 1 样本选择4 2 4 2 2 训练弱分类器4 3 4 2 3 训练强分类器4 3 4 2 4 级联强分类器4 4 4 3 图像采集模块4 4 4 4 图像处理模块4 5 4 4 1 图像灰度处理4 6 4 4 2 图像二值化处理4 7 4 4 3 图像增强。4 7 4 5 目标检测模块4 8 4 5 1 目标检测的流程4 8 4 5 2 检测的优化4 9 4 6 疲劳判断模块5 1 4 6 1 疲劳判断指标5 1 4 6 2 疲劳判断设计5 l 4 6 3 判断方法优化5 3 一v l 4 7 本章小结5 3 第5 章系统测试及结果分析5 5 5 1 系统测试5 5 5 1 1 系统测试界面5 5 5 1 2 系统人眼检测测试5 6 5 1 3 系统疲劳判断测试5 9 5 1 4 系统并发测试6 0 5 2 系统结果分析6 1 5 3 本章小结6 3 第6 章总结与展望6 5 6 1 总结一6 5 6 2 展望6 6 参考文献6 7 致谢7 l 一i 一 一v i i i 东北大学硕士学位论第1 章绪论 1 1 研究背景 第1 章绪论 随着经济的不断发展，人们生活水平的日益提高，汽车逐渐的普及到我们的生活中。 汽车的普及，一方面促进了交通事业的发展，另一方面却使交通事故日趋增长。汽车作 为人们出行非常便利的种交通工具，它在给人们带来方便快捷的同时，也带来了污染 和交通事故等很多问题。 据不完全统计，全世界每年因道路交通事故导致死亡的人数超过6 0 万，由于驾驶 员疲劳造成的交通事故至少有1 0 万起，其中1 5 0 0 起重大事故，7 1 万起交通事故导致 人身伤害，直接经济损失达1 2 5 亿美元【l 】。1 9 8 6 至2 0 0 0 年的道路交通事故中，全世界 有6 5 0 万人死于公路交通事故，3 1 5 亿人受伤。1 9 9 5 年美国国家交通安全委员会 n t s b ( t h en a t i o n a lt r a n s p o r t a t i o ns a f e t yb o a r d ) 检查了1 0 7 起由驾驶员造成的卡车交通 事故，其中5 8 起与驾驶员打盹驾驶有关【2 1 。2 0 0 1 年全世界道路交通事故死亡人数达1 l o 万人。美国联邦公路管理局f h w a ( f e d e r a lh i g h w a y a d m i n i s t r a t i o n ) 和国家公路交通安全 管理局n h t s a ( n a t i o n a lh i g h w a yt r a f f i cs a f e t ya d m i n i s t r a t i o n ) 对驾驶员紧张、疲劳状况 进行的研究表明，驾驶疲劳与行驶路线、持续作业时间和生理素质有关，认为大约连续 行驶3 2 0 0 k m ，驾驶员将处于疲劳状态。2 0 0 7 年全国共发生交通事故3 2 7 万起，造成8 2 万人死亡，3 8 0 万人受伤，直接财产损失1 2 亿元，大约2 5 导致人员伤亡的交通事故 都是由疲劳驾驶引发。因此，交通事故的发生，在很大程度上都与驾驶员疲劳驾驶有关。 面对这些巨大的数字，我们不得不更加关注驾驶员的疲劳驾驶方面的问题。 1 2 国内外研究状况 1 2 1 国外研究状况 自1 9 3 5 年，国外的相关机构开始了对疲劳驾驶检测最早的研究，美国公共卫生服 务署在交通部管辖的洲际商业协会i c c ( t h ei n t e r s t a t ec o m m e r c ec o m m i s s i o n ) 的要求下， 开始调查城市内商业机动车的驾驶时间，人们也由此开始重视驾驶员长时f 日j 连续工作对 交通安全存在着很大隐患这一问题。 2 0 世纪8 0 年代，美国开始对疲劳驾驶检测进入了实质性的研究，并把对疲劳驾驶 的研究提高到了立法高度，交通部实施的驾驶服务时间改革也通过了美国国会的批准， 东北大学硕士学位论笫1 章绪论 对商业机动车驾驶时间与交通关系作了研究，卡车和公共汽车的管理条例也得到了进一 步的健全。 有关疲劳驾驶检测的研究，最初是从医学角度出发，利用医用脑电图仪、心电图仪、 肌电图仪等医疗器械来测量疲劳状态和非疲劳状态下的驾驶员的脑电波形、心电波形、 肌电波形等医学生理状态的不同，进一步达到确定驾驶员疲劳状态的目的。尽管利用医 学仪器测量的方法比较准确，但测试条件苛刻，过程复杂，不易推广应用。近2 0 年来， 对驾驶疲劳测评技术的研究逐渐引起许多国家的普遍重视，世界各国的交通部门对疲劳 的监测投入了大量的力量，取得了很大进展。 1 9 9 4 年，美国国家公路交通安全管理局( t h en a t i o n a lh i g h w a yt r a f f i cs a f e t y a d m i n i s t r a t i o n ) 发起了的研究名称为：r e s e a r c ho nv e h i c l e - b a s e dd r i v e rs t a t u s p e r f o r m a n c e m o n i t o r i n g ，即：司机状态表现监视的研究。 美国研制的打瞌睡驾驶员侦探系统d d d s ( t h ed r o w s yd r i v e rd e t e c t i o ns y s t e m ) 。采 用多普勒雷达和复杂的信号处理方法，通过获取驾驶员烦躁不安的情绪活动、眨眼频率 和持续时间等有关疲劳的数据，进而判断驾驶员是否打瞌睡或睡着。该系统可制成体积 较小的仪器，安装在驾驶室内驾驶员头项上方，完全不影响驾驶员正常的驾驶活动【3 1 。 方向盘监视装置s a m ( s t e e r i n ga t t e n t i o nm o n i t o r ) 。一种监测方向盘非正常运动的 传感器装置。方向盘下面的杆上装有一条磁性带，监测方向盘的运动，方向盘正常运动 时，方向盘监视装置不会报警，若方向盘4 秒不运动，系统就会认为驾驶员处于疲劳状 态，s a m 就会发出报警声直到方向盘继续正常运动为止。同时，s a m 被固定在车内 录音机旁，它与录像机配合使用可以为保险公司提供证据。 2 0 0 2 年，美国来斯研究室研制了一种针对驾驶员的红外线眼球扫描仪，安装在仪表 盘上，让镜头对准司机，通过红外信号扫描司机眼球中的眼白部分，通过眼白所占比例 来判断疲劳程度并发出警告信号。 d a s 2 0 0 0 型路面警告系统( t h ed a s 2 0 0 0r o a da l e r ts y s t e m ) 。一种设置在高速公路 上用计算机控制的红外线监测装置，当行驶车辆摆过道路中线或路边缘时，向驾驶员发 出警告。 美国卡内基梅隆大学的r i c h a r dg r a c e 领导的c o p i l o t 工程开发了个商品化的疲劳 检测产品【4 】。该产品测量p e r c l o s 以决定目标是否疲劳。当达到预设的疲劳阈值，则 给出可视的疲劳等级和声音警告。c o p i l o t 在设计原理上进行了创新，提供一个很好的跟 踪人眼的测量方法，充分利用人眼的基本生理特点，即视网膜对不同波长的红外光能够 反射量的不同。它分别使用8 5 0 纳米和9 5 0 纳米的红外线作为光源得到两副图像。在8 5 0 2 一 东北大学硕士学位论笫1 章绪论 纳米波长对应的图像，视网膜能够反射9 0 的入射光，因此驾驶者的瞳孔亮度较高，而 9 5 0 纳米波长对应的图像视网膜只能反射4 0 的入射光，因此其瞳孔较暗。除此之外， 这两幅图像基本没有差别，因此c o p i l o t 将这两副图像相减，再作一个阈值处理就可以 得到瞳孔的位置。在找到眼睛的基础上，提取出眼睛的图像，并且计算图像的高度来判 断眼睛的睁闭，进而求出p e r c l o s 值。 2 0 0 5 年，澳大利亚的研究人员们推出了一款眼镜，它可以检测出司机是否已经处于 疲劳状态，并及时提出警告。原理是通过红外线传感器监测司机的眼睑活动和眨眼频率， 据此判断司机是否处于疲劳状态。 西班牙的防瞌睡系统a d s ( a n t id r o w s i n es y s t e m ) ，测量驾驶员驾驶时手对方向盘的 握力，由于驾驶员处于疲劳状态时，手对方向盘的握力会变松，甚至会松开。一旦检测 到疲劳发生，利用汽车的灯不停的闪烁，提醒驾驶员及周围的车辆，来有效地防止瞌睡 而造成的伤害 5 1 。 2 0 0 6 年，日本日产公司设计制造了电子报警系统。由于眨眼时间及频率与人的疲劳 状态直接相关，该系统把录像机装在操纵盘上，实时地对驾驶员脸部进行摄像，由信息 处理机分析图像，对眨眼时间和频率进行分析。一旦驾驶员出现长时间的眨眼活动，呼 叫器就会启动，并发出一个女声提示：“请您稍事休息。如果眨眼仍在继续，一股薄荷 加柠檬的气味便释放出来为驾驶员提神醒脑。日产公司计划在5 年内生产这种车型，一 旦投入使用，将为旅途劳顿及爱打瞌睡的驾驶员解决了大问题。 ， 日本尼桑公司研究的抗困倦系统。利用装在前方的摄像机，对人的脸部进行摄像， 通过检测眼睑的活动情况，然后将图像信息送入处理器进行分析。司机的眨眼次数、频 率与人当时的清醒程度有直接的关系，以此来检测司机是否疲劳【6 j 。 1 2 2 国内研究状况 我国对疲劳驾驶检测的研究起步比较晚，我国现已有几种结构简单、使用方便且价 格低廉的疲劳程度报警器，但总体来看，我国对于机动车辆驾驶中驾驶疲劳测评方法的 研究，同发达国家相比，还有很大的差距。 2 0 世纪6 0 年代，我国开始了对疲劳驾驶检测最早的研究。研究是从对飞行员的疲 劳状态判断开始的。中国军事医学科学研究院的陈信等人利用脑电分析器对1 1 7 名飞行 员进行研究，发现人体疲劳与脑电波的a 节律( 1 4 h z ) 有关，正常脑电波的a 节律是有 规律的，而处于飞行疲劳状态下的飞行员a 节律缓慢而无规律，利用脑电波的a 节律 可以实现对飞行员的疲劳状态的判断。 一3 一 东北大学硕士学位论笫1 章绪论 深圳市天童实业有限公司的周鹏应用人体生理学，现代神经学，电子工程学分析了 驾驶员疲劳事故隐患的起因，着手于消除驾驶员的异常疲劳和大脑麻痹来减少疲劳事故 的发生。根据这一思想他研究了“司机疲劳事故预防器 ，该仪器佩戴于司机小腿部与 手腕部，能在十几分钟至一二小时内消除司机己有的疲劳状况，清醒大脑，来有效地防 止因疲劳而发生交通事故。 台湾淡江大学的h o r n g 等对p a p a n i k o l o p o u l o s 利用c c d 摄像头检测眼睛开合状态的 算法进行了改进，改进后的算法能够更为准确的实现对驾驶员眼睛的疲劳状态的检测和 判断【7 1 。 沈阳工业学院李琪于2 0 0 3 年设计了一个疲劳驾驶预警装置。采用1 6 位m c s 2 9 6 单 片机和汇编语言编程，利用传感器件采集脉搏跳动、手握方向盘的压力、人体生物电信 号，同时将这些信号数据与非疲劳状态下的标准信号数据相比，一旦其中两项信号数据 超标即启动报警装置。 金吉公司制造了一种像戒指一样的测量装置，通过测试和检测，得出人的疲劳状态 和人的皮肤阻抗有较为密切的关系。利用人的皮肤阻抗的变化来检测驾驶员是否疲劳。 通过声音提醒防止驾驶员瞌睡。 吉林大学交通学院的王荣本、郭克友等【8 】对驾驶疲劳识别中的人眼定位、人眼状态 分类问题做了详细研究。利用颜色模型粗略的定位出人脸，采用一种基于区域标示算法 的面部人眼定位算法，定位出人眼睛位置，并考虑人脸的几何约束。对于人眼状态的判 断，通过提取人眼图像基于g a b o r 小波的特征，作为b p 神经网络的学习样本，利用神 经网络完成分类训练。实验结果表明，其分类结果达到了较高的准确率。 浙江大学的王炳浩等利用动态脑电仪来对驾驶员的疲劳状态进行分析判断。利用动 态脑电仪分别记录了健康的驾驶员行驶时清醒状态和瞌睡状态下的动态脑电波，将这两 组脑电波数据进行对比，得到了判断驾驶员是否处于疲劳状态的依据。再通过测量驾驶 员的脑电波可以实现对其疲劳状态的判断【9 】。 成都理工大学的黄小燕研究了驾驶员监控系统中的人脸特征提取。系统分为检测帧 特征提取和跟踪帧特征提取。检测帧特征提取方法，主要使用了积分投影，形态学运算 以及对称性的方法。跟踪帧特征提取方法采用了基于嘴的人脸跟踪。实验表明其算法可 以满足实时性要求。 华东师范大学的王正浩利用人脸几何模型等方法实现了眼睛的定位和闭合程度的 计算，采用了基于p e r c l o s 的睡意判定准则。 中南大学的陈艳琴研究了基于肤色模型和级联增强分类器法以及基于几何特征和 一4 一 东北大学硕士学位论第1 章绪论 级联增强分类器法的两种人眼检测方法，并将k a l m a n 滤波和m e a ns h i f t 算法结合用于 眼睛的跟踪，然后使用模板匹配判断人眼的闭合状态，从而计算出p e r c l o s 值以检测 是否疲劳。 上海交通大学的石坚、吴远鹏等【l o 】将驾驶员主动安全性分成熟练、疲劳程度两个独 立的部分进行评价，抽取驾驶员熟练、疲劳程度的特征参数，按统计结果划分成模糊子 集。通过模糊神经网络对驾驶员的熟练、疲劳程度和综合的主动安全性进行分析，可以 定量地分析驾驶员的主动安全性因素。 西南交通大学的张南，蒋葛夫从模糊数学的角度讨论了疲劳程度的分级问题。他们 利用模糊数学的综合评价法，考虑了驾驶疲劳的各个不同疲劳因素共达9 个之多。在此 基础上建立了一种多因素多级模糊数学评价模型。对驾驶疲劳进行了模糊综合评价，为 疲劳等级的划分提供了科学的方法。 上海交通大学的马勇，杨煌普等利用学习算法对驾驶员的驾驶疲劳程度进行分类实 现其疲劳判断。用f c m 聚类算法对原始数据进行无监督学习聚类，用r b f 网络对聚类 后的数据进行学习。从而完成对驾驶疲劳程度、驾驶熟练程度的分类。将其应用到驾驶 员的熟练程度和疲劳程度识别，得到了满意的结果。 中国农业大学的郑培，宋正河等【1 1 】采用了p e r c l o s 的疲劳识别算法建立了疲劳检 测系统。应用了二维高斯模型、灰度直方图、灰度模式匹配等方法，定位出眼睛的位置， 通过计算出眼睛闭合时间，来判断驾驶员是否处于疲劳状态。 ： 上海交通大学的焦昆、李增勇【1 2 】等基于中西医学知识建立了疲劳状态的系统模型。 根据中西医学对疲劳的解释，把人、车、环境看作个大系统，分析了形成驾驶疲劳的 内外因素，并将其区分为精神疲劳和体力疲劳，进而建立起体力疲劳和精神疲劳的系统 模型来实现对驾驶员疲劳状态的判断。 西南交通大学的张开冉【1 3 】对驾驶行为的分析中引入了传递函数，建立函数模型来完 成对疲劳状态的判断。通过时域分析得出驾驶疲劳的量化特征，利用这些量化特征，判 断其疲劳状态，开辟了疲劳驾驶检测的新思路。 1 3 研究意义 长期以来，疲劳驾驶一直是车祸的主要原因之一。1 9 6 5 年美国俄克拉荷马州收费公 路后j ( t h eo k l a h o m at u r n p i k e a u t h o r i t y ) 发表 1 9 5 3 年至1 9 6 4 年2 1 2 8 名机动车驾驶员 发生车辆碰撞事故的调查结果：2 2 的驾驶员打盹驾驶，4 8 的交通事故归结于疲劳驾 驶。据美国国家公路交通安全委员会( t h en a t i o n a lh i g h w a yt r a f f i cs a f e t y a d m i n i s t r a t i o n ， 一5 一 东北大学硕士学位论第1 章绪论 n h t s a ) 的估计【1 4 , 1 5 ，在美国每年大约发生5 6 0 0 0 次与睡眠有关的交通事故，其中约 4 0 0 0 0 人次受伤和1 5 5 0 人死亡，在美国最繁忙的两条公路上有5 0 的重大事故与疲劳 驾驶有关。19 9 5 年美国国家交通安全委员会n t s b ( t h en a t i o n a lt r a n s p o r t a t i o ns a f e t y b o a r d ) 检查了1 0 7 起由驾驶员造成的卡车交通事故，其中5 8 与驾驶员打吨驾驶有关。 中国是个正在快速发展的发展中国家，汽车工业和交通事业在不断的飞速发展，与 此同时，交通事故也在逐步的严重危害着人们的生命和财产安全。2 0 0 5 年1 月1 2 日全 国道路交通安全工作部际联席会议第3 期道路交通安全工作简报【1 6 】的统计结果显示： 2 0 0 4 年全国发生的一次死亡1 0 人以上的5 5 起群死群伤特大交通事故中，因超速行驶、 疲劳驾驶、违法超车三种交通违法行为导致特大事故3 0 起，占事故总数的5 4 5 ，其 中疲劳驾驶导致事故8 起，占事故总数的1 4 5 。由以上的数据可见疲劳驾驶对道路交 通安全的危害性。 我国经济的快速发展，汽车拥有量的不断增长，会给交通部门和驾驶员带来更大的 压力，因此，研究出一种标准、完善、精度高的疲劳驾驶检测系统具有非常现实的意义。 它在减少交通事故的发生和人民生命财产的巨大损失上起着不可估量的作用，对我国交 通事业的发展也具有很重要的现实意义。同时，疲劳驾驶检测系统不仅仅用于机动车驾 驶员，也可以应用到飞机驾驶员、火车司机等，对提高驾驶人员的警惕性起着重大的作 用。另外，在一些对操作人员的精神状态要求非常严格的职业和场合中，也都可以使用 疲劳驾驶检测系统对相关人员做出及时的警告和提示，例如车床操作员和电力或危险地 生产流程控制室。当然，人们处于疲劳状态时间过长下会对人们的身体健康造成很大的 破坏，利用此系统可以有效的提醒人们注意合理的休息，也有效地提高了人们的健康和 生活水平。基于以上几个方面，疲劳检测技术的前景是十分光明的，其产品也将有广泛 的市场。 1 4 本文的工作内容 本文的工作内容为疲劳驾驶检测系统的实现。首先，通过a d a b o o s t 算法来训练目 标分类器，以满足后期的目标检测的需要。其次，通过摄像头采集目标图像，并利用视 频采集卡进行相应的转换和压缩，在研祥智能的e c 5 1 7 1 9 c l d n a 嵌入式开发板上完成 了对图像的采集，利用o p e n c v 库中的函数完成对图像的灰度处理、二值化处理及图像 增强处理等。然后，把训练的目标分类器和处理后的待检测图像加载到目标检测算法中 进行目标检测，确定出眼睛的位置。最后，通过对眼睛的睁开闭合状态及状态的持续时 问，从而判断出目标是否疲劳，实现其疲劳驾驶检测的功能。 一6 一 东北大学硕士学位论第1 章绪论 本文组织结构如下： 第1 章为绪论。首先阐明论文研究的背景意义，接着详细介绍了国内外研究现状， 最后阐述了本课题研究的现实意义和理论意义。 第2 章为相关技术介绍。本章主要对系统所运用到的相关的知识和技术进行了详细 的介绍。首先介绍了有关疲劳驾驶的相关知识以及对疲劳检测的方法；然后构建了系统 的硬件总体框图；对硬件组成的各部分和硬件参数作了介绍并对所利用的硬件优势进行 了分析；最后，对系统软件开发环境进行了介绍。 第3 章为系统总体设计和算法研究。本章首先对疲劳检测系统的设计目标作了阐述， 说明了系统要实现的几个功能；然后对系统进行了总体的设计和各个模块的功能介绍； 随后目标检测所用到的几种算法作了介绍和分析；最后确定了本系统的算法，并对目标 检测算法和疲劳判断算法进行详细的分析。 第4 章为系统具体设计与实现。本章首先对系统总体设计作了阐述。之后对系统的 分类器训练模块、图像采集模块、图像处理模块、目标检测模块和疲劳判断模块实现过 程分别作了详细的分析。同时，在具体的实现过程中，尤其对设计的一些算法进行了优 化。 第5 章为系统测试和结果分析。本章首先对系统的检测界面进行介绍，并对检测过 程作了大致叙述。然后分别通过大量的测试对人眼识别、疲劳判断和并发性能进行分析。 最后对系统实现的测试结果进行总结，通过疲劳检测系统的处理速度分析了系统的实时 性能；通过人眼检测识别率、误检率和漏检率分析了人眼检测准确性能；通过对正面、 侧面及戴眼镜目标的正判率和误判率分析了疲劳判断的准确性能。 第6 章为总结与展望。本章首先对本文的研究设计工作进行了概括，对设计的创新 点和优化方面进行了总结，分析了系统存在的一些问题，并对未来进一步的工作进行了 展望。 一7 一 一8 一 东北大学硕士学位论文 第2 章相关技术介绍 第2 章相关技术介绍 从医学角度来说，疲劳使机体生理过程不能将其机能持续在某一特定水平或各器官 不能维持其预定的运动强度。从心理学的角度来说，疲劳是对继续完成手头工作的一种 主观厌恶感。这种厌恶感本来是一种正常的生理反应，但是对于正在作业的驾驶员来说， 疲劳将严重影响交通安全和人民生命安全。 2 1 疲劳驾驶知识 2 1 1 疲劳驾驶定义 疲劳驾驶【1 7 】，是指驾驶员在长时间连续行车后，产生生理机能和心理机能的失调， 而在客观上出现驾驶技能下降的现象。驾驶员睡眠质量差或不足，长时间驾驶车辆，容 易出现疲劳。驾驶疲劳会影响到驾驶员的注意、感觉、知觉、思维、判断、意志、决定 和运动等诸方面。疲劳后继续驾驶车辆，会感到困倦瞌睡，四肢无力，注意力不集中， 判断能力下降，甚至出现精神恍惚或瞬间记忆消失，出现动作迟误或过早，操作停顿或 修正时间不当等不安全因素，极易发生交通事故。在2 0 0 4 年实施的新交通法中，对司 机的疲劳驾驶做出了明确的规定，根据道路交通安全违法行为处罚及记分标准中规 定：“连续驾驶机动车超过4 小时未停车休息或者停车休息时间少于2 0 分钟的，将被罚 款2 0 0 元、扣两分。”在这里疲劳驾驶的界定标准为连续驾驶时间。科学家们认为，当 司机连续驾驶超过3 个小时就被认为进入了疲劳驾驶状态，在这种状态下司机的反应速 度、心脏活动能力和保持身体平衡等机能都会下降，稍有不慎就会发生事故。一天驾驶 超过1 0 小时以上，睡眠不足四五个小时，事故发生率就非常高。 2 1 2 疲劳驾驶的表征 疲劳状态是一种不定量的状态，在不同时间、不同个体、不同情境下，疲劳产生的 程度也不同。所以在驾驶员身上，疲劳状态的发生从弱到强可能有不同的变化。疲劳状 态产生以后，驾驶员疲劳的心理表现形式，可以通过驾驶员的自我感觉或主观体验来反 映，概括起来主要有【1 8 】： ( 1 ) 无力感。驾驶员感到体力减弱、操作无力，方向、换挡等操作主动性下降。 ( 2 ) 注意功能失调。疲劳会引起注意稳定性下降，注意力分散，反应时间显着增长， 一9 一 东北大学硕士学位论文 第2 章相关技术介绍 判断能力下降，对事物反应迟钝，接收外界信