（机械电子工程专业论文）基于人脸识别的驾驶员疲劳驾驶检测系统的研究与实现.pdf

i i il li iii l lii l l li iiii y 18 4 10 6 6 at h e s i sf o rt h ed e g r e eo fm a s t e ri nm e c h a n i c a la n de l e c t r i c a le n g i n e e r i n g s t u d ya n di m p l e m e n t a t i o no f d r i v e rd r o w s i n e s s d e t e c t i o ns y s t e mb a s e do nf a c er e c o g n i t i o n b yz h o u y u s u p e r v i s o r ：p r o f e s s o rw a n gh o n g n o r t h e a s t e r nu n i v e r s i t y j a n u a r y2 0 0 8 独创性声明 本人声明所呈交的学位论文是在导师的指导下完成的。论文中取得的研 究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过的研究 成果，也不包括本人为获得其他学位而使用过的材料。与我一同工作的同志 对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢意。 学位论文作者签名：j 司字 e l 期：砷伽 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论文 的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部或部 分内容编入有关数据库进行检索、交流。 ( 如作者和导师不同意网上交流，请在下方签名：否则视为同意) 学位论文作者签名：导师签名： 签字日期：签字日期： 东北大学硕士学位论文 摘要 基于人脸识别的驾驶员疲劳状态检测系统研究与实现 摘要 驾驶员疲劳驾驶是引发恶性交通事故的重要原因之一，每年造成大量人员伤亡，直 接或间接导致巨额的经济损失。安全辅助驾驶技术作为智能交通系统的关键技术日益受 到人们的关注，其中，驾驶员疲劳检测技术对降低交通事故率有着重要的作用。因此驾 驶员疲劳检测技术引起工业界和学术界的广泛关注，并成为研究的热点。 本文围绕疲劳驾驶技术展开研究，以人脸识别和图像处理技术为基础，通过识别驾 驶员的眼部状态来检测其是否疲劳。论文的主要研究内容如下： 论文首先分析了驾驶疲劳的机理、影响因素和大多数人的疲劳表现，重点对司机的 脸部检测与眼睛定位算法进行了研究和改进，对人脸定位、人眼定位、眼睛状态识别以 及相关的图像处理技术进行了较为深入的研究，在借鉴己有的相关算法的基础上：设计 并实现了一种适合于疲劳预警系统的改良算法。 本文选用y c b c r 颜色空间作为肤色分布统计的映射空间，建立一个基于肤色的二维 高斯分布数学模型。利用基于相似度和人脸图像积分投影函数的方法，制作人脸掩模图 像，屏蔽掉除人脸图像外的复杂背景，使得系统的检测速度大大提高，人脸定位更加准 确。 在采用肤色检测方法定位人脸的基础上，提出了一种结合人脸几何结构灰度特征和 图像重心的人眼定位的方法。实验表明该方法能快速且较为正确地定位人眼中心，并能 识别闭眼图像。 提出了一种结合灰度投影和霍夫变换进行眼部状态识别的方法，并且综合全文提出 的若干人脸定位、人眼定位和眼部状态识别的算法，并利用多张图片进行了实验。 关键词：疲劳驾驶；肤色模型；人脸检测：眼睛定位；眼睛状态判别：疲劳识别 j-1 东北大学硕士学位论文 a b s tr a c t s t u d ya n di m p l e m e n t a t i o no f d r i v e rd r o w s i n e s s d e t e c t i o ns y s t e m ba s e do nfa c er e c o g n i t i o n a bs t r a c t d r i v e rf a t i g u ei so n eo ft h ei m p o r t a n tc a u s e so fs e r i o u sa c c i d e n t s i tr e s u l t si nal o to f p e o p l e sd e a t h so ri n j u r i e sa n dd i r e c t l yo ri n d i r e c t l yt r e m e n d o u se c o n o m i cl o s s i no t h e rw o r d s ， s a f e t yd r i v i n ga s s i s tt e c h n o l o g yh a sb e e na r o u s em o r ea n dm o r ea t t e n t i o n a n di t i sv e r y i m p o r t a n tf o ru st os t u d yt h et e c h n i q u eo ff a t i g u ed e t e c t i o nt or e d u c et h et r a f f i ca c c i d e n t s t h e r e f o r e ，m a n yc o u n t r i e sm a k eg r e a te f f o r t so nh o w t od e t e c td r o w s i n e s sd u r i n gd r i v i n g b a s e do nt h ed e t e c t i o no fd r i v e r se y es t a t e s ，t h i sp a p e rt r i e st os e tu pad r i v e rd r o w s i n e s s d e t e c t i o ns y s t e mt h a tc a l li s s u ep r o m p tw a r n i n g sw h e nn e c e s s a r y t h i sp a p e rm a i n l yc o v e r st h e f o l l o w i n gw o r k s ： t h em e c h a n i s m ，p o s s i b l er e a s o n so fd r i v ef a t i g u e ，a n dm o s tp e o p l e sf a t i g u ee x p r e s s i o n a r ea n a l y z e df i r s t l y t h ea r i t h m e t i co fd r i v e r sf a c ed e t e c t i o na n de y el o c a t i n gi ss t u d i e da n d i m p r o v e d t h em e t h o do ff a c ed e t e c t i o n ，e y el o c a t i o n ，e y es t a t e sr e c o g n i t i o na n ds o m e t e c h n i q u e so fd i g i t a li m a g et r e a t m e n t a r cs t u d i e d b a s e do nt h ec u r r e n ta l g o r i t h m s ，t h e a l g o r i t h ma d a p t e dt ot h es y s t e mi sp r e s e n t e d t h es k i nc o l o rh a st h eg o o da s s e m b l i n gc h a r a c t e ri nt h ec o l o rr o o m t h i st h e s i ss e l e c t s y c b c rc o l o rr o o ma sd i s t r i b u t e da n ds t a t i s t i c a lm a p p i n gr o o m ，a n db u i l d sat w o - d i m e n s i o n a l g a u s ed i s t r i b u t e dm a t h e m a t i c a lm o d e lt h r o u g hs t a t i s t i c sa n dr e c o g n i t i o n t h i sf a c ed e t e c t i n g m o d e lb a s e do ns i m i l a r i t ya n dt h ei n t e g r a lp r o j e c t i o no ff a c ei m a g e i tc a l lc o v e rt h eo t h e r u s e l e s si m a g ei tc a na c c e l e r a t et h es p e e do ft h ed e t e c t i o na n dm a k et h ef a c el o c a t i o nm o r e p r e c l s t o n an e wm e t h o du s i n gt h eg e o m e t r i c a lc h a r a c t e r i s t i c so fh u m a nf a c ea n dt h ec e n t e ro f g r a v i t yo fi m a g ei sp r e s e n t e df o rt h ee y el o c a t i o n t h ee x p e r i m e n t sh a v ep r o v e dt h a ti ti sa v e r ye f f e c t i v em e t h o da n di ti sa l s oa p p l i c a b l ef o r t h ee y e c l o s e di m a g e s am e t h o du s i n gt h eg r a y l e v e lp r o j e c t i o na n dh o u g ht r a n s f o r mi sp r e s e n t e df o rt h ee y e s t a t e sd e t e c t i o n t h ea l g o r i t h mo ff a c el o c a t i o n ，e y el o c a t i o na n de y es t a t e sr e c o g n i t i o na r e v ，_孙 i i ， 东北大学硕士学位论文a b s tr a c t i n t e g r a t e di no r d e rt od e t e r m i n ed r o w s i n e s s s e v e r a lp i c t u r e sa r et r e a t e di nt h es i m u l a t i o n s y s t e m k e y w o r d s ：d r i v e rf a t i g u e ；c o m p l e x i o n a lm o d e l ；f a c el o c a t i o n ；e y el o c a t i o n ；e y es t a t e s d e t e c t i o n ；d r o w s i n e s sd e t e c t i o n - 一 0 d j 1jlj，。 东北大学硕士学位论丈 目录 目录 独创性声明i 摘要i i i a b s t r a c t 、， 第l 章绪论1 1 1 研究背景及意义1 1 2 疲劳驾驶检测技术的理论概述2 1 2 1 疲劳驾驶相关理论2 1 2 2 疲劳驾驶检测方法3 1 3 疲劳检测国内外研究历史与现状5 1 3 1 国外研究现状5 1 3 2 国内研究现状8 1 4 本文的研究内容及结构安排9 1 5 本章小结。9 第2 章人脸图像采集1 l 2 1 软件系统组成1 l 2 1 1 软件系统功能流程图1 1 2 1 2 软件支持1 1 2 2 硬件系统组成1 2 2 2 1 摄像头的选择一1 2 2 2 2 图像采集卡_ ：1 3 2 2 3 计算机配置1 4 2 3 人脸图像采集要求1 4 2 4 小结1 4 第3 章人脸图像的检测与定位- 1 5 3 1 人脸检测方法综述1 6 3 1 1 基于知识的自顶向下的方法1 6 东北大学硕士学位论文 目录 3 1 2 基于人脸特征的自低向上的方法1 6 3 1 3 模板匹配的方法1 6 3 1 4 基于人脸外观的方法1 6 3 2 基于肤色的人脸检测算法1 7 3 2 1 肤色特征在人脸检测中的特点l8 3 2 2 色彩空间与色彩空间聚类1 8 3 2 3 色彩空间的选择1 9 3 2 4 预处理2 0 3 2 5 相似度的计算2 5 3 2 6 图像的二值化2 6 3 2 7 去噪声和图像重建2 7 3 2 8 建立人脸掩模2 7 3 2 9 利用积分投影法确定人脸轮廓2 8 3 2 1 0 人脸区域分割一3 l 3 3 人脸定位实例3 3 3 4 本章小结3 3 第4 章人眼的检测与定位3 5 4 1 图像预处理3 5 4 1 1 图像的灰度化处理3 5 4 1 2 图像平滑去噪3 6 4 2 人眼定位及其特征提取3 7 4 2 1 人眼定位方法概述3 8 4 2 2 眼睛粗定位4 0 4 2 3 人眼的精确定位及其特征提取。- 一4 4 4 3 眼睛状态判别4 5 4 3 1 眼部状态识别的方法概述一4 5 4 3 2 一种结合投影方法和霍夫变换的眼部状态识别方法4 8 4 4 本章小结5 0 第5 章驾驶员疲劳状态检测系统5 1 5 1 疲劳检测系统结构5 1 v i i i 、 一 1 i 一 | t 东北大学硕士学位论文 目录 5 2 眼动分析5 2 5 2 1 眼动技术5 2 5 2 2 眼动的三种基本形式5 2 5 2 3 眼动特点5 3 5 3p e r c l o s 方法简介5 4 5 3 1p e r c l o s 测量原理5 4 5 3 2 基于p e r c l o s 测量原理的眼睛状态判断一5 6 5 4 本章小结5 6 第6 章总结与展望5 7 6 1 总结5 7 6 2 展望5 7 参考文献5 9 致谢6 3 - l x - 一 东北大学硕士学位论文第1 章绪论 1 1 研究背景及意义 第1 章绪论 目前，全世界在道路上行驶的机动车己超过亿辆，由机动车事故导致的受伤人数约 有2 5 0 0 万人。道路交通事故比地震、暴风、洪水、干旱、火灾、战争更严重，每一年由 于交通事故的原因至少使5 0 万人死亡。统计资料表明，全球道路交通事故的总数约占安 全事故的9 0 左右，造成的伤亡人数占所有安全事故伤亡人数的8 0 以上。在非正常死 亡之中，道路交通事故己成为名副其实的“第一杀手”。2 0 0 4 年美国国家交通安全委员 会n t s b ( t h en a t i o n a lt r a n s p o r t a t i o ns a f e t yb o a r d ) 检查了1 0 7 起由驾驶员造成的卡车交 通事故，表明有5 8 的交通事故与驾驶员疲劳驾驶有关【i j 。 我国每年因道路交通伤亡人数居世界首位，疲劳驾驶所导致的交通事故也以相当快 的速度递增。以北京为例，因疲劳所导致的交通事故占到事故总数的2 2 以上。从某种 意义上来说，驾驶机动车比驾驶火车、轮船和飞机的危险性更大，由它造成的灾难更多， 因为驾驶机动车不仅受自然因素和自身因素的影响，而且在驾驶过程中，时刻都受周围 道路交通环境因素干扰，这对机动车驾驶员心理状况和驾驶行为提出更多、更高、更严 的要求。表1 1 是近年来我国道路交通事故发生的统计数据【2 】。 表1 1 我国道路交通事故统计表 t a b l e1 1t a b l eo f t r a f f i ca c c i d e n ti no u rc o u n t r y 从上表可以看出，在“十五”( 2 0 0 1 2 0 0 5 ) 期间，我国的交通事故居高不下。自2 0 0 5 年以来，全国交通事故死亡人数首次回落到l o 万人以下。公安部交通管理局2 0 0 4 年与 1 - 东北大学硕士学位论文第1 章绪论 2 0 0 5 年的统计结果表明：2 0 0 4 年与2 0 0 5 年的疲劳驾驶直接导致的死亡人数分别为2 7 9 9 和2 5 6 6 ，产生的死亡率分别是2 6 1 4 和2 5 9 9 。但是疏忽大意、判断错误、措施不当 三项相加分别是1 8 8 和2 0 2 9 ；产生的死亡率是1 8 6 和2 0 8 4 ，而这三项事故原因 中往往夹杂着驾驶疲劳。 针对国内外交通事故的严峻形势，西方发达国家投入巨大的人力、物力广泛开展驾 驶疲劳的研究工作。我国驾驶疲劳测评方法相对落后，研究驾驶疲劳测评方法的意义是 显而易见的。传统的驾驶疲劳测评方法己经不能适应时代发展要求。因此，结合现代光 学、电子学、图象处理技术、模式识别技术、计算机技术以及心理学等学科进行驾驶疲 劳测评方法的研究显然是十分必要的【3 1 。因此，开发一种车载的、实时的、非接触式的 疲劳测量装置己成为国内外专家学者共同追求的目标。 1 2 疲劳驾驶检测技术的理论概述 随着机动车辆的增加，交通事故发生量呈现出不断上升的趋势。从国内历年交通事故 统计【4 】的大量案例分析中得出结论：因司机疲劳驾驶所造成的道路交通事故约占总数的 1 5 至2 0 。目前，已有一些简单实用的疲劳测评方法，如：脑电图e e g 、肌电图e m g 、 眼动图e o g 、瞳孔测量计等，但这些方法都是接触式的疲劳检测方法，势必会给司机造 成一定的影响；另外有些疲劳检测方法【5 j 是在p c 上仿真，并非在线检测，具有非实时性 和滞后性等缺点，同时也不能成为一个独立的嵌入式系统。为了解决上述问题，需要将 嵌入式系统设计技术与数字图像处理技术、疲劳检测技术相结合研究小型化的、能够脱 机工作的疲劳在线检测系统。 j 疲劳驾驶实时监测系统主要通过摄像和图像处理技术监测司机的眼睛特征来判断其 是否疲劳。文中采用美国联邦公路管理局( f e d e r a lh i g h w a y a d m i n i s t r a t i o n ) 推荐的驾驶疲 、 劳测定方法p e r c l o s 【6 j ( p e r c e n t a g eo fe y ec l o s u r eo v e rt h ep u p i lo v e rt i m e ) 是指眼睛闭合 时间古某特定时间的百分率，通过摄像技术对眼睛进行实时检测和跟踪分析眼睛的状态 | 和提取眼睛的特征参数，计算p e r c l o s 值来判断司机的疲劳程度。研究经济型的车载 疲劳监测系统对于降低我国交通事故发生率具有重要意义。 1 2 1 疲劳驾驶相关理论 1 2 1 1 疲劳驾驶概念 疲劳驾驶( f a t i g u e ) 是脑力、体力同时参与的技术性疲劳。由于驾驶员动作重复的次 - 2 - 东北大学硕士学位论丈第l 章绪论 数太多，使其在生理和心理上发生某种变化，在客观上出现驾驶机能低落的现象。在行 车过程中，驾驶员的身体负荷除了与一般的劳动有相同点之外，还要长时间坐在一个座 位上，动作受到一定的限制，并且时刻要保持精神高度集中，收集各种随机的信息，而 且要迅速、准确地对外界信息进行分析和比较，考虑采取相应的措施并且及时正确地进 行操作。这要求驾驶员的多种器官高度地协调配合，在这种复杂的情况下，驾驶疲劳更 容易出现。 1 2 1 2 疲劳驾驶的致因 根据疲劳驾驶引发的交通事故的分析，如图1 1 所示，感知疲劳占总体事故的5 2 ， 信息处理疲劳为3 8 ，操作疲劳以及其它疲劳占1 0 。 图1 1 各种驾驶疲劳的比例 f i g 1 一r a t i oo f t h ek i n d so f d r i v e rf a t i g u e 驾驶疲劳的致因与驾驶行为密切相关，驾驶疲劳的形成原因可分为直接原因和间接 原因。 直接原因指的是驾驶过程中的驾驶疲劳因子。驾驶疲劳因子包括驾驶疲劳时间负荷 主因子、驾驶疲劳速度负荷因子、驾驶疲劳背景负荷因子、驾驶疲劳环境负荷因子、驾 驶疲劳社会负荷因子、驾驶疲劳体力负荷因子、驾驶疲劳心理负荷因子、驾驶疲劳道路 负荷因子、驾驶疲劳车辆负荷因子以及驾驶疲劳综合负荷因子等的制约而导致驾驶行为 直接恶化，其在时间及空间的错位特征严重。直接原因包括驾驶员身体状况欠佳或患有 某些疾病、精神压力过大或过于兴奋、长时间工作而缺乏睡眠和休息、作息时间反常等 等。间接原因则是导致驾驶行为间接恶化的条件和状态，如道路状况复杂、车辆状况不 佳以及不良的天气状况等等。间接原因影响直接原因，由这些疲劳单独或共同作用形成 驾驶疲劳。 1 2 2 疲劳驾驶检测方法 目前的测定疲劳方法主要有以下三种典型的方式： 1 2 2 1 基于驾驶员生理参数测量的监测方法 3 - 东北大学硕士学位论文第1 章绪论 这种方法是通过脑电图，心电图，眼电图等测定大脑、心脏、肺部等的活动情况来 测试获取驾驶员烦躁不安的情绪波动、心跳频率、眨眼频率和持续时间等疲劳数据，用 以判断驾驶员是否打磕睡或睡着7 9 1 。如日本丰田公司开发的一种防疲劳驾驶系统，它通 过左手的手腕装置来监测驾驶员生理参数值，通过声音报警( 第一阶段) ，座椅的振动( 第 二阶段) 甚至自动制动( 第三阶段) 向驾驶员报警。但是该系统需要驾驶员粘贴电极和电线 而不受欢迎。再如以色列a t l a s 开发了一系列的相关驾驶员监测器，称为n o v a l e r t ，它 j 应用肌电图学( e l e c t r o m y o g r a p h y ) 原理来监测驾驶员手腕活动，通过一种无线手腕监测器 并通过振动刺激向驾驶员报警。这种方法进行疲劳测定比较精确、有效、客观，但这种 一 测量方式一般需要配戴有线的装置，是一种接触式的测定，给司机带来不便。 1 2 2 2 基于车辆参数的监测方法 这种方法是通过监视司机的驾驶操作行为来测定司机的疲劳状况，如驾驶速度，道 路标识线的位置，方向盘的操纵情况，操纵把手的压力等，如西班牙防疲劳系统s p a n i s h a d s ( a n t i d r o w s i n e s ss y s t e m ) 通过监测方向盘的转向压力来监测驾驶员嗜睡。一旦监测 到驾驶员疲劳，系统通过闪汽车前照灯和声音报警来警告周围的汽车，而且自动切断汽 车燃料供给使汽车停车。s 疵t l 认c 是美国的一种新的刚刚市场化的驾驶员监测系统， 它能有效地监测驾驶员疲劳状裂1 仉1 4 】。但是该系统是基于车道跟踪系统，需要白车道标 志线，不能在夜间和雨天工作。美国戴姆勒一克莱斯勒公司开发了一种监测算法，它利 用车辆的侧向位置，车轮转向角和纵向车速等信息来监测驾驶员疲劳。这种算法在模拟 场地实验中是有效的。系统被证明是可行的但是仍未完全开发成功。总的来说，基于行 为的测定方法虽然是一种非接触方式，也比较精确、客观，但测试条件容易受到具体的 车辆类型和驾驶环境的影响限制。 1 2 2 3 基于驾驶员个体特性的监测方法 这种方式是通过提取司机的个体特性，如：眼睛闭合时间变长、眼睛凝视方向改变、 头部倾斜、打呵欠等来测定疲劳。有两种监测方法，一种是通过可穿戴的传感器来监测， 一 如在欧盟s a v e ( s y s t e mf o re f f e c t i v ea s s e s s m e n to nd r i v e rs t a t ea n dv e h i c l ec o n t r o li n e m e r g e n c ys i t u a t i o n s ) 中，一种用于驾驶员疲劳监测的眼睑传感器被开发出来了【1 5 9 1 。这 种传感器具有很高的检测率，但它不允许驾驶员戴眼镜，而且其检测率会受到环境光照 条件和驾驶员驾驶风格的影响，例如，将手放在方向盘上。然而，在较理想的条件下其 检测率可达9 5 f 2 0 l 。另外一种是无接触式的基于计算机视觉的监测方法，即利用图像处 理与模式识别技术，如美国纽约r e n s s e l a e rp o l y t e c h n i c 学院q i a n gj i 等人开发了一种无 4 东北大学硕士学位论文第1 章绪论 接触式驾驶员疲劳监测系统。该系统利用一个基于红外l e d 光源的短角c c d 摄像机和 一个远角c c d 分别获取驾驶员眼睛图像和脸部图像，利用红外光对瞳孔的成像特性定 位人的眼睛，再获取驾驶员眼睑的运动等来判断驾驶员的疲劳状态。文献【2 1 1 研究表明基 于计算机视觉的监测方式能够更加精确地，鲁棒地提取司机疲劳状况信息，具有广泛的 应用前景。 1 3 疲劳检测国内外研究历史与现状 疲劳驾驶研究分为主观和客观两种方法，主观的研究方法有主观调查表、驾驶员自 我记录表、睡眠习惯调查表和斯坦福睡眠尺度表四种。这些反映主观方面的调查表格虽 然使用简单，但是由于填写者本身对表格项目的理解存在一定的差异，填写的准确性必 然大打折扣，其结果常常不能令人满意，因此不能作为驾驶疲劳评测的通用标准尺度。 客观的方法有脑电图( e e g ) 、眼电图( e o g ) 、肌电图( e m g ) 、呼吸气流( 鼻声传感 器) 、呼吸效果( 胸腔部传感器) 、开车和睡眠时心电图( e k g ) 等测量方法。尽管这些方 法是比较准确的，但是由于这些方法一般是在驾驶前或驾驶后测量，是超前或滞后的， 是非实时的。况且在驾驶室有限的空间内安置复杂的检测仪器也是十分困难的。而且驾 驶员脱离驾驶室或未进入驾驶室的精神状态是不同的，再精确的仪器其测量结果也会大 受影响。因此，开发一种车载的、实时的、非接触式的疲劳检测装置已成为国内外专家 学者共同的目标。 1 3 1 国外研究现状 早期的驾驶疲劳测评主要从医学角度出发，借助医疗器械进行。这些研究可以追溯 到1 9 3 5 年美国交通部管辖的洲际商业协会i c c ( t h ei n t e r s t a t ec o m m e r c ec o m m i s s i o n ) 要 求美国公共卫生服务署u s p h s ( t h eu n i t e ds t a t e sp u b l i ch e a l t hs e r v i c e ) 负责调查城市间 商业机动车驾驶的服务时间【2 2 i h o s ( t h eh o u r so fs e r v i c e ) 的管理条例，但是驾驶疲劳真 正进行实质性的研究工作是由美国国会批准交通部实施的驾驶服务时间h o s 改革开始 的。此时，美国己把驾驶疲劳的研究提高到了立法高度。 随着科学技术的进步，驾驶疲劳测量方法有了很大的发展，其中最有代表性的有基 于生理信号的检测方法、基于身体反应的检测方法、基于操控行为的检测方法、基于汽 车行为的检测方法、基于驾驶员反应的检测方法以及基于行驶条件的检测方法几种，表 1 2 对这几种方法的准确性和实用性做了一个比较。 5 东北大学硕士学位论文第1 章绪论 表1 2 疲劳检测技术 t a b l e1 2t e c h n i q u eo f f a t i g u ed e t e c t i o n 从表中可以看到不同的方法各有优缺点，其中基于驾驶员身体反应的疲劳检测方法 相对于其他方法在各项指标都较好。 多年来，世界各国纷纷展开驾驶疲劳车载电子检测装置的开发研究工作。当前研究 瞌睡疲劳驾驶检测的机构和正在开发的瞌睡检测系统有： ( 1 ) 日本尼桑汽车公司研制出一种能自动提醒司机驾车时不要打磕睡的电子报警系 统，该系统的工作原理是，通过安装在汽车仪表盘上的电眼随时摄下司机的眼部图像， 然后将图像信息送入处理器进行分析。司机的眨眼次数、频率与人当时的清醒程度有直 接的关系，如果司机眨眼的次数过多，系统的电子报警器就会鸣响，并向驾驶室喷放一 种含有薄荷和柠檬等醒脑物质的香气，及时消除司机睡意。 ( 2 ) 日本电脑便民公司最近开发出一种及时提醒司机注意的软件，可以防止事故发 生。这个仪器是在方向盘上安装导电性强的探测装置，可以感知手握方向盘时的脉搏跳 动。车上搭载的软件随时给予解析，通过数据判断精神压力、情绪紧张、注意力不集中、 磕睡等精神和生理的状况，当超过一定的指标，软件将通过各种装置向司机自动发出警 告。警告的方法多种多样，包括发出声音、喷射气体、光线刺激、振动座椅、汽车导航 系统发出信号等。 ( 3 ) 日本丰田公司研制的疲劳报警装置，只要驾驶员在操纵转向盘时有一点迟钝，或 6 东北大学硕士学住论文第1 章绪论 脉搏有一点异常变化，该装置就能测出这些反应，并发出警告，令坐挚振动或自动刹车。 ( 4 ) 日本东京大学研制出的疲劳测试器，可戴在司机的手腕上。该测试器内部装有一 小型氧气电池电极，能测量司机汗液中的乳酸、氨和酒精含量，然后通过小型无线电发 射器把数据传送到研究中心。研究中心通过电脑分析，判定司机的疲劳程度，及时向司 机发出警告，避免交通事故的发生。 ( 5 ) 德国人发明了一种奇特的眼镜，这种眼镜有一个灵敏的光电开关，与驾驶室里的 电灯和声音发生器连接。司机在途中打磕睡，眼镜旱的光电开关会自动接通电源，使司 机眼前的灯光发亮，引起司机警觉。如未奏效，声音发生器会发出更大的声音。如司机 仍未清醒，开关会接通制动器，强制停车。 ( 6 ) 法国的一些研究机构在联手研制一种监测司机注意力下降的系统，它可以通过声 音或光信号提醒司机。他们计划用五种传感器：视频传感器( 用来不间断的测量并分析汽 车与旁侧车道白线间的距离) 、方向盘传感器( 监控方向盘的活动情况) 、脚踏板传感器( 监 控脚踏板上的压力状况) 、眼睑传感器( 监控眼睑眨动持续的时间) 、汽车速度传感器( 监 控汽车行驶的速度) 。负责这项技术开发的法国图卢兹西门子v d o 汽车公司希望能在 2 0 0 6 年给汽车安装上这套装置。这项研究工作己经在去年上马，总投资是1 7 0 0 万法郎， 主要是对车上安装这一套装置的可行性进行研究。 ( 7 ) 英国科学家为司机研制的防磕睡报警系统，可以监视司机开车时的眼睛和肌肉运 动，大脑活动及心率等，如发现异常，系统能及时发出报警。 ( 8 ) 西班牙的防磕睡系统( a n t i d r o w s i n e s ss y s t e m ) ，测量驾驶时手对方向盘的握力， 一旦检测到疲劳发生，利用汽车的灯不停的闪烁，提醒周围的交通车辆。 ( 9 ) 日本发明一种疲劳报警器，在汽车的后视镜装有一种嵌入式摄像机，而这种摄像 机的镜头中心对准的正是司机的眼睛，当摄像机自动监测到司机的眼睛长期处于不睁开 状态时，它就会发出警告。 ( 1 1 d ) 方向盘监视装置s a m ( s t e e r i n ga t t e n t i o nm o n i t o r ) 。一种监测方向盘非正常运 动的传感器装置，方向盘下面的杆上装有一条磁性带，用以监测方向盘的运动，如果方 向盘4 秒钟不运动，该监视器发出声音报警，直到方向盘继续正常运动为止。方向盘继 续正常运动时监视器不发出声音报警。另外，s a m 与录像机配合使用可以为保险公司 提供证据。 ( 1 1 ) 1 9 9 6 年世界知名学者k n i p l i n g ，w a n g 和k a n i a n t h r a 等人测量眼睛的开闭、眼睛 的运动和眼睛的生理学表现形态来研究机动车驾驶员的疲劳问题，他们认为利用眼睛来 - 7 -，- 东北大学硕士学位论文 第1 章绪论 判断疲劳是非常恰当的，并且也是行之有效的方法【2 3 1 。 ( 1 2 ) 电子“清醒带，使用时用一根可以调整的松紧带固定在驾驶员头部，“清醒带” 的电源插头插入汽车内的香烟自动点火器的插座内，装在带子里的半导体温差电偶，就 使平展在前额部位的铝片变凉，使驾驶员睡意消除，精神振作。据说戴上这种“清醒带”， 足足可以消除睡意2 4 小时。“清醒带”使用的电压是1 4 v ，电流是5 0 0 m a ，十分安全。 ( 13 ) 1 9 9 9 年4 月美国联邦公路管理局( f e d e r a lh i g h w a ya d m i n s t r a t i o n ) 的技术论坛上 发表题为“o c u l a rm e a s u r e so f d r i v e r a l e r t n e s s ”的文章，首先提出把p e r c l o s ( p e r c e n t a g e o f e y e l i dc l o s u r eo v e rt h ep u p i lo v e rt i m e ) 闭眼所占的时间作为预测机动车驾驶员驾驶疲 劳的可行方法。因为生理学表现形态能够充分提供机动车驾驶员的警觉状态的信息，眼 睛的视觉表现行为能够被测量。研究结果表明一般情况下，人们眼睛闭合的时间在o 1 o 3 秒之间，如果在驾驶时，眼睛闭合时间达到0 5 3 秒时，则很容易出现事故。d i n g e s l 2 4 】 认为，p e r c l o s 能相当准确地反映疲劳状态。目前，p e r c l o s 方法已被公认是最有效 的、车载的、实时的驾驶疲劳测评方法。 1 3 2 国内研究现状 国内在人脸识别技术和驾驶员疲劳检测方面的研究起步较晚。目前国内在驾驶员疲 劳检测方面的研究有：浙江大学正在研究驾驶防瞌睡装置，该装置通过实时监测一段时 间内驾驶人员眼睛的活动如眼睛的闭合时间、闭合频率等参数，来判断当前驾驶人员的 注意力程度，从而识别驾驶员是否疲劳。北京航天航空大学的眼动测量系统，利用光学 系统中的图像传感器获得眼睛运动的瞬时模拟图像，然后交由图像处理系统，经滤波、 放大、以及a d 转换产生含有瞳孔位置信息的数字信号。由数字检测系统负责瞳孔中心 坐标检测及数据转换，并以异步串行通信方式和计算机进行通讯，将瞳孔中心坐标数据 传输给计算机完成标定等工作。计算机对于背景视场摄像机传输来的图像和标定后的瞳 孔中心坐标进行叠加及数据后处理。中国农业大学车辆与交通工程学院正在进行机动车 驾驶员疲劳测评方法的研究，他们使用c c d 摄像头来采集图像数据，数据采集到计算 机后先利用高斯肤色模型进行驾驶员人脸定位，然后根据人脸图像的灰度分布检测出眼 睛在图像中的具体位置，最后利用模板匹配技术判断出人眼的开闭状态，并计算出眼睛 的闭合时间和p e r c l o s 值，当眼睛的持续闭合时间大于3 秒，p e r c l o s 值大于4 0 时，就认为驾驶员处于疲劳驾驶状态，发出警告。成都理工大学、吉林大学等进行了类 似的研究，而西南交通大学等则开展了驾驶疲劳机理的研究。 - 8 东北大学硕士学位论文 第1 章绪论 综观国内外的发展现状，研究如何利用机器视觉技术、图像处理技术、人脸识别技 术和p e r c l o s 疲劳检测方法相结合，开发出实用的市场所能接受的驾驶员疲劳识别系 统是当前人脸数字图像研究的一个应用热点。随着计算机图像技术和信号系统的高速发 展，探测p e r c l o s 的方法已经成为当前测量驾驶员疲劳的实用方法。 1 4 本文的研究内容及结构安排 利用数字图像处理技术和模式识别技术，对驾驶员脸部图像、特别是眼部区域进行 准确、高效的检测是解决疲劳驾驶的一种有效手段。本文拟构建一个疲劳驾驶预警系统， 通过对驾驶员头部图像中眼部状态的分析和判断，对机动车驾驶员的精神状态进行检测， 作出判别。 驾驶员在车辆行驶过程中是否疲劳可以从眼睛的状态反映出来。当驾驶员精神饱满 时，眼皮张开程度及眨眼频率都在统计的正常值范围内；当驾驶员精神萎靡不振时，眼 皮张开程度明显变小，眨眼频率也明显降低。所以利用驾驶员眼睛的状态信息来判断驾 驶员疲劳状况是一种可行的方法。 该疲劳预警系统由于其非接触性，所以不会对驾驶员的驾驶操作、视觉和心理造成 任何的干扰和负担。该系统由三个模块组成即数字图像采集模块、图像处理模块和报警 提示模块。 本论文的结构安排如下： 第l 章，介绍了选题的现实和理论意义以及驾驶疲劳的相关理论和国内外研究动态， 最后给出了本文的研究内容以及结构安排。 第2 章，介绍疲劳检测系统组成、系统的软硬件配置和人脸图像采集过程。 第3 章，介绍人脸图像的检测与定位部分。首先，介绍常用的人脸检测方法；其次， 提出本文要用到的基于肤色的人脸检测算法并建立肤色模型；最后，举例验证人脸检测 与定位的全过程。 第4 章，介绍眼睛的检测与定位、眼睛粗定位、精确定位及睁合状态判别，以及对 算法的改进。 第5 章，介绍眼动分析、眼动技术及p r e c l o s 判别方法。 、 第6 章，结论与展望。 1 5 本章小结 本章首先阐述了论文的研究背景及意义，其次介绍了疲劳驾驶相关理论及国内外研 9 东北大学硕士学位论文第1 章绪论 究现状，并指出了目前疲劳驾驶研究中所存在的问题，最后具体介绍了本文的研究内容 及结构安排。 - l o 东北大学硕士学位论文 第2 章人脸图像采集 第2 章人脸图像采集 随着通信技术、多媒体与计算视觉技术的快速发展，越来越多的应用系统要求传输 与处理图像数据。因此，如何采集、处理数字图像数据就成为这些应用系统中新的重要 环节。在人脸识别系统中，人脸图像的采集过程是实现系统的关键前提，人脸图像的质 量对后续处理工作更为重要。 本章主要概述软件系统组成( 包括功能流程图、系统的编程语言) ，硬件系统组成 ( 摄像头和图像采集卡的选择，以及计算机的配置) ，并简单介绍进行人脸图像采集的 过程。 2 1 软件系统组成