（生物医学工程专业论文）驾驶疲劳的视频研究.pdf

a b s t r a c t a b s t r a c t f a t i g u ew a sm a i n l yd u et oo v e r l o a do re x t e n d e dt i m eo fp h y s i c a lo rm e n t a lw o r k c a u s e db yac o m p l e xp h y s i o l o g i c a lp h e n o m e n o n i ti san o r m a lh u m a np h y s i o l o g i c a l a c t i v i t i e so ft h e1 a w , b u ta l s ot h eh u m a nb o d yi t s e l fc a nn o tr e s i s tt h es t a t e m o n o t o n o u sh i g h w a yr o a ds u r f a c ec o n d i t i o n sa n dt h eh i g ht r a f f i cs p e e d t h i s h i g h i n t e n s i t y d r i v e r sa c t i v i t i e sc a ne a s i l yc a u s ef a t i g u ea n dl c a dt ot r a f f i ca c c i d e n t s ， w h i c he n d a n g e r i n gt h el i v e so ft h ep e o p l e a l t h o u g hf a t i g u ei san o r m a lp h y s i o l o g i c a l p h e n o m e n o n ，b u tt h i ss p e c i a lg r o u po fd r i v e r sm a y c a u s es e r i o u sc o n s e q u e n c e s ，a n d e v e n1 i f e - t h r e a t e n i n g t h e r e f o r e ，t h ed e v e l o p m e n to fr e a l - t i m em o n i t o r i n go fd r i v i n g b e h a v i o ra n dd r i v e rf a t i g u ew a r n i n gs y s t e m sa r ee s s e n t i a lt or e d u c ec a s u a l t i e sa n d e c o n o m i cl o s s e s t h e r e f o r e ，t h es t u d yo ff a t i g u eo nd r i v i n g ，n o to n l yh a si m p o r t a n t t h e o r e t i c a ls i g n i f i c a n c e b u ta l s oh a sas i g n i f i c a n ts o c i a lv a l u ea n de c o n o m i cv a l u e d e v e l o p e dc o u n t r i e ss t a r td r i v i n gf a t i g u er e s e a r c he a r l y ，a n dt h e yh a sm a d eal a r g e n u m b e ro fr e s e a r c hr e s u l t s b a s e do nt h ea n a l y s i so fd r i v e rf a t i g u ed e t e c t i o nm e t h o da t h o m ea n da b r o a d ，d r i v i n gf a t i g u ed e t e c t i o nw a sc a r r i e do u to nt h eb a s i so fv i d e o i m a g e s b a s e do nt h ev i d e oc o l l e c t e do n as i m u l a t e dd r i v i n gc a b ，an e wa l g o r i t h mo fe y e l o c a l i z a t i o na n de y es t a t er e c o g n i t i o ni nd r i v i n gf a t i g u ed e t e c t i o nw a sp r o p o s e d t 1 1 i s a l g o r i t h mu s e dt h eg a b o rf i l t e rt os m o o t ht h ei m a g ea n dp i c ku pt h et e r r a i nf e a t u r eo f t h ei m a g e s t h e ns u p p o r tv e c t o rm a c h i n e ( s v m ) w a su s e dt ov a l i d a t et h ee y ea r e a f i n a l l y , s v mw a su s e dt or e c o g n i z et h ee y es t a t e 刀) er o b u s t n e s so ft h ea l g o r i t h m w a sd e m o n s t r a t e du n d e rv a r i o u si m a g ec o n d i t i o n s ，d i f f e r e n te y es t a t e sa n df a c i a l a p p e a r a n c e s t h es v mc l a s s i f i e rc a nd e t e r m i n et h ee y es t a t eq u a l i t a t i v e l y a n d q u a n t i t a t i v e l y t h er e s u l to ft h ea l g o r i t h mp r o v i d e sn e c e s s a r yd a t af o rt h ef u t u r e a n a l y s i so fd r i v i n gf a t i g u e b a s e do nt h ev i d e oi m a g e st od e t e r m i n et h es t a t u so ft h e h u m a n e y ec a nf o u n dt h ed i f f e r e n c e so fa w a k ea n df a t i g u e b l i n k i n gf r e q u e n c yi st h e s a m e ，t h eb l i n kt i m ei sg r o w t h t h i sr e s e a r c hi ss p o n s o r e db yn a t i o n a ls c i e n c ea n dn a t u r ef o u n d a t i o no fc h i n a ( p o r j e c tn o 6 0 4 2 2 2 0 1 ) k e y w o r d s ：e y el o c a l i z a t i o n ；b l i n kr e c o g n i t i o n ；d r i v i n gf a t i g u e ；s u p p o r t v e c t o r m a c h i n e ；t e r r a i nf e a t h e r i i 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写 过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确 的说明。 作者签名： 签字日期：卑一l 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥 有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交 论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人 提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 俨开 作者签名： 口保密( 二年) 啦聊签名之坦举 签字日期：妞2 笸， 签字日期： 第1 章绪论 第1 章绪论 1 1 驾驶疲劳研究的背景与意义 随着社会的快速发展，人们生活水平的逐步提高，汽车已成为人们日常生活 中最为重要的交通运输工具。然而，在带给人们快速，便捷，舒适的同时，交通 事故已经成为严重的社会问题。在众多的交通事故中，驾驶员人为因素已成为交 通事故的主要因素之一( 王武宏，孙逢春，曹琦等，2 0 0 1 ) ，我国道路交通事故中， 由于驾驶员造成的事故占9 0 左右。在这些事故中，驾驶疲劳作为诱发因素又占 有相当大的比例( h o m ej ar e y n e rl a ，1 9 9 5 ，a k e r s t e d tt ，k e e k l u n dg ，2 0 0 1 ) 。 统计数据表明，在2 0 0 4 年至2 0 0 6 年我国直接由疲劳驾驶导致的死亡人数分别占机 动车驾驶人交通肇事总死亡人数的3 3 5 、2 8 1 矛n 2 5 ，( 2 0 0 4 年全国道路交通 事故情况，2 0 0 5 ，2 0 0 5 年全国道路交通事故概况，2 0 0 6 ，2 0 0 6 年全国道路交通事 故概况，2 0 0 7 ) 大约每年有3 0 0 0 人死于疲劳驾驶。 为 ，减少驾驶疲劳造成的危害，大多数国家都对驾驶时间做出了相应的限 定。我国交通法规明确规定：驾驶机动车辆过程中不得连续驾驶机动车超过4 小时未停车休息或者停车休息时间少于2 0 分钟，从事公路客运的驾驶员一次连 续驾车不得超过3 小时，2 4 小时内实际驾车累计不得超过8 小时。在实际的驾 驶疲劳检测上，大多数国家的交通管理部门都是通过检查驾驶员的行车记录来判 断驾驶员是否疲劳违章的。我国采用了类似的汽车行驶记录仪记录司机连续行车 和累计行车时间，以便交通管理部门监督检查。上述检测技术对于驾驶疲劳的评 判实际上是通过时间标准来界定的，即对驾驶员每次连续驾驶时间的界定。由于 在限定这种时间标准的时候，无法考虑到不同驾驶员个体在体质、精神状态、生 活饮食状况、是否患病等多方面的差异性，检测结果往往不能令人满意，因此存 在规定较难执行的问题，为事故的发生留下了重要的隐患。对驾驶疲劳状况下人 体的生理参数进行系统的分析，将为交通部门制定相关法规提供理论依据。 疲劳主要是由于超负荷或延长时间的体力或脑力劳动引起的一种复杂的生 理现象，它是人体一种正常的生理活动规律，也是人体本身不能抵制的一种状态。 高速公路上，路面环境单调，行驶速度较快，驾驶员又往往是长时间连续行车， 这种高强度、长时间的行车活动极易引起驾驶员疲劳，引发交通事故，危及生命 安全。疲劳虽然是一个正常的生理现象，但是对驾驶员这一特殊的群体，就可能 引起严重的后果，甚至危及生命。因此，开发出能实时监视驾驶员驾驶行为和疲 劳状态并在任何不安全状态下能对驾驶员进行预警的系统，对减少人员伤亡和经 第1 章绪论 济损失，具有至关重要的意义。 驾驶疲劳的产生是一个较为复杂的过程，涉及到生理、心理、环境等多方面 因素。影响驾驶疲劳的生理因素包括年龄、性别、健康状况等；心理因素包括情 绪、性格、个人生活背景等；环境因素较为广泛，广义的说包括道路状况、车况、 天气气候、驾驶时间、睡眠时间和质量、个人习惯等。传统的驾驶疲劳评测方法 已经不能适应时代发展要求。因此，结合现代光学，电子学，影像技术，计算机 技术和医学等学科的诸多方面进行驾驶疲劳评测方法显然十分必要的。对这些因 素进行调整和控制，就可以预防和减缓驾车疲劳。 1 2国内外研究现状 疲劳是一种行为现象，是一种非正常状态下的可逆性行为，这一点各国学者 的认识近乎统一，但可逆性行为疲劳造成不可逆性的交通事故后果，也是各国学 者共识的。正常情况下，驾驶行为是在警戒线以下活动，疲劳时，人们的行为处 于警戒水平以下，具有极大的迟钝性和无序性，事故往往是迟钝与无序兼容的结 果。 疲劳是一种生理现象，属非器质性影响的可复性功能变异，当然功能性变 异在一定的条件下可以转换为器质性变异，这是一个质的过渡，也是专家学者 最为关注的热点。职业医学、工效学、交通工程学等专家的责任之一就是采用 科学的理论与现代的技术避免出现这一质的跨越后果。 驾驶疲劳大多数出现在功能性变异范围，疲劳特征尽管表现的时间很短，但 是交通事故往往发生在这一瞬间，瞬间的疲劳提示人们如何预防驾驶失误，如何 避免过度疲劳驾驶。驾驶疲劳的表征是多维度、多侧面，对其解释的学说和测试 方法也是多种多样。 1 2 1 国外研究现状 早期的驾驶疲劳测评主要从医学角度出发，借助医疗器械进行。这些研究可 以追溯到1 9 3 5 年美国交通部管辖的洲际商业协会i c c ( t h ei n t e r s t a t e eo m m e r c e c o m m i s s i o n ) 要求美国公共卫生服务署u s p h s ( t h eu n i t e ds t a t e sp u b l i ch e a l t h s e r v i e e ) 负责调查城市间商业机动车驾驶的服务时间h o s ( t h eh o u r so fs e r v i c e ) 的管理条例，但是驾驶疲劳真正进行实质性的研究工作是从2 0 世纪8 0 年代由美 国国会批准交通部实施的驾驶服务时间( h o s ) 改革、研究商业机动车驾驶时间与 交通安全的关系、健全卡车和公共汽车安全管理条例开始的。此时，美国已把驾 驶疲劳的研究提高到了立法高度。 2 第1 章绪论 在外部行为检测中，眼动分析法是对驾驶员视觉特征进行研究的重要方法 这种方法的前提条件是眼睛的生理学表现形态能够充分提供机动车驾驶员的警 觉状态的信息，眼睛的视觉表现行为能够被测量，因而能够作为疲劳开端的指示。 国外早在二1 。世纪六十年代已经开始通过眼动分析法对驾驶员进行研究，目前己 经成为疲劳监控领域的研究热点，在分析驾驶行为变化方面有重要作用。j o h n s t e r n 等开发了专用的照相机、脑电图仪和其它仪器来精确测量眼睛瞳孔的直径 变化、眨眼频率和头部运动，以此来研究驾驶疲劳问题。其研究结果表明一般情 况下，人们眼睛闭合的时间在02 - 0 3 秒之间，如果在驾驶时，眼睛闭合时间达 到083 秒时，则很容易出现事故。 在实际应用中，p e c l o s 算法是当前最有效的、车载的、实时的驾驶疲劳钡0 评方法。p e r c l o s ( p e r c e n t a g eo fe y e l i dc l o s u r eo v e rt h ep u p i lo v e rt i m e ) 是指单位时间内眼睛闭合时间所占的百分率。d i n g e s ( 1 9 9 8 ) 认为p e r c l o s 能相 当准确反映疲劳状态。美国联邦公路管理局为分析p e r c l o s 驾驶疲劳评价的有效 性，将其与其他捌评方法做了对比( r o nk n i p l i n g 1 9 9 8 ) ，如e e g 、头部位置以 及眨眼频率等。对比结果指出p e r c l 0 8 各指标与驾驶疲劳程度的相关性最好。自 美国联邦公路管理局首先提出把p e r c l o s 作为预测机动车驾驶员驾驶疲劳测量 指标后，该指标迅速成为驾驶疲劳实时检测研究的热点。 美国a t t e n t i o n t e c h n o l o g i e s 公司推出的d r i v e r f a t i g u e m o n i t o r ( d d 8 5 0 ) ( h l l p ：w w wa n e n n o n t e c h l o l o g yc o r n ) 是一款基于驾驶人生理反应特征的驾驶人 疲劳监测预警产品，产品外形如图1 所示。该产品通过红外摄像头采集驾驶人眼 部信息，采用p e r c l o s 作为疲劳报警指标，可直接安装在仪表盘上，报警的敏感 度和报警音量均可调节，目前已推广应用。 图11 d r i v e rf a t i g u e m o n i t o r 转向操作注意监视器s , am ( s t e e r i n ga t t e n t i o nm o n i t o r ) ：是- - 种测量方向盘非正 # 1 章绪论 常运动的传感器装置适用于各种车辆，如果方向盘4 秒钟不运动，该监视器发 出声音报警，直到方向盘继续正常运动为止。方向盘继续正常运动时监视器不发 出声音报警。sa m 被固定在车内录音机的旁边，在方向盘下面的杆上有一条磁 性带用来测量方向盘的运动，使用sa m 并不意味延长驾驶时间，而是提醒不 要打磕睡驾驶。另外，s am 与录像机配合使用可以为保险公司索赔提供证据。 122 国内研究现状 图12sam 疲劳报警装置 上海交通大学的石坚、卓斌( 2 0 0 0 ) 通过传感器测量驾驶员驾驶时方向盘、踏 板等一些参数来判别驾驶员的安全因素。驾驶员方向盘的操纵情况与驾驶员的安 全具有一定的联系。当方向盘较长时间不动( 第一种疲劳状态) ，说明驾驶员在打 磕睡。研究表明：当方向盘产生幅度1 5 “以上，4 h z 以下的低频率转动，说明驾 驶员操作的闭环反应较迟钝，即开始疲劳。驾驶员安全的主观评价值( s u b j e c f i v e e v a l u a t i o no f d r o w s i n e s s ，s e d ) - 与方向盘的转角和角速度参数的关系最密切，并 给出主动安全性的定量指标。 浙江大学的吴群、孙守迁( 2 0 0 8 ) 系统分析了心电信号中r r 间期和r 波峰 值的非线性特征，在此基础上利用虚拟驾驶实验，探讨了心电信号的线性与非线 性指标随着疲劳程度加深情况下的变化过程，并在研究中指出在疲劳预测过程 中综合考虑心电信号的线性及非线性指标，可以更全面地表征疲劳过程中的心脏 状态。针对利用心电信号进行驾驶疲劳检测对园个人因素等导致难以确定具体 心电指标的阀值表征疲劳状态问题，将疲劳检测转化为分类问题，并在此基础上 利用支持向量数据描述方法建立了疲劳检测模型，在不需要疲劳样本的情况下就 可以区分出正常和疲劳状态，并构建了相应的原型系统，验证了模型的正确性。 第1 章绪论 杨渝书( 2 0 0 2 ) 从人机工程学角度对驾驶疲劳的产生因素进行了分析，对驾 驶疲劳的定量评价进行了实验研究。 1 3 本文研究目标、内容及本文的组织安排 本课题的研究目标是：提出并实现一种利用视频检测驾驶疲劳的算法。不仅 可以根据图像准确的定位驾驶员人眼位置，判断人眼状态，并且根据判断出来的 人眼状态计算驾驶员每次眨眼所需的时间，以及眨眼频率进而分析判断驾驶员的 疲劳状态。 本文的主要研究内容包括： 1 基于视频图像对睁闭眼进行定位。 为对视频图像进行人眼位置的定位，首先需要对视频图像进行预处理，对原 始图像进行g a b o r 滤波，减少冗余信息，增强所需要的信息。然后再在原始图像 上提取图像的地形特征，将这些地形特征点做为人眼位置的候选区域。运用s v m 分类器对这些候选区域进行筛选，选出最接近人眼的候选区域。 2 对已经定位的眼睛图像进行睁闭眼状态判断。 分析比较多种分类器，并最终算法实现并比较了模板匹配、f i s h e r 判别法、 支持向量机( s v m ) 、人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ，m 州) ，最终选 择判断准确率高，并能一定程度上定量分析人眼状态的支持向量机分类器。 3 驾驶员精神状态的判断。 根据视频图像判断的人眼状态可以发现驾驶员在疲劳状态相比清醒状态，眨 眼频率更高，眨眼时间增长。但由于不同人的眨眼频率不同，并未总结出一定的 判断驾驶疲劳的眨眼频率标准。 本文的组织安排如下： 第一章，首先介绍驾驶疲劳检测的意义及国内外研究现状。 第二章，分析现有的驾驶疲劳检测方法，理论方法的优点和不足之处，最后 给出本文所研究的算法框架。 第三章，对常用的人眼的定位算法进行比较分析。通过对人脸图像进行图像 地形特征进行提取，确定人眼位置的候选点，利用支持向量机对人眼位置进行筛 选。 第1 章绪论 第四章，分析比较人眼状态判别算法。对常用的人眼状态判别方法进行分析， 通过支持向量机的方法对人眼状态进行定量分析。 第五章，利用在模拟驾驶仓实验条件下获得的人脸视频图像，利用人眼定位 和状态判别算法对驾驶员不同精神状态下的视频图像进行分析。 第六章，总结与展望 本研究工作得到了国家自然科学基金的资助( 6 0 4 2 2 2 0 1 ) 。 6 第2 章基于模拟驾驶舱的驾驶疲劳检测概述 第2 章基于模拟驾驶舱的驾驶疲劳检测概述 2 1 模拟驾驶疲劳的评价方法 综合国内外，驾驶员疲劳的评价方法有主观评价法和客观评价法。根据评定 结果是由被试本人做出，还是由他人做出，主观评价法又可分为主观自评和主观 他评。主观自评即自述症状法，主要是利用被试者叙述自我疲劳感觉。一般使用 专门设计的调查表，调查可在作业前、作业中、作业后分别进行，根据被调查者 的主述症状和各类症状出现的次数或程度，经分析和比较后得到疲劳程度。常用 于主观自评的有主观调查表( 驾驶员自我记录表、睡眠习惯调查表、斯坦福睡眠 尺度表等) 。这些方法简单易用，但由于个体差异大，填写者本身对调查表格的 理解存在一定差异，填写的准确性不能得到保证；同时容易受环境和短时记忆消 退影响，因此不能作为驾驶疲劳评测通用标准尺度。主观他评多采用被试的外部 表现如面部表情，缓慢的眼睑闭合，行为举止( 如擦拭眼睛、打哈欠和点头) 等估 计出被试的疲劳程度。主观他评同样具有评分主观、评分标准不易统一、受记忆 及其它个人能力的影响。在许多研究中，主观评价法多作为实验研究中的辅助手 段，疲劳判断都是结合主观评价法以及即时的生理测量来进行的。驾驶疲劳的检 测研究主要集中在客观方法上的研究。 当前，驾驶疲劳的客观评价法主要集中在以下方面： ( 1 ) 检测驾驶员的生理信号，如脑电图( e e g ) 、心电图( e c g ) 等； ( 2 ) 检测驾驶员外部行为，如眼动分析、头部位置检测等； ( 3 ) 检测行驶过程中的车辆参数，如方向盘转动角度、白线位置等。 2 1 1 基于生理信号的检测方法 针对疲劳的研究最早始于生理学。相关研究表明，驾驶人在疲劳状态下的生 理指标会偏离正常状态的指标。因此可以通过驾驶员的生理指标来判断驾驶人是 否进入疲劳状态。可用的生理参数有脑电图( e e g ) 、眼电图( e o g ) 、眨眼频率、 瞳孔尺寸变化、呼吸速率、血压、耗氧量、说话的流畅程度和音量的大小、心电 图( e c g ) 、心率变异性( h r v ) 以及皮质分泌，甚至皮肤上特殊部位的肌电图( e m g ) 7 第2 章基于模拟驾驶舱的驾驶疲劳检测概述 等等。目前较为成熟的检测方法包括对驾驶人的脑电信号e e g 、心电信号e c g 等的 测量。生理参数评测是借助于仪器、设备等辅助工具记录人体生理、生化方面的 某些指标的变化并进行评定的方法。这些指标是客观的，不以观察者的个人喜好、 经验而发生变化，因而这种方法又被称之为客观评测法。 其中研究最多，影响最大的目前仍是脑电图。在许多早期的研究中，从脑电 图中可获得信息是相当有限的，这主要是因为用于取样的头皮位点太少。随着技 术的进步，现在的脑电图仪器已能够记录到更多的头皮位点，国际1 0 - 2 0 系统能 覆盖整个头皮。此外对于睡眠脑电和睡眠分期的研究也已经达到了比较成熟的 阶段。这样一来，就大大增加了脑电图在生理学研究和临床诊断上的价值。e e g 中主要有4 种节律波qb 0 6 。0 波的增加和b 波的减少就对应于疲劳的产生。 在疲劳的研究中，e e g 现在已是最广泛采用的用于评定中枢神经系统变化的指标 之_ 。，l a ls k l ( 2 0 0 2 ) 在研究中发现，人在进入疲劳状态后，e e g 中的d e l t a 波和t h e t a 波的活动会大幅度增长，而a l p h a 波活动会有小幅增长。研究人员同时 发现，e e g 信号特征有很大的个人差异，如性别和性格等，同时也和人的心理活 动相关很大。 ( s a n t a m a r i aj ，1 9 8 7 ) 心脏电活动周期由中枢和周围神经有节律的进行调节，人在疲劳时，脑的高 级神经活动、中枢神经系统的自发性节律活动、呼吸活动以及由压力、化学感受 器传入的心血管反射活动等都会产生一定变化，而这些变化对心交感神经和副交 感神经的综合调节作用将最终影响心率的波动，因此通过心电信号监测将可以获 取人的疲劳信息。要利用心电信号进行疲劳检测，如何从采集到的信号提取出最 有效的特征信息至关重要，这一步直接影响到后期疲劳检测模型的信度和效度。 在心电信号中，心率变异性( h r v ) 反映了心脏交感神经和副交感神经活动的紧张 性和均衡性，是评价自主神经性活动的最好的定量指标。 心电信号各指标中，心率( h e a r tr a t e ，h r ) 直接由自主神经系统调节，接受交 感和副交感神经的双重支配。心率的变化是二者拮抗作用的结果，有部分研究认 为h r 在疲劳当中有显著的反应。心率变异性是指连续心跳间r r 间期的微小涨 落。产生这种微小涨落的因素包括脑的高级神经活动、中枢神经系统的自发性节 律活动、呼吸活动以及由压力、化学感受器传入的心血管反射活动等。上述各种 因素对心交感神经和副交感神经的综合调节作用最终影响心率的波动。因此， h r v 反映了心脏交感神经和副交感神经活动的紧张性和均衡性( 李莉，1 9 9 8 ) 。 在驾驶作业( d r i v i n g t a s k ) 进行过程中，当人体疲劳时，心率变异性时域测量 指标中的r r 间距标准差( s d n n ) l 韭j 显上升、交感神经活性l f 明显上升、副交感 神经活性h f 明显下降、平衡性指标l f h f 明显上升，可以利用这四项心电图时 第2 章基于模拟驾驶舱的驾驶疲劳检测概述 频域指标对驾驶者疲劳程度进行量化评估。其中s d n n 反应自主神经( 包括交感 神经和迷走神经) 总的张力大小，用来评价自主神经系统受损与恢复的总体程度， l f ，l f n o r m 为交感神经活动指标，t - i f ，h f n o r m 为副交感神经性指标，l f h f 为 自主神经平衡性指标。 为了尽量减少各种因素对心电信号造成的影响。研究选择的受测者均应身体 健康，无睡h 民障碍，实验期间未因为疾病而接受药物治疗，在实验前2 4 小时， 未食用含酒精的食品以及含咖啡因的饮品，实验前l 小时也未进食及进行剧烈运 动，以确保实验数据的客观性。 基于驾驶人生理信号的检测方法对疲劳判断的准确性较高，但生理信号需要 采用接触式测量，且对个人依赖程度较大，在实际用于驾驶人疲劳监测时有很多 的局限性，因此主要应用在实验阶段，作为实验的对照参数。 2 1 2 基于驾驶员外部行为的检测方法 驾驶员外部行为的检测方法是指人在疲劳时表现出来的打哈欠、眼睛发涩、 点头等外在特征，可以通过无接触式的检测方法提取到，也是目前为止研究最多 的。在外部行为检测中，眼动分析法是对驾驶员视觉特征进行研究的重要方法， 这种方法的前提条件是眼睛的生理学表现形态能够充分提供机动车驾驶员的警 觉状态的信息，眼睛的视觉表现行为能够被测量，因而能够作为疲劳开端的指示。 国外早在二十世纪六十年代已经开始通过眼动分析法对驾驶员进行研究，目前己 经成为疲劳监控领域的研究热点，在分析驾驶行为变化方面有重要作用。利用面 部识别技术定位眼睛、鼻尖和嘴角位置，将眼睛、鼻尖和嘴角位置结合起来，再 根据对眼球的追踪可以获得驾驶人注意力方向，并判断驾驶人的注意力是否分散 ( h a i s o n gg u ，2 0 0 2 ) 。 p h i l i pw k i t h i l ( 1 9 9 8 ) 利用头部位置传感器检测驾驶人点头动作，该传感 器通过电容传感器阵列输出驾驶人头部距离每个传感器的位置，可实时跟踪头部 的位置，根据头部位置的变化规律判定驾驶人是否瞌睡，该研究发现点头的动作 和瞌睡有非常好的相关性。 2 1 3 基于车辆参数的检测方法 y o s h i h i r ot a k e i 利用f f t 对监测到的驾驶人的方向盘操作数据进行处理，研究 结果在一定程度上揭示了驾驶人的方向盘操作与疲劳之间的关系( y o s h i h i r o t a k e i ，2 0 0 5 ) 。k h a r d is ( 1 9 9 4 ) 的研究指出方向盘的操作是一种有效的驾驶疲劳的 判断手段。y a b u t ak ( 1 9 8 5 ) 开发的驾驶人防疲劳装置中也使用了方向盘操作信息。 9 第2 章基于模拟驾驶舱的驾驶疲劳检测概述 总体来说，目前利用驾驶人操作行为进行疲劳识别的深入研究成果较少。驾驶人 的操作除了与疲劳状态有关外，还受到个人习惯、行驶速度、道路环境、操作技 能的影响，车辆的行驶状态也与车辆特性、道路等很多环境因素有关，因此如何 提高驾驶人状态的推测精度是此类间接测量技术的关键问题。 钱照明、刘大健( 2 0 0 4 ) ，提出模拟训练操作过程数学描述方法。根据操作过 程中各基本动作之间具有在时间关系上顺序排列的特征，采用了一种以符号序列 描述操作过程的方法，将操作过程中的操作模式识别问题归结为单个动作元素对 各种操作模式的归属问题和将由操作过程形成的动作序列分割为一系列相关的 待识子序列的问题，从而将一个实际的操作过程抽象为数学描述形式。分析、对 比了动作序列中的基本动作元素与序列中其它动作元素之间存在的关系，对任意 动作在标准操作模式中的次序属性和时间属性进行了定义。采用模糊集合描述了 在不同操作模式中任意动作元素与其他动作元素之间在次序属性和时间属性上 应满足的条件。 瞿洋( 2 0 0 7 ) 提出通过对道路中的车道标线的检测进而计算出车辆所处的车 道和距离车道中心的距离。对于疲劳驾驶的车辆来说，车辆无法保持前进的稳定 性，必然会产生行车偏移，偏离车道。该算法简单有效，具有教高的鲁棒性，可 以方便的调整处理帧率等各种参数，同时耗时较少，能够实现实时处理。 2 1 4 主观评测 主观监测分自我评定与他人评定，主要通过主观调查表、驾驶员自我记录表、 睡眠习惯调查表、斯坦福睡眠尺度表和皮尔逊疲劳量表等评定。斯坦福睡眠尺度 表用来检查驾驶员的睡眠情况。该表是驾驶员睡眠情况的调查表。皮尔逊疲劳量 表分为1 3 级：( 1 ) 精力极度充沛，( 2 ) 精力特别充沛，( 3 ) 精力非常充沛，( 4 ) 精力 很充沛( 5 ) 精力比较充沛，( 6 ) 精力有点充沛，( 7 ) 有点疲劳，( 8 ) 相当疲劳，( 9 ) 很疲劳，( 1 0 ) 非常疲劳，( 1 1 ) 特别疲劳，( 1 2 ) 极度疲劳，( 1 3 ) 快要倒下。 以上这些反映主观方面的调查表格虽然使用简单，但是由于填写者本身对表 格项目的理解存在一定的差异，填写的准确性必然大打折扣，其结果常常不能令 人满意，因此不能作为驾驶疲劳评测的通用标准尺度。目前，大多数国家的交通 管理部门都是通过检查驾驶员的行车记录来判断驾驶员是否疲劳违章。例如，欧 共体国家交通管理部门要求每台客车都装备一台行车记录仪，记录仪将客车行车 l o 第2 章基于模拟驾驶舱的驾驶疲劳检测概述 时间、瞬时速度等数据标记在一张磁盘上，供交警部门查验：在美国，监督检查驾 驶员疲劳状况是通过记录有驾驶员行驶时间的驾驶日记，驾驶日记上除司机签名 外，还需要有行车路线上主管交通安全的管理部门的有关人员签字证明，以防止 伪造作假：我国也采用了类似的汽车行驶记录仪记录司机连续行车和累计行车时 间，以便交通管理部门监督检查。 上述主观监测技术对于驾驶疲劳的评判实际上是通过时间标准来界定的，即 对驾驶员每次连续驾驶时间的界定。但由于在限定这种时间标准的时候，无法考 虑到不同驾驶员个体在体质、精神状态、生活饮食状况、是否患病等多方面的差 异性，所以主观监测技术的监测结果往往不能令人满意。 2 2 人眼定位的研究概述 人眼的检测和定位是人脸图像分析中最基本、也是非常重要的问题之一。人 脸识别是人类视觉系统的基本功能，也是人类互相辨识的最直接手段。在计算机 视觉和生物特征识别领域，人脸识别是一个极具挑战性的问题。与其它生物特征 相比，人脸识别在可用性方面具有独到的优势，包括：可以隐蔽操作，故特别适 于安全、监控与抓逃等应用；非接触式信号采集，没有侵犯性，容易被人们接受； 强大的事后追踪能力；设备成本低；更符合我们人类的识别习惯；可交互性强等 长期以来，该问题一直受到人们的极大关注。 基于图像的方法土要利用人脸图像中眼睛，特别是虹膜特殊的亮度、颜色或 者形状信息。主流的人脸识别技术至少有五种：基于主动红外光的人眼定位方法、 根据人眼在图像中的对称性的广义对称变换方法、根据人眼的几何特征定位人 眼、根据人眼的颜色特征以及眼睛的外观信息。 2 2 1 基于主动红外光的人眼定位方法 这类方法( 李子青，2 0 0 7 ) 利用的是闪光摄影术中常见的“红眼”现象的基本 原理，需用使用装有红外光源的摄像机采集人脸图像。摄像机中包含两组红外光 源，它们对称地分布在摄像机光轴的四周，形成两个同心圆，内圈的直径和摄像 机镜头的直径儿乎相等。红外光源发出近红外的光线，人眼对其不敏感，而摄像 机对其却非常敏感。拍摄时，一个特制的同步装置控制内圈和外圈红外光源交错 地开和闭。当内圈光源打开时，由于内圈直径小，采集到的图像中瞳孔是亮的， 故称其为亮图像：而当内圈光源关闭、外圈光源打开时，由于外圈的直径足够大， 采集到的图像中瞳孔是暗的，称为暗图像。显然，将两幅图像相减，便可得到眼 第2 章基于模拟驾驶舱的驾驶疲劳检测概述 睛信息非常明确的差值图像。而后通过其它基于图像的眼睛检测技术，便可从差 值图像中得到眼睛的位置信息。 该方法的优点是较为简单，且能够获得比较高的眼睛定位和跟踪精度，特别 是在室内环境中。但它需要特制的光源和信号同步装置，并且眼睛定位成功与否 还主要取决于图像的亮度和瞳孔的大小，而瞳孔的大小又往往取决于人的视角方 向、外界光照情况以及人与摄像机之间的距离。换句话说，该方法的主要缺点是 需要相对稳定的光照条件以及要求人靠近摄像机。 2 2 2 广义对称变换 对称性是识别物体可利用的基本性质之一，它包括点对称性( 也叫中心对称 性) 和轴对称性绝大多数自然物体或人造物体都存在着这两种对称性，对于 人脸图象来说，人眼、眉毛、嘴等都具有很强的点对称性。为了描述物体的点对 称性，定义了广义对称变换g s t ( r e i s f e l dd ，1 9 9 2 ，1 9 9 5 ) ( g e n e r a l i z e ds y m m e t r y t r a n s f o r m ) ，它只考察人眼中心点的强对称性和脸部特征的几何分布，对人脸偏 转、表情变化、光照变化等条件不敏感，因而具有很好的鲁棒性。但计算量很大， 且只利用了各点的对称性，易产生大量的候选点，使定位精度受到影响。，： 在此基础上提出的方向对称变换d s t ( d i r e c t i o n a ls y m m e t r yt r a n s f o r m ) ( 周 杰，1 9 9 9 ) ，利用对称性在不同方向上的分布情况反映物体的基本形状特征，从而 提高了定位的精确度。此外，因还事先利用了一些先验规则估算尺度因子和人眼 的可能区域，减小了运算量。该算法在4 0 多幅m i t 的实验图象和1 0 0 多幅自拍的人 脸图象上作过测试，准确率为9 3 5 ，与使用快速算法前相比，运算速度提高了2 0 倍以上。离散对称变换d s t ( d i s c r e t es y m m e t r yt r a n s f o r m ) ( 刘文予，2 0 0 1 ) ，在 计算对称性之前加入一个对图象灰度不均匀区域的检测过程，仅对灰度不均匀区 域执行广义对称变换以加快系统的运行速度。在5 0 幅自搜集图象上测得的准确率 为9 2 。 此类方法的共同缺点是对闭着的眼睛无效。而我们驾驶疲劳要检测的就是闭 眼图像数在所有的图像当中比例。所以，这一类方法应用于驾驶疲劳的人眼检测 有一定的困难。 2 2 3 几何形状信息 几何形状信息，即目标对象的几何形状特征，具有很好的直观性，易于理解和 应用，因而很早就在模式识别领域得到广泛的使用。基于几何形状信息类方法的 第2 章基于模拟驾驶舱的驾驶疲劳检测概述 一般思路是：根据脸部特征的形状特点构造一个带可变参数的几何模型，并设定 一个相应的评价函数以量度被检测区域与模型的匹配度，搜索时，不断调整参数 使能量函数最小化，使模型逐渐收敛于待定位的脸部特征。包括可变模板，s n a k e s 模型，p d m ( p o i n td i s t r i b u t e dm o d e l s ，点分布模型) 。 几何信息类方法在原理上大多较为简单易懂，但使用的时候面临很多困难。 这是因为，作为一种低阶信息，几何信息受各种因素影响较大，鲁棒性较差。因此， 为了保证提取的精度，此类方法通常都对图象质量有较高的要求，且对姿态、表情 及光照条件的变化等也都有一定的限制。此外，由于脸部特征附近的对比度较低， 边界搜索过程收敛缓慢，因而运算量一般都比较大。所以不利于在驾驶疲劳的人 眼检测中使用。 2 2 3 颜色信息 色彩信息类方法的基本思想是用统计方法对目标对象的色彩建模，在搜索中 根据被测点的色彩与模型的匹配度，筛选出待测特征的可能位置。色彩信息在人 脸检测中有广泛的应用，而在脸部特征定位方面的应用则相对较少，这是因为肤 色在色彩空间中具有聚合性，而脸部特征的色彩信息较为复杂，如眼与嘴，以及眼 睛的瞳孔与眼白的色彩有显著区别，这给统一建模造成了一定的难度。 一种简单的解决办法是直接利用脸部特征与皮肤在色彩上的差异。如在已找 到的皮肤区域上搜索“空洞”，并根据空洞的面积、相对位置等判断其是否为脸部 特征( s o nl a mp h u n g ，2 0 0 1 ) 。这种方法避开了对脸部特征色彩信息的直接建模， 直接利用了基于色彩信息的人脸检测的搜索结果，速度快，但精度不高。色彩信 息类方法对光照条件和图象采集设备的特性较为敏感，易受环境因素的干扰， 精度难以稳定，但其优势在于系统的运行速度快，受姿态、尺寸、表情等变化的 影响小，适合于粗定位或一些对运行时间有较高要求的应用。虽能够满足实时要 求，但精度不高，不能用于驾驶疲劳的人眼的检测，但可以用于进一步改进以用 于驾驶疲劳的人脸定位。 2 2 4 外观信息 与几何信息类方法和色彩信息类方法不同的是，外观( a p p e a r a n c e ) 信息类方 法不再面向像素级判断，而是将一定区域窗口内的图象整体视作一个随机变量， 并映射为高维空间中的一个点。这样，同类型的脸部特征就可以描述为高维空 间中的一个点集，可以用统计方法对其分布规律建模，在搜索中，通过计算待 第2 章基于模拟驾驶舱的驾驶疲劳检测概述 测区域与模型的匹配度即可判定其是否包含目标脸部特征。这类方法对图象质 量、环境条件和目标对象状态等方面的变化有较好的适应能力，近年来引起研究 者们的广泛关注。 神经网络 人工神经网络方法的研究具有很长的历史。适合于解决非线性问题，因而在 模式识别领域有着广泛的应用。较早一段时间有文献将这一方法应用于人眼定 位。他们指出，完整的人眼图象受个体差异、眼睛状态和目标对象姿态等变化的 影响较大，算法训练过程比较简单，有较强的鲁棒性，但区分度不足。所以很难 应用于驾驶疲劳中的人眼检测和人眼定位。 p c a p c a ( p r i n c i p a lc o m p o n e n ta n a l y s i s 主元分析法) 是模式识别领域的一类经典 算法( b i c h s e lm ，1 9 9 1 ) ，它通过k 2 l 变换将表征人脸的高维向量映射到由若干个特 征向量( 也称e i g e n f a c e 特征脸) 张成的子空间中，从而实现对人脸图象的最优解 析和重构。作为分类器利用的是次元子空间( 特征空间的补空间) ，先用p c a 模型重 构被检区域，求出重构图与原图之间的距离，当距离小于一定阈值时，即被认定 为候选区域。t u r k 和p e n t l a n d 首先将这一算法应用于人脸识别和定位( t u r km ， 1 9 9 1 ) 。 s v m s v m ( s u p p o r tv e c t o rm a c h i n e 支持向量机) 是2 0 世纪9 0 年代以来依据统计学 习理论发展起来的一种通用的模式识别方法，与传统学习理论力图使经验风险最 小化不同，它着眼于使学习过程中的结构风险( s t r u c t u r a lr i s k ) 最小化，较好 地解决了小样本情况下的学习问题p a ng 0 0 0 2 ) ，l id i h u a ( 2 0 0 2 ) ，h e i s e l e b ，( 2 0 0 1 ) 将s v m 方法用于脸部特征检测。p a ng ( 2 0 0 2 ) 使用了方形扫描窗口，将眉毛 与眼睛作为一个整体作为定位的对象，从而减少了