（控制理论与控制工程专业论文）基于视频的驾驶员疲劳驾驶实时监测系统的设计和研究.pdf

浙江工业大学硕士学位论文 基于视频的驾驶员疲劳驾驶实时监测系统的设计和研究 摘要 目前，随着我国人民生活水平的不断提高，汽车已经走进了千家万户，成为人们日常 出行的一种重要的交通工具。然而，我国的交通事故也随之增多，成为威胁人民生命安全 和社会治安稳定的一个不容忽视的社会问题。疲劳驾驶，作为导致交通事故频频发生的一 个重要原因，在我国的研究还处于起步阶段，远远落后于西方各国，而目前国内对基于视 频的疲劳驾驶监测系统的研制与开发仍处于初始阶段，因此，关于疲劳驾驶方面的课题研 究具有极大的科研价值与意义。 本文在对国内外关于疲劳驾驶监测领域的研究现状和发展趋势进行深入分析的基础 上，归纳和总结了目前常用的几种疲劳驾驶监测方法，提出了一种基于视频的驾驶员疲劳 驾驶实时监测系统。该系统通过视频监测驾驶员眼部特征的变化来评价驾驶员的疲劳状 态，是一种比较切实可行的方案。 基于视频的驾驶员疲劳驾驶实时监测系统主要包括图像采集模块、图像处理模块和 s v m 分类器三部分，本课题研究和设计的重点是系统中的图像处理模块和s v m 分类器。图 像处理模块主要采用基于卷积核模板匹配的眼睛定位与跟踪算法对用图像采集模块获取 的司机脸部视频图像进行处理，并且基于g a b o r 变换提取出5 4 个多尺度、多方向的g a b o r 特征和另外两个眼睛特征参数，然后，将这5 6 个与疲劳驾驶相关的特征送入经过训练的 s v m 分类器进行识别，判断出驾驶员是否处于疲劳状态并及时地予以报警，从而能有效地 预防交通事故的发生。 本文所做的工作主要有以下几方面： 1 对目前国内外关于疲劳驾驶的监测方法和主要装置进行详细的综述，在深入分析 了国内疲劳驾驶监测方面的研究现状和存在问题的基础上，提出了一种通过用红外摄像机 的“亮瞳效应 实时监测驾驶员眼部特征来评价驾驶员是否疲劳的实际有效的方案，并设 计了系统的硬件和软件的总体框架。 2 研究和设计了系统中的图像处理模块。根据系统的实时性要求，提出了基于卷积 核模板匹配的眼睛定位和跟踪算法，并且基于“亮瞳效应”设计和制作了眼睛模板，通过 i 浙江工业大学硕士学位论文 对眼睛定位和跟踪算法的深入研究，用凇t l a b 进行了设计与实现。 3 对于图像处理模块中的特征提取单元，通过深入分析和研究纹理特征、多尺度变 换等图像处理技术，提出了基于g a b o r 变换的特征提取方法。将检测到的眼睛区域的内眼 角、外眼角和内外眼角的中心点三个点分别进行g a b o r 变换，对每一个点，取刀= o 、1 、2 ， p ：0 、要、孚、孚、孥、莩，计算其g a b o r 特征，共可得到5 4 个g a b o r 特征值。同时，结合 o o o0o 眼睛闭合时间和前1 0 次眨眼的平均时间两个特征，作为图像处理模块输出的特征向量。 4 研究和设计了系统中s v l d 分类器，通过对s 分类器相关的理论基础和基本概念 进行详细的介绍和概述，提出了系统中s v m 分类器的设计方法，并且在m a t l a b 平台上用 s v m0 s u 一3 0 工具箱等对几组视频片段进行了训练和测试，取得了预期的效果。 本文的研究工作只是采用眼睛特征作为评价驾驶员是否疲劳的特征参数，在今后的研 究中还可以结合生理信号、车辆参数等多种指标进行综合评价。也可以在嵌入式系统上进 行实验，做成产品，并扩大应用的领域。 关键词：疲劳驾驶，卷积核模板匹配，眼睛定位与跟踪，g a b o r 变换，支持向量机( s v m ) ， 核函数 浙江工业大学硕士学位论文 d e s i g na n dr e s e a r c h o ft h er e a l t 耵垤e d i u v e rf a t i g u em o n i t o i u n gs y s t e mb a s e d o nv i d e o a b s t r a c t n o w ，w i t ht h ei m p r o v e m e n to fp e o p l e sl i v i n gs t a n d a r d si nc h i n 毛c a r sh a v ea l r e a d ye n t e r e d m i l l i o n so fh o u s e h o l d sa n db e c o m eam a j o rm e a n so ft r a n s p o r ti np e o p l e sd a i l yo u t h o w e v e r , o u rc o u n t r y s 倘ca c c i d e n t sa l s oi n c r e a s e dr a p i d l y i tb e c a m eas o c i a lp r o b l e mc a nn o tb e i g n o r e da n da t h r e a tt op e o p l e sl i f es e c u r i t y 硒w e l la ss o c i a lo r d e ra n ds t a b i l i t y f a t i g u ed r i v i n g ， 弱o n eo ft h em o s ti m p o r t a n tr e a s o n sf o rt h ei n c r e a s i n gt r a f f i ca c c i d e n t s ，t h es t u d yo fi ti ss t i l li n t h eb e g i n n i n gs t a g ei no u r c o u n t r ya n dl a gf a rb e h i n dt h ew e s t e r nc o u n t r i e s a tp r e s e n t , t h e r e s e a r c ho ft h ed r i v e rf a t i g u em o n i t o r i n gs y s t e mb a s e do nv i d e oi ss t i l li nt h eb e g i n n i n gs t a g ei n o u rc o t m t r y s oi ti so fg r e a ts c i e n t i f i cv a l u ea n ds i g n i f i c a n c e t h i sp a p e rb a s e do na n a l y z i n go ft h ed o m e s t i ca n di n t e r n a t i o n a lr e s e a r c hs t a t u sa n d d e v e l o p m e n tt r e n di nt h ef i e l do ff a t i g u ed r i v i n gm o n i t o r i n g ，s u m m e du pt h ec u r r e n tc o m m o n l y u s e dm e t h o d st om o n i t o rf a t i g u ed r i v i n g t h e nar e a l - t i m ed r i v e rf a t i g u em o n i t o r i n gs y s t e m b a s e do nv i d e oi sp r e s e n t e d t h i ss y s t e me v a l u a t e sd r i v e r sf a t i g u es t a t u sb ym o n i t o r i n gt h e c h a n g e so fh i se y e sf r o mv i d e oa n di sam u c h m o r er e a l i s t i cm e t h o d t h er e a l - t i m ed r i v e rf a t i g u em o n i t o r i n gs y s t e mb a s e do nv i d e om a i n l yi n c l u d e st h r e ep a r t s t h e y r et h ei m a g ea c q u i s i t i o nm o d u l e ，t h ei m a g ep r o c e s s i n gm o d u l ea n dt h es v m c l a s s i f i e r t h e r e s e a r c ha n dt h ed e s i g ni s s u e so ft h i sp a p e ra r et h ei m a g ep r o c e s s i n gm o d u l ea n dt h es v l v l c l a s s i f i e r t h ei m a g ep r o c e s s i n gm o d u l eu s e dt h ee y ed e t e c t i o na n dt r a c k i n ga l g o r i t h mb a s e do n c o n v o l u t i o nk e r n e lm a s ko p e r a t i o nt od e a lw i t ht h ev i d e oi m a g e so fd r i v e r sf a c ew h i c hg a i n f r o mt h ei m a g ea c q u i s i t i o nm o d u l e i ti sb a s e do nt h eg a b o rt r a n s f o mt oe x t r a c tf i 埘- f o u r m u l t i - s c a l e ，m u l t i - o r i e n t a t i o ng a b o rf e a t u r e sa n dt h eo t h e rt w oe y ef e a t u r e s t h e n ，t h e s ef i f t y - s i x f e a t u r e sw h i c ha s s o c i a t e dw i t hf a t i g u ed r i v i n ga r ep u ti n t ot h et r a i n e ds v mc l a s s i f i e rt oi d e n t i f y w h e t h e rt h ed r i v e ri sf a t i g u ea n da l a r mi nt i m e t h u s ，i tc a np r e v e n tt r a f f i ca c c i d e n t sf r o m h a p p e n i n ge f f e c t i v e l y t h em a j o rj o b so ft h i sp a p e ra r e t h ef o l l o w i n g ： 浙江工业大学硕士学位论文 1 t h ep a p e rs u m m a r i z e sd e t a i lt h ec u r r e n td o m e s t i ca n di n t e r n a t i o n a lm o n i t o r i n gm e t h o d s a n dm a j o re q u i p m e n t so ff a t i g u ed r i v i n g b a s e do na n a l y s i s i n gt h es t u d ys t a t u sa n de x i s t e n t q u e s t i o n so fd o m e s t i cf a t i g u ed r i v i n gm o n i t o r i n gd e e p l y ，t h ea u t h o rp r o p o s e sae f f e c t i v ep r o g r a m , w h i c hu s e da ni n f r a r e dc a m e r a s b r i g h tp u p i le f f e c t t or e a l - t i m em o n i t o rd r i v e r se y ec h a r a t e r s a n de v a l u a t ew h e t h e rt h ed r i v e ri sf a t i g u e a n dd e s i g n i n gt h es y s t e m sw h o l ef r a m e w o r ko f h 盯d w a r ea n ds o f t w a r e 2 r e s e a r c h i n ga n dd e s i g n i n gt h ei m a g ep r o c e s s i n gm o d u l eo ft h es y s t e m a c c o r d i n gt o t h er e a l - t k m er e q u e s to ft h es y s t e m ，t h ep a p e rp r o p o s e st h ee y ed e t e c t i o na n dt r a e l ( i n ga l g o r i t h m b a s e do nc o n v o l u t i o nk e r n e lm a s ko p e r a t i o na n dd e s i g n st h ee y et e m p l a t eb a s e do n t h eb r i g h t p u p i le f f e c t t h r o u g ht h es t u d yo ft h ee y ed e t e c t i o na n dt r a c k i n ga l g o r i t h m ，t h ep a p e rd e s i g n a n di m p l e m e n tt h i sa l g o r i t h mo nt h em a t l a b 3 f o rt h ef e a t u r ee x t r a c t i o nu n i to ft h ei m a g ep r o c e s s i n gm o d u l e ，t h ep a p e ra n a l y s i sa n d s t u d y so ft e x t u r ef e a t u r e s ，m u l t i s c a l et r a n s f o r ma n do t h e r si m a g ep r o c e s s i n gt e c h n o l o g i e s ， p r o p o s e i n gak i n do ff e a t u r ee x t r a c t i o nm e t h o db a s e do nt h eg - a b o rt r a n s f o r m t h i sm e t h o du $ g s t h ee y e si n s i d ec o r n e l ，o u t s i d ec o r n e r , t h ec e n t e rb e t w e e nt h e 硫i d ec o r n e ra n dt h eo u t s i d e c o m e rt o l eg 籼r 仃a n s f o r m 陆e a c hp o i n t , 址e ，= 叫、2 ，p = o 号、等、詈、竺6 、詈， c a l c u l a t ei t sg a b o rf e a t u r e s t h e nw ec a ng e tat o t a lo ff i f t y - f o u rg a b o rf e a t u r e s m e a n w h i l e ， c o m b i n i n gt h eo t h e rt w of e a t u r e s ，w h i c ha r et h ed u r a t i o no fe y ec l o s u r ea n dt h ea v e r a g ed u r a t i o n o f t h ep a s tt e nt i m e sb l i n k s 舔t h ef e a t u r ev e c t o ro f t h ei m a g ep r o c e s s i n gm o d u l e so u t p u t 4 t h ep a p e ra l s or e s e a c h sa n dd e s i g n st h es v mc l a s s i f i e ro ft h es y s t e m t h r o u g h i n t r o d u c i n ga n do v e r v i e w i n gt h e t h e o r i e sa n dt h eb a s i cc o n c e p t i o n sr e l a t e dw i t ht h es v m c l a s s i f i e r i tp r o p o s e st h ed e s i g nm e t h o do ft h es v mc l a s s i f i e r f u r t h e r m o r e ，u s i n gs v m o s u _ 3 0t o o l b o xo nt h em a t l a bp l a t f o r mt ot r a i na n dt e s ts e v e r a lg r o u p so fv i d e oc l i p s ，i t a c h i e v e st h ed e s i r e dr e s u l t s t h er e s e a r c hw o r ko ft h i sp a p e ro n l yt a k et h ee y ef e a t u r e sa sf e a t u r ep a r a m e t e r st oe v a l u a t e w h e t h e rt h ed r i v e ri sf a t i g u e i nt h ef u t u r es t u d y ，i tc a na l s ob ec o m b i n e d 诵t hp h y s i o l o g i c a l s i g n a l s ，v e h i c l e sp a r a m e t e r sa n do t h e ri n d e x e sf o rt h em o r ec o m p r e h e n s i v ec o n s i d e r a t i o n e m b e d d e ds y s t e mc a na l s op e r f o r me x p e r i m e n to na n dm a k ep r o d u c t so fi t ，e x p a n d i n gt h ef i e l d o fi t sa p p l i c a t i o n k e yw o r d s ：f a t i g u ed r i v i n g ，c o n v o l u t i o nk e r n e lm a s ko p e r a t i o n , e y ed e t e c t i o na n d t r a c k i n g ，g a b o rt r a n s f o r m a t i o n ，s u p p o r tv e c t o rm a c h i n e ( s v m ) ，k e r n e lf u n c t i o n 浙江工业大学 学位论文原创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作 所取得的研究成果。除文中已经加以标注引用的内容外，本论文不包含其他个人或 集体已经发表或撰写过的研究成果，也不含为获得浙江工业大学或其它教育机构的 学位证书而使用过的材料。对本文的研究作出重要贡献的个人和集体，均已在文中 以明确方式标明。本人承担本声明的法律责任。 作者签名： 日期：护7 年厂月哆e l 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本 人授权浙江工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 l 、保密口，在年解密后适用本授权书。 i 2 、不保密瓯 ( 请在以上相应方框内打“”) 作者签名 导师签名 y 月够e 1 月日 浙江工业大学硕士学位论文 第1 章绪论 1 1 选题背景和研究目的 近年来，随着社会经济的迅速发展和人民生活水平的日益提高，我国的汽车数量正逐 年增多。汽车已经成为人们日常生活中的一种重要的交通工具。汽车的普及，一方面极大 地方便人们的出行，提高了人们的生活质量；另一方面，也产生了环境污染、道路拥挤、 交通事故增多等诸多问题。 据有关部门统计，我国目前拥有全世界1 9 的汽车，而引发的交通事故却占了全球的 1 5 左右，每年在交通事故中丧生的人数超过l o 万人。可见，交通事故给人民的生命财产 安全和社会治安稳定造成了极大的威胁，成为我国一个不容忽视的社会问题。 导致交通事故发生的原因是多方面的。客观原因有车辆性能存在隐患、道路设施不合 理和维护不完善等。主观原因包括驾驶员酒后驾车、违章超载超速、疲劳驾驶；行人乱闯 红绿灯、乱穿马路等。 2 0 0 6 年，全国共查处各类交通违法违规行为约1 3 亿人次，其中，酒后驾车6 5 万人 次，违章超载超速1 6 0 0 万人次，疲劳驾驶2 0 万人次。据公安部交通管理局统计，仅2 0 0 7 年1 月至2 月，全国共发生交通事故8 3 3 3 4 起，造成1 6 5 8 2 人死亡。其中，因疲劳驾驶导 致的死亡人数达3 8 1 人。可见，疲劳驾驶的危害极大。 疲劳是由于体力或脑力劳动使人产生的生理机能和心理机能失调的现象，疲劳驾驶指 司机在疲劳状态下驾驶机动车辆的行为，主要表现为：哈欠连天、频频点头、眼睑下垂甚 至闭合、老打瞌睡、注意力无法集中、思维能力和判断力下降、动作迟缓、反应迟钝、驾 驶车辆左摇右摆、失去方向、车速随意变换等【1 】【2 】。由于疲劳会极大地影响人的判断力和 行为能力，因此，处于疲劳状态的司机往往难以集中注意力、反应迟缓，在驾驶过程中经 常打瞌睡、甚至睡着了，从而无法正常驾驶，极易发生撞车、冲出路面等交通事故。专家 表明，司机过度疲劳时发生事故的可能性是正常驾驶时的3 - 4 倍。 目前，疲劳驾驶已成为导致交通事故发生的一个重要原因【3 1 。在美国，每年发生的2 0 0 万交通事故中，由于疲劳驾驶和因疲劳导致的注意力不集中所致的车祸超过1 0 0 万起，损 失高达1 2 5 万美元。在德国，约有2 5 的交通事故是因为疲劳驾驶所造成的。我国的交通 事故中，有1 5 - - 2 0 的交通事故是由于司机疲劳驾驶而引发的。 1 浙江工业大学硕士学位论文 由此可见，研究驾驶员疲劳驾驶实时监测系统具有非常广阔的应用前景，它对于预防 由于疲劳驾驶所引起的交通事故具有重要的意义，是目前交通事故预防的一个热门课题。 1 2 国内外的研究现状和发展趋势 1 2 1 疲劳驾驶的监测方法 目前，国内外关于疲劳驾驶的监测方法和装置主要分为三类【4 】如表1 - 1 所示： 表1 - 1 疲劳驾驶监测的主要方法 种类主要方法 驾驶员的生理信号脑电信号e e g 、心电信号e g g 、肌电信号e i g 驾驶员的个体特征瞳孔直径、眼睛特征、头部位移 车辆的参数方向盘的运动情况、车辆的行驶方向 第一种是通过监测驾驶员的生理信号来评价驾驶员的疲劳状态，其中，主要的生理信 号有：脑电信号e e g 、心电信号e g g 、肌电信号e m g 。 脑电信号是人体重要的一种生理信号，被誉为监测人体疲劳的“金标准 【l 】。脑电 波根据频率和振幅的不同可分为q 波、1 3 波、0 波和8 波。当人处于清醒状态时，脑电波 中的q 波和1 3 波占主导地位；当人处于疲劳状态时，脑电波中的q 波和1 3 波会逐渐减弱乃 至消失，同时，0 波和8 波出现并随疲劳程度的增加而不断增强。可见，通过监测脑电波 的主导节律，我们可以客观准确地判断出驾驶员的疲劳程度。 心电指标也是判断驾驶疲劳的一种重要的生理指标，它包括心率指标和心率变异指标 二种。研究发现，在心电信号的七项时域和频域指标中，有四项指标与疲劳程度有明显的 相关性。心电信号具有简单易行、可随身携带等优点，而且随着检测手段和分析技术的不 断发展，今后可实现动态检测和实时处理【3 】。 另外，通过监测肌电信号的幅值与频率的变化也可以客观地评价驾驶员的疲劳状态。 在肌电图中，肌电信号的幅值大小与疲劳程度成正比，其频率也随着机体疲劳的产生和疲 劳程度的加深而逐渐地下降【3 】。 第二种是通过监测驾驶员的个体特征来评价驾驶员的疲劳状态，其中，个体特征主要 包括：瞳孔直径、眼睛特征、头部位移。相关的监测方法和装置主要有瞳孔测量计、眼动 信号p e r c l o s 和头部位移传感器三种。 2 浙江工业大学硕士学位论文 实验表明，人在清醒时，瞳孔直径保持相对稳定，而在瞌睡时，瞳孔会缩小。因此， 瞳孔直径的变化可作为判断驾驶员疲劳驾驶的一种评价标准【3 1 【s 1 。瞳孔测量计则通过测量 瞳孔直径随时间的变化，用得出睁、闭眼的参数来判断驾驶员是否疲劳驾驶1 6 。 眼睛特征主要有眨眼频率、闭眼时间长度、眼睛闭合程度等。一般情况下，人们正常 眨眼时的眼睛闭合时间为0 2 - 0 3 秒，当眼睛闭合时间超过0 5 秒时则很容易发生交通 事故。因此，通过对眼睛闭合时间、眨眼频率等眼睛特征进行监测，可以判断驾驶员是否 疲劳。眼动信号p e r c l o s 是p e r c e n te y e l i dc l o s u r e 的英文缩写，即“眼睛闭合时间占特 定时间的百分率 【3 】，它是根据人在疲劳打瞌睡时眼睑眨动频繁且眼睛闭合时间较长的特 点，通过记录并分析驾驶员的眨眼频率和眨眼周期来判断其是否疲劳驾驶【6 】【刀，这种方法 已通过美国联邦公路管理局论证，是一种比较可靠和成熟的测评方法。 一般，当人们打瞌睡时，其头部往往会频频点头，因此，点头的动作与打瞌睡也有极 大的相关性【8 】。头部位移传感器则是根据人在打瞌睡时会频频点头的特点，利用头部的位 移变化情况来判断驾驶员是否疲劳驾驶l 。 第三种是通过监测车辆的参数来评价驾驶员疲劳状态，主要的车辆参数有：方向盘运 动情况、车辆行驶方向等。 由于当驾驶员感到疲劳时，其反应变慢，操作方向盘的动作也会减缓，与正常驾驶有 很大的区别，因此方向盘是否正常运动可作为评价驾驶员疲劳驾驶的一个标准。疲劳时， 驾驶员由于注意力分散、反应迟钝，车辆极易偏离车道，失去方向。可见，通过监测车辆 的行驶方向亦可判断出驾驶员是否疲劳驾驶 9 1 。 1 2 2 国外的研究进展 国外关于疲劳驾驶监测系统的研究有很纠1o 】 1 1 1 ，下表卜2 列举了一些比较有代表性的 疲劳驾驶监测装置【12 1 。 其中，美国明尼苏达大学的驾驶员眼睛追踪和定位系统通过在车内安装的红外线摄像 头实时采集的驾驶员脸部图像，然后将图像经滤波等图像处理后，用灰度模板匹配法搜索、 定位眼睛区域并确定眼睛的睁合状态，最后根据眼睛的睁合状态来判断驾驶员是否疲劳驾 驶【1 3 1 。 a d v a n c e ds a f e t yc o n c e p t s 公司研制开发的头部位置传感器根据人在打瞌睡时会频频点 头的特点，通过测量驾驶员头部位置的变化来判断驾驶员是否在打瞌睡。该装置主要通过 设计、安装在驾驶员座位上方的一个电容传感器阵列来精确地定位出驾驶员的头部位置， 然后，通过对头部位置的实时跟踪，根据头部位置的变化情况来判断驾驶员是否疲劳打瞌 3 浙江工业大学硕士学位论文 睡。 表1 2 国外的一些疲劳驾驶监测装置 国家研究机构疲劳驾驶监测装置 明尼苏达大学驾驶员眼睛跟踪和定位系统 a d v a n c e ds a f e t yc o n c e p t s 公司 头部位置传感器 美国 e l e c t r o n i cs a f e t yp r o d u c t s 公司 方向盘监视装置s a m e l l i s o n 研究实验室d a s 2 0 0 0 型路面警告系统 瑞典沃尔沃汽车公司驾驶员警示系统 澳大利亚 o u t e r s p a c ed e s i g n 公司o p t a l e r t 疲劳驾驶警报系统 希腊 科技研究和发展中心疲劳驾驶警示系统 e l e c t r o n i cs a f e t yp r o d u c t s 公司开发的方向盘监视装置s a m 则是通过监测方向盘是否 非正常运动来判断驾驶员是否疲劳驾驶【3 1 。s a m ( s t e e r i n g a t t e n t i o nm o n i t o r ) 是一种能 够监测方向盘非正常运动的传感器装置，当方向盘作非正常运动( 如：一直左转，或一直 右转) 超过4 秒时，s a m 就会发出警报，提醒驾驶员。 e l l i s o n 研究实验室研制的d a s 2 0 0 0 型路面警告系统是一种设置在公路上用计算机控 制的红外线监测装置，它通过监测车辆的行驶方向是否正常来判断驾驶员是否疲劳驾驶。 当车辆偏离道路中线太远、将要冲出路面时，该装置会向驾驶员发出警告【3 l 。 瑞典沃尔沃汽车公司最近推出的“驾驶员警示系统”通过实时监测车辆的行驶过程， 记录并分析司机的驾驶行为，判断车辆是否处于有效控制状态，从而能够主动地预防安全 事故的发生。一旦系统发现车辆处于失效控制状态时，就及时地予以警示i l 习。 澳大利亚o u t e r s p a c cd e s i g n 公司的o p t a l e r t 疲劳驾驶警报系统是通过检测司机的眼皮 来判断他是否处于疲劳状态。 希腊科技研究和发展中心的研究人员目前正研制一种疲劳驾驶警示系统，该装置通过 在车内安装微型摄像头来计算司机眨眼的次数，通过在方向盘、座位和车顶部安装的感应 器来检测司机手上的压力、汽车的行驶路线及与周围车辆的距离，并且将这些参数相融合， 综合地评价司机是否疲劳驾驶。 浙江工业大学硕士学位论文 1 2 3 国内的研究现状 目前，国内在这方面的研究才刚刚开始，尚处于理论研究的阶段，已开发的相关产品 极少。 首都师范大学信息工程学院的韩相军、关永等人提出了种采用累积差分帧和h o u g h 变换等实时图像处理技术进行检测和跟踪眼睛的方法，这种方法通过分析眼睛的状态和提 取眼睛的特征参数，在一定时间内连续统计眼睛闭合时间，从而计算出p e r c l o s 值，判断 驾驶员的疲劳状态。他们通过将这种眼睛检测和跟踪算法在专用的d s p 上进行实验，设计 和开发了一种用于监测疲劳驾驶的嵌入式系统。 文献【6 】提出了一种利用图像差分和p e r c l o s 进行驾驶员疲劳识别的方法。这种方法通 过采用灰度直方图、直方图均衡化等图像分析手段来定位和识别驾驶员眼睛是处于睁开还 是闭合的状态。最后通过统计眼睛闭合时间判断驾驶员的疲劳程度。 文献【4 】提出来的方法则是先对原始图像进行图像灰度化、几何校正、光照强度校正、 去噪声和边缘检测等图像预处理，利用基于肤色模型的人脸检测技术来确定人脸的位置。 然后用微积分联合投影算法分别定位出左右眼睛，通过c a n n y 边缘检测双眼二值图像的平 均高度来判断眼睛的开合程度，最后，也采用p e r c l o s 方法判断出驾驶员的疲劳状态。 2 0 0 6 年3 月深圳亿龙科技有限公司研制开发的手表式t w s 汽车驾驶疲劳预警系统， 通过监测人体的生物信息( 如：红外光谱、心路脉搏、生物电等) 来判断人的精神状态， 当使用者进入疲劳状态时该系统会发出警告。 北京第九趋势科技发展有限公司推出的疲劳预警系统f w s 系列产品包括疲劳智能预 警手表、眼镜、戒指和方向盘等，它通过检测皮肤电阻的微小变化或眼皮的活动情况来监 测人体的“精神疲劳指数 ，从而判断驾驶员是否疲劳。 但是，由于这些产品都是采用基于生物信息的技术，其可靠性和稳定性比较差，存在 许多的不足，有待于进一步的研究和完善。 可见，基于视频的疲劳驾驶实时监测系统的研究和开发具有非常重要的实用价值和意 义。 1 3 本文主要的研究工作和各章节的安排 本文提出的基于视频的驾驶员疲劳驾驶实时监测系统是通过监测驾驶员的个体特征 ( 主要是眼睛特征) 来评价驾驶员的疲劳状态。系统的基本硬件组成包括计算机和红外摄 像机，主要的软件功能模块有：图像采集模块、图像处理模块和s v m 分类器三部分。由 浙江工业大学硕士学位论文 于图像采集模块主要是靠硬件来实现的，因此，本文研究工作的重点是该系统的图像处理 模块和s v m 分类器的设计。 论文各章节的安排如下： 第一章绪论 本章主要介绍了本课题的选题背景和研究目的，在综合性地概括目前常用的几种疲劳 驾驶监测方法的基础上，详细介绍了当前国内外的研究现状和发展趋势，提出了本课题研 究的意义和价值、以及主要的研究内容。 第二章系统的整体结构和图像采集模块 本章重点介绍了系统的整体结构和图像采集模块两部分。系统的整体结构分为硬件组 成和软件结构两方面，系统主要的软件功能模块有图像采集模块、图像处理模块和s v m 分类器。其中，图像采集模块是用硬件来实现的，不是课题研究的主要内容，因此，在这 一章中作介绍。 第三章眼睛的定位与跟踪 图像处理模块是本课题研究的主要内容之一，它主要采用基于卷积核模板匹配的眼睛 定位与跟踪算法，实现眼睛定位和眼睛特征提取的功能。本章内容主要包括图像预处理、 眼睛模板的制作、眼睛定位与跟踪算法几部分，重点阐述了基于卷积核模板匹配的眼睛定 位与跟踪算法。 第四章特征提取与图像处理模块的设计 本章在前一章节的基础上，主要介绍了图像处理模块中的特征提取单元与该模块的整 体结构。图像处理模块的输出是一个包含了5 6 个特征参数的特征向量，该特征向量主要 是由5 4 个g a b o r 眼睛特征值与眼睛闭合时间、前1 0 次眨眼的平均时间组成。在详细阐明 了主要基于g a b o r 变换的特征提取之后，本章给出了图像处理模块的整体框架及其部分程 序。 第五章s v m 分类器的设计 s v m 分类器是驾驶员疲劳驾驶实时监测系统的核心，它通过对提取出的眼睛特征进行 分析，识别出眼睛的状态，并由此来判断驾驶员是否疲劳驾驶。本章通过对s v m 的理论 基础、基本原理、s v m 核函数及其参数进行概括总结的基础上，提出了s v m 分类器设计 的具体方法。通过在m a t l a b 平台上用s v m 工具箱进行仿真实验，得出了适用于本系统 的较好的s v m 核函数类型及其参数。 第六章总结与展望 本章通过总结在课题研究过程取得的一些经验和存在的不足之处，提出了本课题将来 6 浙江工业大学硕士学位论文 研究的一些方向，为今后这方面研究工作的开展提供一些参考意见。 7 浙江工业大学硕士学位论文 第2 章系统的整体结构和图像采集模块 2 1 系统的整体结构 基于视频的驾驶员疲劳驾驶实时监测系统是通过监测驾驶员的眼睛特征来评价驾驶 员的疲劳状态。系统的基本硬件组成包括红外摄像机和计算机，主要的软件功能模块有： 图像采集模块、图像处理模块、s v m 分类器三部分。 2 1 1 硬件组成 系统的硬件主要是计算机和一个带红外光源的红外摄像机。 红外摄像机又称为红外夜视摄像机，这几年迅速发展，是目前各种民用行业中常用的 一种监控设备。 自1 8 0 0 年英国天文科学家赫谢耳( h e r s c h e l ) 发现了红外线以来，美国贝尔实验室在 上世纪6 0 年代初发明了红外夜视技术，并将之不断推广，应用于摄像机等诸多产品中， 产生了红外摄像机等新型高科技产品【1 4 】。红外摄像机是红外光源产生技术与视频捕捉技术 相结合的产物，随着这两项技术的不断发展和应用，红外摄像机正逐渐成熟，在国防、军 事、商业、社区安全等领域中得到广泛的应用，慢慢地走向大众。 众所周知，光与无线电波一样，都是一种电磁波，光波的波长从几纳米( 即l i r a ， l n m = 1 0 母m m ) 到1 毫米。在光波中，人眼可以看见的只是其中的一部分。这部分可以看见 的光波，我们称之为可见光。可见光的波长范围是3 8 0 n m - - 7 8 0 n m ，根据波长由长到短可 以分为红光、橙光、黄光、绿光、青光、蓝光、紫光七种。对于光波中其它的不可见的部 分，我们将波长比紫光短的称为紫外光，波长比红光长的称为红外光。红外光的波长在 7 8 0 n m - 10 0 0 n m 之间，位于无线电波和可见光之间，是人眼不可见的光。 红外摄像机中的关键技术红外夜视技术，可分为主动红外夜视技术和被动红外夜 视技术。主动红外夜视技术是通过红外光源来主动照射并利用目标反射回的红外光线进行 观察的夜视技术。被动红外夜视技术则是借助目标自身发射的红外辐射来实现观察的红外 技术，又称为远红外技术，其穿透能力和抗干扰能力强，常用于军事、卫星等领域。 目前，用于监控领域的红外技术主要采用主动红外技术，相应的红外摄像机多采用独 立的红外光源发生器与感红外摄像机相结合的组合方式。而现在大多数的摄像机都是采用 r 浙江工业大学硕士学位论文 c c d ( 是c h a r g ec o u p l e dd e v i c e 的缩写，即“电荷耦合器件 ) 作为感光组件。c c d 是 一种半导体成像器件，它本身就可以感应到红外光线，因此，只要在普通摄像机的c c d 前加上红外滤光镜便具备了红外摄像能力。 由于疲劳驾驶多发生在夜间行车时，而且基于“亮瞳效应一等因素的考虑，因此采用 红外摄像机作为监控设备。 2 1 2 软件结构 系统主要的软件功能模块分为图像采集模块、图像处理模块、s v m 分类器三部分。其 中，图像采集模块的功能是用红外摄像机实时采集驾驶员的脸部图像；图像处理模块的主 要任务则对采集到的脸部图像进行眼睛定位与跟踪，提取出眼睛特征参数；s v m 分类器的 功能是通过对这些眼睛特征参数进行分析，来判断驾驶员的精神状态。由于图像采集模块 主要是靠硬件来实现的，因此，课题研究的重点是该系统的后面两部分，即：图像处理模 块和s v m 分类器的设计。 系统的软件结构图如图2 - 1 所示。 原始陶像 厂一一一一一 眼睛 、l图像采图像处 特征 s vm 、l i - 集模块 ， 理模块 ， 分类器 驾驶员疲劳驾驶实时j 撬测系统 图2 1系统的软件结构图 疲劳清醒 首先，驾驶员脸部的原始图像经图像采集模块采集后，送入图像处理模块进行图像预 处理。然后，图像处理模块用基于卷积核模板匹配的眼睛定位与跟踪算法对驾驶员脸部图 像中的眼睛进行定位与跟踪，并提取出眼睛特征参数。最后，由经过训练的s v m 分类器 对提取出的眼睛特征参数进行分析，判断出驾驶员是处于疲劳状态还是清醒状态。一旦系 统发现驾驶员处于疲劳状态，就及时地发出警告，从而有效地避免交通事故的发生。 9 浙江工业大学硕士学位论文 2 2 图像采集模块 图像采集模块的主要功能是用红外摄像机实时地采集驾驶员脸部的原始图像，它是基 于“亮瞳效应”的，主要用一个带红外光源和红外滤波器的摄像机来实现旧。 对驾驶员疲劳驾驶检测系统而言，系统的实时性、准确性以及对驾驶行为的非约束性 都是在设计系统过程中所必须考虑的几个重要因素。尤其是实时性，它是衡量该系统性能 好坏的一个重要指标， 利用人眼图像来检测疲劳驾驶是目前的一个主流方向，它具有实时性好、不会对驾驶 员的驾驶行为产生影响等优点。研究表明，人眼在正常眨眼情况下的眼睛闭合时间约在 0 2 03 秒之间，如果驾驶员在驾驶过程中眼睛闭台时间达到了0 5 秒以上，则很容易发 生交通事故。因此，要求系统必须在这个时间内处理完所有的分析和判断过程。 针对本系统，我们提出的眼睛定位方法是基于“亮瞳效应”的，它不仅可以满足系统 的实时性、准确性和非约束性要求还能够适应不同的光照背景、旋转和偏转角度等多种 复杂的环境。而实现“亮瞳效应”所需的硬件也非常简单，只要添加一个带红外光源和红 外滤波器的摄像机就可以了。利用这种红外摄像机，我们就可以拍摄出具有“亮瞳效应” 的人眼圈像旧。 所谓“亮瞳效应”是指：当人眼不可见的红外光线沿着摄像机的光轴照到人脸时，瞳 孔会沿原路径反射几乎所有接收到的红外光给摄像机，使摄像机拍出的人脸图像中眼睛是 一对明亮的光点如图2 2 所示。这就像摄像中的“红眼效应”，故而又被称为“红眼效 应”。 纛j。蒸i 图2 - 2 亮瞳效应的效果围 本系统采用红外摄像机来拍摄人脸图像，主要基于以下几点考虑：首先，利用红外摄 浙江工业大学硕士学位论文 像机拍摄驾驶员的脸部图像，可以产生“亮瞳效应 ，使下一步的图像处理模块能够快速、 准确地定位出眼睛，满足系统实时性的要求。第二，红外光线对于人眼来说是不可视的， 不会影响驾驶员的正常驾驶。第三，采用带红外光源的红外摄像机进行