（控制理论与控制工程专业论文）基于dsp的疲劳驾驶监测方法研究.pdf

硕士论文 基于d s p 的疲劳驾驶监测方法研究 摘要 由于疲劳驾驶导致的交通事故数量不断上升，疲劳驾驶已成为一个严重的社会问 题。研制嵌入式的疲劳驾驶监测预警系统，对于避免交通事故，提高交通系统的安全性 有着重要意义。 本文重点研究了如何在d s p 系统中，基于计算机视觉技术，实时监测驾驶员的疲 劳状态。对人脸检测、眼睛定位、疲劳判断及其算法在d s p 中的实现作了研究。主要 研究内容有： 1 研究了人脸检测、眼睛定位算法以及算法在d s p 中的实现。针对人脸检测，采 用了背景差分结合人脸肤色模型的方法，该方法能快速地完成人脸定位。针对眼睛定位， 提出了积分投影与区域生长法相结合进行眼睛定位的方法，并应用螺旋队列寻找初始生 长点，改进了传统的区域生长法。使眼睛状态的提取准确而快速，满足了稳定性与实时 性的要求。 2 在提取眼睛状态基础上，应用模糊决策方法对p e r c l o s ( 眼睛闭合比) 、e c t ( 最长眼睛闭合时间) 、e b f ( 眨眼频率) 三种疲劳参数进行信息融合，综合判断驾驶 员的疲劳状态，减少单一参数对疲劳判断带来的不确定性。 3 构建了一套基于d s p ( t m s 3 2 0 d m 6 4 3 ) 的疲劳驾驶实时监测系统，设计并实现 了疲劳监测软件。在实验室条件下完成实验，实验结果表明该系统能够实时地监测驾驶 者的眼睛状态并进行疲劳识别。 关键词：疲劳驾驶，t m s 3 2 0 d m 6 4 3 ，肤色模型，区域生长，模糊决策 a b s t r a c t 硕士论文 a b s t r a c t t h ei n c r e a s i n gn u m b e ro ft r a f f i ca c c i d e n t sd u et ot h ed r i v e r s d i m i n i s h e dv i g i l a n c el e v e l h a sb e c o m eas e r i o u sp r o b l e mf o rs o c i e t y i t sp r e s s i n gt od e s i g na ne m b e d d e ds y s t e m ，w h i c h c a nm o n i t o rt h ed r i v e r s v i g i l a n c e ，t oa v o i dt h e 舰伍ca c c i d e n t s t m s p a p e rp r e s e n t sac o m p u t e rv i s i o ns y s t e mf o rm o n i t o rd r i v e r s v i g i l a n c ei nr e a lt i m e b a s e do nd s ef a c ed e t e c t i o n , e y e sp o s i t i o na n df a t i g u ee s t i m a t i o na r ed i s c u s s e di nt h ep a p e r n l em a i nc o n t e n to ft h ep a p e ri sd e s c r i b e da sf o l l o w 1 t h es t u d yo ff a c ed e t e c t i o na n de y e sl o c a t i o ni sw o r k e do nt h eb a s i so fd s et h e b a c k g r o u n dd i f f e r e n c ea l g o r i t h ma n df a c e c o l o rm o d e la r eu s e dt od e t e c tt h ef a c e ，w h i c h l o c a t e st h ef a c eq u i c k l y a i m i n ga tt h ee y e sl o c a t i o n , t h i sp a p e rb r i n g sf o r w a r dt h em e t h o do f i n t e g r a lp r o j e c t i o nc o m b i n e dw i t hr e g i o ng r o w t ht ol a c a t et h ee y e s i na d d i t i o n ，s p i r a lq u e u ei s a p p l i e dh e r et oi m p r o v et h ec o n v e n t i o n a lm e t h o do fr e g i o ng r o w t h i nt h i sw a y , i tc a na c q u i r e t h es t a t eo ft h ee y e sq u i c k l ya n de x a c t l ya n dm e e tt h en e e do ft h er o b u s ta n dt h er e a l t i m eo f t h es y s t e m 2 n l em e t h o do ff u z z yc l a s s i f i e ri su s e dt oe s t i m a t et h ed r i v e s s t a t eb a s e do nt h es t a t eo f t h ee y e s ，w h i c hi n t e g r a t e st h ep a r a m e t e r so fp e r c l o s ，e c ta n de b et l l i sm e t h o dc a l l r e d u c et h eu n c e r t a i n t yo ft h ed r i v e s s t a t ee s t i m a t i o nw h i c hm a yb em a d eb yt h eo n l y p a r a m e t e r 3 av i s i o ns y s t e mf o rm o n i t o r i n gad r i v e r sv i g i l a n c ei nr e a lt i m ei sd e s i g n e db a s e do n d s p ( t m s 3 2 0 d m 6 4 3 ) t h es y s t e mh a sb e e nt e s t e dw i t hd i f f e r e n tu s e r sa n dr e s u l t ss h o wt h a t t h es y s t e mc a nm o n i t o rt h ed r i v e sv i g i l a n c ea n de s t i m a t et h es t a t eo ft h ed r i v e r k e y w o r d s ：d r i v e rv i g i l a n c e ，t m s 3 2 0 d m 6 4 3 ，f a c ec o l o rm o d e l ，r e g i o ng r o w t h ， f u z z yc l a s s i f i e r l l 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本 学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或 公布过的研究成果，也不包含我为获得任何教育机构的学位或学历而使 用过的材料。与我一同工作的同事对本学位论文做出的贡献均己在论文 中作了明确的说明。 研究生签名： 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或 上网公布本学位论文的部分或全部内容，可以向有关部门或机构送交并 授权其保存、借阅或上网公布本学位论文的部分或全部内容。对于保密 论文，按保密的有关规定和程序处理。 研究生签名： 丝毫 卵多年 月，日 硕士论文基于d s p 的疲劳驾驶监测方法研究 i 绪论 i i 疲劳驾驶监测的背景及意义 随着社会的进步和经济的发展，汽车在人们日常生活中正扮演着越来越重要的角 色。但是随着汽车数量的急剧增长，汽车安全驾驶便成为了世界性的社会问题。交通事 故的频繁发生，给人们的生产、生活带来了严重的影响。表1 1 是1 9 9 8 年至2 0 0 7 年我 国道路交通事故统计数据【l 】【2 1 。 表1 19 8 年- 0 7 年我国道路交通事故统计数据 从表1 1 可以看出，在进入新千年后，我国的交通事故居高不下，而死亡人数与受 伤人数也在2 0 0 2 年达到了顶峰，驾驶员人数还在与年俱增，面对越来越多的车辆，在 超速行驶、疲劳驾驶、酒后驾驶已经成为了公路的三大杀手的情况下，如何有效的控制 交通事故的发生是人类关注的重点问题。2 0 0 5 年1 月2 0 日全国道路交通安全工作部际 联席会议第3 期道路交通安全工作简报t 3 j t 4 1 h 统计结果显示：2 0 0 4 年全国发生的一 次死亡1 0 人以上的5 5 起群死群伤特大交通事故中，因超速行驶、疲劳驾驶、违法超车 三种交通违法行为导致特大事故3 0 起，占事故总数的5 4 5 ，其中疲劳驾驶导致事故8 起，占事故总数的1 4 5 。 国外的疲劳驾驶与交通事故统计数据也同样令人触目惊心。 在美国，有研究表明：在美国最繁忙的两条公路上有5 0 的重大事故与疲劳驾驶有 关。据美国国家公路交通安全委员会( t h en a t i o n a lh i g h w a yt r a 蚯cs a f e t ya d m i n i s t r a t i o n ， n h t s a ) h 统计t 副【6 j ，在美国每年大约发生5 6 0 0 0 次与睡眠有关的交通事故，其中约4 0 0 0 0 人次受伤和1 5 5 0 人死亡。这些数据还没有真正体现出疲劳驾驶的真正危害，因为这些 第一章绪论硕士论文 仅包括发生在午夜至次日6 时之间的数据，没有包含白天的车祸数据。英国交通研究实 验室( t r a n s p o r tr e s e a r c hl a b o r a t o r y ) 认为疲劳驾驶导致路面交通事故占全部交通事故 的1 0 r l 。据澳大利亚联邦议会统计 8 】：在2 0 0 0 年，司机疲劳驾驶的交通事故占所有交 通事故的2 0 3 0 。 近年来，我国事故次数与死亡人数有一定的下降趋势，这与车辆的安全性能的提高 和我国出台的相关法律法规是密切相关的。全国人民代表大会常务委员会关于修改( 中 华人民共和国道路交通安全法) 的决定已由中华人民共和国第十届全国人民代表大会 常务委员会第三十一次会议于2 0 0 7 年1 2 月2 9 日通过，自2 0 0 8 年5 月1 日起施行该 决定规定：驾驶员在连续驾驶超过4 小时，未停车休息或停车休息时间少于2 0 分钟，可 被处以一定的经济罚款。该规定从一定程度上杜绝了疲劳驾驶的发生，同时也在提醒着 我们疲劳驾驶可能给我们带来的严重危害。开展对驾驶疲劳监测方面的研究是时代的需 求，也是科研工作者的义务。它能够保障人民的生命与财产的安全，具有重要的意义。 1 2 驾驶疲劳机理研究 1 2 1 疲劳产生的原因 人们工作或运动到一定的时候都会出现组织、器官甚至整个机体工作能力暂时下降 的现象，这种现象称之为疲劳。疲劳是一种生理现象，疲劳产生的原因【9 】主要有以下四 种： 睡眠不足 人在正常情况下，每昼夜需要约8 小时的睡眠，实验证明若每晚睡眠少于4 小时， 人的肌肉反应速度、警惕性就会降低。 工作模式 持续或者延长时间的工作也是产生疲劳的一个原因，对于一些特殊职业的人，可能 必须昼夜加班或者持续的长时间工作，比如飞行员和汽车驾驶员等，需要长时间精力高 度集中的工作，因此工作的性质也是产生疲劳的重要原因。 睡眠质量 睡眠方面的疾病是影响睡眠质量的重要原因，睡眠呼吸暂停综合症( s a s ) 是一种 发病率很高的疾病，这种疾病的特征是在床上睡眠的总时间很长，比正常人的睡眠时间 长，但是，由于在睡眠过程中有呼吸暂停，因此易被憋醒，所以在睡眠过程中，深睡期 ( 睡眠分期中的3 、4 期睡眠) 很短，大脑和肌肉不能得到充分的恢复。因此，在白天 的工作中表现为嗜睡，这种病人驾车是十分危险的。 睡眠周期 据研究表明 9 1 ，正常人的睡眠、清醒周期是有一定规律的，大多数人在凌晨4 _ 8 、 2 硕士论文基于d s p 的疲劳驾驶监测方法研究 下午1 4 1 6 时之间容易发生瞌睡，因此，重要的工作应该避开这些时间。 1 2 2 疲劳驾驶的表现 驾驶疲劳是指在一段时间的驾车之后所产生的反应水平下降，主要表现为以下9 类 b 0 ：哈欠连天，脸发木；头越来越沉，不自觉的频频点头( 打瞌睡) ，很难保持抬头 的姿态；肌肉放松，眼睑下垂，甚至闭眼；视线模糊，眼睛发红、发干；视野变 窄，总是漏看错看信息；反应迟钝，判断迟缓；注意力无法集中，思维能力下降； 动作僵硬，节奏缓慢；失去方向感，驾车左右摇摆在公路上，随意变换车速，行驶速 率不定。根据上述特征，研究人员常用脑电、心电、眼睑眨动、眼球运动、头部的位移、 方向盘控制的异常、车辆行驶方向的异常等加以鉴别驾驶员的疲劳状况。 1 3 疲劳驾驶监测技术的研究现状及存在的问题 1 3 1 疲劳驾驶监测技术分类 目前有关疲劳驾驶监测技术的研究有很多，综合国内外的研究，有实际意义且已经 取得一定进展的主要方法有：基于生理测量的方法、基于车辆驾驶行为的方法、基于驾 驶员头部行为的方法以及基于视觉的监测方法。 基于生理测量的方法 测量人的生理参数，如脑电图( e e ge l e c t r o e n c e p h a l o g r a p h y ) ，皮肤阻抗，心电i 羽( e k g , e l e c t r o c a r d i o g r a m ) ，心率变异性和肌电图( e m g e l e c t r o m y o g r a p h y ) 的变化，通过医用测 量仪器获得测量数据。m i t 曾研制出s m a r tc a r ，内置各类传感器，可测量心电图( e k g ) ， 肌电图( e m g ) ，呼吸，皮肤阻抗等。在t o y o t a 的a s v 项目中【1 3 】，驾驶员需戴上类 似手表的传感器，测量其心率。这种方法最具有说服力，但是实时测量有较大难度和较 高要求，驾驶环境下也不可能放置大型的医疗设备，且需要与驾驶员有身体的接触，可 能会导致驾驶员的不适，影响驾驶效果，因而也不适合实际应用。 基于车辆驾驶行为的方法 监测车辆驾驶行为【l l 】( 比如车辆的偏离、转向或速度、加速度的变化) 可以反映出 司机是否处于疲劳状态，通过监测司机的这些操作行为就能够检测出司机的驾驶状态， 这种方法称之为基于车辆驾驶的方法。此法可以利用汽车本身固有的信息，为监测驾驶 员疲劳程度添加额外的设备少，测量结果反映了司机的实际驾驶行为，因此它的有效性 相对来说更容易被人们接受，但它本身也还是存在许多的问题，比如说：这些测量值中 能反映疲劳和非疲劳状态的临界值是多少；测量值在哪个范围内变动算是处于正常驾驶 状态，确定此范围的依据又是什么。因此对于司机的驾驶状态这种方法也不能给出令人 十分满意的答案。 基于驾驶员头部行为的方法 第一章绪论硕论文 测量驾驶员头部行为主要是通过监测驾驶员在行驶过程中头部的位移来判断其是 否在打瞌睡。a s c i ( a d v a n c c ds a f e t yc o n c e p t si n c ) 研制开发了测量驾驶员头部位置的装 置l 旧该装置是安装在驾驶员座位上方的一个电容传感器阵列，如图11 ，每个传感器 都能输出驾驶员头部距离与传感器的位置，利用三角函数就可以计算出头部在x 、y 、 z 三维空间中的位置，并实时跟踪头部的位移，同时利用各个时间段头部位移特点，可 以判断出司机是否在打瞌睡。 图li a s c i 研制开发的测量驾驶员头部位置的装置 基于视觉的监测方法 该方法由于其非接触性的优点，是最有前途的监测方法，在目前研究最为广泛， 但是由于其监测难度大，特别是精确性和实时性还有待提高，国内外的很多科研工作者 还在做此方面作进一步的研究。这种方法是使用一个摄像头实时拍摄驾驶员的头像，通 过图像处理和识别技术，分析出驾驶员的眼部运动，脸部表情等，取得某些运动参数， 从而判断出驾驶员疲劳与否。根据采集图像的方法不同，基于视觉的方法可分为普通图 像和红外线图像两种。普通图像技术采用的是普通摄像头拍摄的图像，一次只能拍摄一 幅图像。红外线图像则使用了两种不同波长的红外线交替成像，拍摄两幅图像，利用视 网膜对不同波长红外光的反射量的不同，将两幅图相减，得到瞳孔位爱，这样可以有效 降低定位眼睛的时间消耗，提高实时性。 基于视觉的疲劳检测测量的参数分为五大类：基于眼皮运动的、基于瞳孔尺寸的、 基于视线的、基于头部运动的、基于面部表情的。通过上述五大类进行疲劳判断，目前 公认的评价标准主要有； p e r c l o s ( p c * c e n te y e l i dc l o s u r e ) ：定义为眼睛闭合的时间与测量时间的比 e c t ( e y e c l o s e t i m e ) ：定义为眼睛闭合最长时间 e b f ( e y eb l i n kf r c q 啪c 曲： 定义为眼睛闭合频率 a e c s ( a v e r a g ee y ec l o s u r es p e e d ) ：定义为眼皮的平均闭舍速度 e b a ( e y eb l i n k a c t i v i t y ) ：定义为眨眼活动 硕论文基于0 s p 的疲劳驾驶监测方法研究 p u l ( p u p i l l a r y u l x r e s t l n d e x l ： 定义为瞳孔无休息指数 g a z e d i s ( g a z c d i s t r i b u t i o l l ) ：定义为视线分布状态 p e r s a c ( p e r c e n t a g eo f s a c c a d e ) ： 定义为视线快速移动的发生频率 n o d f r e q ：定义为点头动作的发生频率 y a w n f r a q ：定义为哈欠动作的发生频率 其中眼睛闭合比( p e r c l o s ) 、眼睛闭合最长时问( e c t ) 、眼睛闭合频率( e b f ) 为基 于眼皮运动提取的疲劳参数，由于本文中提取了这三种疲劳参数，所以将在5 2 节详细 介绍这三种疲劳参数及计算方法。 1 3 2 国外的研究成果 早期的驾驶疲劳测评主要是从医学角度出发，借助医疗器件进行的，通过医用脑电 图仪、心电图仪、肌电图仪器测试驾驶员的脑电波形、心电波形、肌电波形来判断驾驶 员的疲劳状态。加拿大生物反馈系统p r o c o m p i n f m i f i 如图1 2 ，在驾驶员的身体上接相 应传感器，应用计算机技术采集数据，得到驾驶员的生理特征。 图1 2 生物反馈系统 真正的对疲劳驾驶实质性的研究是从2 0 世纪8 0 年代由美国国会批准交通部实施驾 驶服务时间( h o s ) 的改革，研究车辆驾驶和交通安全的关系开始的。近2 0 年来，对 驾驶疲劳测评技术的研究逐渐引起了许多国家的普遍重视，世界各国的交通部门对疲劳 的检测投入了大量的精力，取得了很大的进展，尤其以美国的研究发展较快。其中在1 9 9 4 年，美国国家公路交通安全管理局( n a f i o n a lh i g h w a yt r a f f i cs a f e t y a d m i n i s t r a t i o n , n i - i t s a ) 发起了名称为：r e s e a r c ho i l v e k i d e - b a s e dd r i v e ts t a t u s p e r f o r m a n c e m o n i t o r i n g 即： 司机状态表现监测的研究。 2 0 0 2 年，美国来斯研究室【i ”研制了一种针对驾驶员的红外线眼球扫描仪安装在 仪表盘上，让镜头对准司机，通过红外信号扫描司机眼球中的眼白部分，通过眼白所占 比例来判断疲劳程度并发出警告信号。 美国卡内基梅隆大学 1 9 x z o l g i c h a r d g i - a o e 也作了红外视觉下疲劳监测的研究地组织 并领导的c o p i l o t 工程开发了一个商品化的疲劳检测产品( 如图13 b ) 。该产品通过测量 p e r c l o s 以判断驾驶员是否疲劳。若达到预设的疲劳阚值，则给出可视的疲劳等级和 声音警告。监测原理是利用人眼的基本生理特点，即视网膜对不同波长的红外光有不同 第一章绪论 碗论文 的反射量。分别使用8 5 0 纳米和9 5 0 纳米的红外线作为光源( 如图1 3 a ) 得到两幅图像。 在8 5 0 纳米波长对应的图像中，视网膜能够反射9 0 的入射光，因此驾驶者的瞳孔亮度 较高，而9 5 0 纳米波长对应的图像视网膜只能反射4 0 的入射光，因此其瞳孔较暗。除 此之外这两幅图像基本没有差别，因此将这两幅图像相减，再作一个阈值处理就可以 得到瞳孔的位置。在找到眼睛的基础上提取出陧睛的图像，并且计算图像的高度来判 断眼睛的睁闭，进而求出p e r c l o s 。该产品己获得专利。 曲红外光源与摄像头b ) 产品在实际中的应用 圈13 红外光源疲劳检测产品 法国的一些研究机构口4 在联手研制一种监铡司机注意力下降的系统，它可以通过声 音或光信号提醒司机。他们计划用五种传感器：视频传感器( 用来不问断的测量并分析 汽车与旁侧车道白线间的距离) 、方向盘传感器( 监控方向盘的活动情况) 、脚踏板传感器 ( 监控脚踏板上的压力状况) 、眼睑传感器( 监控眼睑眨动持续的时间) 、汽车速度传感器( 监 控汽车行驶的速度) 来监铡驾驶员的疲劳状况。这项研究工作已经在2 0 0 5 年上马，负责 这项技术开发的法国图卢兹西门子v d o 汽车公司总投资1 7 0 0 万法郎，主要是对车上安 装这一套装置的可行性进行研究。 2 0 0 6 年，日本日产公司设计制造的电子报警系统【2 ”为旅途劳顿及爱打嗑睡的驾驶 员解决了大问题，装在操纵盘上的录像机实时地对驾驶员脸部进行摄像，由信息处理机 分析图像，主要对眨眼时间及频率进行分析，因为它与人的疲劳状悉直接相关。一旦驾 驶员出现长时间的眨眼活动，呼叫器就会启动，并发出一女声提示：“请您稍事休息”。 如果眨眼仍在继续，一股薄荷加柠檬的气味便释放出来为驾驶员提神醒脑。日产公司计 划在5 年内生产这种车型。 梅赛德斯奔驰也进行了名为“疲劳识别”的辅助系统的研蕴阻】。一支由工程师、控 制论专家、数学家、信息学家以及心理学家组成的梅赛德斯一奔驰专家小组正在对“疲劳” 这一现象进行了研究分析。其中“眨眼监控”就是由该专家小组开发的：一个对准驾驶员 头部的红外线摄像机持续地记录其眨眼频率及每次的闭眼时间，根据其中的规律，一旦 发现闭眼超时，就能做出判断，驾驶舱内就会响起警告信号。该系统能及时地识别驾驶 硕士论文基于d s p 的疲劳驾驶l 艋测方法研究 员的疲劳状态，并对其继续驾驶予以警告。此系统现阶段正在进行试验，成熟后将应用 于梅赛德斯奔驰的新车型。 1 3 3 国内的研究成果 国内最早与疲劳相关的研究始于2 0 世纪6 0 年代，中国军医科学研究所陈信阱】等人 用脑电分析器对1 1 7 名飞行员进行研究，发现人体疲劳与脑电波的口节律有关。认为正 常人脑电波的口节律是有规律而且丰富多彩的，口节律变化缓慢说明产生了飞行疲劳。 近年来，我国对于疲劳驾驶测评的研究也逐渐增多，国内进行的相关研究可以分为 两大类：一类是研究疲劳的形成机理，疲劳的量化等，另一类是研究疲劳检测方法。 在疲劳的形成机理，疲劳的量化等方面的研究主要有： 上海交通大学瞄】的石坚、吴远鹏等将驾驶员主动安全分成熟练、疲劳程度两个独立 的部分进行评价，抽取驾驶员熟练、疲劳程度的特征参数，按统计结果划分成模糊子集。 通过模糊神经网络对驾驶员的熟练、疲劳程度和综合的主动安全进行分析，可以定量地 分析驾驶员的主动安全性因素。 中国农业大学【2 6 】的郑培，宋正河等研究了基于p e r c l o s 的疲劳识别算法，他们应 用二维高斯模型、灰度直方图、灰度模式匹配等定位和追踪眼睛开、闭的过程，计算出 眼睛闭合时间，利用统计方法给出了疲劳检测的算法。 西南交通大学【2 7 】的张开冉把传递函数引入到疲劳行为各环节的分析当中，建立了函 数模型。通过时域分析指出驾驶疲劳的量化特征。为解决驾驶员的疲劳过程解析问题提 供了新的思路。 在研究疲劳检测方法的主要有： 中国工程院院士俞梦孙【2 8 】利用在8 5 0 纳米的红外线照射下，瞳孔和虹膜对红外吸收 率的显著差别，引导图像处理区域改变，实现了司机在一定范围内活动眼睛跟踪、测量 眼睑和眼球状态的分析。 中南大学 2 9 】【3 0 】李衡峰，夏利民利用摄像头和p c 机，将摄像头获取的驾驶员人脸图 像送入p c 机，通过局部h a a r 特征的人脸检测算法得到人脸的位置，在此基础上进行人眼 定位。在图像序列中使用粒子滤波器跟踪人眼的位置。在眼睛运动状态特征提取的过程 中，应用y g a b o r 纹理提取特征和r b f 神经网络对眼皮闭合状态进行分类。 吉林大学 3 1 】韩越、唐可洪设计了a r m + f p g a 实时采集、处理系统，主要研究了基 于人脸识别的疲劳驾驶检测技术，在嵌入式系统中，研究了图像处理的实时性及基于图 像边缘和特征轮廓编码矩阵匹配算法的人脸的识别。在复杂背景下，该算法对人脸的检 测具有较高的精确度。 首都师范大学f 3 2 】韩相军，关永利用累积差分帧和h o u g h 变换等实时图像处理技术来 检测、跟踪眼睛，分析眼睛的状态和提取眼睛的特征参数。在一定的时间内连续统计眼 7 第一章绪论硕士论文 睛的闭合时间，计算出p e r c l o s 值来判断疲劳程度从而决定是否需要报警。并最终在 d s p 中移植了该算法，开发出嵌入式实时检测系统。 南京理工大学郭毓，魏明慧【1 4 】也在2 0 0 6 年做了相关疲劳驾驶监测的研究，在v i s u a l c + + 环境下完成了人脸检测，眼睛定位，疲劳参数提取和疲劳判断。在眼睛定位方面分 析对比了形态学与水平灰度积分投影两种方法，并在处理时间上作了比较，形态学定位 眼睛处理时间需4 0 毫秒，而水平灰度积分定位眼睛处理时间为4 毫秒，水平灰度积分在 处理时间上有较大的优势。在提取疲劳参数时，利用边缘提取与图像匹配算法分别定位 了内外角点，应用s n a l i o m f x n s ； 2 4 3 类驱动的设计 d s p b i o s 提供了三种类层驱动模块：流输入输出管理模块( s i o d i o ) 、管道管理模 块( p m p i o ) 和通用输入输出模块( g i o ) 。p i o 支持更底层的通信，适合设计比较简单的 外设驱动程序；而s i o 模型有很好的缓冲器分配回收机制，比较适合描述视频设备，但 s i o 模型具的很多功能在本系统中使用不到：g i o 模型是针对特殊硬件的新型设备而设 计的。在本系统中，系统的输入输出为视频帧，应用通用输入输出模块( g i o ) 作为本系 统的驱动模块具有以下优点： 代码和使用数据缓存的大大简化，应用程序可以调用g i o 的a p i 函数直接与微 型驱动的i o m 交换数据； 提供了额外的视频接口a p i ，简化了视频设备的驱动； 为视频的捕获与显示提供了专用的g i o 接口，解决了视频捕获与显示的内存的 管理。 图2 7 显示了g i o 类驱动与应用程序以及微驱动i o m 的a p i 函数【”】： 应用提序 g l o a p l 函蔼。 g 1 0a b o n g i oc o n 臼口i g j o c f 豫 g 1 0 暑e l e l e g j o - 玮u 幽 ( 铂。代们 g 1 0 s u b m 丑 g 】ow t e _ - - _ _ _ _ _ _ _ _ _ _ _ _ - _ ：；_ _ _ - _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ 一 敲型剿动1 0 m 接口： m d u j n d i ) e v m d u n b 访d d 胛 m d c o n 臼o i c h 柚 m l c “m t c 胁 1 1 r l d d c i 出c 1 1 且n h a d s u t n m l c - h a u 图2 7g i o 类驱动与微型驱动i o m 的接口函数 t i 公司最初设计的g i o 模型其实是有缺陷的，主要在数据缓冲区管理的问题上， 应用程序在取得缓冲区进行数据处理之后，却无法将缓冲区返回给设备驱动。于是t i 公司在推出d m 6 4 x ，这一款主要用于视频处理的d s p 提供了专门针对视频设备的f v i d 模型，同时这款d s p 芯片对g i o 模型进行了改进。f v i d 建立在g i o 模型之上的，以 f v i da l l o c 、f v i de x c h a n g e 、f v l df r e e 模型是函数对g i o 模型中的g i os u b m i t 函数 进行封装，解决了o l o 模型中驱动程序不能回收缓冲区的问题。此外，f v i d 模型还专 门设计了f v i df r a m e 结构，此结构中包含了常用的视频信号的信息，如行数、列数、 2 1 第= 章基于0 s p 的癌劳驾驶监测系统m 论i y w 结构、场频等，很适合描述视频数据帧。 在完成类驱动编写前需要在d s p b i o s 配置工具中先进行注册。打开d s p b i o s 配 置工具，如图2 8 所示。首先右击u s e r - d e i g n e d d e v i c e s 图标，选择插入选项，并重新命 名为v p i c a p t u r e 然后右击v p l c a f t u r e ，选择属性选项，如图2 9 所示注册。用 同样方法插入选项v p 2 d i s p l a y ，并重新命名为v p 2 d i s p l a y ，然后右击v p 2 d i s p l a y ， 选择属性选项，如图2 1 0 所示注册。 g = 4 0 u 。p 。t 一d ：! 一= ”： ! 一h u 一1 “；” i 1 ：e - c r 1 口e ” fl - = 一一 = ! = “二。一二：“1 = 7 g 一一： 1 + c 二- u 一；，r d r i i td 础 - 3 ，一 诗1 0 ：c t 。1 m e 咕匠互；z 日 o v 一一t rd r r 口h 一一l 1 - r o r ”：7p 一 o 0 一一一一v ? d c 5 一一，p 。1 7 刮2 1 0v p 2 d i s p l a y 属性 硕士论文 基于d s p 的疲劳驾驶监测方法研塑一 视频捕获类驱动步骤如下： 1 ：创建一个g i o 通道 g i o _ h a n d l cc a p c h a n e a p c h a n = g i o _ c r e a t e ( ”册1 c a p t u r e 1 竹，i o mi n p u t ,& s m m s ， ( p t r ) & e v m d m 6 4 2 _ v c a p p a r a m s c h a n , n u l l ) 2 ：配置通道属性 g i o _ e o n t r o l ( e a p c h a n ，v p o r t _ c m d _ e d c _ b a s e + e d c _ c o n f i c 毛 。 ( p t r ) & e v m d m 6 4 2 _ _ v c a p p a r a m s t v t 5 1x x ) 3 ：开启通道 g i o _ c o n t r o l ( c a p c h a n , v p o r t _ c m d _ s t a r t , n u l l ) 4 ：申请内存空间 g i o _ s u b m i t ( c a p c h a n , f v i d _ a l l o c ，& c a p f r a m e b u f , n u l l ，n u l l ) 5 ：实时更新捕获视频帧 g i o _ s u b m i t ( c a p c h a n , f v i d _ e x c h a n g e ，& c a p f r a m e b u f , n u l l ，n u l l ) 视频显示c l a s sd r i v e r 步骤如下： 1 ：创建一个g i o 通道 g i o _ h a n d l ed i s c h a n ； 、 d i s c h a n = g i oc r e a t e ( ”v p 2 d i s p l a y , i o m0 u r p u r ，& s t a t u s ， - ( p t r ) & e v m d m 6 4 2 _ v d i s p a r a m s c h a n , n u l l ) 2 ：配置通道属性 g i o _ e o n t r o l ( d i s c h a n , v p o r t c m d e d c b a s e + e d c _ c o n f i c ( p t r ) & e v m d m 6 4 2 _ v d i s p a r a m s s a a 7 10 5 ) 3 ：开启通道 g i o _ c o n t r o l ( d i s c h a n ，v p o r t _ c ：m d _ s t a r t , n u l l ) 4 ：申请内存空间 g i os u b m i t ( d i s c h a n ，f v i da l l o c ，& d i s f r a m e b u f ，n u l l ，n u l l ) 5 ：实时更新显示视频帧 g i o _ _ s u b m i t ( d i s c h a n ，f v i d _ e x c h a n g e ，& d i s f r a m e b u f , n u l l ，n u l l ) 2 5 系统软件流程图 疲劳驾驶监测系统的软件开发采用了模块化的设计思路。整个软件的设计是基于 d s p b i o s 操作系统下完成，具体流程图如图2 1 1 。 第二章基于d s p 的疲劳驾驶监测系统 硕士论文 2 6 本章小结 图2 1 1系统软件流程图 本章首先系统分析了驾驶员疲劳监测系统的需求，结合目前科技的发展现状，采用 了美国德州仪器( t i ) 公司生产的d s pc 6 0 0 0 系列产品t m s 3 2 0 d m 6 4 3 作为该系统的核心 处理器。该芯片在处理视频信息方面具有独特的优势，能够完成该系统的需求。然后本 章就系统的开发环境分硬件与软件两个方面对系统做了介绍。包括视频流的采集、模拟 p a l 制式视频到b t 6 5 6 格式标准数字视频信号( j v 4 ：2 ：2 ) 的转变、数字视频信号 的保存、图像处理算法以及处理过的图像在电脑显示器上的输出。 软件方面介绍了c c s 开发环境，着重介绍了开发本系统的嵌入式的操作系统 d s p b i o s 。d s p b i o s 支持交互式的应用程序程序开发模式，为应用程序生成一个框架， 能够完成内存管理，文件分配，消息管理等功能。本章的最后介绍了应用d s p b i o s 提 供的d d k ，完成了类驱动层程序的设计，并把采集到的图像保存到系统s d r a m ，为后 续的图像信息处理提供了前提。 2 4 硕士论文 基于d s p 的疲劳驾驶监测方法研究 3 基于肤色模型与背景差分的人脸区域提取 人脸识别技术的研究始于2 0 世纪6 0 年代末期，近些年来吸引了来自模式识别、 图像处理、计算机视觉、人工智能等诸多领域的众多研究者，是一个既有吸引力又充满 挑战的研究热点。在公安系统、银行系统、网络安全等诸多领域有着广阔的应用前景。 本系统中，人脸区域提取能有效为眼睛定位缩小搜索范围，提高系统的实时性。鉴 于在驾驶环境下，驾驶员是正面面对摄像机，在选取合适的摄像头后，驾驶员的正面图 像容易得到，所以本文仅讨论图像中正面端正人脸定位。 人脸的肤色特性是分割人脸肤色区域的一种有效手段，同时颜色信息的统计和计算 简单、快速，很大程度上满足算法的实时性要求。人脸肤色特征不依赖于面部的细节特 征，对于旋转、表情等变化情况都有较强的鲁棒性。本章首先分析了几种常见的色彩空 间，并对肤色在这几种肤色空间的聚类性作了比较。最终本文应用肤色在y c b c r 空间 的分布，在a n i lk j a i n 对肤色分布研究 r 7 】的基础上作了该进，建立了肤色一阶与二阶 模型，并在硬件环境中调试通过。经过运行时间与检测结果两方面的比较后，选取了一 阶模型来检测人脸。 然而仅通过肤色模型来提取人脸区域，通常会受到背景中跟肤色相近的颜色的影 响。考虑到驾驶环境下，背景是固定的。本文先对图像进行预处理，采用图像差分来滤 除背景颜色对人脸区域提取的影响。 下面先对几种常用的颜色空间与肤色模型进行介绍。 3 1 色彩空间 3 1 1 常见的色彩空间 r g b 色彩空间 根据人眼结构，所有颜色都可以看作3 个基本颜色红、绿、蓝的不同组合。为 了建立标准，国际照度委员会( c i e ) 早在1 9 3 1 年就规定3 种基本色的波长分别为 r ：7 0 0 n m ，g ：5 4 6 1 n m ，b ：4 3 5 8 n m 。 在r g b 色彩空间中，数字图像中的任何一个像素点的颜色都可以用三维空间中的 第一象限中的一个点来表示。图3 1 是r g b 彩色立方体的示意图。r g b 色彩空间的原 点表示在任何颜色分量上的亮度都为零，故为黑色。当r ，g b 三个分量亮度都达到最大 时即为白色。而当三个分量相等时产生的就是灰度像素点，色彩空间中所有这样的点都 落在立方体的对角线上，这条线叫做灰度直线。除了黑白两色位于立方体的顶点外，立 方体的另外三个顶点对应于三基色红、绿、蓝，剩下的则对应于黄、青以及紫色。r g b 色彩空间采用物理三基色表示，因而物理意义很清楚，适合彩色显象管、图像采集等设 2 s 第三章基于肤色模型与背景差分的人脸区域提取硕士论文 备工作。r g b 也就成为常见而且常用到的色彩空间。一般情况下，其他色彩空间都是 以r g b 色彩空间为基础，它们的基色均可以由r g b 三基色的线性或非线性函数来描述 图3 ir g b 彩色立方体的示意图 亮度归一化的r g b 色彩空间： 如果在r g b 色彩空间中有两个像素点 砧，g 1 ，b 1 和 r 2 ，g 2 ，b 2 ，若存在着公 式( 3 1 ) 比例关系： 里：鱼：- - 蜀- - ；-_ = = 恐g 2岛 ( 3 1 ) 则认为这两点存在相同的颜色，不同的亮度。人脸图像中不同区域的肤色差异主要存在 于亮度上，通过色彩的亮度归一化，可以缩小肤色差异。归一化用公式( 3 2 ) 计算： r = p ( r “抖b ) g = g ( r + g + b ) ( 3 2 ) b = b ( i + g 旧) 其中r + g + b = l 。上述公式定义了从r g b 色彩空间到色度空间的映象，即从一个三维空 间到二维空间的变换。归一化空间中的r ，g ，b 只去除了r ，g ，b 中的相对亮度成分， r ，g ，b 中仍存在着亮度信息。 h s v 色彩空间 这是m u n s e l l 提出的色彩系统模型，经常为艺术家所使用。这种格式反映了人类观 察颜色的方式。色调( h u e ) 、饱和度s ( s a t u r a t i o n ) 、亮度( v a l u e ) 模型描述了颜色的 三个基本特征 5 5 】。 如图3 2 所示，h s v 色彩空间呈六棱锥形状。色调h 值域范围从0 到2 ，代表颜 色的外观。如图中顶层的六边形的顶点分别表示红、黄、绿、青、蓝、紫六种颜色。这 些颜色与它的相位有关，所以色调又称为色相。饱和度s 的值域范围从0 到1 ，定义了 颜色的纯度，它的值随着在这个六棱锥内的六边形的半径增大而增大。颜色的亮度由v 2 6 硕士论文基于d s p 的疲劳驾驶j 氍测方法研究 分量来确定，它的值也是从0 到1 。六棱锥的底部v 值为0 ，而在顶层的六边形平面上 v 的值为1 。当s = 0 时，v 分量表示了灰度像素的灰度级，底部为黑，项部为白。 y 红 图3 2 h s v 色彩空间 h s v 色彩空间和r g b 色彩空间只是同一物理量的不同表示法，因而它们之间存在 着转换关系，转换关系如下： a ) 首先对r g b 色彩空间进行归一化处理，即利用公式( 3 2 ) 进行转换，将r g b 值归 一化n o ，1 之间； b ) 再利用公式( 3 3 ) ，( 3 4 ) ，( 3 5 ) 进行转换即可。其中，v 和s 的取值范围均为 0 ， 1 】，h 的取值范围为 0 ，2 兀 ，用弧度值表示。 c ) 令m a x