（通信与信息系统专业论文）基于眼睛反射点定位和空间网格法的驾驶疲劳检测研究及dsp实现.pdf

原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：丕睦壁垒 e 1 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：迎导师签名：墓兰墨亟日期：丝1 2 ：缢2 , o 山东大学硕士学位论文 摘要 随着高速公路的飞速扩展和汽车持有量的迅速增加，公路交通事故数量明显 上升，而驾驶员疲劳驾驶是引发这些交通事故的重要因素之一。据我国交通部报 道，由于驾驶疲劳造成的交通事故无论是绝对数字还是所占比例都是最高的。由 于交通事故并不是在一产生驾驶疲劳时就发生，所以实时的疲劳检测系统是必不 可少的。因此，如何及时且有效的检测出司机的驾驶疲劳从而减少事故的发生， 就成为一个非常有意义的问题。 目前国际上有不少研究疲劳驾驶检测的机构和正在开发的瞌睡检测系统，常 用的疲劳驾驶检测技术有：l 、通过头部位置传感器检测疲劳，由于头部运动的 特征和疲劳相关性不强，因此准确率不高；2 、瞳孔检测法，通过检测瞳孔直径 的变化趋势估计疲劳的程度，该测量方法是一种非实时的、需佩带特殊装置的测 量方法，只能用来估计疲劳的趋势；3 、e e g 测量法，该方法由于需要佩戴电极 给被测者带来很大的精神、生理负荷，因此缺乏实用性；4 、观测眼睑闭合以检 测疲劳，眼睑闭合已经被证明为检测疲劳驾驶的最有效的和最有意义的特征之 一。 本文分析对比了当前国内外较为流行的各种检测方法并研究了其技术关键 和难点后，提出了基于计算机视觉的、无接触、无生理负荷的驾驶员疲劳检测方一 法，建立了基于d s p 的实时驾驶员疲劳检测系统，实时采集、处理并显示图像， 提取驾驶员的眼睛状态特征，以眼睛状态特征为依据，判断驾驶员是否有疲劳发 生。 本论文的主要研究内容： 1 、深入探讨了各种检测方法的意义、现状及原理，从分析这些检测方法中我们 认为对驾驶员人体特征信号检测比较客观、准确、易行，提出了一种非接触 性、全天候、实时的疲劳检测系统。 2 、对疲劳检测系统设计硬件部分进行了选择，采用1 1 公司的t m s 3 2 0 d m 6 4 2 作为d s p 处理芯片、t v p 5 1 5 0 和s a a 7 1 2 1 作为视频口解码和编码芯片、 t l l 6 c 7 5 2 b 作为异步串口收发器以及一系列外围器件搭建了整个硬件系统。 3 、对系统初始化、d s p b i o s 的启动以及视频口、串口等底层驱动进行了设计， 使得所用的各部分硬件寄存器、整个系统初始化到一个适当的环境，为加载 山东大学硕士学位论文 程序、实现算法等后续工作做好准备。 4 、对具体算法进行了详细分析，分别采用肤色的空间聚类特性和背景更新的方 法来定位人脸，提出了在红外光照射下利用跟踪反射点的方法快速定位跟踪 人眼，利用卡尔曼滤波估计反射点的位置和闭眼状态，并结合不动点处理方 法来解决闭眼的问题，采用了阈值分割的方法分离出瞳孔的图像，使用了累 计直方图法二值化眼睛区域，提出了空问网格法把空间分割成网状，然后调 用云台预置位的方法控制云台的运动，最后采用疲劳的各种生理特性与疲劳 相关性来判定疲劳程度，证明了方法的有效性。 关键词：驾驶疲劳检测；d m 6 4 2 ；卡尔曼滤波；空间网格法；反射点 6 山东大学硕士学位论文 a b s t r a c t w i t ht h eh i 曲d e v e l o p m e n to f t h eh i g h w a ya n dt h e q u i c ki n c r e a s eo f t h en u m b e r o fp e o p l eh a v i n gc a r , t h en u m b e ro ft r a f f i ca c c i d e n t sa r ei n c r e a s i n go b v i o u s l y i ti s r e p o r t e db ym i n i s t r yo fc o m m u n i c a t i o n st h a tb o t ha b s o l u t en u m b e ra n dp r o p o r t i o no f o u r c o u n t r y st r a f f i ca c c i d e n t sa l eh i 曲e s ti nt h ew o r l d s i n c ea c c i d e n td o e s n th a p p e n a s8 0 0 na sf a t i g u et a k e sp l a c e ，r e a lt i m e f a t i g u ed e t e c t i o ns y s t e mi sa b s o l u t e l y n e c e s s a r y t h e r e f o r e ，h o wt os u p e r v i s ea n da v o i df a t i g u ed r i v i n ge f f i c i e n t l yi so n eo f t h es i g n i f i c a n tp r o b l e m s s o m eo r g a n i z a t i o n sd ot h er e s e a c ho fd e t e c t i n gd r o w s yd r i v e r , s o m em e t h o d so f d e t e c t i n gd r o w s yd r i v e rb yf a ra r e ：1 u s i n gh e a dp o s i t i o ns e n s o rt od e t e c t f a t i g u e w h i l e ，t h ec h a r a c t e ro fh e a dm o v i n gi sn o tw e l lr e l a t e dt of a t i g u e , t h e a c c u r a c yr a t ei sn o th i g h 2 m e a s u r ep u p i ls i z e ：e s t i m a t i n gt h ed e g r e eo ff a t i g u eb y m e a s u r i n gt h ec h a n g eo f p u p i ld i a m e t e r i ti sn o tar e a l t i m em e t h o d , a n dt h ed r i v e rh a s t ow e a ras p e c i a le q u i p m e n t s o ，i ti so n l yu s e dt oe s t i m a t et h et r e n do fs l e e p i n e s s 3 ； u s i n ge e g t om e a s u r et h el e v e lo ff a t i g u e ：i ti st h ee a r l i e s tm e t h o do fd e t e c t i n gt h e f a t i g u e ，b u ti tr e q u i r e si n s t a l l i n ge l e c t r o d e st ot h es u b j e c t , w h i c ht a k eg r e a tp a l eo f p s y c h o l o g i c a la n dp h y s i o l o g i c a lb u r d e nt 0t h e m i ti sl a c ko f p r a c t i c e 4u s i n gt h ee y e c l o s u r et od e t e c td r o w s i n e s s , w h i c hh a sb e e np r o v e dt ob et h em o s te f f e c t i v e c h a r a c t e r i nt h i st h e s i s ，w ei n v e s t i g a t ea n dc o n t r a s tt h ep r i n c i p l e so fc t t r r e n tm e t h o d sa n d t e c h n o l o g i e sf o rd r i v e rf a t i g u ed e t e c t i o n , a n da n a l y z et h ek e yp r o b l e m sa n dd i f f i c u l t i e s o ft h e s et e c h n i q u e s ，p r o p o s eaq u i c ka n de f f e c t i v ed r i v e rf a t i g u em e t h o db a s e do n c o m p u t e rv i s i o n , a n de s t a b l i s har e a l t i m ed r i v e rf a t i g u ed e t e c t i o np l a t f o r mo f d s p i t c a n c a p t u r e ，p r o c e s sa n dd i s p l a yt h ei m a g ei nr e a lt i m e f u r t h e rm o r e , t h es y s t e mc a l l o b t a i nt h ee y ef e a t u r ew h i c hi su s e dt oe s t i m a t et h ef a t i g u e t h em a i nc o n t e n t so f t h i st h e s i sa l ea sf o l l o w s ： i 、a n a l y s et h ek e yt e c h n i q u ea n dd i f f i c u l t i e so fd e t e c t i n gs y s t e mh o m ea n da b r o a d , d i s c u s st h e p r i n c i p l ed e e p l y , b a s e do no u ra n a l y s i n gt h ed e t e c t i n gm e t h o d sw ef i n d t h a tt h ed r i v i n gb o d yf e a t u r ed e t e c t i n gi so b j e e t i v e ，e x a c ta n d p r a c t i c a l , p r o p o s ea 7 山东大学硕士学位论文 n o v e la n dp r a c t i c a lf a t i g u ed e t e c t i n gs y s t e m 2 、d e s c r i b et h eh a r d w a r eo ff a t i g u ed e t e c t i n gs y s t e m ，u s et m s 3 2 0 d m 6 4 2o ft i c o m p a n ya sp r o c e s s i n gc h i p t v p 5 1 5 0a n ds a a 7 1 2 1 a sv i d e od e c o d e ra n d e n c o d e lt l l 6 c 7 5 2 ba sd u a lu n i v e r s a la s y n c h r o n i s mr e c e i v e r t r a n s m i t t e ra n d o t h e rp e r i p h e r yc h i p sc o m p o s i n gt h ew h o l eh a r d w a r e s y s t e m 3 、i n t r o d u c et h es y s t e mi n t i a l i z a t i o n ，d s p b i o ss t a r t u pa n db o t t o md r i v e rs u c ha s v i d e od r i v e ra n du a r td r i v e r , w h i c hc a ni n t i a l i z et h eh a r d w a r er e g i s t e r sa n d w h o l es y s t e mt ob er e a d yf o rl a s t i n gw o r ks u c ha sl o a d i n gp r o g r a m ，r e a l i z i n g m g o f t h ma n ds oo n 4 、a n a l y s et h ea l g o r i t h md e t a i l e d l y , u s i n gs k i nd i s t r i b u t i o na n db a c k g r o u n du p d a t e t ol o c a t ef a c e ，t r a c k i n gr e f l e c t i o np o i n tm e t h o du n d e ri n f r a r e dt ot r a c ka n dl o c a t e e y e s ，k a l m a nf i l t e rt oe s t i m a t et h el o c a t i o no f r e f l e c t i o np o i n ta n de y e - c l o s e ds t a t e ， s t a b l ep o i n tm o t h e dt os o l v ee y e c l o s e ds t a t e ，t h r e s h o l dd i v i s i o nt oo b t a i nt h e p u p i li m a g e ，a c c u m u l a t e dh i s t o g r a mt ob i n a r i z ee y ea r e a , s p a c eg r i d d i n gm e t h o d t oc o n t r o lp a n - a n d t i l em o v e m e n t ，t h er e l a t i v i t yb e t w e e nf a t i g u ep h y s i o l o g i c a l c h a r a c t e ra n df a t i g u et o j u d g ef a t i g u ed e g r e et op r o v et h em e t h o dv a l i d i t y k e yw o r d s ：d r i v e rf a t i g u ed e t e c t i o n ；d m 6 4 2 ；k a l m a nf i l t e r ；s p a c eg r i d d i n gm e t h o d ； r e f e c t i o np o i n t 8 山东大学硕士学位论文 英文缩略词 n h t s a ( n a t i o n a lh i g h w a yt r a f f i cs a f e t ya d m i n i s t r a t i o n ) 美国国家高速公路 交通安全管理局 e e g ( e 1 e c t r o e n c e p h a l o g r a p h y ) 脑电图记录 h p s ( h e a dp o s i t i o ns e n s o r ) 头部传感器 m i n d s ( m i c r o n o dd e t e c ts y s t e m ) 点头检测系统 n r c ( n a r c o l e p s yr e s e a r c hc e n t e r ) 嗜睡研究中心 c c d ( c h a r g e c o u p l e dd e v i c e ) 电荷耦合器件 p e r c l o s ( p e r c e n t a g eo fe y ec l o s u r et i m e ) 闭眼所占的时间百分率 d s p ( d i g i t a ls i g n a lp r o c e s s i n g ) 数字信号处理 e d m a ( e n h a n c ed a t am e m e r ya c c e s s ) 扩展的直接存储器访问 e m i f ( e x t e r n a lm e m o r yi n t e r f a c e ) 外部存储器接口 m c b s p ( m u l t i c h a n n e lb u f f e r e ds e r i a lp o r t ) 多通道缓冲串口 m c r ( m i s c e l l a n e o u sc o n t r o lr e g i s t e r ) 杂项控制寄存器 9 山东大学硕士学位论文 第一章绪论 驾驶疲劳是指驾驶员驾驶车辆时，由于驾驶作业引起的身体上的变化、心理 上的疲劳和客观测定驾驶机能低落的总称，是造成交通事故的主要原因之一。因 此，世界上许多国家和机构对司机在驾驶中的疲劳检测的研究非常重视，相继出 现了很多种检测方法，取得了一定的进展，但仍不能满足需求。本文即分析了驾 驶疲劳检测的意义，对疲劳特点进行了具体的研究，采取检测司机行为特点和非 电生理信号的无负荷无接触方法，建立了基于d m 6 4 2 的驾驶员疲劳的实时检测 系统。 1 1 驾驶员疲劳检测的意义 据相关资料统计，全世界每年因道路交通事故导致死亡的人数超过6 0 万，其 中由于驾驶员疲劳驾驶造成的交通事故至少有1 0 万起，直接经济损失达1 2 5 亿美 元。美国睡眠基金会2 0 0 5 年睡眠调查发现，美国6 0 的成年司机，大约1 7 亿人说 在过去的一年里，在驾驶交通工具时感到过困倦：超过l 3 的人承认在驾驶中曾 经睡着了；而有4 的大约1 1 0 万驾驶员承认，由于打瞌睡或太疲倦遭受过意外或 差点儿遭受意外。德国联邦统计局的通报说，2 0 0 6 年1 月至1 0 月有4 2 0 0 人死于交 通事故，头十个月警方记录在案的交通事故共有1 8 0 万起；英国运输部公布的数 字报道说，2 0 0 6 年9 月前的1 年中，全国交通事故导致3 2 1 0 人死亡，比上一年同期 死亡3 1 7 7 人有所增长，其中疲劳驾驶是引起事故的重要成因之一。可见国外的疲 劳驾驶与交通事故研究的统计数字是多么的惊人。 而中国国内交通形势更是十分严峻。据交通部门统计，我国是道路交通事故 死亡人数最高的国家，连续数年一直居世界第一。公安部交通管理局统计，2 0 0 7 年第一季度，全国共发生道路交通事故7 8 5 5 1 起，造成1 8 8 1 2 人死亡、9 3 7 5 6 人 受伤，直接财产损失2 6 2 亿元。其中，发生一次死亡3 人以上交通事故4 0 2 起， 造成1 5 7 6 人死亡；发生一次死亡5 人以上交通事故8 0 起，造成5 3 0 人死亡；发 生一次死亡1 0 人以上特大交通事故5 起，造成7 9 入死亡。在这些公路交通事故 的驾驶员人为因素中，疲劳和精神分散是主要原因之一，驾驶疲劳危害如此之大， 对其采取必要的措施已成为当务之急。 0 山东大学硕士学位论文 1 2 疲劳驾驶的研究 疲劳是一种行为现象指人感到不适的某种特定状态，在此状态之下，体力超 支、执行力差，它是体力、情绪压力和睡眠不足等的综合反应，疲劳驾驶是一种 特殊的职业疲劳，是由于驾驶员精神高度集中而引起的神经系统和大脑皮质活动 的衰减，表现为难以判断和控制自己的行为。 司机睡眠不足，由于工作需要造成绝对睡眠时间减少或者睡眠障碍；司机的 生理节律被扰乱，在凌晨和午后驾车或者长时间的驾车；司机不善于估计当前的 清醒程度，强行长时间驾车；药物的作用、夜间驾驶等原因都会使驾驶员在驾驶 时出现疲劳或困倦状态n , 2 1 。疲劳驾驶会影响驾驶员的反应时间、判断和视觉， 影响信息的处理和短期记忆，也会影响他的警觉性和对问题的处理能力。特别是 由于疲劳而产生的三分之二秒左右的“微睡眠”期增多，是交通事故发生的重要诱 因。 1 3 国内外疲劳检测的研究成果 驾驶员疲劳检测技术作为智能交通系统的智能安全辅助驾驶技术的一部分， 国内外许多机构都对该项技术的研究非常重视，资助了一系列的研究课题，并开 发出了一些应用的产品，建立了相应的技术标准。美国汽车联合会( a a a ) 1 9 9 3 年开始研究瞌睡与交通安全的关系【3 州，当时仅限于如何根据交通事故的分析来 对司机进行教育，让司机利用自我记录表对驾驶任务、驾驶习惯和驾驶时间等进 行自我评测。因为引发疲劳因素的复杂性和个体的差异性，这种主观的调查方法 很难成为评测驾驶疲劳的标准尺度。实质性的研究工作始于2 0 世纪8 0 年代，美 国国会批准交通部研究商业机动车驾驶和交通安全的关系。日本、英国、法国等 一系列国家也相继开展了实质性的研究工作。 国外的研究成果： 现有的研究成果中具代表性的产品有： 1 、2 0 0 3 年美国国家公路交通安全管理局( n h t s a ) 联合宾夕法尼亚大学和卡内 基梅隆研究所研芳r 驾驶疲劳检测与报警系统”。包括三个子系统：p e r c l o s 眼睑闭合监测器，车道安全跟踪系统，睡眠活动记录器。 2 、2 0 0 4 年，日本先锋公司开发出防止驾驶员开车打瞌睡的系统 5 1 。它可通过心 山东大学硕士学位论文 跳速度的变化，监测司机驾驶员是否打瞌睡，在睡意来临1 5 分钟静提醒司机 注意，防止发生事故；另外，还研究了通过测量眨眼频率和车体摇晃频率监 测司机是否瞌睡的系统。 3 、2 0 0 5 年，v o l v o 汽车公司推出一项新的设施“驾驶员警示系统”来协作驾驶员 提高行车安全【“。项目经理w o l f g a n gb i r k 博士称，此系统可以记录下司机的 驾驶行为，选择的监控项目是车辆的行驶过程而不是驾驶盘的动作过程或者 司机眼睛的活动过程，具有更大的准确性。 4 、2 0 0 5 年，澳大利亚的研究人员们推出了一款眼镜，它可以检测出司机是否已 经处于疲劳状态，并及时提出报警。原理是通过红外线传感器检测司机的眼 睑活动和眨眼频率，据此判断司机是否已经处于疲劳状态。 5 、2 0 0 5 年8 月中旬召开的世界最大汽车零部件开发和生产商关国德尔福公司为 各国新闻媒体举办的汽车新技术展示活动。驾驶员疲劳检测系统是集成安全 系统的重要组成部分，包括眼睛跟踪系统等先进的测试系统，可以测定驾驶 员的呼吸情况，眼睛睁开的大小和眨眼的频率有多快，从而来测定驾驶员的 警觉程度和疲劳程度，并确定需要何种安全支持措施来应对目前的驾驶状 况。 国内研究成果： 国内的发展和国外还有比较大的差距，不过也取得了一系列的成果： l 、2 0 0 0 年，石坚、吴远鹏、卓斌( 上海交通大学动力与能源工程学院) 和马勇、 许晓鸣( 上海交通大学自动化系) 【7 l 通过传感器测量驾驶员驾驶时方向盘、踏板 等运动参数来判别驾驶员的安全因素，发现方向盘的操纵情况与驾驶员的疲 劳程度具有一定的联系，方向盘较长时间不动，说明驾驶员在打瞌睡。 2 、2 0 0 5 年，吉林大学交通学院的王荣本等人研究用眼睛和嘴部状态来检测疲劳 【8 9 1 0 1 ，建立基于驾驶员面部视觉信息的疲劳与精神分散状态量化评价模型， 并研究了本车前方车辆探测方法和安全车距得评定准则，取得了一定的成果。 3 、2 0 0 6 年，同济大学道路与交通工程教育部重点试验室杜志刚等人开始研究使 用日本n a c 公司生产的e m r - 8 r 型眼动仪l ，由e m r 主机、控制器、摄像机 以及数据分析软件等部分组成的一个仪器系统，通过记录瞳孔直径变化进行 疲劳驾驶检测，通过视点停留时间来评价交通标志的确认性及交通信息是否 1 2 山东大学硕士学位论文 过载等。 ， 4 、中国农业大学、武汉理工大学、首都师范等高校也都进行了类似的研究。 1 4 本文的研究工作和创新 本文在深入研究了国内外各种驾驶疲劳检测方法的原理、关键技术和成果 后，在现有的基础上进行了以下方面的研究： 1 、深入分析了各种检测方法的意义、现状及原理，采用以疲劳的各种生理特性 与疲劳相关性来判定疲劳程度，提出了一种非接触性、全天候的、实时的疲 劳检测系统。 2 、采用t i 公司的1 m s 3 2 0 d m 6 4 2 作为改进的疲劳检测系统主处理器，包括视频 采集、处理、显示和一体球跟踪等部分，具有体积小、成本低、处理能力强、 实时检测等特点。 3 、对系统初始化、d s p b i o s 的启动以及视频口、串口等底层驱动进行了设计 使系统初始化到一个适当的环境，为后续工作做好准备。 4 、自然光照条件下，利用肤色特征对人脸进行了定位，利用肤色在y c b o r 颜色； 空间中的聚类特性以消除光照对检测结果的影响。红外光照条件下，利用人 眼在特定波长红外线的成像特征，提出了利用反射点定位跟踪人眼算法，提 高了眼睛跟踪的准确度和速度，能够在各种气候条件下使用。 5 、提出了一种复杂度低的人眼跟踪算法，并使用卡尔曼滤波实时的跟踪人眼并 估计闭眼状态，结合不动点处理方法解决闭眼问题，简化了算法的复杂度并 提高了算法鲁棒性。 6 、采用空间网格法来控制云台的运动来跟踪人眼，使得头部的运动始终在摄像 机的采集范围内。 山东大学硕士学位论文 第二章疲劳检测方法的研究 随着计算机技术、传感器技术和数字分析技术的发展，出现了很多疲劳检测 的方法和原理，包括车道的跟踪系统、车辆行驶状态的检测和人体生理信号、动 作特征检测等方法，但一个实用的疲劳检测系统必须满足如下的基本条件：必须 是实时测量；必须是非强迫检测，检测装置同驾驶员没有身体接触；不能包括移 动设备；不能存在有害的辐射：必须在驾驶员因疲劳而失误前检测到疲劳等等。 下面介绍当前常用的几种疲劳检测的方法： 2 1 生理信号检测 生理信号指标最能准确反映人的疲倦程度。可用于检测疲劳的生理信号有脑 电图( e e g ) 、眼电图( e o g ) 、肌电图( e m g ) 、呼吸气流( 鼻音传感器) 、呼 吸效果( 胸腔部传感器) 、动脉血液氧饱和( 手指探针) 时的体温( 用红外线耳 朵探针获取) 和心电图e k g ( 开车和瞌睡时) 和心率等【1 2 】，尤其是e e g 被称为 测量睡眠的“金标准”。该类方法是利用在清醒和疲劳时人体生理信号的不同来 进行检测的，由于能直接且准确的反映疲劳的发生，所以此类方法准确度较高 【1 3 ，1 4 ，1 5 i ，但是由于这些方法一般是在驾驶前或驾驶后测量，是超前或滞后的，况 且在驾驶室有限的空间内安装复杂的检测仪器是十分困难的，而且在检测生理信 号特征时都必须用接触人体的电极，会对司机造成干扰。因此用车载的、实时的、 非接触方式检测成为国内外专家学者研究的焦点。 2 2 身体特征检测 身体特征检测是指检测人表现出的各种外在行为特征，如头部运动、打哈 欠、眼睛状态等，是目前研究的热点所在。 利用头部活动变化来判断人是否疲劳的研究从2 0 世纪9 0 年代就开始了，高级 安全观念公司a s c 研制开发了用来测量头部位置的传感器( h e a dp o s i t i o ns e n s o r , h p s ) 。h p s 利用一个相邻的电极电容传感器阵列，安装在司机座位上面，每个 传感器都能输出司机头部距离传感器的位置，利用三角代数算法可以实时计算出 1 4 山东大学硕士学位论文 头在“x y z ”三维空间中的位置，同时利用各个时间段的头部位置的变化特征， 表现出司机处于清醒还是瞌睡状态。该装置的四大特点是实时操作、可以预测司 机疲劳、便宜和安装方便。在该测量传感器的基础上，p h i l i pw k i t h i l p 1 6 1 设计了 一个测量点头动作的产品，命名为点头检测系统( m i c r o n o dd e t e c ts y s t e m ，即 m i n d s ) ，该系统对头部位置进行实时跟踪，并且根据头部位置的变化规律来判 断司机是否瞌睡。 根据经验，打哈欠是在人疲劳时会经常出现的特征之一，嘴部状态检测也成 为疲劳的一个早期的预警信号和判断疲劳的方法之一。该方法的实质是首先定位 出嘴部区域，判断嘴部张开距离的大小，定义打哈欠的持续时间、频率等特征作 为驾驶员疲劳的指标之一。内华达大学的q i n 西i 等人【”1 利用红外光源检测出瞳孔 后根据脸部特征的相对位置检测出嘴部位置，并利用g a b o r d 、波变换进行特征提 取，采用模式识别的方法判断嘴部张开的大小，取得了不错的效果。另外，上海 交通大学、武汉理工大学、吉林大学等高校也在研究通过嘴部状态检测来预测司。 机的疲劳。 据统计，驾驶员所获取的外界信息大约有9 0 是通过眼睛获取的，眼睛状态 检测是检测驾驶疲劳最直接有效的物理反应特征。一般使用计算机视觉的方法， 对摄像机拍摄的脸部或眼部图像进行处理，提取所需要的特征如眨眼频率、闭眼 时间等并加以识别。卡内基梅隆研究所经过反复实验和论证，提出了度量疲劳的1 物理量“p e r c l o s ”，被公认为准确率最高的方法，即单位时间( 一般取l m i n 或 者3 0 s e c ) 眼睛闭合7 0 9 6 的时间所占的比例，并据此设计了检测装置，这是最早报 道的能自动测量和跟踪被测者眼睛睁闭情况，并且能检测到疲劳现象出现的系 统。 m i t s u b i s h i 公司设计了先进安全车a s v 2 来检测驾驶员疲劳【1 8 1 。其中方向盘 前方是检测驾驶员疲劳状态的摄像机，通过红外照明的摄像机监视眼睛的状态， 在驾驶员出现疲劳状态时，通过声音和文字显示等方法提示驾驶员，如图2 1 所 示。 山东大学硕士学位论文 图2 im i t s u b i s h i 公司的先进安全车a s v 2 内部示意图 以上分别分析了身体特征检测的几种典型测量方法，其中头部位置测量方 法测量头部位置精确，能用来评价使用者是困倦还是瞌睡等不同的精神状态，但 要求在司机的脸上作一些标记，车辆内的光线变化明显时，测量容易失败，由于 点头的动作和瞌睡的相关系数仍然没有找到合适的关系，因此准确率不是很高； 嘴巴状态检测可以检测出是否打哈欠，可作为判断疲劳的方法之一，但经常作为 辅助方法使用；眼睛状态的检测能比较客观的反映疲劳的程度，是目前公认的最 有效的方法，但需要的设备复杂、成本较高。 2 3 驾驶行为检测 司机在疲劳的状态下对车辆的控制能力会下降，反映在操作上包括对方向盘 的操控、踩油门、刹车的离合；反映在车辆行为上包括车本身的速度、侧加速、 侧位移等。很多研究表明，驾驶员疲劳时的操作和车辆行为与非疲劳时有明显的 不同。 利用方向盘的运动来检测疲劳的出发点是疲劳的司机倾向于选择比较简单 的操作策略，例如不是根据慢慢调整方向盘的角度而是大的、快速的调整。a w a k e 项目1 1 9 1 采用多种特征融合的方法，其中包括测量在红外情况下的眼皮的状态，也 包括检测手握方向盘的用力变化，以及旋转方向盘的角度变化等特征。当疲劳发 生时，可通过安装在座位下的振动装置报警。 1 6 山东大学硕士学位论文 图2 - 2a w a k e 项目的重型卡车试验平台 d i n g u s 等的研究发现由于疲劳所引起的航偏离量( l a n ee x c m a n c e s ) 与 p e r c l o s 有很好的相关性，也可以作为驾驶疲劳检测指标。p e t e r s 和k l o e p p e l 2 1 1 也证明驾驶中侧位移随着司机的瞌睡程度的增加而增加。n h t s a 正在研发的“驾 驶疲劳检测与报警系统”中的s a f et r a c 是一种基于视觉的车道跟踪系统，通过 内置的前向摄像机跟踪路面的白线，或者在没有白线的情况下通过路缘等各种信 息生成“白线”。 由以上的分析可看出驾驶行为检测的最大的优势是信号容易提取。难点在 于：由于受车型、路况和个人驾驶习惯等的影响，“正常”与危及安全的“不芷“ 常”很难界定，势必要对每一种车型和路况设计不同的逻辑，选择不同的“门限”； 其次车辆低速行驶时这些参数很难准确反映疲劳状况。 小结：本章综述了当前常用的驾驶疲劳检测技术，深入探讨了这些方法的原 理，我们认为对驾驶员人体身体特征信号检测比较客观、准确、易行，是防疲劳 驾驶的研究方向。在基于人体物理反应信号的疲劳检测方法中，检测眼睛状态是 比较实用的方法。本文旨在研究一种可靠的、易行的眼睛状态检测方法，并通过 研究在疲劳时眼睛特征的变化，建立以d s p 板为处理平台的实时采集、处理、显 示的疲劳检测系统，快速准确地检测疲劳的发生。 1 7 山东大学硕士学位论文 第三章疲劳检测的系统设计与硬件构成 3 1 系统设计 疲劳检测系统实时监控处理要满足实时性，也即实时图像处理系统设计的难 点：如何在有限的时间内完成对大量的图像数据的处理。从人的视觉理论分析， 只有图像处理系统的处理速度达每秒2 5 帧以上才能达到实时的效果，即要求实时 图像处理系统必须在4 0 m s 内完成对一帧图像的运算处理，才能保证图像的实时 性。自7 0 年代末，第一片数字信号处理芯片( d s p ) 问世以来，d s p s 就以数字器 件特有的稳定性、可重复性、可大规模集成，特别是可编程性高和易于实现自适 应处理等特点，给数字信号处理( d s p ) 发展带来了巨大机遇，并使信号处理手 段更灵活，功能更复杂。目前单片d s p s 的处理能力已达到每秒4 8 亿指令和每秒 1 0 亿次浮点操作的，故d s p 强大的功能使得它可以很好地满足笔者算法的要求。 本文选定 t m s 3 2 0 d m 6 4 2 t 2 2 , 2 3 , 2 4 器件为处理核心，建立了可以实时采集、处理、 显示和报警的系统。 针对疲劳检测算法中大数据量、高速传输、复杂运算的实际需要，设计了以 t v p 5 1 5 0 为视频输入解码器，d s p 器件t m s 3 2 0 d m 6 4 2 为核心处理器，s a a 7 1 2 1 为视频输出编码器，t l l 6 c 7 5 2 b 通用异步收发器控制串口输出，利用f p g a t 2 5 】控 制输出，以实现增强显示功能的实时视频处理系统。首先通过一体机所带的摄像 头采集模拟视频信号( n t s c p a l 制式) 经视频解码器t v p 5 1 5 0 解码成b t 6 5 6 格 式的视频，然后通过e d m a 搬移到s d r j m 中再送进d s p 进行处理，处理后的数 据存放到s d r 剐中，然后再通过e d m a 将b t 6 5 6 视频流搬移到视频编码器s a a 7 1 2 1b u f f e r 中，经编码成模拟视频信号( n t s c p a l 制式) 由显示器显示；同时 由d s p 发出控制命令由通用异步收发器t l l 6 c 7 5 2 b 控制一体机所带的云台运动， 从而使摄像头一直能跟踪人的眼睛区域，如图3 1 所示。该系统可以满足多路视 频的实时采集、处理、显示的需求，可以作为疲劳检测算法的硬件平台，同时也 可以作为视频处理、图像处理的硬件平台。 山东大学硕士学位论文 图3 - 1 驾驶员疲劳检测系统处理流程 疲劳检测系统实物图如图3 2 所示，该系统主要由d s p 处理板( 采集、处理 i 和控制模块) 、红外线敏感的黑白c c d 摄像机、红外线带通滤波器、红外光源、簪 一体机和液晶显示器构成。一体机用d s p 控制，根据算法实时的控制云台转动， 从而让摄像头能够跟踪到眼睛。 图3 - 2 驾驶员疲劳检测系统的构成 疲劳检测实时采集处理系统由图像采集、图像处理和图像输出三大模块构 1 9 山东大学硕士学位论文 成。基本工作原理是：c c d 采集经过红外滤波的连续的模拟信号，经过图像采 集模块的a d 转换，变成数字图像信号，然后再由图像处理模块完成对数字图 像信号的运算处理，最后是通过输出模块显示期望结果以及报警等。系统具体框 图如图3 3 所示。 2 0 图3 - 3 疲劳检测系统算法流程图 l 发送运动信息 山东大学硕士学位论文 3 2 系统硬件构成 3 2 1c p u 的选择 d s p 芯片，也称数字信号处理器，是一种特别适合于进行数字信号处理运 算的微处理器，其主要应用是实时快速地实现各种数字信号处理算法。根据数字 信号处理的要求，d s p 芯片一般具有如下主要特点： l 、在一个指令周期内可完成一次乘法和一次加法； 2 、程序和数据空间分开，可以同时访问指令和数据； 3 、具有低开销或无开销循环及跳转的硬件支持； 4 、快速的中断处理和硬件i o 支持； 5 、具有在单周期内操作的多个硬件地址产生器； 6 、可以并行执行多个操作； 7 、支持流水线操作，使取指、译码和执行等操作可以重叠执行。 d m 6 4 2 由于其对图像视频处理的高性能而成为当前要求比较苛刻的图像视 频处理的主流产品。其采用高级超长指令字结构2 5 6 b i t 宽，即由一个超长的指令； 字来驱动内部的多个功能单元，使得它在一个指令周期内能够驱动8 个功能单元 并行处理8 条3 2 b i t 指令，有很高的指令级并行效率。其主频为6 0 0 m h z 最大峰值速 度达4 8 0 0 m i p s ，可以满足本系统图像视频处理算法的需要。 为了快速地实现数字信号处理运算，d s p 芯片采用特殊的软硬件结构。基本 特点包括：1 、哈佛结构；2 、流水线操作：3 、专用的硬件乘法器和多功能单元； 4 、专用寻址单元；5 、片内存储器；6 、e d m a 机制等等。这些特点使得t m s 3 2 0 系列d s p 芯片可以实现快速的d s p 运算，并使大部分运算( 例如乘法) 能够在一 个指令周期内完成。由于t m s 3 2 0 系y i j d s p 芯片是软件可编程器件，因此具有通 用微处理器具有的方便灵活的特点。下面分别介绍这些特点是如何在d m 6 4 2 中应 用并使得芯片的功能得到加强的。 1 、哈佛结构 哈佛结构是不同于传统的冯诺曼( v o nn e u m a n ) 结构的并行体系结构， 其主要特点是将程序和数据存储在不同的存储空间中，即程序存储器和数据存储 器是两个相互独立的存储器，每个存储器独立编址，独立访问。与两个存储器相 2 l 山东大学硕士学位论文 对应的是系统中设置了程序总线和数据总线两条总线，从而使数据的吞吐率提高 了一倍。而冯诺曼结构则是将指令、数据、地址存储在同一存储器中，统一编 址，依靠指令计数器提供的地址来区分是指令、数据还是地址。取指令和取数据 都访问同一存储器，数据吞吐率低。在哈佛结构中，由于程序和数据存储器在两 个分开的空间中，因此取指和执行能完全重叠运行。为了进一步提高运行速度和 灵活性，t m s 3 2 0 系，q j d s p 芯片在基本哈佛结构的基础上作了改进，一是允许数 据存放在程序存储器中，并被算术运算指令直接使用，增强了芯片的灵活性；二 是指令存储在高速缓冲器( c a c h e ) 中，当执行此指令时，不需要再从存储器中 读取指令，节约了一个指令周期的时间。 2 、流水线操作 与哈佛结构相关，d s p 芯片广泛采用流水线以减少指令执行时间，从而增 强了处理器的处理能力。c 6 0 0 0 中所有指令均按照取指、译码和执行三级流水线 运行。每一级又包含几个节拍，执行级对不同类型的指令有不同数目的节拍。所 有指令取指级有4 个节拍，译码级有2 个节拍。执行级对不同类型的指令有不同数 目的节拍。流水线操作以c p u 周期为单位，一个执行包在流水线1 个节拍的时间 就是1 个c p u 周期。流水线取指级的4 个节拍为程序地址产生p g ，程序地址发送 p s ，程序访问等待p w ，程序取指包接收p r 。译码级的2 个节拍为指令分配d p 和 指令译码d c 。在指令分配节拍中，一个取指包的8 条指令根据并行性被分成几个 执行包，每个执行包由l 到8 条并行指令组成。在指令分配节拍期间1 个执行包的 指令被分别分配到相应的功能单元。同时源寄存器、目的寄存器和有关通路被译 码以便在功能单元完成指令执行执行级。 图3 4 以一个浮点流水线流程图说明了流水线连续运行的时序。其中连续的 各个取指包都包含8 条并行指令，即每个取指包只有1 个执行包。各个指令包以每 个时钟1 个节拍的方式通过流水线。可以看出，在周期7 ，取指包f p n 的指令达到 e 1 节拍，取指包f p n + i 的指令正在译码节拍，取指包f p n + 2 处在d p 节拍，取指包 f p n + 3 、f p n + 4 、f p n + 5 和f p n + 6 等分别处在取指的4 个不同节拍阶段。由于采用 流水线结构，指令可以流水地进入c p u ，流水地执行，故大大提高了处理的速度。 山东大学硕士学位论文 c