（生物医学工程专业论文）基于tms320dm642的驾驶员疲劳检测系统.pdf

摘要 论文题目： 研究生姓名： 导师姓名： 学校名称： 摘要 基于t m s 3 2 0 d m 6 4 2 的驾驶员疲劳检测系统 魏超 张宇教授汪丰副教授 东南大学 疲劳驾驶是造成交通事故的诱因之一，驾驶员状态成功检测是降低交通隐患的一个有效手段，对 减少交通事故有积极作用。研究表明，p e r c l o s 参考方法是目前最适合驾驶员疲劳检测的方法。 本课题的最终目的是设计实现车载的驾驶员疲劳检测系统，即实现疲劳检测的嵌入式应用。系统 的设计原理是基于图像处理，采用图像处理和分析方法计算计算p e r c l o s 参数。p e r c l o s 参数的 核心是实时检测图像中人眼的睁眼与闭眼状态。d s p 由于在嵌入式领域独特的高速运算能力等优点， 能够实时的处理大量的数据，用于进行图像处理，所以车载的驾驶员疲劳检测系统选用d s p 作为其核 心处理部件，具体型号是t i 公司韵t m s 3 2 0 d m 6 4 2 ，时钟频率达到6 0 0 m h z 。 本论文内容上主要包括硬件设计和软件设计，功能上完成前端图像数据采集、中端图像处理和后 端图像显示的任务，并且作为完整系统所必需的自启动功能。软件中的算法结合了空间和时间信息来 完成人眼状态的检测。作为与驾驶员性命攸关的疲劳检测系统，系统的实时性至关重要。为了达到这 一目的，必须充分挖掘d s p 的综合性能。在算法移植方面，本系统做了大量的优化，包括算法自身的 逻辑优化、浮点定点转换以及使用汇编语言完成核心功能，提高了系统的实时性。另外，系统的设计 过程中考虑了夜间光线不足的情况下图像采集质量的问题，系统在对图像进行数据分析后，对当前驾 驶环境的光线条件进行判断，然后通过光线补偿模块进行光线补偿，进而提高所采集的图像的质量。 关键字：d m 6 4 2 ，p e r c l o s ，、人眼定位，d s p 优化，红外 警意、葛蕨一 一，。 。 o 谚 ， 讹： a u t h o r ： s u p e r v i s o r ： s c h o o l ： a b s t r a c t d e t e c t i o ns y s t e mo fd r i v e r sf a t i g u eb a s e do nt m s 3 2 0 d m 6 4 2 w e i c h a o p r o f z h a n gy ua n da s s o c i a t e p r o f w a n gf e n g s o u t h e a s tu n i v e r s i t y f a t i g u ed r i v i n gi so n ec a u s eo ft r a f f i ca c c i d e n t s d r i v e r s f a t i g u ed e t e c t i o ni sa ne f f e c t i v em o t h e dt o r e d u c et h er i s k so ft r a f f i ca c c i d e n t s s t u d i e sh a v es h o w nt h a tp e r c l o sr e f e r e n e em e t h o di st h em o s ts u i t a b l e m e t h o do fd r i v e rf a t i g u ed e t e c t i o n t h eu l t i m a t eg o a lo fs y s t e mi sd e s i g n e dt ob eaa c h i e v ev e h i c l ed r i v e rf a t i g u ed e t e c t i o ns y s t e mw h i c hi s ae m b e d d e ds y s t e mo ff a t i g u ed e t e c t i o na p p l i c a t i o n t h i ss y s t e md e s i g n e db a s e do ni m a g ep r o c e s s i n gu s e s i m a g ep r o c e s s i n ga n di m a g ed a t aa n a l y s i so ft h ec a l c u l a t i o np e r c l o sp a r a m e t e r sm e t h o d t h ec o r eo f p e r c l o sp a r a m e t e rc a c u l a t i o ni st h es t a t ed e t e c t i o no fh u m a n e y e sw h i c hi si n c l u d i n gc l o s ec o n d i t i o na n d o p e nc o n d i t i o n d s ph a su n i q u ea d v a n t a g e ss u c ha sh i g h - s p e e dc o m p u t i n gp o w e rt oh a n d l el a r g ea m o u n t so f d a t ai nr e a lt i m ef o ri m a g ep r o c e s s i n g , s ov e h i c l ed r i v e rf a t i g u ed e t e c t i o ns y s t e ma d o p t sd s pa si t sc o r e p r o c e s s i n gc o m p o n e n tw h o s es p e c i f i cm o d e li st i st m s 3 2 0 d m 6 4 2 ，w i t ht h ec l o c kf r e q u e n c yo f6 0 0 m h z 1 1 1 ec o n t e n to ft h i sp a p e rm a i n l yc o n t a i n st h ed e s i g no ft h eh a r d w a r ea n ds o f t w a r e i ta c c o m p l i s h st h e f u n c t i o n so fi m a g ed a t aa c q u i s t i o no ft h ef r o n ts t a g e ，i m a g ep r o c e s s i n gi nt h em i d d l es t a g e ，a n dd i s p l a yo ft h e i m p a ei nt h ee n d m e a n w h i l e ，i ta l s oh a s t h en e c e s s a r ya u t o s t a r tf u n c t i o no fac o m p e l e t es y s t e m t h e s o r w a r ea l g o r i t h m sc o n n e c tt h et i m ea n d s p a c ei n f o r m a t i o nf o rt h ed e t e c t i o no f t h es t a t eo fe y e s a saf a t i g u e d e t e c t i o ns y s t e ma s s o c i a t e sw i t ht h ed r i v e r s l i v e ，t h es y s t e mr e a l t i m ec h a r a c t e r i s t i ci sv e r yc r u c i a l t oo b t a i n t h i sa i m , t h ec o m p r e h e n s i v ef u n c t i o no ft h ed s ps h o u l db ee x p l o r e d a st h ea s p e c to ft h ea l g o r i t h m s t r a n s p l a n t a t i o n , t h i ss y s t e mc o n d u c t sm a n yo p t i m i z a t i o n s ，w h i c hc o n t a i nt h el o g i co ft h ea l o g r i t h m s ，t h e t r a n f o r m a t i o no ft h ef l o a tp o i n td a t aa n df p o i n td a t a , a n dt h er e a l i z a t i o no fc o r ef u n c t i o nb yt h ea s s e m b l y l a n g u a g e b yt h ew a y , t h i sp a p e rc o n s i d e r st h eq u a l i t yo ft h ea c q u i s i t i o no ft h ei m a g eo ft h en i g h ts i t u a t i o ni n t h ep r o c e s so ft h ed e s i g no ft h es y s t e m a f i e rt h ea n a l y s i so ft h ei m a g ed a t a , t h es y s t e mj u d g e st h ec o n d i t i o n o ft h el i g h ti nt h ed r i v i n ge n v i r o n m e n ta n dc o m p e n s a t e st h el i g h t , t h e ne n h a n c et h eq u a l i t yo ft h ei m a g e a c q u i s i t i o n k e yw o r d s ：d m 6 4 2 ，p e r c l o s ，h u m a ne y ep o s i t i o n , d s po p t i m i z a t i o n , i n f r a r e d 目录 目录 摘要i a b s t r a c t i i 目录i i i 第一章绪论1 1 1 疲劳检测的背景和意义1 1 2 疲劳驾驶的检测方法l 1 3 疲劳检测系统的研究现状。2 1 4 本论文的研究内容3 第二章系统设计概述4 2 1 系统框架设计4 2 2 系统设计的相关理论基础介绍4 2 2 1p e r c l o s 参数检测方法简介4 2 2 2a d a b o o s t 算法简介。6 2 3 系统设计要求及芯片选型6 2 3 1 设计参数要求6 2 3 2 系统设计处理器选择7 2 4 卅、结7 第三章硬件设计8 3 1 中央处理模块8 3 1 1d m 6 4 2 简介及设置9 3 1 2f p g a 配置。l o 3 2 视频采集显示模块1 0 3 2 1 视频标准介绍。1 0 3 2 。2 摄像机的选择l o 3 2 3 图像解码芯片s a a 7 l1 5 设置1 l 3 2 4 图像编码芯片s a a 7 1 0 5 设置。1 2 3 3 功能模块设计1 2 3 3 1 光源补偿部件设计。1 2 3 3 2 报警部件设计1 5 3 4 存储模块设计l5 3 4 1d m 6 4 2 的内部存储部件设置。1 6 3 4 2d m 6 4 2e m i f 设置16 3 4 3s d r a m 设置及工作方式17 3 4 4f l a s h 设置。l8 3 5d 、结l9 第四章软件设计2 0 4 1 软件设计基础2 0 4 1 1c c s 软件开发。2 0 4 1 2d s p b i o s 简介2 0 4 1 3 系统驱动模型2 2 4 1 4 片上支持库c s l 2 2 4 1 5 中断程序设计2 4 4 1 6e d 姒的使用2 5 i l l 目录 4 1 7 视频驱动程序设计2 7 4 2 系统软件设计2 9 4 2 1 软件总体设计2 9 4 2 2a d a b o o s t 算法的人眼定位原理3 0 4 2 3 人眼状态检测原理3 4 4 2 4p e r c l o s 计算3 7 4 2 5 光源补偿算法原理3 7 4 2 6 基于帧间信息的人眼检测3 8 4 3 算法移植与优化3 9 4 3 1 总体的代码移植和框架优化3 9 4 3 2 算法结构优化4 0 4 3 3 浮点定点计算4 2 4 3 4 软件流水和汇编程序的使用4 3 4 4d 、结4 5 第五章 实验数据及结果4 6 5 1 人眼定位结果4 6 5 2 人眼状态判断4 6 5 3p e r c l o s 计算结果4 8 5 4d 、结4 8 第六章 工作总结及展望4 9 g ! 谢5 0 参考文献5 l i v 第一章绪论 第一章绪论 驾驶员疲劳检测有重要的实际应用价值。现在国内的相关研究工作刚刚起步，技术水平相对国外 还稍有不足。本章主要介绍本课题的选题意义和国内外与疲劳驾驶相关研究的现状，并简要介绍了本 课题的研究内容。 1 1 疲劳检测的背景和意义 交通事故给人们的生命和财产安全带来了巨大的伤害，在引发交通事故的众多因素中，疲劳驾驶 是重要的原因。 机动车是社会发展、人类文明和科学技术进步的产物，为人类文明进步和社会经济的发展作出了 巨大的贡献。然而，随着交通运输产业的迅速发展，汽车拥有量逐步的增加，恶性交通事故的数量也 随之不断的上升。在各类事故的死亡人数中，交通事故死亡人数所占的比例为7 8 5 ，其中疲劳驾驶 引起的交通事故约占2 0 ，占特大交通事故的4 0 以上。我国的交通事故统计资料显示，交通事故的 主要加害者是机动车的驾驶员，而交通事故的受害人则是行人、乘车人和骑自行车的人。交通事故的 发生使国家财产和人们的声明安全蒙受了巨大的损失。在每年发生的大型交通事故中，驾驶员需要付 主要责任的占到交通事故总数的三分之二。 中华医学会等部门对北京地区高速公路上5 1 6 名驾驶员进行了警觉度测试和问卷调查。调查结果： 2 4 的驾驶员自我感觉在疲劳驾驶，其中1 0 的驾驶员当天打过瞌睡，5 0 的被调查者回忆在驾驶时 打过瞌睡。仪器检测：2 0 的驾驶员反应时间延长，5 0 的驾驶员自认为有睡眠问题。另外，8 2 的调 查者每天睡眠时间少于8 小时，4 7 少于7 小时。但是其中9 0 的驾驶员没有采取任何措施。据北京 交通部门统计大约有2 0 的交通事故是由于疲劳驾驶造成的。 在欧洲，1 0 0 o - 2 0 的交通事故因疲劳驾驶造成：货车运输业内，6 0 以上的货车事故与驾驶人员 的疲劳有直接关系。英国l o u g h b o r o u g h 大学的研究人员分别对9 9 6 名载重汽车和4 6 2 1 名轿车司机进 行跟踪调查，发现有2 9 的驾驶员在开车时打瞌睡，其中1 0 9 6 名驾驶员由于困倦而导致交通事故。 美国卡耐基梅隆大学在驾驶疲劳模拟器上进行的研究表明：机动车辆重大事故9 1 归因于驾驶员疲劳 驾驶，而夜晚疲劳驾驶的重大事故率达1 9 9 。美国国家高速公路安全管理局n h t s a 统计，每年警 察报告的近1 0 万起车祸，发生的主要原因是疲劳驾驶。纽约警方估计发生在纽约高速公路上所有致命 性车祸的3 0 是由于驾驶员在驾车时睡着的缘故引发的。 国内外的统计数据显示【1 1 ，司机的疲劳驾驶是导致交通安全事故的重要原因。交通事故给社会造 成了巨大的经济损失和人员伤亡【2 1 ，预防疲劳驾驶对减少交通事故的发生有重要的现实意义。 1 2 疲劳驾驶的检测方法 疲劳驾驶是指驾驶员因连续驾车时间过长或者睡眠休息时间不足，或者因体力消耗过大未有充分 的休息而继续驾驶车辆的行为【3 1 。 驾驶员疲劳的主要表现有 4 1 ： ( 1 ) 反应时间增长，注意力分散，判断能力下降，主观能动性降低，丢失重要信息的频率增大： 东南大学硕士学位论文 ( 3 ) 驾驶动作灵活性降低，操作能力下降； ( 4 ) 记忆和思考能力下降，判断失误增多； ( 5 ) 耐力下降，易于激动、开快车； ( 6 ) 在行车途中困倦，打瞌睡。 驾驶员疲劳状态检测的方法众多，按照测量参数的不同可以分为基于驾驶员自身的检测方法、汽 车行驶状态的检测方法以及综合检测的方法。目前国内外已经开展的方法主要有5 】： ( 1 ) 生理电信号检测法 对疲劳驾驶的客观测评可以从医学角度出发，利用医学脑电图仪、心电图仪和眼电图仪测试驾驶 员的脑电波嘲、心电波【7 1 和眼电波，从而确定驾驶员的疲劳程度。其中以脑电图e e g ( e l e c t r o e n c e p h a l o g r a m ) 的研究最为广泛。e e g 检测法被誉为检测疲劳的“金标准”。 生理电信号检测法的准确度高i s ，但是其检测条件较为苛刻，过程复杂，且价格过高，而且检测 时被检测者的相应部位需要安装传感器，对驾驶员的操作有影响，因此难以投入现实应用。 ( 2 ) 道路追踪检测法 道路追踪检测法利用驾驶员在疲劳状态时1 9 ，操作汽车的延迟特性，通过在车上安装的检测仪器， 参照道路上的各种分道线来判断车辆的行驶状态。此方法一定程度上反应了驾驶员的疲劳程度。 道路追踪检测法也有不足，路况不好，如下雪大雾天气，还有道路质量不好时，就有可能产生误 判，因此，此方法有一定的局限性，只能在外部条件较好时才有实际应用意义。 ( 3 ) 基于p e r c l o s 参数的检测方法 眼睛在一定的时间范围内闭合时间的长短与疲劳程度有密切关系，驾驶员眼睛闭合时间越长，疲 劳程度越大，因此通过检测眼睛闭合时间的长短就能确定驾驶员疲劳的程度。此方法即为p e r c l o s 参数检测法。 p e r c l o s 最早w e i r w i l l ew w 在1 9 9 4 年德国慕尼黑第十四届e s v 国际技术大会上提出，并得到 了美国联邦公路管理局f h w a ( f e d e r a lh i g h w a y a d m i n i s t r a t i o n ) 的大力推荐。通过图像处理技术对人 眼状态进行实时检测和跟踪，分析眼睛的状态提取眼睛的特征参数，计算p e r c l o s 值来判断司机的 疲劳程度。该方法是目前众多方法中公认的最有效的疲劳状态的检测方法。 1 3 疲劳检测系统的研究现状 近年，对疲劳驾驶检测方法的研究逐渐引起了很多国家的普遍重视，但是到目前为止，实用的系 统尚未推出，市场上还没有功能完善的产品，可靠性、有效性和实用性需要继续提高。另外，国内的 驾驶员疲劳检测研究工作较国外发展相对过晚，但是近期发展迅速。下面简单介绍几款国内外驾驶员 疲劳检测的代表产品： ( 1 ) 英国曼彻斯特城市大学研制了驾驶员电子警报系统l l o l ，该系统通过安装在遮阳板摄像头，捕 捉和记录驾驶员开车时注视的方向；通过附着于转向柱上的传感器，记录转向信息；通过安装在前仪 2 第一章绪论 表板对准前方的摄像头来记录车辆的行驶方向。系统通过车载计算机处理眼睛跟踪仪和转向传感器获 得的数据，计算驾驶员眼睛与手臂的协调情况，将其同汽车行驶方向监视器的信息进行比较，从而判 断驾驶员的状态。 ( 2 ) 日本东京大学研制出了驾驶员疲劳测试裂1 叭，该器械可以戴于驾驶员的手腕上。其内部装有 氧气电池电极，可以测量司机汗液中的乳酸、氨和酒精的含量，然后通过小型无线发射器把数据发送 到研究中心。研究中心通过电脑分析，判定驾驶员的疲劳程度，及时向驾驶员提出警告，避免交通事 故的发生。 ( 3 ) 明尼苏达大学开发出了驾驶员眼睛追踪和定位系统【1 0 1 ，通过安装在车内的c c d 摄像头监视驾 驶员的脸部，用垂直投影进行眼睛的粗定位，然后使用同心圆模板来进行匹配定位，而后追踪眼睛。 根据眼睛的开合来计算p e r c l o s 参数，进而判断驾驶员的疲劳状态，最终决定是否给予驾驶员警告 提醒。 ( 4 ) 美国研制的打瞌睡驾驶员检测系统d d s ( d r o w s y d r i v e rd e t e c t i o ns y s t e m ) 采用了多普勒雷达 和复杂信号的处理方法【1 2 1 ，以获取驾驶员的情绪活动、眨眼频率和持续时间等疲劳特征数据，进而用 以判断驾驶员疲劳程度。 ( 5 ) 上海交通大学的研究人员通过传感器测量驾驶员工作时方向盘、踏板等一些参数特征来判断 驾驶员的疲劳程度。驾驶员方向盘的操纵情况与驾驶员的安全具有一定关系，在方向盘较长时间处于 停滞状态，一定情况下认为驾驶员处于疲劳瞌睡状态。相关研究表明：当方向盘产生幅度1 5 度以上， 0 4 h z 以下的低频转动时，说明驾驶员反应开始迟钝，即表现出疲劳状态。 ( 6 ) 中国亿龙科技有限公司生产的驾驶员疲劳预警系统，也称为t w s ( t i r e d n e s s w a r n i n g s y s t e m ) 。 该系统外形似普通手表，佩戴于使用者腕部。人在睡觉前会皮肤上的静电会减弱，通过检测人体皮肤 静电信息的曲线变化来检测驾驶员精神状态。当驾驶员精神状态下滑或进入浅层睡眠，该系统会根据 检测出来的结果给出提示。 1 4 本论文的研究内容 本课题对驾驶员疲劳检测方法进行了充分的研究，并且在嵌入式d s p 平台进行了实现。以目前公 认最有效的p e r c l o s 参数法作为疲劳驾驶的评测依据和标准，在借鉴先进技术的基础上，设计开发 出了一种基于机器视觉的嵌入式驾驶员疲劳状态检测系统。本课题的系统设计是在瑞泰公司的 t m s 3 2 0 d m 6 4 2 的d s p 开发平台进行算法移植和测试的，前期工作已经在p c 机上完成了基于 p e r c l o s 参数方法的驾驶员疲劳检测系统实验以及评价系统。在现有的研究基础上，本课题旨在设 计具有车载的、非接触式的实时嵌入式驾驶员疲劳检测系统，并且能够满足该系统在夜间模式下有良 好的效果。下面是本课题主要的研究内容： ( 1 ) 在现有条件的基础上作理论准备。根据p e r c l o s 参数的计算过程，对实现过程中需要用到 的数据( 如人眼状态、人眼定位等) ，决定实现的算法，提出合理的设计方案； ( 2 ) 根据设计方案，完成硬件部分的设计，完成各个功能模块； ( 3 ) 完成软件部分设计，p c 端软件仿真，算法测试，平台移植以及算法优化； ( 4 ) 测试系统的稳定性和准确度，进一步完善系统。 3 东南大学硕士学位论文 第二章系统设计概述 本课题所设计的驾驶员疲劳检测系统最终要实现车载环境下的使用，由于嵌入式系统具有可靠性、 安全性高和成本低等优势，并且可以运行在苛刻的环境中，所以驾驶员疲劳检测系统的设计使用嵌入式 系统。 2 1 系统框架设计 本课题利用计算机视觉和图像处理技术，快速准确的在采集到的图像中定位人眼，并快速的判断人 眼的开合状态，进而计算p e r c l o s 参数，以便检测驾驶员的疲劳状态。 图2 1 疲劳检测系统总框图 系统由图像采集、疲劳检测、报警三部分构成。系统整体示意图如图2 1 。 视频图像采集通过所选的彩色摄像装置进行拍摄，驾驶员面部基本位于整幅图像的中间位置，并且 占据较大的面积。处理器对采集到的图像数据进行处理，计算p e r c l o s 参数，判断驾驶员的疲劳参数， 如果得出驾驶员疲劳的结果，则通过警告部件对驾驶员进行报警。其中，疲劳检测主要包括人眼定位、 人眼状态检测和p e r c l o s 参数计算三个部分组成。 驾驶环境中存在各种各样的干扰因素，对采集视频图像和后续的处理会产生不利的影响，特别是在 驾驶环境下光照条件的不断变化，会严重影响图像质量，产生阴影等干扰。本课题在解决次问题上提出 了在夜间模式下利用红外光源补偿的方法，对提高改善图像质量有较好效果。 2 2 系统设计的相关理论基础介绍 在绪论中简要介绍了目前的一些疲劳检测方法， 断方法。这里将详细探讨p e r c l o s 方法相关理论， 2 2 1p e r c l o s 参数检测方法简介 p e r c l o s 方法是当前世界公认最可靠最有效的判 为构建驾驶员疲劳实时检测系统作理论准备。 p e r c l o s ( p e n ：e n t a g eo fe y e l i dc l o s u r eo v e rt h ep u p i lo v e i t h et i m e ) 的概念最早在1 9 9 4 由 w w w e i r w i l l e 于德国慕尼黑第十四届e s v 国际技术大会上提出。他从2 0 世纪7 0 年代在弗吉尼亚大学 开始研究光学变量与疲劳的状态，8 0 年代到9 0 年代的研究表明【l3 1 ，疲劳与缺乏睡眠、瞳孔直径、注目 凝视、眼球快速转动、眉眼扫视、眨眼以及其他因素有关，并且发现p e r c l o s 参数是最具潜力的疲劳 状态测试的测定方法之一，其数据真正能够代表疲劳，是对疲劳进行估计测量的最好方法【1 4 1 。p e r c l o s 参数法得到了美国联邦公路管理局f h w a ( f e d e r a lh i g h w a ya d m i n i s t r a t i o n ) 的大力推荐。w w w e i r w i l l e 和 他的同事把p e r c l o s 定义为：在一定时间内眼睛闭合程度为8 0 - 1 0 0 的时间占总时间的半分比；即 “t h ep r o p o r t i o no f t i m et h a ta s u b j e c t se y e sw e r e8 0 t ol o o c l o s e d ”。 下式说明了p e r c 【，o s 的测量原理，图2 2 中的曲线是眼睛由睁开到闭合再到睁开的过程，通过测量出 4 第二章系统设计概述 t l t 4 的值就能计算出眨眼一次所用时间内的p e r c l o s 值，令这段特定时间内的p e r c l o s 值为f ，计算公式 如下： 厂2 措枷毗 ( 2 1 ) 其中，f 代表这段特定时间内的p e i l o s 值，即这段特定时间内眼睛闭合时间占总时间的百分率；t l 是眼睛由睁开最大到闭合2 0 所用的时间；t 2 是眼睛由睁开最大到闭合8 0 所用的时间；t 3 是眼睛由眼睛睁 开最大到完全闭合再到睁开2 0 所用的时间；t i 是眼睛由眼睛睁开最大到完全闭合再到睁开8 0 所用的时 间。 零 恻 隧 散 蠹 篷 墨 图2 2p e r c l o s 参数计算原理图 前面介绍的是眼睛闭合一次的p e r c l o s 值计算方法，下面介绍任意一段时间内p e r c l o s 值的计算方 法，如图2 3 所示，连续采样时间t 内有n 次闭眼，且第i 次闭眼瞳孔被眼睑遮住至少8 0 面积的时间为t i ， 则这段时间内的p e r c l o s 值可由下式求出： p e r c l o s = t j = o - i 禽蜘 图2 3 任意一段时间内的p e r c l o s 钡v j 量原理图 5 ( 2 2 ) 鬟鼍掣餐客量誓 东南大学硕士学位论文 2 2 2a d a b o o s t 算法简介 人眼定位使用的是基于h a a r 特征的a d a b o o s t 算法实现的【1 5 】。人眼定位目前有两种方法可以实现： 先定位人脸，在人脸正确识别的基础上，在所定位的区域中使用相关算法定位人眼；直接使用人眼定位 的分类器定位人眼。这里以人脸检测为例介绍a d a b o o s t 算法的实现。 人脸检测，一般是指在图像中定位人脸区域，如果图像中含有人脸，则获取人脸的位置、大小、姿 态等信息，然后提取人脸特征。人脸检测首要的技术是对于人脸的建模：即寻找一种有效的方法提取人 脸的共性特征来描述人脸。目前的人脸建模技术，可以分为基于器官的方法和基于模板的方法。基于器 官的方法是将人脸视为显著器官的组合，首先提取一些重要的器官：眼睛、鼻子或者嘴唇等，然后通过 其位置和它们之间的几何关系来检测人脸。基于模板的方法则把人脸看作一个整体的模式，即为二维的 像素矩阵，从统计学的观点来讲，通过大量的人脸图像样本构造人脸模式空间，根据相似度来判断人脸 是否存在。 人脸模型确定以后，一个人脸检测系统还需要具有特征提取和分类决策的功能实现。这两个问题都 是围绕着人脸模型来进行的。一般而言，特征提取可以在图像的空间域和频率域上实现。分类决策的方 法是统计模式识别所研究的重要内容。现在流行的人脸检测算法多数计算量大或者检测效果不好，如模 板匹配定位法、h o u g h 变换定位法。2 0 0 1 年由v i o l a 和j o n e 的文章的发表被认为是人脸检测的一 个转折点，它通过综合了a d a b o o s t 和c a s c a d e 算法实现了实时的人脸检测。并且，此算法可以用在 其他目标检测上，如车牌检测等。 2 3 系统设计要求及芯片选型 本系统由于是最终设计成为车载的驾驶员疲劳检测系统，所以在其设计过程中有许多要考虑的因素， 并且对实现功能的芯片有特定的要求。 2 3 1 设计参数要求 本课题的目标是设计一个实现实时驾驶员疲劳检测功能的嵌入式处理系统，因此需要考虑嵌入式系 统的特点，同时需要评估各种算法对系统的不同要求，综合各个方面的因素，系统设计要求可以概括如 下： 需要有强大的运算能力。一般说来，实时的图像处理过程中，识别的速度需要对数据的运算能力有 很高的要求。现在使用的各种识别技术，在识别的速度和准确度上都有了显著的提高，但是其代价是计 算量大，算法复杂度高，如果没有一个具有强大运算能力的中央处理器是不可能实现的。 需要有足够容量的存储空间。在视频处理的过程中，需要对输入的图像、运算过程中的中间结果进 行保存。保存的图像所需要的存储空间由具体算法和使用的图像大小决定。一般情况下，视频处理的过 程中需要兆级的存储空间。 实时性要求。因为驾驶员疲劳检测系统设计驾驶员的生命和财产安全，所以对系统的实时性要求较 高，需要实时检测和实时报警。所以在系统设计中，要做到尽可能的提高实时性，这一点至关重要。 另外，为了满足夜间模式下的驾驶员疲劳检测的正常运行，所以要考虑对驾驶环境进行光源补偿。 当然，在课题拓展方向上，可以增加设计其他模块，比如对疲劳状态下的图像数据进行存储的存储模块， 6 第二章系统设计概述 以便于对数据进行先一步的分析和验证，抑或提供疲劳证据。 2 3 2 系统设计处理器选择 疲劳检测系统是被用于车载环境下的，需要满足体积小、便于安装等要求，所以需要应用嵌入式系 统设计完成。由于嵌入式处理器是嵌入式系统设计的关键所在，因而在设计方案时，首要的是选择合适 的嵌入式处理器【1 6 1 。 p e r c l o s 参数的准确计算需要处理器的运算速度达到每秒2 0 帧以上，即要求处理系统对于一帧图 像的处理时间必须小于5 0 毫秒，这样才能保证系统的实时性。目前主流的嵌入式系统中，a r m 具有较 强的事物控制管理功能，主要用于界面设计应用和其他一般的应用场合；f p g a 的优势是并行高速，在 带宽要求较高的条件下使用，但是其开发周期较长，修改灵活性不高；d s p 主要应用于计算度要求较高 的情况1 1 7 】，优势是计算能力强、有较高的运算速度。由于本设计主要是图像处理，并且之前已经具有在 d s p 上的设计经验，因此这里选择d s p 设计实现嵌入式疲劳检测系统。 c 6 4 x 系列是t i 公司性能较高的通用数字信号处理器i l 射，其指令集功能强大，同时内部c p u 的时钟 频率最高到7 2 0 m h z ，并且芯片内部的八个执行单元可以同时执行，适用于视频信号处理算法的实现， 但是作为通用数字信号处理器，c 6 4 系列没有提供丰富的外设接口，大多必须用f p g a 等可编程逻辑器 件来实现与视频解编码芯片等芯片的接口，而且这样一方面增加了外围电路的设计的难度和复杂度，另 一方面也影响到处理器的运算性能。t l 公司专门为视频信号处理设计了d m 6 4 x 系列。该系列的芯片都 使用了c 6 4 x 的处理器核，并且提供了许多视频处理所需要的外设接口，这样保留了c 6 4 系列强大的运 算能力的同时，极大地简化了外围电路的设计，非常适合于视频信号处理这样的应用场合。为了使用实 验室现有的设计资源，这里我们使用d m 6 4 2 处理器。 目前t i 公司设计推出了c 6 4 x + 系列的处理器，其指令集更加丰富，其中的6 4 3 7 芯片不但集成了前 端视频解码芯片，并且有o s d 模块，更加有利于视频图像处理，在后续的设计中，我们将考虑使用该芯 片。 2 4 小结 本章从系统设计的整体出发，结合具体的设计要求对设计思路进行了总述，并且对所设计的功能模 块所需的理论进行了基础性介绍。 7 东南大学硕士学位论文 第三章硬件设计 在上一章中，明确了驾驶员疲劳检测系统的整个功能框图，本章主要介绍驾驶员疲劳检测系统的硬 件设计，从逻辑功能上分为：中央处理模块、视频采集显示模块、辅助模块设计和存储模块。接下来将 分别介绍和分析这几个部分的设计。系统功能框图如图3 1 。 - - i外部存储器扩展模块 i l 一旦旦一j 彗星誓莞i功能单元i 陬虿蹦 光源 控制 e 皿f g p i o v p o d m 6 4 2 1 2 c g p i o v p 2 1 2 c 图3 - 1 驾驶员疲劳检测系统的硬件框图 另外，因为我们使用的是由r e a l t i m e 公司提供的t i 的标准评估板，根据现实需要在其具有的硬件 模块上进行裁减，设计出的自己的硬件系统。实物图如图3 - 2 所示。 3 1 中央处理模块 图3 - 2 驾驶员疲劳检测系统的实物图 驾驶员疲劳检测系统使用d s p ( d i g i t a ls i g n a lp 眦e s s o r ) 芯片作为中央处理器，即数字信号处理器，是 一种应用在实时数字处理中的微处理器，它可以实时快速的实现各种数字信号处理算法。本模块采用的 8 -厂。、r一 一 = 1 r 旨眺 第三章硬件设计 是t i 推出的6 0 0 m h z 的t m s 3 2 0 d m 6 4 2d s p 芯片( 该系列处理芯片最高主频达7 2 0 m h z ) ，主要的功能是 实现进程间调度控制和视频图像相关算法的实现。 3 1 1d m 6 4 2 简介及设置 ，兀公司的t m s 3 2 0 d m 6 4 2 系列数字信号处理器【1 8 】，是针对多媒体处理领域应用的d s p ，也是目前 应用于图像处理的主流产品之一。作为本系统的中央处理器，它具有以下三个主要的优点： 第一， 处理器核性能高。其c p u 时钟频率达到6 0 0 m h z ( 该系列d s p 芯片最高主频为7 2 0 m h z ) 、 哈佛结构、使用3 2 字节的超长指令字、八个高度独立的功能单元同时运行、支持不对其的存储架构、多 大6 4 个3 2 位的通用寄存器( 分a b 两组，各组有3 2 个) ，另外所有的指令都可以条件执行，并且功耗低， 只有1 5 w 消耗。 第二，多级的存储器架构。片内提供1 6 k 字节的一级程序缓冲、1 6 字节的一级数据缓冲、2 5 6 k 字节的二级存储器，可以比较灵活的分配给使用者，满足不同的性能要求。 第三， 外设接口丰富。可与多种同步，异步存储器无缝接口的6 4 位外部存储器接e i ( e m i f ) 、多大 6 4 通道的增强型直接存储器存取( e d m a ) 控制器、3 个可与通用视频编解码芯片无缝接口的可配置视频 端口、1 2 c 总线控制模块、3 2 b i t 6 6 m h z 的p c i 主从接口、1 0 1 0 0 m b p s 以太网媒体访问控制器( e m a c ) 等。 第四，开发环境友好，实时调试工具灵活，并且支持复合视频的输入输出和丰富的通用i o 端口 ( g p i o ) ，便于研发人员对系统交互拓展。 总之，d m 6 4 2 是一款性能非常高的多媒体处理芯片【1 s - 2 2 , 2 5 。2 7 】，可以广泛用于如网络视频、数字机顶 盒和数字多媒体等领域。因此，本课题使用d m 6 4 2 来完成驾驶员疲劳检测系统的设计。如图3 3 是d m 6 4 2 芯片的内核示意图。 l l d ( 1 6 k ) h j e m i f 毒 h jv m i t m c a s p o m c b s p o l 2 一jv p i m c a s p t m c b s p - c 6 4 x 内核 怜 ( 2 s 6 k ) 害 e d m a v p 2 l - pc - 6 k ， 一 g p l o 一 1 2 c 电源启动设置 p