（测试计量技术及仪器专业论文）基于数字图像处理技术的疲劳驾驶预警系统的研究与设计.pdf

摘要 摘要 随着汽车工业的高速发展，安全驾驶成为人们日益关注的一个重要话题。相关统计数据表明， 全球每年因交通事故死亡的人数超过5 0 万，而我国这一数字就高达9 万左右。研究表明，疲劳驾驶 是第三大“影响事故发生的危险因素”，约占总数的2 0 , - - 3 0 。因而，对疲劳驾驶的研究与预防有 着十分重要的现实意义。 本文在参考研究与对比国内外相关技术和文献的基础上，并结合实验室自身条件，提出并设计 了一套基于数字图像处理技术的疲劳驾驶预警系统。该系统主要由图像数据采集与传输，图像处理 以及疲劳判定与预警三部分组成。图像数据采集与传输是整个系统的基础，本系统利用c m o s 型图 像传感器，并以c p l d 为逻辑控制电路，采用双存储器交替方式( 即乒乓方式) 完成数字图像的采 集和与d s p 的数据传输。图像处理，包括人脸检测和人眼定位是整个系统的关键技术，以肤色模型 为基础通过快速投影法确定人脸区域，进而再利用投影法和区域生长的方法实现人眼定位，最后通 过垂直投影得到人眼状态高度值。而疲劳状态判定和预警是整个系统的目的，以采用非接触的 p e r c l o s 疲劳参数，并配合e c t 疲劳参数的方式实现。整个系统以s e e d d e c 6 7 1 3 开发板为主要 开发工具，并配合自行设计的图像采集模块，在理想的实验环境下初步实现疲劳驾驶的判定与预警。 关键词；疲劳驾驶，c p l d ，d s p ，图像处理，人脸检测，人眼定位，p e r c l o s a b s t r a c t a b s t r a c t w i t ht h eh i g hd e v e l o p m e n to fa u t o m o b i l ei n d u s t r y , s a f ed r i v eh a sb e c o m eav e r yi m p o r t a n tt o p i ct o p e o p l e sa t t e n t i o n a c c o r d i n gt os o m er e l a t e ds t a t i s t i c s ，o v e rh a l fam i l l i o np e o p l ea l ek i l l e db yt r a f f i c a c c i d e n ti nt h ew h o l ew o r l de v e r yy e a r , a n do v e r9 0t h o u s a n d si nc h i n a r e s e a r c hs h o w st h a t ，f a t i g u ed r i v e i so n eo ft h r e em a i nd a n g e r o u sf a c t o r so ft h ea c c i d e n t , a n di sa b o u t2 0 3 0 o fa 1 1 t h u s ，t h er e s e a r c ha n d p r e v e n t i o no ff a t i g u ed r i v eh a sg r e a tr e a l i s t i cs i g n i f i c a n c e r e f e r e n c et oa n dc o m p a r i s o nw i t hd o m e s t i ca n do v e 鹉e a st e c h n o l o g ya n dd o c u m e n t s ，af a t i g u ed r i v e w a r n i n gs y s t e mb a s e do nd i g i t a li m a g ep r o c e s s i n gt e c h n o l o g yi nt h ec o n d i t i o no ft h el a b o r a t o r yh a sb e e n b r o u g h ta n dd e s i g n e di nt h i st h e s i s t h i ss y s t e mc o n s i s t e do fi m a g ed a t aa c q u i s i t i o na n dt r a n s m i s s i o n ， i m a g ep r o c e s s i n g ，f a t i g u ed r i v er e c o g n i t i o na n dw a r n i n gt h r e em a i np a r t s i m a g ed a t aa c q u i s i t i o na n d t r a n s m i s s i o nw a st h eb a s eo ft h ew h o l es y s t e m c m o si m a g es e n s o rw a su s e dt oa c q u i r et h ei m a g ed a t a c p l dw a su s e da st h el o g i cc o n t r o lc i r c u i ti no r d e rt oa c h i e v et h ed u a ls r a ma l t e r n a t i n gm o d e ( p i n g - p o n g m o d e ) 谢md a t aa c q u i s i t i o na n dt r a n s m i s s i o n i m a g ep r o c e s s i n g , i n c l u d i n gf a c ed e t e c t i o na n de y el o c a t i o n ， w a st h ek e yo ft h ew h o l es y s t e m r a p i dp r o j e c t i o nm e t h o db a s e do ns k i nc o l o rm o d e lw a su s e dt oc o n f i r m t h ef a c ea r e a ，t h e ni tc o u l dl o c a t et h ee y e sw i t hr e g i o ng r o wa n dp r o j e c t i o nm e t h o da g a i n m o r e o v e r , f a t i g u e d r i v er e c o g n i t i o na n dw a r n i n gw a st h ep u r p o s eo ft h ew h o l es y s t e m ，u s i n gt h en o n - c o n t i g u o u sp e r c l o s f a t i g u ep a r a m e t e r 、衍me c tf a t i g u ep a r a m e t e r t h ew h o l es y s t e mw a sd e v e l o p e dw i ms e e d - d e c 6 7 1 3 d s k , c o o p e r a t e dw i t hs e l f - d e s i g n e di m a g ea c q u i s i t i o nm o d u l e ，a c h i e v e dt h ef a t i g u ed r i v er e c o g n i t i o na n d w a r n i n gp r e l i m i n a r i l yi nt h ei d e a le x p e r i m e n t a lc o n d i t i o n k e yw o r d s ：f a t i g u ed r i v e ，c p l d ，d s p , i m a g ep r o c e s s i n g ，f a c ed e t e c t i o n ，e y el o c a t i o n ，p e r c l o s i l 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所 知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果， 也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本 研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名：乏杰b 遗卑日期：啦 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印件和电 子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相 一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括以电子信息形式刊登) 论文的全部内容或中、英文摘要等部分内容。论文的公布( 包括以电子信息形式刊登) 授权东南大 学研究生院办理。 一繇妇雌名：爷期：啦 第一章绪论 第一章绪论 本章首先阐述了课题的研究背景及意义，列举并比较了国内外对该课题的研究现状，指出了目 前研究中存在的问题和难点，最后介绍了主要研究工作和论文的章节安排。 1 1 课题的研究背景及意义 自从德国人卡尔本茨发明了第一辆汽车之后，汽车在人类交通发展中扮演着日益重要的角色， 特别的是随着社会经济的快速发展，汽车也越来越融入到普通居民的家庭中。伴随着汽车业的快速 发展，在不断满足人们不同需求的同时，驾驶的安全性也逐渐成为人们最为关心的问题之一。据不 完全统计，全球每年因道路交通事故死亡的人数超过5 0 万，俨然道路交通安全问题已是全球各国政 府都非常重视的一个问题。2 0 0 7 年，我国共发生道路交通事故3 2 7 2 0 9 起，造成8 1 6 4 9 人死亡、3 8 0 4 4 2 人受伤，直接财产损失1 2 亿元【l 】。虽然较之往年死亡人数有所减少，但仍居世界最高。而人为因素 是道路交通发生的主要原因，比例高达近9 0 。据有关资料统计，驾驶员疲劳驾驶导致的交通事故 占总数的2 0 左右，而4 0 的特大道路交通事故和驾驶员的疲劳驾驶有关。在国外，根据美国公路 交通安全委员管理局( n a t i o n a lh i g h w a yt r a f f i cs a f e t ya d m i n i s t r a t i o n 。n h t s a ) 的交通事故死亡报告， 估计每年近8 0 0 0 例公路交通死亡事故是直接或间接的由于驾驶员注意力不集中，疲劳或困倦引起 的。据英国汽车协会的统计，英国因车祸死亡的人中超过l o 是因为驾驶员疲劳驾驶导致的，而在 高速公路上发生的交通事故5 0 左右是由于驾驶员的长时间疲劳驾驶或视觉目标单调致使驾驶员注 意力不集中甚至打瞌睡等原因造成的。对于从事长途运输及客运的汽车驾驶员，疲劳驾驶的危害更 加严重。由此可见，疲劳驾驶已是道路交通事故的主要隐患之一，而如何降低和减少疲劳驾驶等因 驾驶员注意力分散造成的交通事故，也成为各大汽车制造商的课题之一。 所谓疲劳驾驶【2 】，并没有一个确定的标准，一般是指：一天内驾车超过8 小时，连续驾驶超过4 小时或者从事其它劳动体力消耗过大以及睡眠不足，致使驾驶操作技能、反应时间和工作效率下降 的身体状况。统计研究表明，疲劳驾驶产生的主要原因如下： ( 1 ) 生理因素：因种种原因致使驾驶员生理或心理机能失调，即在生理或心理上产生了疲劳， 从而导致驾驶技能失调。常见的诱发因素有睡眠不足，长时间驾驶，生理或心理疾病等。 ( 2 ) 社会因素：在市场竞争日益激烈残酷的商品经济时代，运输公司和车主为赢得市场，不得 不为利益的更大化而抓紧时间，促使了驾驶员的长时间驾驶，以及在午夜至凌晨这一高危险时间段 驾驶，从而增加的疲劳驾驶发生的可能性。 ( 3 ) 道路因素：道路设计的不合理以及交通标志设置的不到位，特别是例如高速公路这种容易 诱发驾驶员驾驶麻木，注意力分散的地段，也往往造成驾驶员的疲劳。 ( 4 ) 其他因素：一切其他可能导致驾驶员疲劳驾驶的意外原因，例如药物，驾驶员安全意识淡 薄等。 道路交通事故往往会严重危害生命财产安全，这极大的影响到了人们的正常工作和生活，也不 利于整个社会健康良好的发展。因而安全性也成为购买：乍辆的一种重要因素，作为智能车辆的关键 技术之一，安全辅助驾驶技术也不断受剑人们的关注。对诱发道路交通事故的主要因素之一的疲劳 驾驶进行预警系统的研究设计与开发，对丁：预防汽车驾驶员疲劳驾驶的发生，提高驾驶的注意力， 避免此类交通事故的发生，保护生命财产安全有着积极的现实意义和应用前景。 1 2 课题的国内外研究现状 有关疲劳驾驶检测的工作始于1 9 3 5 年，美国公共卫生服务署在洲际商业协会的要求下开始调查 城市问商业机动车驾驶的服务时间，从那时起人们就已经认识到了疲劳驾驶的重大安全隐患。但真 正进行实质性的研究工作则是从上个世纪8 0 年代开始的，美国把对疲劳驾驶的检测提高到了立法的 东南大学硕士学位论文 高度，国会也批准了交通部实施驾驶时间改革，研究了商业机动车驾驶时间与交通安全的关系，健 全了卡车和公共汽车安全管理条例掣3 1 。早期对驾驶员疲劳监控的研究主要是从医学角度出发，可 分为主观监测和客观监测两种方法。 主观监测的方法主要依据主观调查表、驾驶员自我记录表、睡眠习惯调查表和斯坦福睡眠尺度 表等来测评驾驶员的疲劳程度。最有代表性的主观调查是皮尔逊疲劳量表。目前，大多数国家的交 通管理部门仍然在通过检查驾驶员的行车记录判断驾驶员是否疲劳驾驶。由于主观监测技术对于疲 劳驾驶的判定实际上是通过时间标准来界定的，这容易忽略个体差异( 如精神状态，体质状态，生 活饮食状况等) ，所以监测结果往往不能令人满意从而无法很好的实现疲劳驾驶的检测和预警。 客观监测的方法是对驾驶员行驶时的生理和心理上的特征性指标进行监测。利用客观监测技术 可针对不同驾驶员进行判定，减少个体差异导致的误判，其监测结果较之主观监测方法更为准确与 及时。疲劳驾驶检测及预警技术的研究也主要是集中在客观监测技术方面上的，常被采用的技术方 法有脑电图监测、心电i 到监测、肌电图监测、呼吸气流及效果监测、人体体温监测等 4 - 。这些传统 的客观监测技术能够准确的判断驾驶员是否处于疲劳驾驶状态，但是也都存在很大的缺陷，首先都 是借助一定的医疗器械设备实现数据检测，而医疗器械设备往往价格不菲，体积也较为庞大，不适 合车载，其次这些方法在进行检测时都需要与驾驶员的身体有直接接触，同时还存在较长的滞后时 间，这些固有缺点使得无法应用于实际驾驶过程中。而随着电子计算机技术以及集成电路技术的迅 猛发展，人们又不断提出了更多的疲劳驾驶检测方、法【】： ( 1 ) 基于警惕性动态数学模型的方法。根据睡眠、生活节奏等与疲劳相关的因素建立动态的数 学模型，然后根据数学模型预测驾驶员在不同时期的警惕度。这种方法的准确程度完全由建立的动 态数学模型决定，因而想要获得越高的精度对动态数学模型建立的要求就越高，同时对动态数学模 型的算法实现也更困难。此外，由于个体的差异也会在很大程度上影响判断的结果。 ( 2 ) 基于汽车行驶状态的方法。通过检测驾驶员的操作行为以及汽车的行驶状态综合判断驾驶 员的驾驶状态【l z 1 3 j 。这种方法的有效性较容易被接受，且可监控驾驶员的多种驾驶状态，包括疲劳 驾驶、车距检测、汽车运行轨迹等。但也存在一些问题，比如正常驾驶和非正常驾驶的临界值的选 取以及变化范围等。这种方法的检测需要结合机车自身的构造，因而在研究与设计时要熟知相关汽 车构造原理，且因车型的不同产品的结构设计会有很大的不同，降低了通用性。 ( 3 ) 基于人体生理反应的外在表现形式的方法。这种方法主要是通过判断驾驶员一些外在的处 于疲劳时的生理反应表现形式，如驾驶员的眼睑、瞳孔、嘴巴及头部的运动变化情况等，决定驾驶 员的驾驶状态【l 9 1 。仅凭驾驶员头部和嘴巴的运动变化情况判断驾驶员的生理状态会存在较多的误 判，一般只用于辅助判断。而驾驶员处于清醒状态和疲劳状态时的眼睑和瞳孔的运动变化差异较大， 可以作为判断驾驶员是否处于疲劳驾驶的依据。但这种方法也存在一定的缺陷，比如人脸有遮挡时， 光线或外部环境发生强烈变化时，其有效性、准确性将极大的降低。 儿种常见的疲劳驾驶检测方法在各性能方面各有优劣，如表1 1 所示。 表1 1 常见疲劳驾驶检测技术的性能比较 检测技术描述准确性实时性实用性是否接触 基于生理信号 主要监测脑电图，心电图， 好差差是 的检测方法肌电图，呼吸效果，体温等 基于身体反应 主要监测驾驶员头部变化，身体姿势，眼 好好好 否 的检测方法 睛闭合时间，握力等 基于操控行为监测各种操作器如方向盘，加速器，刹车 好好一般否 的检测方法 装置，档位等的变化 基于汽车行为监测汽车本身的行为变化如速度，侧向加 好好一般否 的检测方法速度，侧向位移等 基于数学模型根据以往的数据值和经验建立数学模型 差差差否 的检测方法估计驾驶员的警觉度 2 第一章绪论 1 2 1国外研究现状 国外对疲劳驾驶检测与预警的研究起步较早，也已取得了不少成果，特别是在汽车工业较为发 达的国家，疲劳驾驶预警系统已经开始商品化，安装在一些高端汽车上。国外研究成果中具有代表 性的有： ( 1 ) 2 0 0 2 年，日本电脑便民公司开发出了一种疲劳报警系统。该系统通过安装在方向盘上的 探测装置来感知手握方向盘时的脉搏跳动，利用软件实时进行分析，判断精神压力、情绪紧张、注 意力分散、打瞌睡等状况，并通过发出声音、喷射气体、光线刺激、振动座椅和汽车导航系统发出 信号等方式向司机发出警告 2 0 1 。 ( 2 ) 2 0 0 3 年，美国国家公路交通安全管理局( n h t s a ) 联合宾夕法尼亚大学和卡内基梅隆研 究所研发的“驾驶疲劳检测与报警系统”。该系统包括三个子系统：眼睑闭合监测器，车道安全跟踪 系统和睡眠活动记录器社。 ( 3 ) 2 0 0 4 年，英国曼彻斯特城市大学和布利斯托尔大学的联合研究小组研制出一种能判断驾 驶员是否存在疲劳驾驶状况，取名为“车内眼睛活动分析仪( i c e m a n ) ”的电子警报系统。i c e m a n 系 统利用三种不同的途径采集有关信息进行分析和比较，判断驾驶员的清醒状况。其一是通过安装在 驾驶员遮阳板上的摄像头，捕捉和记录的是驾驶员开车时注视的方向；其二是附着在转向柱上的传 感器，记录驾驶员手臂的活动状况；其三是安装在仪表盘上对准车外前方的摄像头，记录汽车行驶 的方向【2 2 】。 ( 4 ) 2 0 0 5 年，瑞典v o l v o 汽车制造公司研发了“驾驶员警示系统”，用于避免因驾驶员疲劳驾 驶导致的交通事故。该系统可让驾驶更加安全，可监控车辆的行驶是否处于失控状态，在驾驶员跌 入疲劳驾驶状态前同时发出视频和音频两种警报。该系统具有较高的可靠性和稳定性，并且在2 0 0 7 年投产的v o l v o $ 8 0 ，v 7 0 和x c 7 0 系列部分高档车型中已经安装这一系统【2 3 1 。 ( 5 ) 2 0 0 5 年，英国l o u g h b o r o u g hu n i v e r s i t y 睡眠研究中心成功研制出驾驶员疲劳驾驶报警系统。 该系统通过监控驾驶员在驾驶过程中的疲劳迹象进行工作。在驾驶员输入完自己的四种睡眠信息后， 系统就做好了持续监测各个变量( 如当日时间、司机的睡眠信息、已完成的驾驶时长和类型以及车 辆正在行驶的方式) 的准备，一旦观测出疲劳的早期迹象，系统就会激活声音和图像报警，提醒驾 驶员注意休息睇4 j 。 ( 6 ) 2 0 0 7 年，希腊科技研究和发展中心研究人员正在研制一种疲劳驾驶警示装置。这种装置 能检测驾驶员在驾车时的清醒程度，识别驾驶员是否在打瞌睡或走神，在驾驶员疲劳或酒后驾驶时 发出警示。该装置包括：在汽车里安装的微型摄像头，计算驾驶员眨眼的次数；在方向盘、座位及 车顶部位安装的感应器，通过检测驾驶员手上压力、汽车行走路线及与车距来判断驾驶员是否疲劳 驾驶。该系统随后会计算有关参数，在发现驾驶员疲劳驾驶时，通过语音或振动蜂鸣声来提醒驾驶 员【2 5 1 。 1 2 2国内研究现状 国内的有关研究起步较晚，较之欧美发达国家还存在较大差距，但也有一定的成果，其中具有 代表性的有： ( 1 ) 2 0 0 0 年，上海交通大学研发了一套基丁汽车方向盘及踏板的疲劳驾驶预警系统。该系统 通过传感器测量汽车方向盘和踏板的运动参数，判断驾驶员的驾驶状态。方向盘和踏板长时间无运 动，说明驾驶员处于疲劳驾驶状态 2 6 1 。 ( 2 ) 2 0 0 3 年，吉林大学交通学院对驾驶疲劳识别中的人眼定位、人眼状态分类问题作了详细 研究。利用颜色模型粗定位人脸，在用基于区域标示算法定位人眼，同时考虑人脸的几何约束。此 外，还提出了基于g a b o r 小波特征，利用神经网络技术完成人眼状态分类的方法【2 m 引。 ( 3 ) 2 0 0 6 年，同济大学研发了一套以日本n a c 公司生产的e m r - 8 r 型眼动仪为主机仪器系统。 该系统通过记录驾驶员的瞳孔直径变化情况判断驾驶员是否处于疲劳驾驶状态，并能通过视点停留 时间来评价交通标志的确认性及交通信息是否过载【2 9 1 。 3 东南大学硕士学位论文 1 3 研究内容及章节安排 1 3 1 研究内容 疲劳驾驶预警系统的研究与设计有着十分积极的现实意义，一套完整的疲劳驾驶预警系统的研 究与设计应该考虑一下几点： ( 1 ) 安全可靠性：这是系统正常工作的基本要求。疲劳驾驶预警系统的研究与设计的初衷本来 就是为提高驾驶安全度，不能因该系统的导入，带来了一些意料之外的安全隐患，影响驾驶员的正 常驾驶行为，因而通常选用非接触式的检测方法。 ( 2 ) 准确度与灵敏度：只有具备一定准确度和灵敏度的系统才能够投入市场。 ( 3 ) 实时性：这是该系统的重要特征，不具备实时性的疲劳驾驶系统没有实际意义。 ( 4 ) 实用性与通用性：汽车内部空间环境有限，结构复杂。一套系统的开发与设计要适合车载， 同时也要尽可能的适用于不同的车型和工作环境。 ( 5 ) 性价比：成本是所有系统开发都不可同避的问题，一套系统即便有非常良好的性能但因成 本过高也将导致其无法投入到日常的生活应用中去。 根据以上几点要求，充分结合国内外的研究现状，并考虑到实验室的实际条件，本课题主要完 成基于驾驶员人眼状态检测方法的疲劳驾驶预警系统的研究与设计。基于驾驶员人眼状态的检测方 法是一种非接触的检测方法，不会给驾驶员的正常驾驶带来负面影响；在准确性和灵敏度上虽然较 之基于生理信号的检测方法有所欠缺，但这并不影响系统的正常工作，一些非疲劳驾驶诱发的类似 信号本身对正常驾驶也是一种十分危险的信号；这种方法实时性较好，而且具备一定的预判功能， 也适合不同类型汽车的车载；相对基于生理信号、操作行为以及汽车行为的检测方法，这种方法的 成本较低，也不需要过多考虑汽车内部构造，实现也相对容易。其次，相关数据及事实表明驾驶员 对道路交通情况的判断9 0 是通过视觉信息完成的，眼睛作为大脑获得外界信息的一个重要门户， 在人处于疲劳时会发生十分明显的变化，即眼睛的闭合时间会变长。其中，p e r c l o s ( p e r c e n t a g eo f e y e l i dc l o s u r eo v e rt h ep u p i lo v e r t i m e ) 3 0 - 3 1 1 被美国国家公路交通安全局( n h t s a ) 和美国联邦公路 管理局( f h w a ) 一致认为是目前最有效的疲劳状况检测指标。本课题对疲劳驾驶的识别就是主要 以此为作为标准和依据的。 本课题主要完成的研究内容有： ( 1 ) 分析现有的各种有关疲劳驾驶检测的原理方法以及优缺点并进行综合比较，提出并设计一 套基于视觉行为测量的疲劳驾驶预警系统。该系统主要由驾驶员人脸的图像采集( 包括图像数据的 存储) ，图像处理( 包括预处理、人脸检测和人眼定位) 和疲劳驾驶的识别及预警三部分组成。 ( 2 ) 有关驾驶员人脸的图像采集。设计单独的图像采集系统的主要目的是为了提高整个系统的 处理速度，而主机只用于进行图像的处理和疲劳的识别。可编程逻辑控制其c p l d 可以很好的担当 图像的采集t 作，完成图像数据在图像传感器、存储器以及主机之间的传输以及逻辑控制。考虑到 系统对实时性的要求，可以采用双存储器交替工作的方式，用以节省图像采集时间，提高整个系统 等处理速度。 ( 3 ) 研究人脸检测及人眼定位的方法，这是本课题研究的重点内容。人脸检测有多种方法可以 实现，鉴于在疲劳驾驶预警系统对实时性的要求较高，且驾驶室内的环境较为稳定，可采用基于 肤色的方法实现人脸的定位，通过建立肤色模型并结合快速灰度投影法标定出人脸矩形区域。再利 用灰度投影和区域生长的方法定位人眼，从而判断人眼状态。 ( 4 ) 疲劳驾驶的识别、判断与预警设计。这是在实现人脸检测以及人眼定位的基础上，并依据 p e r c l o s 疲劳参数结合e c t 疲劳参数完成的。有关人脸检测、人眼定位( 包括其它图像处理) 以 及疲劳驾驶的识别判断与预警都是通过由合众达公司开发设计的s e e d - d e c 6 7 1 3 开发板完成的。 1 3 2 章节安排 论文按照研究内容以及设计流程编排，共分为五章，内容安排如下： 4 第一章绪论 第一章着重阐述课题的研究背景及现实意义，介绍并比较了国内外疲劳驾驶预警系统的研究现 状，结合实际条件简要提出了一套设计方案，并描述了课题研究内容。 第二章着重完成了对人脸图像采集及存储系统的实现方法、流程以及关键技术的设计步骤等， 为后续图像处理工作奠定良好基础。 第三章着重进行了对采集到的人脸图像数据的各种数字图像处理技术方法，实现人脸检测和人 眼定位用以实现疲劳驾驶的识别。 第四章着重介绍了p e r c l o s 疲劳参数和e g t 疲劳参数，并实现通过这一指标完成在理想实验 条件下的疲劳驾驶的初步判定与预警的方法。 第五章则对课题研究内容进行了总结，并对未来工作提出展望。 论文结尾是参考文献、附录和致谢部分。 5 东南大学硕士学位论文 第二章疲劳驾驶预警系统的硬件设计 驾驶员人脸图像数据的采集是整个疲劳驾驶预警系统的基础工作，为后续工作的完成提供必要 的硬件平台与保障。为了便于整个疲劳驾驶预警系统的开发设计，保证整个系统的稳定正常工作， 故将驾驶员的人脸图像的采集和存储作为一个单独子系统，并实现子系统与主机之间的数据传输与 控制信息的通信。 2 1 系统的总体设计 2 1 1 系统整体设计框架 课题对疲劳驾驶预警系统的研究是基于人眼视觉行为完成的，因而从某种意义上也可将其归为 视觉系统的范畴。视觉系统的一般工作过程：利月j 视觉或图像传感器获取三维景物的二维图像，通 过视觉处理算法对一幅或多幅图像进行处理、分析和理解，得到有关景物的符号描述，并为特定的 任务提供有用的信息，实现某种功能需求，如图2 一l 。 初始人机交互 土tt上 i 图像输入h 数字化| _叫预处理h 嚣嚣h 别卜一结果输出i 图像获取 图像处理分析 图2 1 视觉系统工作流程图 据图2 1 并结合对照课题研究内容将其分为三部分驾驶员人脸图像信息的采集与存储、图像的 处理( 包括人脸检测和人眼定位) 、疲劳驾驶判定及预警，系统的流程图如图2 - 2 所示。 图2 2 疲劳驾驶预警系统的流程图 6 第二章疲劳驾驶预警系统的硬件设计 疲劳驾驶预警系统的一个非常重要的特性就是实时性，所谓实时指的是系统必须在有限的时间 内对外部输入信号完成指定的处理，即信号处理的速度必须大于等于输入信号更新的速度，而且从 信号输入到处理后输出的延迟必须足够4 , t 3 7 1 。为了保证整个系统有一个良好的实时性以，除了在选 择检测方法时采用了基于p e r c l o s 疲劳参数和e c t 疲劳参数的人眼视觉行为的检测方法外，同时 将图像采集系统独立于图像处理系统，让处理器从控制中解放出来，充分发挥其强大的数据处理能 力。 2 1 2图像采集子系统设计框架 该子系统的主要目的是完成图像数据的采集和存储，并实现与主处理器之间的控制信息通信及 数据传输。该子系统不需要完成数据处理这一复杂过程，因而使用逻辑控制器件就可以实现这一功 能。一般来说，数据采集系统与主机进行数据通信时，以数据块的方式进行通信效率比较高，常用 的通信方式有以下4 种： ( 1 ) 单存储器切换方式：这种方式最为简单，利用一片存储器进行数据写入和读取，反复操作， 由于存储器的读取和写入不能同时工作，所以这种方式r t 作效率低。 ( 2 ) 双存储器交替方式( 又称乒乓方式) ：两个存储器通过控制电路交替地接到不同的数据、 地址总线上。当向存储器0 写数据时，则从存储器1 中读取数据，当完成数据读取之后，交换操作， 如此循环，形成高速数据传输，前提是数据的读取速度要高于写入速度，否则会造成数据混乱。由 于两个储存器并行工作，可以同时读写，所以数据传输速率很高。这种方式的优点是s r a m 可随机 存取，同时较大容量的高速s r a m 容易得到且价格适中，缺点是切换控制电路较之单存储器切换方 式复杂，如图2 3 所示。 图2 3 图像采集子系统结构框图 ( 3 ) 先进先出方式( f i f o 方式) ：前两种方式均需要自行设计电路，而f i f o 方式有成品芯片 可用。f i f o 存储器具有双端口，就像数据管道一样，数据从管道的一侧流入，从另一侧流出，先进 入的数据先流出，可实现流水线结构。f i f o 具有两套数据线而无地址线，可在其一端写操作而在另 一端读操作。数据在其中顺序移动，因而能够到达很高的传输和效率，且由于省去了地址线而有利 于p c b 板布线。缺点是只能顺序读写数据，因而显得比较呆板，大容鼍的高速f i f o 多采用动态 r a m 技术需要刷新控制电路，且价格相对较高。另外还有一个要求，就是数据必须先进先出，才能 保证数据的正确性。 ( 4 ) 双e i r a m 方式：双e i r a m 有两组数据线、地址线和控制线，可以分别接在两个不同的系 统总线上，实现两种总线问的数据通信。双d r a m 传输速率高，而且数据流是双向的。采用双n r a m 构成的非异步流水线工作方式，从理论上讲，通信速度比普通采用单片双d r a m 组成的数据交换系 统要提高一倍。双d r a m 能达到很高的传输速度，并且具有随机存取的优点，但是它的控制逻辑比 较复杂，且大容量的高速双口洲很难买到且价格昂贵，并且会占用大量的引脚。 为了提高采集速率，并充分考虑到图像数据比较大，系统采用设计难度以及成本都较适中的双 存储器交替的方式实现图像采集，在这种工作方式下，系统可以将采集到的图像数据存储到一片存 储器的同时将另一片已采集到的图像数据传输到主处理器进行数据处理，有利于提高整体系统的运 行速度。 7 东南大学硕士学位论文 2 2 器件选择 2 2 1 主处理器的选择 传统的通用微处理器虽然具备强大的运算处理性能，能同时完成多种不同任务，但与应用领域 功能专一且性价比更高的嵌入式处理器相比，其处理速度无法满足高速、实时的要求。相对于通用 计算机，嵌入式系统以面向特定的应用为中心，以计算机技术为基础，其软硬件可配置，对功能、 可靠性、成本、体积以及功耗等都有严格约束，专业性强，系统内核小，具有较长的生命周期，通 常有实时性要求，需要有高实时性操作系统。 嵌入式处理器作为嵌入式系统的核心，从应用角度也可划分为以下四种【驯： ( 1 ) 嵌入式微控制器( m i c r o c o n t r o l l e ru n i t ，m c u ) ：又称为单片机，将整个计算机系统集成到 一块芯片中。其最大特点是单片化，体积大大减小，从而使功耗和成本下降，可靠性提高，但处理 性能相对较差，非常适合控制。常见的m c u 有8 0 5 1 ，p 5 1 x a ，m c s 2 5 1 ，c 5 4 1 等。 ( 2 ) 嵌入式微处理器( m i c r o p r o c e s s o ru n i t ，m p u ) ：以通用c p u 为基础，为满足嵌入式应用 的特殊要求，在工作温度、抗电磁干扰、可靠性等方面做了增强。常见的m p u 有a m l 8 6 1 8 8 ，3 8 6 e x ， s c 4 0 0 ，p o w e r p c ，m i p s 以及最具代表性的a r m 系列。这类嵌入式处理器更适合于工业控制、无 线通信、网络应用以及消费类电子产品等。 ( 3 ) 嵌入式s o c ( e m b e d d e ds y s t e mo nc h i p ) ：随着v l s i 设计的普及和半导体工艺的迅猛发展， 可以在一块硅片上实现一个更为复杂的系统，这就是s o c 。各种通用处理内核和其他外围设备都成 为s o c 设计公司的标准库中的器件，用硬件描述语言描述。用户只需要定义出整个应用系统，仿真 通过后就可以由半导体厂商制造芯片样品。这样，整个嵌入式系统大部分就集成到一块芯片中，应 用系统的电路板变得简洁，有利于减小体积和功耗，提高系统可靠性。s o c 可分为通用和专用两类， 通用的有m - c o r e 、n e u r o n 以及某些a r m 系列，专用的一般专用于某类系统中不为一般用户所知。 ( 4 ) 嵌入式d s p ( d i g i t a ls i g n a lp r o c e s s o r ，d s p ) ：d s p 对系统结构和指令进行了特殊设计， 使其适合执行d s p 算法，编译效率较高，指令执行速度也较高。推动嵌入式d s p 发展的一个重要因 素就是嵌入式系统的智能化，智能化算法一般运算量都比较大，特别是向量运算、指针线性寻址等 较多，对连续数据流的处理和高精度复杂运算正是d s p 的长处所在。嵌入式d s p 处理器采用精简指 令系统( r i s c ) ，大多数指令都能在一个指令周期内完成，并且通过并行处理技术，使一个指令周 期内可完成多条指令。d s p 采用改进的哈佛结构，如图2 4 1 3 4 l 所示，具有独立的程序和数据空间， 允许同时取指令和操作数。内置高速的硬件乘法器，增强的多级流水线，使d s p 器件具有高速的数 据运算能力。d s p 平台具有小型化、重量轻和处理灵活的特点，加上其运算能力很强，速度很快， 体积很小，采用软件编程具有高度的灵活性，以及其强大的数据处理能力和较高的运行速度，满足 视觉系统的要求，所以选择d s p 作为视觉系统的处理器。最常见的嵌入式d s p 有1 1 ( t e x a s i n s t r u m e n t s ) 的t m s 3 2 0 系列和m o t o r o l a 公司的d s p 5 6 0 0 系列等。 系统采用的硬件设计平台是由合众达电子( s e e de l e c t r o n i ct e c h n o l o g y ) 公司开发设计的 s e e d d e c 6 7 1 3 型d s p 开发板。作为s e e d 系列嵌入式d s p 控制模版的一员，其上包括：高性能 的3 2 位浮点d s p ：t m s 3 2 0 c 6 7 1 3 ，主频可达3 t 1 0 m h z ，处理性能高达2 4 0 0 m i p s ：并外扩有高速、 大容量存储器( 1 0 0 m h z 工作频率的s b s r a m 、s d r a m ) ；具有l 路标准的a u d i o l i n ei n 立体声输 入，1 路标准的m i c r o p h o n e 输入，1 路标准的a u d i ol i n eo u t 立体声音频输出或h e a d p h o n e 输出；2 路接口标准可切换的r s 2 3 2 r s 4 2 2 r s 4 8 5 通用异步接口；标准的u s b 2 0 控制模块；1 2 c 总线串行 e e p r o m ：标准的e m i f 扩展总线，外设扩展端口，h p i 扩展端口，m c a s p 扩展端口：除此之外， 板上还配置有e s a m 加密模块，可以更好的保护开发者的知识产权p 副。功能结构图如图2 5 1 3 副所示。 而作为s e e d d e c 6 7 1 3 核心的t m s 3 2 0 c 6 7 1 3 采用了2 级c a c h e 结构，片上共有2 6 4 k x 8 位存储器， 其中4 k x 8 位l 1 p c a c h e 、4 k x 8 位l 1 dc a c h e 、2 5 6 k x 8 位l 2r a m c a c h e 。此外，还具有丰富的片上外 设资源，其中包括2 个m c a s p 、2 个m c b s p 、2 组1 2 c 总线、1 组g p i o 、2 个3 2 位通用定时器、1 个1 6 位 主机接口h p i 。 8 第二章疲劳驾驶预警系统的硬件设计 ( a ) 哈佛结构 立体声输入 麦克风输入 立体声输出 r s 2 3 2 r s 4 8 5 r s 4 2 2 r s 2 3 2 r $ 4 8 5 r s 4 2 2 h o s tu s b u ( b ) 改进的哈佛结构 图2 4 结构示意图 图2 - 5s e e d d e c 6 7 1 3 功能结构框图 9 东南大学硕士学位论文 此外，t m s 3 2 0 c 6 7 1 3 还有3 2 位的e m 总线，有4 个空间，每个空间均可与s d r a m 、s b s r a m 和异步外设实现无缝接口。t m s 3 2 0 c 6 7 1 3 的功能框图如图2 6 1 3 6 1 所示，其c p u 内核为哈佛结构，取 指和取数通路分离，并可同时进行，有2 个数据通路，每个数据通路包含4 个功能单元和1 6 个3 2 位寄存器堆。功能单元d i 、m i 、s i 、l i ( 数据通路a ) 和d 2 、m 2 、s 2 、l 2 ( 数据通路b ) 用 于完成算术、逻辑运算和数据存取等操作，而寄存器堆则用于暂存操作数。t m s 3 2 0 c 6 7 1 3 的功能 单元不仅能进行定点运算，而且还能进行浮点运算。 图2 6t m s 3 2 0 c 6 7 1 3 功能框图 这里需要补充说明的是，t i 公司的t m s 3 2 0 c 6 4 x x 系列定点d s p 拥有更高的主频，并提供了图 像视频接口可将模拟的图像数据转化为数字信号，不过限于实验室已拥有s e e d d e c 6 7 1 3 开发板， 在权衡成本的前提下，并考虑到t m s 3 2 0 c 6 7 1 3 型d s p 的运算处理速率完全能够胜任后续图像处理 和疲劳驾驶识别的工作，作为浮点型处理器其运算精度也要高于定点处理器，而精度也是整个系统 一个重要冈素，而且本次采用的图像传感器的输出数据是8 位数字信号，不再需要a d 转换的工程， 因而s e e d d e c 6 7 1 3 开发板能够担当系统的硬件设计开发平台。 2 2 2逻辑控制器的选择 逻辑控制器件主要用于协调d s p 处理器完成图像的采集和图像存储及读取乒乓操作，因而常用 的可编程逻辑器件就能够胜任。相比而下，专用a s i c ( a p p l i c a t i o ns p e c i f i ci n t e g r a t e dc i r c u i t ) 芯片 虽然具有很强大的功能，但开发周期长，成本高，风险大，显然不适宜整个系统的开发。最为常用 的可编程逻辑器件是c p l d 和f p g a ，尽管两者有很多相似之处，但还是存一定的差异，如表2 1 t 3 7 l 所示。 1 0 第二章疲劳驾驶预警系统的硬件设计 表2 1f p g a 和c p l d 的比较 项目f p g a c p l d 多为l u t 加寄存结构，以s r a m 工艺为多为乘积项构成，以e 2 c o m s 工 结构工艺 主艺为主 触发器数量多：适合完成时序逻辑少；适合完成组合逻辑 用以实现小规模、较低复杂度的 规模和逻辑复杂度用以实现大规模、高复杂度的设计 设计 分布式结构，具有丰富的布线资源；布线 内部连线资源集总式结构，布线资源相对有限。 灵活，但时序规划复杂，验证困难 引脚延时不可预测；实现约束和时序仿真非常重要 固定可预测 两种配置方式，即外挂b o o tr o m 和通过两种编程方式：即通过编程器烧 c p u 或者d s p 等器件在线编程。由于大写芯片和通过i s p 模式将编程数 编程与配置多数f p g a 器件基于r a m 工艺，掉电后据下载到目标器件。由于c p l d 程序丢失，为此一些f p g a 内嵌f l a s h 或大多基于r o m 工艺，掉电后程序 e 2 c m o s 实现非易失配置方式不丢失 差；要实现保密，可采用f l a s h 加s r a m 保密性好 的工艺，加载高性能加密算法，实现保密 成本低，价格低，用于实现低成 成本与价格成本高，价格高 本设计 适用的设计类型复杂的时序功能简单的逻辑功能 结合表2 1 和系统设计的要求，选用了a l t e r a 公司的m a xi ie p m 5 7 0 t 1 4 4 c 5 型c p l d 。m a xi i 器件系列是有史以米成本最低的c p l d 。m a xi i 器件基于突破性的新型c p l d 架构，提供业界所有 c p l d 系列中单个i o 管脚最低成本和最小功耗。通过采用低功耗处理技术，m a xi i 器件和前一代 m a x 器件相比，成本减半，功耗只有十分之一，并具四倍的密度和两倍的性能。e p m 5 7 0 t 1 4 4 c 5 拥有5 7 0 个逻辑单元( l o g i ce l e m e n t ) ，1 1 6 个i o 引脚，支持内部时钟频率最高达3 0 0 m h z ，可通 过7