（光学工程专业论文）基于dsp的疲劳驾驶实时监测系统研究.pdf

摘要 ah s t r a c t p r e v e n t i n g fati g u e d 对 v i n g 吮 .m esa k e y poi nttoth e t m ffi c m 朋 a 罗d epa rt m ent fot th e case 0 f fatigue d ri v i n g h ave cau s e d se r i esti 公 ffi c accl d 即 ts . poi n t toth 叹， we com e u p w i t h t h e re se a r c h o f th e fati 即e d r i v i n g a l a rr n 州， i n o rd e r tom a ke云 t apt i n th c p rot。 比 玉 n g m easu re d y n 洲i c p i ct u reo f e y e o btai n edw it h v i d eot ech n o i o gyi s a com p ar a t i vel yi d eai n on- con 七 l m e as u r i n g e y e s t i re d d e g r e em ethods ， andut i l jzea d fan dh o u gh t r a n s fo rm tech n o l o gyo f the real 一 ti m e i m a 朗 s tod e t “ 仁 。 起 k a n d 朗a l y 邓the s ta t e o f e y e s and p i c k 一u p c h a ra c t e ti st i c p a r a m e te r ofe 邓5 ， cou n t c l o s i n gt i m e o f 。 邓s i ns u 吹 s s i o n顿th i n re g u l arh o u r ， j u d g et h et i 耐 d e gr e e即dtaketh ecorr e s pon d i n gm c asu rei nv a l ue 0 f c a l c u l at i n g o u t p e r c l o s . thi s pap c r t a k e o u t th e s o ft w a 代and h a r d w a r e d e s i gnb as edo n a s s e m b l e l angua g e fo r fati g u e d ri v i n g a l ann set. t h i s 洲 m ak e s u ，o f t h e s i n g 】 e 刀 m p u te r s tech n 0 l o gy an d 即几 w a r e d e s i gn m ethods 幼dal so加mp“ 谕 c o n t ro l tech n o l o g y . w h en des i gni n g ， 锵 p ro g 如 in e d d ate col l e ct i n g，d al e p roces s i n g a n d 6 i t e r i n g al gor i t h me te . we a l som 目e som e p c bt o尚i i zet h e set， s fo n ct i o n . a t l 时， com p i l e th e p r o g r a mi no r d . r to五 t th e h a r d w are. 吧 让 以 玉 on朗d tr 朗 k al g o r ithmo f . y e s are t 门 n sp ! 即 t e d th e s 呷c 讯 ! 一 p u rp o se d s p ， d eve l o p t heemb edd e d 溉1 一 ti me m oni to r i n g s y s t em o f fati gue d d v i n g fi n a i i y . e x p e r i m e n tss h ow t h atth e al gori th mi s s i m p l e ， 屁 以an d th e 冈ce亏 s l ow. the se t i s 朽 t ofa l l th e d ri v e rs.t h i s set i s val 岭o f l h e u s e o f al l th e l on列i s ta n ced ri v e r s . k 即wb rds : fati gue d ri v e ， su perv i sec 朋t i n uall y，d s p，con 如1 ， 介 i t e r a l gor i t h m l i 声明 本学位论文是我在导师的指导下取 得的 研究成果， 尽我所知， 在本 学 位论文中， 除了 加以 标注和致谢的 部分外， 不 包含 其他 人已 经发表或 公 布过的研究成果， 也不 包含我为获 得任何教育 机构的学 位或学历而使 用过的材料。 与 我一同工作的同事对 本学位论文做出 的贡 献均己 在论文 中作 了明确的说明。 、跳季幼了 、 川日 学位论文使用授权声明 南 京理工大学有权保 存本学位论文的电 子和纸质文档， 可以 借阅 或 上网公 布本学位 论文的部分或全部内 容， 可以 向 有关部门 或机 构送交并 授权其保存、 借阅或上网 公布本学 位论文的部 分或全部内 容。 对于保密 论文，按保密的有关规定和程序处理。 研 究 生 签 名 : 请交 瓜 伞相/ 日 南京理工大学硕士论文墓于o sp的疲劳驾驶实时监侧系统的研究 1 绪论 嗯 . 1 研究的目 的与意义 疲劳驾驶是指在一段时间的 驾车之后驾驶员所产生的 反应水平的下降。当驾驶 员在驾驶过程出现疲劳征兆时， 就容易发生碰撞、 冲出路面等交通事故。 根据相关部 门统计，近年来，因为驾驶员疲劳而导致的车祸等恶性道路交通事故呈加速上升趋 势。 疲劳监测是预防驾驶员过度疲劳、减少由于驾驶疲劳 产生严重的交通事故的一 种有效手段， 早在70年代初就有人在考虑研究车载系 统的 报替器。 因此， 运用车载多 传感器实时获取并监视驾驶行为信息与驾驶员生理信息， 利用这些信息判断车辆行 驶的安全性， 并采用相应报苦和防护措施， 以减少由于驾驶疲劳而导致的道路交通事 故已经成为国内外专家和学者研究的热点。 从某种意义上讲，疲劳驾驶监测系统相当于自主式机器人， 是一个集信息感知、 评价决策、报警处理为一体的综合体。作为核心处理器部分的 dsp芯片， 相当于人 的大脑， 处理传感信息并进行评价决策。 美国某大学机器人技术研究所的科研人员利 用 dsp 技术研制的基于p e rcl o s( p e r c e n te y e l i dc l o s u r e ) 监测方法的驾驶疲劳 报带装置， 为研制高性价比的车载监测装置开辟了一条新的思路。 目 前国内外关于疲劳驾驶监侧的研究， 还停留在方法的 探索上， 没有系统的标准 和完善的 解决方案， 其中又以 监测标准的 精度和具体的实 现上最具争议。 况且， 随着 汽车拥有量的增长， 无形中会给交通部门 和驾驶员带来更大的压力。因此，研究一 种标准、 完善、 精度高的 疲劳监测报替系统很有必要。 其应用前景，不言而喻，肯 定 会受到驾 驶员、 交通部门 ， 尤 其是各大汽车公司的 青睐。 飞2 国内外研究的现状 当 今， 驾驶员人为因素( 包括疲劳驾驶和驾驶精神分散) ， 已 经成为交通事故发 生的主要因素之一。 驾驶员疲劳监测己成为当前安全辅助驾驶技术的一个研究热点。 目 前， 大多数国家的交通管理部门都是通过检查驾驶员的行车记录来判断驾驶 员是否疲劳违章。 国内在该领域研究的主要部门也有很多，如清华大学、 浙江大学、武汉理工大 学、上海交通大学、江苏大学等，都在研究利用脑电 图、 心电图等来判断疲劳。 在欧洲， 欧共体国家交通管理部门要求每台客车都装备一台行车记录仪， 记录仪 南京理工大学硕士论文基于d s p 的疲劳驾驶实时监侧系统的研究 将客车行车时间、 瞬时速度等数据标 记在一张 磁盘上， 供交警部门 查验【 1. 在美国， 监督检查驾驶员疲劳状况是通过记录有驾驶员行驶时间的驾驶日记， 驾 驶日 记上除司机签名外， 还需要有行车路线上主管交通安全的管理部门的有关人员 签字证明 ， 以 防 止 伪造作假12 : 我国 也采 用了 类似的 汽车行驶记 录仪记录司 机连续行 车和累计行车时间， 以便交通管理部门 监督检查。 上述主观监测技术对于驾驶疲劳的评判实际上是通过时间标准来界定的， 即对 驾驶员每次连续驾驶时间的界定， 但由于在限定这种时间标准的时候， 无法考虑到不 同驾驶员个体在体质、 精神状态、 生活饮食状况、 是否患病等多方面的差异性， 所以 主观监测技术的监测结果往往不能令人满意。 对于客观监测技术，驾驶疲劳的反映可分为生理的和心理的两个方面: (l) 生理反映有神经系统的功能、 血液和眼睛的变化等， 研究人员往往用脑电图、 心电图、 眼睑眨动、眼球运动、头部的 位移加以 鉴别。 (2) 心理反映有反应时延长、注意分散、动作不协调等。 从现有的研究结果看， 疲劳驾驶与清醒驾驶相比 ， 较有特异性的指标是:方向盘的微调， 头部前倾， 眼睑的 眨动， 甚至闭合. 客观监测就是对驾驶员行驶时的这些生理和心理上的特异性指标的 监测。 利用客观监测技术可针对不同的驾驶员进行评价， 其监测结果比 较准确。 驾驶疲 劳监测技术的研究主要集中在客观监测技术方面， 国内外已开展的研究工作有如下 方面: 监测脑电图( e e g ， e l e c t r o e n c e p h a l o g r a p h y )。脑电图 一直被誉为监测疲劳 的 “ 金标准”。澳大利亚的s aro jk l l a l和a s h l e ycra i g对3 5名非专业驾驶员进 行试验， 以他们在清醒状态下的平均e eg活动为基准， 分析得出了 他们在清醒、 接近疲 劳、 疲劳、 极度疲劳( 打陵睡)和从疲劳中 替醒这5个不同阶段脑电 图的 变化特点【 。 ; 我国浙江大学的王炳浩等用 k t 9 8 一 2 00以 动态脑电仪描记了健康的驾驶员驾车行驶 时的动态脑电波， 并同静止条件下， 睁眼、坐在椅子上得到的清醒状态和磕睡状态的 脑电 波进行 对比 ， 得到了 判断驾驶员是否 处于疲劳 状态的 依据14jo 监测心电图( e kg， elect roc ard i ogram )。 心电图指标包括心率指标和心率变 异性指标， 是判断驾驶疲劳的一项重要的生理指标。 上海交通大学的杨渝书等采集16 名被测试者在实 验室模拟驾驶操作90分钟的心电信号， 并对实验开始和结束时的巧 分钟时 段心电 信号的 7 项时频域指 标进 行了 分析151 。 监 测肌电 图( e 孵， elect ro畔。 gra phy )。 从生 理角度看， 疲劳可分为体力疲 劳和脑力疲劳。脑力疲劳的测皿可用诱发电位的方法， 在肌肉 表面固定好表面电极， 南京理工大学硕士论文 基于dsp 的疲劳贺驶实时监侧系统的研究 肌电信号经表面电极传至肌电图记录仪。 可以看出， 肌电图的频率随着疲劳的产生和 疲劳程度的加深呈现下降 趋势， 而 肌电图的幅值增大则表明 疲劳程度增大16 . 监视眼睑眨动。目 前大部分研究驾驶疲劳的机构都采用 p e r cl0s( p ercent e y e l id c i o s u r e， 眼睛闭 合时间占特定时间的百分率)作为生理疲劳程度的测量指 标。人在疲劳随睡时， 眼睑的眨动一般较频繁， 眼睛闭合时间也较长。一般情况下人 们眼睛闭合的时间在0 . 12一0 . 1 35 之间， 驾驶时若眼睛闭合时间达到0 . 1 55 就很容 易 发生 交通事 故 17 。 2 0 0 0 年1 月明 尼 苏 达大 学 的 n i k o l aos p 与 p sp a n i k o l op o u l o s 成 功开发 了一套驾驶员眼睛的追踪和定位系统， 通过安置在车内的一个 ccd (c h arge一ou p l ed device ， 电 子祸合组件)摄像头监视驾 驶员的 脸 部， 实现以 下 功能: 1 用快速简单的算法确定驾驶员眼睛在脸部图像中的确切位置和其他脸部特 征; n 通过追踪多幅正面脸部特征图像来监控驾驶员是否疲劳驾驶; m追踪多幅侧面脸部特征图像来估算驾驶员是否疲劳驾驶。 2 0 0 0年3月 ， n i k o l a o s p和p a p a n i k ol o p o u l o s对上述系统进行t 改 进， 改用 红外线彩色摄像头并加滤波器涟除图像的噪声和非脸部的图像， 使搜索脸部图像的 次数减少， 加快了 系统处理图 像的 速度环幻 。 在国内 也有多家研究单位开 展了驾驶疲 劳的研究， 利用机器视觉的方法对驾驶员的眼睛特征进行实时跟踪从而判断驾驶员 的 精 神 状 态 101 。 测量瞳孔，可根据瞳孔的变化规律来评侧疲劳度。 c i r c a d i a 。t e c h n o l o g i e s ，i n c的 如n e k eh e i t 咖 n等通过实 验分别测量t人在清 醒和磕睡时瞳孔直径大小， 得出人在清醒时瞳孔直径保持相对稳定， 而在磕睡时瞳孔 缩小的结论， 并以 此作为 判断驾 驶疲劳的 评价标 准1101。 监测头部位移。 其主要是通过监视驾驶员在行驶过程中头部的位移情况来判 断其是否在打磕睡。由 ascl仆d v ancedsaf ety c onc e p ts l nc)研制开发的头部位置 传感器可精确测量驾驶员头部位置。 监视方向盘运动。 由于当驾驶员感到疲劳时， 反应变慢， 操作方向 盘的动作也 会减缓。美国e l e c t r o n i cs a f e t yp r o d u c t s公司开发的方向盘监视装1 s a m ( s t e e r i n ga t t e n t i o n咖 i t or)是一种监测方向 盘非正常运动的 传感器装置， 适用于各种车辆。 监视汽车行驶方向。 驾驶员疲劳驾驶时， 由于注意力分散、 反应迟钝， 车辆可 能偏离车道。美国e l l isonres eal chl abs实验室研制的 o a s 2 000型路面替告系统 南京理工大学硕士论文 墓于o s p 的疲劳驾驶实时监侧系统的研究 ( t h edas 2 0 0 0r o a da l e r ts y s t e m )就是一种设置在高速公路上用计算机控制的红 外线监测装置。 监视驾驶员驾车动作的稳定性和协调性。 上 海交 通大学的石坚、 吴远鹏、 卓 斌等通过传感器测量驾驶员驾驶时方向盘、 踏板等的 运动参数， 通过模糊神经网 络方 法 对驾 驶员 疲劳 程 度 进 行 辨识 和 分析1 气 尽管当今对疲劳驾驶监测技术的研究取得了 一些进展，但总的来说， 该项技术还 不够成熟。大家对它的研究还停留在理论阶段，依然存在以下几方面问题二 (l) 受监测仪器的限制， 难以实时监测。由于大部分监测用传感器为接触性的， 在行车过程中会造成驾驶员不适或影响驾驶员操作。例如，脑电、心电、肌电的测 量一般需要在人体上粘贴电极， 监测驾驶员头部运动装置也需要在驾驶员脸上或头 部做标记，而瞳孔直径更是难以测量。因此，目 前大部分研究工作都无法进行实车 实验， 而只能通过以下两种方式进行: 在驾驶前后测量相关指标; 在驾驶模拟器中进 行实时监测试验。 (2) 单一监测指标的监测手段存在局限性。前面介绍的驾驶疲劳的几种指标， 虽 然都是用来评价驾驶员疲劳程度的标准，但又都存在一定的局限性。例如， p e rclos 的监测对于那些睁着眼睛睡觉或者戴眼镜的驾驶员误报率很高;由于点头的动作和 磕睡的相关系数仍然没有找到合适的关系，监测头部运动的准确率不高;而监视汽 车行驶方向时要求路面中线标志清晰，而且在晚上光线不足时容易测量失败。 (3 ) 监测装置的成本太高， 不利于商品化。 虽然一些研究机构或汽车生产厂商研 制出了实用的驾驶疲劳监测预警装置， 但大多由于成本过高而无法推广。 例如， 法国 的雷诺汽车公司花5 年时间成功研制了一套驾驶疲劳预普装置( 一种红外线装置， 通 过在仪表盘上安装的红外摄像头监视驾驶员眼睑张合， 一旦监测到司机打啧睡就报 赞苦醒司机) ， 但由于该装置需要在汽车上安装摄像头和一台与之相连的电脑， 大大 提 高 了 汽 车 生 产 成 本 115 几 其实到目 前为止， 机动车驾驶员驾驶疲劳 侧评技术还未达到成熟的地步， 实用 可靠的系统还尚未推出。 1 3 研究的主要内 容 该课题是江苏省交通厅下属南京奈西公司委托的预研项目，本文计划利用机器 视觉进行驾驶员疲劳监侧系统的研究: (1) 基于d sp驾驶员驾驶疲劳度监测系统的 硬件平台的 构建 基于d sp技术的驾驶疲劳检测装置的研究与开发。 d s p 芯片是体现信号处理学 南京理工大学硕士论文 基于d s p 的疲劳驾驶实时监侧系统的研究 科综合科研成果的新器件。由 于d s p 芯片本身的结构特性和特点， 使其在数据处理 方面比 通用c p u具有更大的 优势， 可以把数字信号处理中的一些理论和算法实时实 现，并且成本相对较低，因而在高速控制、语音处理、图形图像处理、并行处理等 领域得到广泛应用。 驾驶疲劳检测装置中的核心数据处理功能单元模块若由d s p 芯 片搭建，即可以与传统的汽车电 气设备构成分布式处理系统，又可实现集中控制. (2) 基于d sp驾驶员疲劳驾驶监测系统硬件系统的设计 主要工作包括对传感器、 执行器件 ( 如主要处理芯片、a/d等)分析选用和电 子控制单元研制等几个方面。 (3 )基于d sp驾驶员驾驶 疲劳 度监测系统软件的 实 现 为了 使本文研究的驾驶员 疲劳驾驶和精神分散状态监测系统软件能够实时、准 确地监测驾驶员的眼部状态，需要研究如下内容: 驾驶员眼睛定位的方法。 研究如何利用模式识别分类技术分割区域中的眼部 区域，及二值化等图像处理技术来确定。 驾驶员眼部情况的跟踪方法。研究采用什么方法跟踪眼睛的变化信息。 驾驶员眼部特征值提取算法。研究如何提取驾驶员眼部状态的特征和眼部特 征点的定位，以及如何界定疲劳度。 (4 )最终完成对实物系统的初步制作、及实验测试，为以 后的商品化设计做出 正确的初步探索. 南京理工大学硕士论文 墓于d s p 的玻劳驾驶实时监侧系统的研究 2 疲劳驾驶监测方法的研究 2 . 1驾驶疲劳表现及其影晌 驾驶疲劳是指在一段时间的驾车之后所产生的反应水平下降，其主要表现为以 下10类: 哈切连天， 脸发木; 头越来越沉， 不自 觉的频频点头( 打睦睡) ， 很难保持抬头的姿态; 肌肉放松， 眼睑下垂， 甚至闭眼; 视线模糊， 眼睛发红、发千; 视野变窄， 总是漏看错看信息; 反应迟钝， 判断迟缓; 注意力无法集中， 思维能力下降; 动作僵硬， 节奏缓慢; 失去方向感， 驾车左右摇摆在公路上: 随意变换车速， 行 驶速率不定 115 ， 刀 . 当驾驶员在驾驶过程中出现上述疲劳征兆时， 就容易发生碰撞、冲出路面等交 通事故。近年来，我国道路交通运输事业发展迅速，汽车保有量已 超过2 0 00万辆， 但恶性道路交通事故也呈同步上升趋势。 以2 0 02年统计数据为例， 在各类事故死亡 人数中， 交通事故死亡人数所占比 例为78 溅，已成为各种事故中的“ 第一杀手”。 其中， 驾驶员疲劳造成交通事故的占 总数的2 侃 左右， 占 特大交 通事故的4 漏 以上。 同样， 在国外， 据美国国家公路交通安 全管理局保守估计: 每年因为驾驶员疲劳而 导致的车祸大约有10万起， 其中由于疲劳和疾病导致死亡的约占 交通碰撞致死事故 的31 % ; 法国国家苦察总署事故报告表明， 因为驾驶疲劳导致的意外占 人身伤害事 故的1 4叽， 死亡事故的20. 6 % ; 日 本的事故统计揭示， 因疲劳产生的事故约占1 . 俄 1 . 5%。由此可见，驾驶员疲劳已 和酒后驾驶一样，成为交通事故的主要隐患，而且 驾驶疲劳具有相当高的隐蔽性。 因此， 运用车载多传感器实时获取并监视驾驶行为信 息与驾驶员生理信息，利用这些信息判断车辆行驶的安全性，并采用相应报赞和防 护措施，以减少由于驾驶疲劳而导致的道路交通事故已经成为国内外专家和学者研 究的热点 11 8. 19.洲。 南京理工大学硕士论文基于o s p 的疲劳驾驶实时监侧系统的研究 2 . 2 判断疲劳方法的分析、对比与制定 驾驶疲劳的 监 测分为主 动( 主观) 和被动( 客 观) 两 种方 法121 刘。 主观监测的方法主要依据主观调查表、驾驶员自 我记录表、睡眠习 惯调查表和 斯坦福睡眠尺度表等来测评驾驶员的疲劳程度。 客观监测的方法有两类: 一类是利用人疲劳时的生理特征与疲劳的关系，通过检测这些生理特征来监测 测试者的疲劳状态。如脑电图、眼电图、肌电图、呼吸气流( 用鼻声传感器测量) 、 呼吸效果( 用胸腔部传感器测量) 、 动脉血液氧饱和( 用手指探针测量) 时的体温( 用红 外线耳朵探针获取) 、 心电图( 开车或睡眠时) 、 身体表征( 如嘴部、 眼部状态) 等测量 方法。 另一类是利用驾驶员驾驶行为与疲劳的关系，通过检测驾驶员的驾驶行为来监 测驾驶员的疲劳状态。 2 . 2 . 1 各种监测方法的分析 主观监侧方法: (l ) 皮尔逊疲劳量表 皮尔逊疲劳量表是最有代表性的主观调查，分为13级。驾驶员自 我记录表对驾 驶任务、驾驶习惯和驾驶时间等进行自 我测评，这些因素因人而异，因此不能作为 测评驾驶疲劳的 标准尺度。睡眠习惯调查表用来检查驾驶员是否有失眠的 情况， 对 疲劳程度和情绪进行自 我评价。以上这些主观方面的调查表使用方法简单，但很难 量化疲劳的等级和程度，又因各人的理解有明显差异，其结果往往不能令人满意. ( 2)反应时间 测 试仪p v t (t hep s y c h o m otor v i g i lan cete st ) 。 根据驾驶员对仪器屏幕上随机出现的光点的反映( 光点出现时敲击键盘) 速度测 试驾驶员的反应时间，用以判断其疲劳程度。 客观监侧方法: 一 类是利用人疲劳时的 生理 特征与 盛劳的 关系。 ( 1 ) 监测脑电 图( e e g ， e le c l r o e n c e p h a i 0 g r a p h y ) 。 人脑每个细胞都包含有一个巨大的电化复合体和功能强大的微数据处理及传递 系统， 大脑工作时， 神经细胞中离子运动产生电流， 大脑1 50 亿的神经元 ( 脑细胞) 不断释放出微电流。医学界和神经学界认为脑电波产生的神经生理机制为:在人体 中细胞膜两侧离子分布不均匀， 细胞内 外离子 ( 如k + ， n a+， a一 )的浓度存在很大 差异，因而在细胞膜的两端存在很高的浓度梯度， 在此浓度梯度作用下，离子将向 南京理工大学硕士论文若于d s p 的疲劳驾驶实时监侧系统的研究 3 疲劳驾驶监测系统的总体方案 3 . 1 基于改进的perclos 方法的o s p 监测系统 本设计基于p e r c l o s 方法， 利用红外光源、差分图像、 k ai m an滤波器的方法， 进行设计系统的初步原型， 应该可以 满足以下要求。系统主要由红外光源，c c d 摄 像头，控制主板及相应软件部分组成( 见下图) 。 获取图像 ! 红外光源 c c d摄相头 控制主板 图像处理、分析 神经网络辅助 k a l m a n 滤波器 1 ! 得到瞳孔图像参数 ( 闭合大 于 8 0% ) 进行计算和模板匹配输出结 论 : 匕 一 一 一 一 一一 一 一 一 一 习 图3 一 1 系统组成流程框图 摄像头安装在驾驶员的前下方，以不影响司机的视野为准则。在摄像头的选择 上， 目 前 普 遍使 用的 是 c c o电 容 藕 合 器 件( ch ar g edco 叩1“devi ce ) 和c m o s互补 金 属氧化物半导 体( com p le m e n tary m etal i d ico n d u ctor) 作为 传感器。与c c d 相比， c m o s传感器的 运行不需要高电 压，而只需要一个单供电 低逻辑电 平电 压， 其功耗只相当于c c o的1/10 。另外， c m os 传感器可以将芯片时序、固定模式噪 声抑制功能、 a/d 转换器和d s p集成在一块ic上。 这有助于系统最终集成在车载设 备上。同时， c m o s 传感器不需要复杂的处理过程，直接将图 像晶体管产生的电子 转变成电 压信号， 因此生成的图像帧数/s很高， 达4 002 0 00帧/s。 这一点对于实现 系统最终对驾 驶员 状态的实时 监测很重要. 所以 本设计选择c m 0 s传感器， 考虑到人眼视网膜对不同波长的红外光反射盘不同的特点，在850nm 波长时， 南京理工大学硕士论文 基于ds p 的疲劳驾驶实时监翻系统的研究 能够反射9 0 % 的 入射光， 在950nm 波长视网 膜只能反射4 0 % 的入射光， 因 此在同 样照 度情况下， 用2 个摄像头同时测量人眼的图像， 一个是850nm 波长的图 像， 另一个是 9 5 0nm 的图像， 2幅图 像相减的结果，就只留下视网膜的 位置的图像， 然后再分析 视 网 膜 的 大 小 和 位 置 130 川 气 为了能够得到2 幅不同波长光源而相同的图像， 利用2 个分离的摄像头， 9 0 0 交叉。 当图像经过一个光束分离器， 分成2 束分别进入2 个摄像头的镜头后， 2 个镜头分别用 舫onm 和950nm 波长的 滤波器得到相应的 红外图 像。结果就得到2 幅在同 一时刻只有 视网膜图像不同的2幅图像。由于采用的是红外光源，一方面不会影响到驾驶员的 操作，另一方面， 可以 有效地满足全天候的要求。 采集到的图像信号由控制主板中内置的图 像处理程序进行差分处理，得到瞳孔 图像。同时利用神经网络辅助的kal m an 滤波器对瞳孔位置进行实时跟踪预测。实 际运用过程中，通过对瞳距的监控，利用瞳距作为参考值来计算瞳孔大小绝对值， 从而解决了由于驾驶员头部运动( 向前或向 后) 造成的图像大小变化产生的 影响。 3 . zp e r c l os 方法 3 . 2 . ip e r c l o s 方法的原理 p e r c l o s ( 伴 rc en 加 旧 e o f e y e l i d c i o s u reover th e p u p i l o v e rt im e ) 是指眼 睛闭 合时 间占 某一特定时间的百 分率。通过安装在驾 驶员 前方仪表板上的摄像头， 获得驾驶 员眨眼频率与眼部闭上时间的数据，作为判断驾驶员警觉程度的依据。在实际运用 过程中p e r c l o s 的p 80标准( 眼睛闭合程度超过80%的时间占 某一特定时间的百 分比) 表现出与驾驶疲劳程度较好的相关性。其原理图如下所示。 眼睛睁开最大 印40为。 途翻彩比食害盛 时间 15 南京理工大学硕士论文 基于o s p 的疲劳驾驶实时监侧系统的研究 图3 一 p e r c l o s 侧量原理图 获得的瞳孔的特征参数由控制单元进行处理，通过统计处理得到瞳孔大小的最 大值和实时的瞳孔闭合百分比，计算出 p e r c l 0s 值f ，继而进行判断驾驶员的疲劳 程度。 只要测量出t .一t ， 值就可以 计算得到f f 二 丘 二 丝( 3 一 1 ) t 4 一 tl 其中，f 为眼睛闭合程度超过8 既的时间占某一特定时间的百分比。 在具体试验中有p 70， p 80， 明 三种测量方式。 p7o : 眼皮盖过瞳孔的面积超过7 既所占的时间比 例。 p s o : 眼皮盖过瞳孔的面积超过8 俄所占的时间比 例。 em:眼皮盖过瞳孔的面积超过5 岛所占的时间比例。 经检测 p e rcl o s ，头部姿势的变化，脑电图等方法的测试结果与疲劳的关系 程度。让试验者在42小时的实验过程中不能睡眠，每两个小时做20分钟的疲劳程度 测试。该测试要求试验者在半秒类对屏幕上出现的亮条做出判断并按键，每二十分 钟统计失误次数.该次数反映客观上真实的疲劳程度，作为其他测量方式准确性的 衡量尺度。 测量其他的生理特征值。 将测量值与客观疲劳程度作相关运算。结果 显示 p e r c l o s中 p 80 与客观疲劳程度的相关系数最大，而e e g 和头部姿势的变 化个体间的差异很大。 另外 p e r c l o s的另一个优点是可以实现非接触式检测， 不 会影响驾驶。 但是 p e r c los的检测基于机器视觉， 图像处理的实时性比较困难实 现。本文提出了一种适合于疲劳检测的图像处理方法 ( 基于d sp芯片的处理系统)。 3 . 2 . zp e r clo s 算法及改进 商业机动车辆司机的 疏忽，很大一部分原因是由于疲劳。这已经被广泛的认为 是运输工业中的一个重要的安全问题。联合公路管理机动运输车和公路安全办公室 正在进行和计划或者最近已 经完成的和商业机动车辆司机疲劳 有关的研究和技术工 程有25项。 其目 标是为了找到一个确定教育性的， 可操作的和技术性的对策来应付 驾驶员疲劳，包括关于用于机动车的不间断的监测驾驶员疲劳的 发展。 在这项研究中眼睛跟踪系统是收集所有参与者的眼睛的数据， 包括眨眼时间、 半闭眼睛。利用眼睛跟踪器所得的数据可以分析: 。 鉴别眨眼和闭眼的一些参数; 南京理工大学硕士论文 荃于d s p 的疲劳驾驶实时监侧系统的研究 跟着是一天回合( t od) ，和一个任务的时间( t o t ) ; . 眨眼和闭眼与偏离车道之间的可能联系。 视觉编辑器作为替觉度下降的一个报普器。如果数据显示一个系统的变化随着 连续的驾驶或者在每次驾驶中某段而变化，或者如果数据显示它随着操作者的失误 而变化，眼睛的参数可以 被认为是一个潜在有效的检测疲劳方法。 这项研究鉴定了这六种参数作为可能的检测疲劳度的方法: 。眨眼时间方法根据眼睛跟踪器和眼动电图( e 侃) 数据显示的对t od和t ot的影 响的方法。 眨眼的眼睛闭 合时间 在驾驶员失误之前明显的 表现的要长。 .眨眼频率，出自 于e og数据显示对tod 和t ot的影响 和眨眼时间有些一样。 然而这个眨眼频率和眨眼时间没有显示出一致性。 .眼睛在固定半闭的情况下，眼睛睁开的幅度和瞳孔直径的比值( v/h) 显示出 一个明显的too 和tot 影响。 这个结果显示出这个参数在事故前2 到3 分钟， 甚至是10到12分钟对替觉度下降有一个给人印象深刻的指示。 .眼睛闭合在事故发生前一分钟尤为突出，井且在事故发生前的20至30秒有 一个明显的增长。 ，眼睛闪动，出自于eog 数据，在事故前60秒里有30秒是快速移动的。 .大范围的头部和身体的移动，虽然没有在研究中进行统计，但是明显的看出 来可以作为疲劳的一个提示。 基于这项研究，在预备的这些算法中，利用v /h 可以得到预期的效果。疲劳的 分数在开始驾驶的时候通常很低。随着驾驶的时间，得分越来越高，并且在产生交 通事故前达到最高。 percl 习 5 方法检测疲劳一般是在事故前10秒中出现， 留给司机 的反应时间太短，提出的在眼睛固定半闭的 情况下，以眼睛瞳孔水平和垂直直径的 比 例v / h 算 法来 检测 疲劳， 实 验 表明 一 般出 现在事 故 前 至少2 一 3 分钟13 劫 3 1 。 但结 合 这两种方法相对于其它方法则比 较准确、稳定。 3 . 3 眼睛的定位 33 . 1 人眼定位的常用方法 眼睛作为人脸的重要特征， 在人脸检测和识别中都发挥着重要作用。眼睛定位 是目 前人脸识别算法的首要工作，目 前的眼睛定位方法较多，有区域分割法、边缘 提取法、灰度投影法，和模板匹配等方法。 区域分割法首先对人脸的二值图像进行区域分割，然后设定一系列经验值和 南京理工大学硕士论文基于d s p 的玻劳驾驶实时监侧系统的研究 支持函数粗定位眼睛，该方法对于如人眼闭合、戴眼镜等一些情况定位效果较差; 边缘提取法首先对人脸图像进行边缘提取，然后用霍夫变换检测眼球，构造 一个包括眼睛、眼睑的眼部模板，用一系列函数从能量角度找出眼睑，该方法需要 做大量 预处理， 参数过多的眼部 模板不 适用于个体差异太大的 人 脸; 灰度投影法对人脸图像进行水平和垂直方向的投影， 根据波峰波谷的分布信 息来定位眼睛，这种方法定位速度较快，但波峰、波谷的分布对不同的人脸和姿态 的变化非常敏感，因此定位精度较差， 并且容易陷入局部最小而导致定位失败; 模板匹配是一种常用的眼睛定位方法，首先要分别得到左眼和右眼模板( 模 板可以 根据眼睛参数进行构造， 也可以 从人脸库中 进行选取) ， 然后分别用左眼模板 和右眼模板在图像中 进行匹配， 分别得到两个相似度最大的 点作为定位的眼睛，这 种方法使用方便，不需要大量的先验信息， 但是计算量较大，不能同时实现双眼定 位，结果也往往只能定位到一只眼睛; 此外还有一些其它的定位算法、如b al a e 扭 1 的基于遗传算法和决策树的眼睛 定位方法等。 33 . zhou g h 变换检测人眼喧孔 本研究选用h ough变换检测 人眼瞳 孔， h ough变换是一种 用于区域边界形状描 述的方法，常常被用于直线段，圆 和桶圆的检测。其基本思想是 将图像的空间域变 换到参数空间，用大多数边界点满足的某种参数形式来描述图像中的曲线( 区域边 界) 。 h ough变换检测技术根据局部度量来计算边界曲 线参数， 因而， 对于区域边界 嗓声干扰或被其它目 标遮盖而引起边界发生间断的情况，具有很好的容错性和鲁棒 性13 4 ) . 人左右眼的瞳孔轮廓是精确的圆形，因此如果能够在人脸图像边缘图中找出这 个圆的圆心，就能精确定位人的眼睛。但是，睫毛和上下眼皮的存在，会使圆的部 分边缘被遮挡住。 h ough变换具有受噪声和边缘间断影响小的 优点，因此， 用它变 换是检验瞳孔轮廓十分有效的 方法， 在进行h ough变换之前， 必 须 对原图 像提取边 缘并进行二值化处理。 h ou 沙变换用来在图 像中 查找 直线. 它的原理很简单: 假设 有一条与原点距 离为5 ，方向角为0 的一条直线，如下图所示。 南京理工大学硕士论文 基于d s p 的应劳驾驶实时监侧系统的研究 、 、 ， 卜 、 _ ， 肠 垫 又 图3 一 3 一条与原点距离为5 ， 方向 角为e 的一条直线 直线上的每一点都满足方程: 斜 * c o s o +y* s i n o( 3 一 ) 利用这个事实，我们可以找出某条直线来。下面将给出一段程序，用来找出图 像中最长的直线.找到直线的两个端点，在它们之间连一条红色的直线。为了看出 效果，我把结果加工成了粗线，如下图3-4 。3 一 5 所示。 图3 礴 原图图3 一 s h o u gh变换的 结果 可以看出，找到的确实是最长的直线。方法是，开一个二维数组作为计数器， 第一维是 角 度， 第二 维 是 距离. 先计算可 能出 现的 最 大距离为叭d t h z +he i ghtz， 用 来确定数组第二维的大小。 对于每j个黑色点， 角度从0 到 1 78度( 为了减少存储空 间和计算时间， 角度每次加 2度而不是 1 度) 变化，按方程( ( 1)求出 对应的距离 5 来，相应的数组元素 5 厂 田加 1 。同时开一个数组li ne计算每条直线的上下两个端 点。所有的像素都算完后，找到数组元素中最大的，就是最长的那条直线。直线的 端点可以 在 li ne 中 找到1351。 要注意的是， 处理的 虽然是二值图， 但实际 上是 2 56 级灰度图， 不过只 用到了。 和2 55两种颜 色。 对于瞳孔， 利用圆h ough变换可以 准 南京理工大学硕士论文 墓于d s p 的应劳驾驶实时监侧系统的研究 确的寻找出直径和圆心，满足方程: f ( x ， y， xo ， yo ， r ) = ( x 一 xo ) 2 + ( 夕 一 yo ) 2 一 r z = 0( 3 一 3 ) 这里xo， 卯， 和r 是 一 个三维h ough空间， 图 像中的 任意一点 对应这三维空间 的一个图形。为了利用角度之g ，对此方程求导有: = _x 一 x 。 y一少。 ( 3 一 4 ) y-y x-x 人一几 现在参数空间只需要增加同时满足这两个方程的元素。 (x 一 x 。 ) ， + (y一 y 。 ) ， 一 r ， = 0 (x一 xo )/ 伽一 yo 卜cot艺 g ( 3-5 ) 在几何学上，这两个联立方程代表着由上面一个方程确定的一个圆锥和下面一 个方程确定的一个经过这个圆锥轴线的平面的交叉区域.如下图3 一 6 所示。 t an之 份 (y了 y ) /( 犷x) 图3 巧 h ough空间图 解这个方程， 得到: 切匕 g= 饥 一 y)/ (xo 一 x) =x士r c 0 s zg =y士r s i n 之 g ( 3 一 6 ) xoyo 一|弓l 南京理工大学硕士论文 基于dsp 的盆劳驾驶实时监侧系统的 研究 并且，检测这个圆的算法是: 对于 所有满 足 i g (x，刃1) 兀 ， 增 加所有满 足 上面 两 个 方 程的 元素。 for a l l r 1 凡 =x 士r cos 匕g yo = y 士 r s i n 艺 g h( x 。 ， 儿， 心=h ( xo， y 。 ， 心+ 1 ; 在 这个 参数空 间， 任何 满 足h ( xo ， yo， r) tk的 元素 代 表者 半 径为r ，回 心为 ( xo ， 儿 ) 的 圆 1肠 1 . 3 . 4 眼睛的跟踪 3 . 4 . 1 眼部跟踪的多种方法 眼睛定位是指在静态图像中定位眼睛的位置和大小等信息， 而眼部跟踪的任务 是在连续图像中跟踪眼的运动轨迹。目 标跟踪技术包括基于运动 m otion 一 b ased) 的方法及基于模型( 枷d el一a s ed) 的方法， 前者采用运动分割、 光流、 立体视等方法， 利用时空梯度、 卡尔曼滤波器等跟踪物体运动， 后者首先获取目 标的先验知识， 构 造目 标模型， 对输入的 每一 帧图 像通过滑动窗口 进行模型匹 配 l54。目 前眼部跟踪的 方 法 分为 基于 模型的 跟 踪 方 法 如 主 动形 状模型(activesh 卿 、 m odel)， a ct i ves na ke m odel 、变形模板( defo imabiem odel)等，h 即sd o 州 t 距离匹配法和基于特征点的跟踪 方法。但是基于模型的跟踪方法是一个多参数的优化过程，求解是很困难的，需解 决两个难题:一是模板能量函数的确定;二是能量最小化过程的设计等，计算量较 大。h a usdor f f距离匹配法作为相似性度量有强的抗干扰性和容错性很好，但其明 显的缺陷是实时性较差，这是因为该算法要在图像的 变换空间进行搜索，而图像的 变换包括平移、旋转、比例尺等变换，这就增大了运算量。卡尔曼滤波跟踪方法的 最大优点在于它的计算简单， 直接，递归迭代的优点， 不需要目 标的先验知识和不 需要任何物理和几何模型， 它被广泛应用于运动视觉( 叭si on m ot ion) 。因此，本文 计划利用卡尔曼滤波进行眼部实时跟踪。 南京理工大学硕士论文基于d s p 的疲劳驾驶实时监侧系统的研究 3 . 4 . 2 卡尔曼连波的特性 为了 持续不断地监测眼部状态，实时每帧地跟踪眼部是重要的。这可以通过对 每帧图像进行眼部检测来完成。 但是这种原始自 然的方法，很明显地降低了其跟踪 的速度，由于它需要搜索每一帧整幅图像，使得眼部的实时跟踪不可能实现。这可 以通过使用预测和定位的方案有效地解决这种问题。预测包括根据眼部当前的位置 信息确定下一帧图像眼的近似位置。定位即通过局部搜索精确地定位眼部的位置。 由于第一步限定了下一帧图像的搜索位置在一个小范围内， 所有第一步有效地确定 第二步定位的精度。 采用上述方法时，两个重要因素必须考虑。首先是第二步中搜索窗口的大小。 一个很大的搜索窗口导致不必要的搜索且费时。一个过小的 搜索窗口 很容易地丢失 眼部位置信息。几个因素可能影响搜索窗口的大小，包括嘴部区域的大小和预测位 置的不确定性等。眼部区域的大小随着距离、基于眼部定位的 精度和图像的噪声特 性而变化.有效的方法是使用变化的搜索窗口，搜索区域自 动地根据眼部区域的大 小和定位误差进行调整。卡尔曼滤波器提供了一种机制完成这种任务。卡尔曼滤波 器是一种递归算法:它估计下一帧图像运动物体的位置和偏差，也就是说，为了以 某种概率找到眼部，在下一帧图像里哪个位置寻找眼睛，在预侧位置的附近多大的 位置进行搜索。它递归地根据以往侧量值估计当前值，过程进行重复，以先验概率 估计值预测新的后验概率估计值。 这种递归性质是卡尔曼滤波器的一种显著的特点， 它使得实际 应用更加可行1 50。 3 . 4 . 3 卡尔妥滤波进行人眼跟踪 基于卡尔曼滤波的眼部跟踪方法可以表述如下:第t 帧图像被获取，然后处理 得到眼部区域中 心的位置. 在每一帧图 像中眼部的 状态可以 用其位置和速度来表示. 假设(x 。 ，y : ) 代表眼部区域中心