（精密仪器及机械专业论文）驾驶疲劳检测技术的研究.pdf

驾驶疲劳检测技术的研究 摘要 目前，在频繁发生的交通事故中，司机的驾驶疲劳已成为引发交通事故的 重要因素之一。因此，如何有效地检测和预防驾驶疲劳，对于减少交通事故发 生，有着十分重要的现实意义。 本文对现有的驾驶疲劳检测方法进行了深入地比较，详细分析了当前检测 方法中的技术关键和难点，提出了两种基于视觉的驾驶疲劳检测方法一一自然 光照条件下的驾驶疲劳检测和红外光照条件下的驾驶疲劳检测。系统采用摄像 机拍摄驾驶员的脸部区域，从中提取驾驶员的眼睛状态特征，据此判断驾驶员 是否发生疲劳。主要研究工作如下： ( 1 ) 研究了在疲劳检测系统中必不可少的图像预处理技术。自然光照条件 下，采用邻域均值滤波法进行图像预处理，以消除随机噪声，此法对彩色图像 运算量小，速度快。红外光照条件下，利用中值滤波法消除图像中存在的孤立 噪声，此法能很好保护图像的边缘信息，为图像的边缘提取处理提供了保证。 ( 2 ) 设计了改进的人脸检测算法。自然光照条件下，根据肤色在色度空间 分布的聚类性，建立了基于y c b c r 空间的椭圆聚类肤色模型，以此进行图像二 值化，将肤色区域与非肤色区域分离开来。相较其他人脸分割的方法，此法降 低了图像对光照的敏感性，对于人脸缩放，旋转等几何变化鲁棒性也很好，另 外由于颜色信息计算速度快，过程简单，此法满足系统实时性的要求。红外光 照条件下，采用o t s u 自适应阈值的方法把红外图像转变为二值图像，将人脸与 背景分离开来。人脸的定位采用的是改进的积分投影算法，相较于传统算法缩 小了人脸区域，为整个系统的快速性打下了很好的基础。 ( 3 ) 采用卡尔曼滤波的方法对脸部区域进行预测与跟踪，提高了人脸跟踪 的准确度和速度。 ( 4 ) 提出了新的眼睛检测算法。自然光照条件下，采用积分投影与数学形态 学进行眼睛的定位与检测。红外光照条件下，由于眼睛的成像边缘丰富、层次 清晰，采用s o b e l 边缘检测与h o u g h 变换相结合的方法定位和检测瞳孔，取得了 很好的眼睛定位效果。最后利用检测出的眼睛参数计算p e r c l o s 值来判断是 否疲劳。 本文详细论述了上述两种方法的特点和适用性，并完成了大量的实验。实 验表明这两种方法能够准确地定位眼睛及检测眼睛的疲劳状态，具有较好的实 用性和可靠性。 关键词：驾驶疲劳，y c b c r 色彩空间，椭圆聚类模型，卡尔曼滤波，积分投影， 数学形态学，自适应阈值，边缘检测 r e s e a r c ho nt h ei n s p e c t i n gt e c h n i q u ef o rd r i v i n gf a t i g u e a bs t r a c t d r i v e rf a t i g u ei so n eo ft h ei m p o r t a n tc a u s e si nt h ef r e q u e n tt r a f f i ca c c i d e n t s a tp r e s e n t t h e r e f o r e ，i ti s s i g n i f i c a n tt om o n i t o ra n dp r e v e n td r i v e rf a t i g u e e f f i c i e n t l yf o rr e d u c i n gt h et r a f f i ca c c i d e n t s i nt h i st h e s i s ，t h ec u r r e n tm e t h o d so ft h ed e t e c t i o no nd r i v e rf a t i g u ea r e c o n t r a s t e d t h ek e yp r o b l e m sa n dd i f f i c u l t i e so ft h e s et e c h n o l o g i e sa r ea n a l y z e d t h e nt w od e t e c t i o ns y s t e m sf o rd r i v e rf a t i g u ea r ee s t a b l i s h e d n a t u r a ll i g h ta n d i n f r a r e dl i g h t w el a yav i d e oc a m e r at of i l mt h ed r i v e r sf a c e e y ef e a t u r e s ，w h i c h a r ec u e sf o rd e t e r m i n i n gd r i v e r ss t a t e ，a r ee x t r a c t e df r o mt h ev i d e oo ff a c e t h e m a i nt a s ki nt h i sp a p e rp r e s e n t sa sf o l l o w s ： ( 1 ) i nc o n s t r u c t i n gd r o w s ys t a t u sr e c o g n i t i o ns y s t e m ，t h en e c e s s a r yi m a g e p r e t r e a t m e n tt e c h n i q u ei si n v e s t i g a t e d n a t u r a ll i g h t ：n e i g h b o r h o o dm e a nf i l t e r i n g m e t h o di su s e dt oe l i m i n a t et h er a n d o mn o i s ei nt h ei n p u ti m a g e si m m e d i a t e l y t h eo p e r a t i o no ft h em e t h o di s s i m p l e t h el i g h tc o m p e n s a t i o ni sa c h i e v e dt o r e d u c et h ec o l o rd e v i a t i o nw i t h ”r e f e r e n c ew h i t e ”m e t h o d i n f r a r e dl i g h t ：m e d i a n f i l t e r i n g i su s e dt oe l i m i n a t et h ei s o l a t e dn o i s ei nt h ev i d e o i m a g e e d g e i n f o r m a t i o ni sp r o t e c t e dw i t ht h em e t h o da n dt h em e t h o di sg o o df o re d g ed i s t i l l ( 2 ) t h ea r i t h m e t i co fh u m a nf a c ed e t e c t i o ni si m p r o v e do n n a t u r a ll i g h t ： b a s e do nt h e g o o dc l u s t e r i n g c h a r a c t e ri nt h ec o l o rs p a c eo fs k i nc o l o r ，a c l u s t e r i n ge l l i p t i c a lm o d e lb a s e do nt h ey c b c rc o l o rs p a c ei ss e tu p t h ec o l o r m o d e li su s e dt ot r a n s f o r mc o l o ri m a g e si n t ob i n a r yi m a g e s ，t os e p a r a t et h es k i n c o l o rf r o mn o n s k i nc o l o rr e g i o n s t h ef a c es k i ni d e n t i t yi sh i g h l ya d a p t i v et ot h e g e o m e t r yv a r i a t i o ns u c ha sf a c ez o o ma n df a c ec i r c u m r o t a t i o n b e c a u s eo ft h ef a s t c o m p u t i n ga n ds i m p l ec o u r s e ，s k i ni n f o r m a t i o na r i t h m e t i cm e e tt h ed e m a n do fr e a l t i m e i n f r a r e dl i g h t ：t h eo t s ua d a p t i v et h r e s h o l dm e t h o di su s e dt ot r a n s f o r m i n f r a r e di m a g e si n t o b i n a r yi m a g e s ，t od i s t i n g u i s hb e t w e e nh u m a nf a c ea n d b a c k g r o u n d i m p r o v e di n t e g r a lp r o je c t i o na l g o r i t h mi su s e dt om a r kt h el o c a t i o no f h u m a nf a c e c o m p a r e dw i t ho t h e rt r a d i t i o n a l a l g o r i t h m s ，t h ei m p r o v e di n t e g r a l p r o j e c t i o na l g o r i t h ml e s s e n s t h er e g i o no fh u m a nf a c ea n dm a k e sm u c hm o r e p r o g r e s si nr e a lt i m e ( 3 ) k a l m a nf i l t e r i n ga l g o r i t h m ，w h i c hc a ni m p r o v et h ee y et r a c k i n gs p e e da n d a c c u r a c y ，i su s e dt op r e d i c ta n dt r a c ko ft h ef a c er e g i o n ( 4 ) an e wa l g o r i t h mo ne y el o c a t i o na n dd e t e c t i o ni sd e s i g n e d n a t u r a ll i g h t ： ac o m b i n a t i o nm e t h o do fi n t e g r a lp r o j e c t i o na n dm a t h e m a t i c a lm o r p h o l o g yt o l o c a t ea n dm o n i t o rt h ee y e si s a d o p t e d i n f r a r e dl i g h t ：ac o m b i n a t i o nm e t h o do f s o b e l e d g ed e t e c t i o na n dh o u g ht r a n s f o r mt ol o c a t ea n dm o n i t o rt h ee y e si s a d o p t e db e c a u s eo ft h ee y ec h a r a c t e r i s t i c sa t s p e c i a lw a v e l e n g t h f i n a l l y ， p e r c l o sp a r a m e t e r sa r ec a l e u l a t e dt od e t e r m i n ed r i v e rf a t i g u e t h ec h a r a c t e ra n da p p l i c a b i l i t yo ft h e s et w om e t h o d sa r ed i s c u s s e di nd e t a i l ag r e a td e a lo fe x p e r i m e n t sa r ed o n e ，w h i c hs h o wt h a th u m a n se y e sa n de y e f a t i g u ea r ea c c u r a t e l ym o n i t o r e dw i t ht h e s et w om e t h o d sa n dt h e s et w om e t h o d s a r ep r a c t i c a la n dr e l i a b l e k e y w o r d s ：d r i v e rf a t i g u e ，t h ey c b c rc o l o rs p a c e ，c l u s t e r i n ge l l i p t i c a lm o d e l ， k a l m a nf i l t e r i n g ，i n t e g r a l p r o je c t i o n ，m a t h e m a t i c a lm o r p h o l o g y ，a d a p t i v e t h r e s h o l d i n gm e t h o d ，e d g ed e t e c t i o n 插图清单 图1 1 疲劳驾驶检测系统原理框图4 图2 1 均值滤波对比图8 图2 2 中值滤波对比图8 图2 3 光线补偿对比图9 图3 1r g b 颜色空间1 1 图3 2h s i 颜色空间1 l 图3 3 肤色点与y c b c r 空间1 3 图3 4 肤色点与c b c r 空间投影1 3 图3 5c b 随y 的变化- 1 3 图3 6c r 随y 的变化l3 图3 7 肤色点与y c b c r 空间1 3 图3 8 肤色点与c b c r 空间投影1 5 图3 - 9 自然光照条件下人脸区域分割1 6 图3 1 0 红外光照条件下人脸区域分割1 7 图3 1 1v p f 失效而i p f 成功的例子1 9 图3 1 2 定位人脸左右边界流程图2 0 图3 1 3 定位人脸上下边界流程图2 0 图3 1 4 自然光照条件下图像人脸区域确定一2 1 图3 1 5 红外光照条件下图像人脸区域确定2 1 图4 。l 自然光照下卡尔曼跟踪效果图2 6 图4 2 红外光照下卡尔曼跟踪效果图2 6 图5 1 人的面部特征2 7 图5 2 自然光照条件下眼睛定位检测区域图2 7 图5 3 红外光照条件下眼睛定位检测区域图2 7 图5 4 水平积分投影曲线图3 0 图5 5 平滑后的水平积分投影曲线图3 0 图5 6 垂直积分投影曲线3 0 图5 7 平滑后的垂直积分投影曲线图3 0 图5 8 缩小后的眼睛搜索区域一3l 图5 - 9 经数学形态学运算后的眼睛搜索区域3 l 图5 1 0 标注眼睛坐标位置3 1 图5 一1 1 左眼窗口区域3 2 图5 一1 2 右眼窗口区域3 2 图5 1 3 边缘检测结果：3 3 图5 。1 4 圆的数学对偶性3 4 图5 1 5 图像空间中圆的点对应参数空间中相交的三维锥面簇3 4 图5 1 6h o u g h 变换图：3 6 图5 1 7 检测到的瞳孔位置图3 7 图5 18 眼睛区域图3 7 图5 1 9 自然光照条件下眼睛的窗口区域3 7 图5 2 0 红外光照条件下眼睛的窗口区域3 7 图5 2 l 眼睛睁开程度3 7 图6 1 彩色c c d 摄像机图4 0 图6 2 人脸检测图4 1 图6 3 眼睛定位图一4 2 图6 4 设备组成图4 4 图6 5 眼睛的成像效果图4 5 图6 6 人脸检测失败图4 5 图6 7 半径区间过大瞳孔检测图4 6 图6 8 半径区间过小瞳孔检测图4 6 图6 9 睁眼程度随时间变化的曲线4 6 表格清单 表1 1 我国2 0 0 1 2 0 0 5 年道路交通事故统计表1 表6 11 分钟p e r c l o s 检测结果4 2 表6 25 人驾驶疲劳测评实验数据4 3 表6 3 红外光照条件下模拟实验的结果4 7 v 独创性声明 本人声明所里交的学位论文是本人在导师指导下进行的研究工作及取得的研究成 果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得 盒鲤王些塞堂 或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示谢意。 学位论文作者签名： 铋l 虱 l 签字日期：年月日 学位论文版权使用授权书 本学位论文作者完全了解金g 里王些太堂有关保留、使用学位论文的规定，有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授 权金壁王些太堂可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采 用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 铀虱 签字日期：年月 日 学位论文作者毕业后去向： 工作单位： 通讯地址： 导师签名： 签字日期： 电话： 邮编： 锄砰 眇夕d 1 年髟j 莎日 致谢 在论文的最后，我谨向所有关心和帮助我论文工作的老师、同学、家人表 达我诚挚的谢意。 本论文的研究工作是在导师金施群副教授的悉心指导下完成的，从选题、 研究到论文的构思、写作和修改，都凝结了导师的心血。在论文完成之际，首 先要感谢的是我的导师金施群副教授。金老师孜孜不倦的教诲和无微不至的关 怀，使我能够在学习和思想上不断进步，顺利完成紧张而充实的三年研究生学 习。金老师实事求是的治学态度和开拓创新的学术精神是我一生学习的榜样。 在论文的研究阶段还得到了刘志健副教授和王宏涛副研究员的宝贵指导， 使我的论文更加充实和严谨，在此表示衷心的感谢。 感谢刘波、修亮、解甜、毕美华、李英新、牛学虎、吴军、吴利明、王浩 旭等同学，感谢他们在三年的学习中给予我的帮助，课题的顺利完成和他们的 帮助是分不开的。 最后我还要深深感谢我父母自始至终给予的无私支持和关怀，使我能够专 心于学业，顺利完成三年的研究生学习任务。 作者签名：钟国 2 0 0 9 年3 月 第1 章绪论 i 1疲劳驾驶检测研究的意义 机动车辆作为科学技术进步的产物，为社会和经济的发展做出了巨大贡 献。然而，随着机动车辆数量的增加，交通事故发生量有不断增加的趋势。 表i - i 我国2 0 0 1 - 2 0 0 5 年道路交通事故统计表 年份事故次数死亡人数受伤人数直接损失( 亿元) 2 0 0 1 7 5 5 万l o 6 万5 4 6 万3 0 9 2 0 0 27 7 3 1 3 71 0 9 3 8 15 6 2 0 7 43 3 2 2 0 0 35 6 7 5 0 71 0 4 3 7 24 9 4 1 7 43 3 6 2 0 0 45 6 7 7 5 39 9 2 1 74 5 1 8 1 02 7 7 2 0 0 54 5 0 2 5 49 8 7 3 84 6 9 9 1 11 8 8 4 表卜l 是近年来我国道路交通事故发生的统计数据 i - 3 】，这些交通事故给 人民生命财产安全带来了巨大损失。国外交通事故的统计数据同样触目惊心。 现在全世界由交通事故导致的受伤人数约有2 5 0 0 万人，而每一年由于交通事 故的原因至少使5 0 万人死亡1 4 j 。统计资料表明，全球交通事故总数占安全事 故总数的9 0 左右，造成伤亡的人数占所有安全事故伤亡人数的8 0 以上。在 非正常死亡之中，道路交通事故已成为名副其实的“第一杀手。 疲劳驾驶是造成交通事故的主要原因之一。以我国2 0 0 5 年交通事故统计数 据为例，驾驶员疲劳造成交通事故的占总数的2 0 左右，占特大交通事故的4 0 以上。同样，在国外，据美国国家公路交通安全管理局保守估计：每年因驾驶 员疲劳而导致的车祸大约有1 0 万起，其中由于疲劳导致死亡的约占交通碰撞致 死事故的3 1 ；法国国家警察总署事故报告表明，因为驾驶疲劳导致的意外占 人身伤害事故的1 4 9 ，占死亡事故的2 0 6 ；日本的事故统计揭示，因疲劳产 生的事故约占i - 1 5 。根据英国汽车协会统计，英国车祸的死亡事故中，有 1 0 是因司机疲劳驾驶引起的。同时有资料表明，高速公路发生的交通事故中， 有5 0 以上是由于长时间疲劳驾驶或所见目标单调使司机注意力不集中、甚至 打瞌睡等原因造成的。 如何有效检测驾驶员的疲劳状态，并在其出现睡意时给予警告或提醒其停 车休息已成为众多研究者关注的研究方向，这属于智能交通领域，是智能辅助 驾驶的一项关键技术。作为主动预防交通事故的一项措施，应用驾驶员疲劳检 测系统，可以在一定程度上减少交通事故的发生，减少交通事故带来的危害， 使驾驶员驾驶和公众出行更安全，具有重要的社会意义和经济价值。 1 2疲劳驾驶检测研究的现状 驾驶员疲劳检测技术作为智能交通系统( i t s ) 的智能安全辅助驾驶技术的 一部分，国内外对该项技术的研究非常重视，资助了一系列的研究课题，并开 发出了应用的产品，建立了相应的技术标准。随着研究的深入，驾驶员疲劳检 测的方法有很大的发展。驾驶员疲劳检测技术大体分为主观检测和客观检测两 种方法【5 ，6 1 。 1 2 1主观检测 主观监测的方法主要依据主观调查表、反应时间测试仪p v t 等来测评驾驶 员的疲劳程度。 ( 1 ) 主观调查表。皮尔逊疲劳量表是最有代表性的主观调查，分为1 3 级。 驾驶员自我记录表对驾驶任务、驾驶习惯和驾驶时间等进行自我测评，这些因 素因人而异，不能作为测评驾驶疲劳的标准尺度。睡眠习惯调查表用来检查驾 驶员是否有失眠的情况，对疲劳程度和情绪进行自我评价。 ( 2 ) 反应时间测试仪p v t ( t h ep s y c h o m o t o rv i g i l a n c et e s t ) t 7 , s 】。根据驾驶员对 仪器屏幕上随机出现的光点的反映( 光点出现时敲击键盘) 速度测试驾驶员的 反应时间，用以判断其疲劳程度。 以上这些主观检测方法虽然使用方法简单，但很难量化疲劳的等级和程 度，又因各人的理解有明显差异，其结果往往不能令人满意。 1 2 2 客观检测 客观驾驶疲劳检测技术的研究主要分为三类： ( 1 ) 基于车辆行为特征的检测方法【9 】：如车速、车辆行驶的轨迹是否偏离 车道等。该种方法的优点是非接触，缺点是这些参数与交通状况、车辆类型及 驾驶员经验有关，难于制定一个统一的标准，不易实施。 美国d a i m l e rc h r y s l e r 公司开发的系统包括速度，方向角的检测，以及通过 摄像机记录车辆离路面边界的距离来检测车辆是否偏离路面。由于当驾驶员感 到疲劳时，反应变慢，操作方向盘的动作也会减缓【l 0 1 。 日本三菱公司的a d v a n c e ds a f e t yv e h i c l e 系统，用方向盘传感器和车 辆行为( 如侧位移) 测量器检测司机疲劳情况1 。 ( 2 ) 基于驾驶员生理参数的检测方法【1 2 】：如脑电图( e e g ) 、心电图( e k g ) 、 肌电图( e m g ) 等。该类方法能较精确检测出驾驶员出现的睡意状态，但是驾驶 员需要配戴传感器等设备，因此有接触、侵入式的不足且利用人体的电生理信 号是不可靠的，或者是不易实施的。 日本先锋公司最近开发出防止驾驶员开车打瞌睡的系统【l3 1 。它可通过心 跳速度的变化，监测司机驾驶员是否打瞌睡，在睡意来临前15 5 - ) - 钟提醒司机注 意，防止发生事故。这一系统的核心技术之一是贴在转向盘上的纸片状心跳感 应器，司机驾驶员握转向盘时可以握住它。感应器每隔l5 秒检测一次司机的心 跳速度。一般说来，人在打瞌睡之前，心跳速度下降。对心跳速度的检测可以 大体判断司机是否打瞌睡。 沈阳工业学院李琪 1 4 1 于2 0 0 3 年设计了一个疲劳驾驶预警装置，硬件采用 1 6 位m c s 2 9 6 单片机，软件采用汇编语言编写。该仪器以预设的采样频率利用 传感器件采集脉搏跳动、手握方向盘的压力、人体生物电的信号，将这些数据 与标准值相比，如其中两项数据超标即启动报警装置。该装置已完成调试及测 试，但还没有商业产品出售。 ( 3 ) 基于驾驶员行为特征的检测方法【i5 】：如头部运动、眼皮的运动、眼睛 开闭、凝视方向、手握方向盘用力的大小、旋转方向盘的角度变化等。该类方 法由于其非接触性的优点，是最有前途的监测方法，但是由于其监测难度大， 特别是精确性和可靠性还有待提高，在目前研究最为广泛。 卡内基梅隆大学机器人研究所的c o p i l o t 系统【l6 j 采用p e r c l o s 衡量睁眼和 闭眼状态。p e r c l o s 定义眼睛被眼皮遮挡的百分比，对眨眼的测量是根据超 过8 0 的眼睛被遮挡超过特定的时间间隔。系统采用红外照明，根据眼睛对红 外光反射在图像中的光点效应，以及视网膜对不同波长红外光的反射率不同， 分别用两个c c d 摄像机采集波长为8 5 0 n m 和9 0 0 n m 红外光照明的图像，同时获得 两幅图像，根据这两幅图像的差图像，得到眼睛的位置，并分析眼球的大小， 从而得到驾驶员的眼睛睁开程度，该方法可去除眼镜的影响。 吉林大学交通学院的王荣本、郭克友等【1 7 , 1 8 j 对于驾驶疲劳识别中的人眼定 位、人眼状态分类问题做了详细研究。他们给出的人眼定位算法利用颜色模型 粗定位人脸，然后采用一种基于区域标示算法的面部人眼定位算法，并考虑了 人脸的几何约束。对于人眼状态分类，他们提取出人眼图像基于g a b o r d 、波的 特征，作为b p 神经网络的学习样本，利用神经网络完成分类。训练时，人眼 的状态分为清醒、迷糊、睡眠三种，左右眼分开训练。实验结果表明，其分类 结果达到了较高的准确率。 美国e l e c t r o n i cs a f e t yp r o d u c t s 公司开发的方向盘监视装置s a m ( s t e e r i n g a t t e n t i o nm o n i t o r ) 是一种监测方向盘非正常运动的传感器装置，适用于各种车 辆。方向盘正常运动时传感器装置不报警，若方向盘持续4 s 不运动，s a m 就会发出报警声，直到方向盘继续正常运动为止。s a m 被固定在车内录音机 旁，方向盘下面的杆上装有一条磁性带，用以监测方向盘的运动【1 9 , 2 0 】。 2 0 0 0 年，石坚、吴远鹏、卓斌( 上海交通大学动力与能源工程学院) 和马勇、许晓鸣( 上海交通大学自动化系) 【2 i j 通过传感器测量驾驶员驾驶 时方向盘、踏板等运动参数来判别驾驶员的安全因素，发现方向盘的操 纵情况与驾驶员的疲劳程度具有一定的联系，方向盘较长时间不动，说 明驾驶员在打瞌睡。 1 2 3 检测方法的对比 _ 般而言，对于驾驶员疲劳检测系统应满足以下基本要求： 1 ) 非侵入式，不会影响驾驶员的注意力，驾驶员易于接受： 2 ) 实时性，交通工具一般有较高的行驶速度，监测系统必须快速检测出驾 驶员的疲劳状态并发出警告才可能避免交通事故发生： 3 ) 可靠性，具有高检测率和低虚警率的系统才能达到提高驾驶安全性的目 的； 4 ) 适应性，监测系统必须适应各种工作环境和条件，并具有全天候工作的 性能。 表卜2 疲劳检测技术 检测技术 描述 准确性实用性 基于驾驶员反 定时检查驾驶员的反应好很差 应的检测方法 基于汽车行为检测汽车本身的行为( 如：速度、侧向加速度、 的检测方法偏行速率、侧向位移等) 的变化 好很好 基于生理信号主要检测脑电波、眨眼频率、心率、脉搏频率以 的检测方法及皮肤电压等变化 好较差 基于操控行为检测各种控制器( 如：方向盘、加速器、刹车踏 的检测方法板、档位等) 的变换 好很好 基于身体反应 主要检测驾驶员头部倾斜度、身体姿势的下垂 度、眼睛闭合的频率、驾驶员掌控方向盘的力度很好好 的检测方法 等变化 由表1 - 2 和大量研究实例表明，基于驾驶员行为特征的方法，尤其是检测 眼睛状态的方法由于其检测直接、非侵入性、与驾驶员的生理参数的变化具有 一致性、可接受性强等特点是多数研究机构广泛采用的方法。 1 3本文的研究内容和安排 1 3 1 系统设计 本文在深入研究了国内外驾驶疲劳 检测方法原理的基础上，分析了当前检测 方法中的技术关键和难点，分别在两种情 况下一一不加任何光源的自然光照条件 下和外加红外光源的条件下，针对摄像机 拍摄司机的脸部视频，设计了对眼睛进行 定位和跟踪的算法，并提取眼睛的特征， 通过实时检测眼睛的状态判断疲劳的发 生。系统原理框图如图卜l 所示： 4 获取视频图像 翌 人脸的定位与跟踪 土 眼睛的定位与检测 i 疲劳程度计算 l 厂 k ! i 疲劳程度判断 图1 - 1 疲劳驾驶检测系统原理框图 1 3 2 章节内容 全文章节内容安排如下： 第一章为绪论，简述了驾驶员疲劳驾驶带来的危害，研究驾驶员疲劳检测 的背景和意义以及国内外的研究现状等。 第二章介绍了图像预处理。自然光照系统通过均值滤波过滤掉图像中存在 的一些随机干扰，采用“参考白 的方法消除光线的影响。红外光照系统采用 中值滤波过滤掉图像中存在的一些孤立噪声。 第三章介绍了人脸分割与定位。自然光照条件下，根据人脸肤色在色彩空 间中的聚类特性，推导出从y c b c r 色彩空间到y c b c r 色彩空间的非线性分段 变换公式，用人脸肤色聚类分布特性的椭圆模型进行二值化，并用改进的积分 投影法实现人脸区域的分割与定位。红外光照条件下，利用0 t s u 自适应阈值分 割算法和改进的积分投影法实现人脸区域的分割与定位。 第四章介绍了基于k a l m a n 滤波的方法实现驾驶员脸部区域跟踪。 第五章介绍了眼睛定位与检测。自然光照系统利用积分投影和数学形态学 的方法进行眼睛的定位与检测。红外光照系统利用s o b e l 边缘检测算子和h o u g h 变换检测圆的方法进行眼睛的定位与检测。利用检测出的眼睛的宽度和高度进 行基于p e r c l o s 测量原理的疲劳程度判决。 第六章为实验部分，介绍了实验环境、实验设备和实验结果与分析。 第七章对本文所做的工作进行总结，并指出下一步研究的方向。 5 第2 章图像预处理 一般情况下，由于被检测的图像可能是在不同光源、不同光照条件、不同 背景、不同成像条件下拍摄的，如果不对图像进行预处理，而对其直接进行检 测，就会显现出检测算法的不适应性，进而影响检测的准确率。因此图像必须 经过一些处理才能输入到系统，这些处理环节就被称为图像的预处理。 2 1图像滤波处理 噪声可以理解为妨碍人的视觉器官或系统传感器对所接收的图像源信息 进行理解和分析的各种因素。由于在图像采集、量化，图像传送等过程中可能 产生各种噪声，这些噪声具有随机性和离散性等特点，所以需要在进行其他操 作前对图像进行滤波处理。由于图像的能量主要集中在其低频部分，噪声所在 的频段主要在高频段。因此，如何去掉高频干扰又同时保持边缘信息，是本文 要研究的内容。 为了去除噪声，有必要对图像进行平滑，可以采用低通滤波的方法去除高 频干扰。滤波处理可以在频率域进行，也可以在空间域进行。频率域的滤波方 法就是先对图像进行傅立时正变换，然后对图像在频率域进行滤波处理，最后 再进行傅立叶的反变换，从而得到滤波后的图像。空间域的滤波方法主要为对 像素直接进行处理，处理的速度比在频率域要快的多。在本文中，由于考虑到 检测系统的实时性，采用空间域的滤波方法作为消除噪声的方法。 目前，空间域的滤波方法主要有：邻域平均滤波法和中值滤波法。邻域平 均滤波是用一个奇数个点的滑动窗口在图像上滑动，将窗口中心点的灰度值用 窗口内各个点的灰度值的平均值代替，如果滑动窗口规定了在取均值过程中的 各个像素点所占的权重，也就是各个像素点的系数，这时候就称为加权均值滤 波。中值滤波是用像素的点邻域的中值来代替该像素点的灰度值。 2 1 1 邻域平均滤波 邻域平均滤波是一种线性平滑去噪技术，它属于空间域滤波。设一幅图像 f ( x ，y ) 为n n 的阵列，平滑后的图像为g ( x ，y ) ，它的每个像素的灰度级由包含在 ( x ，y ) 预定邻域的几个像素灰度级的平均值决定，即用下式得到平滑后的图像： 1 g ( x ，y ) = i 1 厂( x ，力 ( 2 - 1 ) m _ 式中的x ，y = o ，1 ，2 ，n 一1 ，s 表示在( x ，y ) 点邻域中的各点坐标的集合，m 表 示集合内坐标点的总数。 邻域的取法有多种，以3 3 窗口为例，以( x ，y ) 为中心，取4 寸z g 点邻域，则 ( x ，y ) 邻近点坐标的集合为： 6 s = ( x ，y + 1 ) ，( x ，y 一1 ) ，( x + 1 ，y ) ，( 石- 1 ，y ) ( 2 2 ) 以( x ，y ) 为中心，取3x3 点邻域，n ( x ，y ) 邻近点坐标的集合为： s = ( x ，y + 1 ) ，( x ，y - 1 ) ，( x + 1 ，力，( x - 1 ，力，( x - 1 ，y + 1 ) ，( x + 1 ，y + 1 ) ，( x - 1 ，y - 1 ) ，( x + 1 ，y - 1 ) ( 2 - 3 ) 图像的平均是以图像的模糊为代价来换取噪声的减小，而且s 面积越大， 1 一 消除噪声越显著，但模糊性越大。平滑后的噪声标准降为原来的m 。 2 1 2中值滤波 中值滤波是一种非线性的信号处理技术，与其对应的中值滤波器当然也就 是一种非线性滤波器，能抑制图像中的噪声。它在处理连续图像窗函数时与线 性滤波器的工作方式类似，但滤波过程不再是加权运算。中值滤波一般采用一 个含有奇数个点的滑动窗口，用窗口中各点灰度值的中值来替代定点( 一般是 窗口的中心点) 的灰度值。对于奇数个元素，中值是指按照大小排序后中间的 数值：对于偶数个元素，中值是指排序后中间两个元素灰度值的平均值。它的 工作步骤如下： ( 1 ) 将模板在图中遍历，并将模板中心与图中某个像素位置重合； ( 2 ) 读取模板中各对应像素的灰度值； ( 3 ) 将这些灰度值从小到大排成一列； ( 4 ) 找出该灰度值序列中位于中间的值； ( 5 ) 将此中间值赋给对应模板中心位置的像素。 由以上步骤可以看出，中值滤波器的主要功能就是让周围像素灰度值的差 比较大的像素改取与周围像素灰度值接近的值，从而可以消除孤立的噪声点。 由于它不是简单的取均值，所以产生的模糊比较少。 2 1 3 滤波方法的选取 e 圈 4 ， 7 ( a ) 均值滤波前的幽像 ( b ) 均值滤波后的图像 图2 1 均值滤波对比图 红外人脸图像中的噪声往往以孤立点的形式出现，而使用中值滤波可以有 效的去除椒盐噪声( 孤立噪声) 的影响，因为这些干扰值与其邻近像素的灰度 值有很大的差异，所以经排序后取中值的结果是强迫将此干扰变成与其邻近的 某些像素的灰度值一样，达到去除干扰的效果。中值滤波可以克服线性滤波器 如最小均方滤波、平均值滤波等所带来的图像细节模糊，能够很好的保护图像 的细节信息( 例如边缘，锐角等) ，为红外图像的边缘提取处理提供了保证。另 外，中值滤波器运算简单、速度较快而且很容易自适应化，从而可以进一步提 高其滤波性能。因此红外光照条件下疲劳驾驶实时检测系统选用中值滤波法进 行图像预处理，运用3 x3 函数窗进行滤波。 图2 - 2 ( a ) 是对检测到的人脸图像加入了椒盐噪声，图2 - 2 ( b ) 是进行3 3 中 值滤波后的图像。 a ) 加八椒盐噪卢创像( b ) 滤波后幽像 幽2 - 2 中值滤波对比幽 2 2 光线补偿处理 由于受到光源颜色、光源强弱、图像采集设蔷等因素的影响。采集来的彩 色图像在整体上偏离本质颜色而向某一方向移动，即通常所说的色彩偏玲、偏 暖照片偏黄、偏蓝等等。一般而言肤色模型对光照比较敏感，直接用肤色 模型来检测肤色，会出现偏差。因此自然光照条件下疲劳驾驶实时检测系统利 刚“参考白”( r e f c r e n c e w h i t e ) 的方法对采必到的| 星| 像进行光线补偿处理1 2 2 l ， 具体步骤如下： 1 ) 首先，将整个图像中所有像素的亮度从高到低进行排序。 2 ) 取亮度值前5 的像素，如果这些像素的数目足够多，就将它们的亮度定 义为“参考白”，也即将它们的色彩的r ，g ，b 分量值都最大调整为2 5 5 。 3 ) 然后根据前5 像素亮度的平均值与2 5 5 相除得到光照补偿系数，整幅 图像的其他像素点的亮度值也都按这一补偿系数进行变换，即根据求得的光线 补偿系数把整幅图像进行线性放大，也就是调整像素的r g b 值。 这种区域的调整方法对整个图像进行调整也是比较合理和有效的：一方 面，绝大部分的图像中都包含有纯白色，特别是包含人脸在内的图像中，在眼 球外围处通常就是纯白色，所以将具有塌大亮度的像素的色彩值调整为纯白色 是合理的：另一方面，存在色彩偏差的图像在原来是白色的区域有着明显、直 观的体现。 实验结果( 如图2 3 所示) 表明光线补偿后图像的整体亮度变大了，在一 ( a ) 光线补偿前的图像 ( b ) 光线补偿后的图像 图2 - 3 光线补偿对比图 第3 章人脸分割与定位 3 1 脸部区域分割 3 1 1自然光照条件下 眼睛的准确定位是本课题的关键技术之一，若在整幅图像中直接寻找眼 睛，由于背景复杂多变，符合眼睛条件的图像在背景中有可能出现，因而容易 造成误判，但是在人的脸部范围内寻找眼睛就不会发生上述情况。因此，我们 首先确定脸部的位置，缩小寻找眼睛的范围，这样既可提高检测的准确性和速 度，又可减小背景的影响。 在彩色图像中，肤色信息是人脸的一个重要特征信息。该信息除了受光照 的影响较大外，不受面部表情、角度等细节的影响，具有很高的稳定性。肤色 分布与其它物体颜色分布不同，去除亮度信息后肤色在颜色空间具有很好的聚 类性，能够与大部分的背景颜色相区别。此外肤色检测的运算量较低，执行效 率高，因此用肤色信息来实现人脸分割具有很高的鲁棒性和实用性。 肤色信息用于人脸分割需要三个重要的步骤：一是选取一个适合于肤色表 示的颜色空间；二是建立一个能很好表征肤色分布规律的肤色模型；三是利用 该肤色模型来达到人脸分割的目的。 本文提出了一种基于y c b c r 空间的椭圆聚类肤色模型的人脸检测方法。为 了消除光照的影响，首先将图像由r g b 空间变换到y c b c r 空间，然后通过非线 性分段变换至j j y c b c r 空间，将其投影至l j c b c r 二维子空间，我们就可以得到 实用的椭圆聚类肤色模型，并以此来判断像素点是否为肤色像素。相对于传统 的肤色模型，此方法能适合各种不同的肤色特征，受光照影