（模式识别与智能系统专业论文）基于人脸特征的列车司机疲劳驾驶检测与识别系统研究.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 随着铁路的大发展，新的技术装备不断投入到铁路安全运输中，列车司机工作强 度不断加大，同时由于列车司机的作息时间、工作环境等因素容易导致列车司机工作 状态不佳、打瞌睡、疲劳驾驶，疲劳驾驶已成为铁路运输的重大安全隐患，因此列车 司机的工作状态保证和监督环节越来越受到社会广泛地关注和重视。 本文的研究内容是按照对列车司机疲劳驾驶检测系统车载、实时、非接触的基本 要求，结合列车司机驾驶时的特点和规律，利用模式识别与图像处理知识分析列车司 机疲劳驾驶时的脸部特征，研究适合于列车运行时驾驶室光照情况复杂多变及高频低 幅振动环境下的列车司机疲劳检测和识别算法，并将疲劳驾驶检测与识别算法移植到 以d s p 数字信号处理芯片为核心的硬件平台中。本文的列车司机疲劳驾驶检测与识别 系统开发分为三个步骤： 1 人脸检测算法开发：研究了h a r r - l i k e 弱特征与a d a b o o s t 算法，完成基于 a d a b o o s t 算法的人脸分类器训练，提出在人脸检测中，加入c a n n y 边缘检测与区域命 中统计的思想，取得了不错的实际效果。 2 人眼检测与状态分析算法开发：首先，训练基于a d a b o o s t 算法的人眼检测分 类器。在分析了利用h o u g h 找圆法与灰度投影法进行人眼状态分析优缺点的基础上， 提出利用区域灰度特征比较法进行人眼状态分析，该算法不需要精确的几何模型，利 用基于区域特征的灰度均值，具有很强的鲁棒性，经过反复实验、参数调整，最终获 得了较高的人眼状态分析正确率。 3 疲劳驾驶检测与识别算法的d s p 移植：利用d s p b i o s 实时操作系统，将疲劳 驾驶检测与识别算法移植到d s p 中。在移植过程中，运用多种优化手段，疲劳驾驶检 测与识别算法最终达到1 8 帧秒的检测速度，满足了实时检测的性能要求。 在完成疲劳驾驶检测与识别算法开发后，分别搭建了基于p c 和基于d s p 的疲劳 驾驶检测与识别系统，对算法进行正确率和实时性分析，验证算法的可用性，结果显 示，疲劳驾驶检测与识别算法基本上达到预期目的，但离真正的应用阶段还有很多工 作需要做。 关键词人脸特征；a d a b o o s t ；疲劳驾驶检测与识别；d s p 西南交通大学硕士研究生学位论文第l i 页 a b s t r a c t w i t ht h eg r e a td e v e l o p m e n to ft h er a i l w a ys y s t e ma n dt h ec o n t i n u o u si n p u to fn e w t e c h n o l o g ye q u i p m e n t st ot h er a i l w a yt r a n s p o r t a t i o ns a f e t y , t h ew o r k l o a d so f t h et r a i nd r i v e r s c o n s t a n t l ys t r e n g t h e n b e s i d e s ，t h eu n r e a s o n a b l et i m e t a b l ea n dw o r ke n v i r o n m e n to f t h et r a i n d r i v e r sw i l le a s i l yc a u s et h e mo u to fo r d e r ，d o z eo f f , a n df a t i g u ed r i v i n g b e c a u s eo fa l lt h e s e f a c t o r s ，f a t i g u ed r i v i n gi sb e c o m i n gag r e a t s a f e t yp r o b l e mi nt h er a i l w a yt r a n s p o r t a t i o n t h e r e f o r e ，t h eg u a r a n t e ea n ds u p e r v i s i n gs y s t e mo ft h et r a i nd r i v e r s w o r k i n gs t a t eh a v eb e p a i dw i d e rc o n c e r na n da t t e n t i o nb yt h ep u b l i c i nt h i st h e s i s ，t h ea u t h o ri n t e n d st od e v e l o pak i n do ft h et r a i nd r i v e r s f a t i g u ed e t e c t i o n a n dr e c o g n i t i o ns y s t e mu n d e rt h ef u n d a m e n t a lr e q u i r e m e n t ：o n - b o a r d ，r e a l t i m e ，a n d n o n - c o n t a c t t h ep u r p o s eo ft h i sp a p e ri st oa n a l y z et h ef a c i a lf e a t u r e so ft h ef a t i g u ed r i v i n g t r a i nd r i v e r si n u s i n gt h ep a t t e r nr e c o g n i t i o n a n dt h ei m a g ep r o c e s s i n gk n o w l e d g e ， c o m b i n i n g 、历也t h ed r i v i n gf e a t u r e sa n dr u l e s s t u d yt h ea p p r o p r i a t ef a t i g u ed e t e c t i o na n d r e c o g n i t i o na l g o r i t h mo ft h et r a i nd r i v e ru n d e rt h ec o m p l i c a t e di l l u m i n a t i o na n dt h eh i 曲 f r e q u e n c yb u tl o wa m p l i t u d ec o n d i t i o n ，a n dt oe m b e dt h ef a t i g u ed e t e c t i o na n dr e c o g n i t i o n a l g o r i t h mt ot h eh a r d w a r ep l a t f o r mw h i c h c e n t e r e db yt h ed s p - d i g i t a ls i g n a lp r o c e s s i n gc h i p t h ed e v e l o p m e n to ft h ef a t i g u ed r i v i n gd e t e c t i o na n dr e c o g n i t i o ns y s t e mc a nb ed i v i d e di n t o t h r e es t e p s ： f i r s t l y , f a c ed e t e c t i o na l g o r i t h m ：s t u d i e st h eh a r r - l i k ew e a kf e a t u r ea n da d a b o o s t a l g o r i t h m ，f i n i s h e st h et r a i n i n go ft h ef a c em a c h i n ec l a s s i f i c a t i o nw h i c hi s b a s e do nt h e a d a b o o s ta l g o r i t h m ，a n dp u t sf o r w a r dt h et h o u g h t so fa d d i n gc a n n ye d g ed e t e c t i o na n d p a r t i a lf a c eh i t p e r c e n t a g es t a t i s t i c st ot h ef a c ed e t e c t i o n , w h i c hh a sa c h i e v e dg o o dp r a c t i c a l r e s u l t s s e c o n d l y ，t h ed e v e l o p m e n to ft h ee y ed e t e c t i o na n ds t a t ea n a l y s i sa l g o r i t h m ：f i r s to fa l l ， t h i sa l g o r i t h mi st ot r a i nt h ee y ed e t e c t i o nm a c h i n ec l a s s i f i c m i o nw h i c hi sa l s ob a s e do nt h e a d a b o o s ta l g o r i t h m b e s i d e s ，an e wk i n do ft h ee y es t a t ed e t e c t i o na l g o r i t h mi nu s i n gt h e r e g i o n a lf e a t u r ec o m p a r i s o nm e t h o di sp r o p o s e d ，w h i c hi s b a s e do nt h e a n a l y z i n gt h e a d v a n t a g e sa n dd i s a d v a n t a g e so f t h eh o u g ht r a n s f o r mm e t h o d sf o rc i r c l ef i n d i n ga n dt h e 西南交通大学硕士研究生学位论文第1 li 页 g r a yp r o je c t i o nm e t h o d w i t hg r e a t r o b u s t n e s s ，t h i sa l g o r i t h md o e sn o tn e e dp r e c i s e g e o m e t r i cm o d e l ，a n du s e st h ea v e r a g eg r a yv a l u ew h i c hb a s e do nt h er e g i o n a l f e a t u r e s a f t e rr e p e a t e de x p e r i m e n t sa n dp a r a m e t e ra d j u s t m e n t ，t h i sa l g o r i t h mh a sa c h i e v e dh i g h a n a l y z i n gr a t eo ft h ee y es t a t e t h i r d l y , t h ed s pe m b e d d i n go f t h ef a t i g u ed r i v i n gd e t e c t i o na n dr e c o g n i t i o na l g o r i t h m ： u s e st h ed s p b i o sr e a l - t i m eo p e r a t i n gs y s t e mt oe m b e d d i n gt h ef a t i g u ed r i v i n gd e t e c t i o n a n dr e c o g n i t i o na l g o r i t h mi n t ot h ed s ei nt h ee m b e d d i n gp r o c e s s ，f o rt h eu s i n go fm a n y o p t i m i z a t i o nm e t h o d s ，t h ef a t i g u ed r i v i n gd e t e c t i o na n dr e c o g n i t i o na l g o r i t h mf i n a l l yh a s r e a c h e dt h ed e t e c t i o ns p e e do f18f r a m e sp e rs e c o n d ，w h i c hs a t i s f i e st h ep e r f o r m a n c en e e d s o ft h er e a l t i m ed e t e c t i o n a f t e rt h ea c c o m p l i s h m e n to ft h ed e v e l o p m e n to ft h ef a t i g u ed r i v i n gd e t e c t i o na n d r e c o g n i t i o na l g o r i t h m ，t w ok i n d so ff a t i g u ed r i v i n gd e t e c t i o na n dr e c o g n i t i o ns y s t e ma r e d e v e l o p e d ，w h i c ha r eb a s e d o np ca n dd s et h e nw ea n a l y z et h ea c c u r a c y , r e a l t i m ea b i l i t y , a n dt h ea v a i l a b i l i t yo fa l g o r i t h m t h er e s u l ts h o w st h a tt h ea l g o r i t h mb a s i c a l l yr e a c h e st h e e x p e c t e dg o a l ，h o w e v e r , t h e r ew i l lb em o r ew o r k s t od ob e f o r et h er e a la p p l i c a t i o ns t a g e k e y w o r d s ：f a c i a lf e a t u r e ；a d a b o o s t ；f a t i g u ed r i v i n gd e t e c t i o na n dr e c o g n i t i o n ；d s p 西南交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本 人授权西南交通大学可以将本论文的全部或部分内容编入有关数据库进行检索，可 以采用影印、缩印或扫描等复印手段保存和汇编本学位论文。 本学位论文属于 1 保密口，在年解密后适用本授权书； 2 不保密留，使用本授权书。 ( 请在以上方框内打“4 ”) 学位论文作者签名：乞 指导老师签名： 日筋：j - 。厂p 6 、 日期： 隧钆 矜一 西南交通大学硕士学位论文主要工作( 贡献) 声明 本人在学位论文中所做的主要工作或贡献如下： 1 ) 完成疲劳驾驶检测与识别算法所有代码的编写； 2 1 提出在人脸与人眼检测中，加入c a n n y 边缘检测与区域命中统计的思想，取得 了不错的实际效果； 3 1 提出利用区域灰度特征比较法进行人眼状态分析，经过反复的实验，参数调整， 最终获得了较高的人眼状态分析正确率； 4 ) 完成疲劳驾驶检测算法的d s p 移植代码编写。 本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作所得的成 果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体己经发表或撰 写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中作了明确说明。 本人完全了解违反上述声明所引起的一切法律责任将由本人承担。 学位论文作者张滁尊庶 日期：扣庙； 西南交通大学硕士研究生学位论文第1 页 第1 章绪论 铁路是国家经济大动脉，对国家经济建设起着举足轻重的作用，而列车司机在铁 路安全运输中肩负着重大责任。列车司机的工作状态直接关系到铁路运输的安全，因 此列车司机的工作状态保证和监督环节越来越受到社会的广泛关注和重视。 随着铁路的大发展、大提速，新的技术装备不断投入到铁路安全运输中，列车司 机工作强度不断加大，同时列车司机的职业性质决定了其作息时间、生物钟很容易受 到影响，同时驾驶室的噪音、振动、高温等环境容易导致列车司机工作状态不佳、打 瞌睡、疲劳驾驶。疲劳驾驶是铁路运输的重大安全隐患，一旦发生安全事故，其后果 相当严重，轻则导致铁路运输中断，重则导致列车、线路等运输设施损坏乃至人员伤 亡，造成重大的经济损失和恶劣的社会影响。 根据美国一家调查公司公布的一项调查报告显示，英国2 5 的列车司机承认自己 在驾驶列车时打磕睡；1 2 的列车司机表示一周时间里驾驶列车时睡着的现象会出现 若干次；至少有4 4 的司机称驾驶列车时常要勉强支撑着要合上的眼皮，力求让自己 保持清醒：英国8 5 的值早班的列车司机每天睡眠时间不足7 小时，有些只有4 小时。 报告还显示，英国有三分之一的列车相撞事故起因为列车司机闯红灯，而闯红灯的原 因大多与列车司机疲劳驾驶、打瞌睡有关。 1 1 国内外研究现状 对驾驶疲劳的研究最早开始于2 0 世纪早期。为了减少由于司机疲劳而导致的交通 事故，研究工作者都在研究一种能检测司机疲劳、提高驾驶安全的方法上做出了很多 努力。2 0 世纪9 0 年代，对疲劳程度测量方法的研究有了很大进展，许多国家已经开始 对驾驶疲劳车载电子测量仪器的开发研究工作。己经进行的相关研究主要有： a 、最主要的研究是美国国家公路交通安全管理局( n a t i o n a lh i g h w a yt r a f f i cs a f e t y a d m i n i s t r a t i o nn h t s a ) 发起的两次大规模综合性研究。这两次研究确立了疲劳识别的 主要研究方向，对以后的研究工作有很大影响。 第一次是在 19 9 4年：r e s e a r c ho nv e h i c l e b a s e dd r i v e rs t a t u s p e r f o r m a n c e m o n i t o r i n g 8 1 ，即：司机状态表现监视的研究，研究关于司机疲劳检测警 告对策系统d d d a c s ( d r i v e rd r o w s i n e s sd e t e c t i o n a l a r m c o u n t e r m e a s u r e ss y s t e m ) 设计 方面的信息。在疲劳检测方面，研究了两种方法：1 ) 检查缓慢的眼睛闭合；2 ) 检测车辆 偏离道路的情况。该研究提出、验证了p e r c l o s ( p e r c e n t a g eo fe y e l i dc l o s u r et i m e ) 参数，根据其研究结果，p e r c l o s 反映了缓慢的h 艮芰闭合，这不仅可以解释为乍理 西南交通大学硕士研究生学位论文第2 页 上的疲劳，而且可以强烈反映精神上的疲劳，同时可以进行视觉信息采集上的判断。 第二次研究是在1 9 9 8 年：研究的名称足“评价各种基于视觉的疲劳检测技术”。 研究目标是在一个受控的实验室环境中，评价各种睡意检测手段和技术的有效性及可 靠性，分析各种信号刺激对驾驶员清醒程度的影响。与第次研究相比，这次研究的 目的更明确，就是评价当时各种疲劳检测算法的效果。该研究以p v t 值( p s y c h o m o t o r v i g i l a n c et a s k ，一种测量精神反应速度的标准测试) 作为标准的疲劳值，对四大类方 法九个参数的疲劳检测效果进行了比较。研究表明，p e r c l o s 尤其是p 8 0 检测的效果 最好。 b 、美国卡内基梅隆大学的r i c h a r dg r a c e 领导的c o p i l o t 工程1 6 1 开发了一个商品化 的疲劳检测装置。它通过测量p e r c l o s 以决定驾驶员是否疲劳。当达到预设的疲劳 阈值，便给出疲劳等级和警告。c o 西l o t 对设计原理进行了创新，提出了一个很好的跟 踪人眼的测量方法，充分利用眼睛的基本生理特点视网膜对不同波长的红外光反射量 的不同，分别使用8 5 0 h m 米和9 5 0 h m 的红外线作为光源得到两幅图像，在8 5 0 a m 波 长对应的图像，视网膜能够反射9 0 的入射光，因此图像中驾驶员的瞳孔亮度就较高， 而9 5 0 h m 的波长对应的图像视网膜只反射4 0 的入射光，困此图像中瞳孔就较暗。除 此以外，这两幅图基本没有其它差别。c o p i l o t 将这两副图像相减，再做一个阚值处理， 就能得到瞳孔的位置。找到眼睛的位置后提取眼睛的图像，通过计算图像的高度来 判断眼睛的睁闭，进一步求得p e r c l o s 。 图1 ic c d 红外线摄像机 c 、a w a k e 项目1 7 1 ：该项目采用数据( 摄像头采集数据与感应器数据) 融合方法， 包括：1 1 在红外照明下检测眼皮的状态：2 ) 检测手握方向盘的用力变化以及旋转方向 盘的角度变化等数据。当检测出驾驶员疲劳时，可通过听觉( a c o u s t i c ) 、视觉( v i s u a l ) 和 熏爨。一藏辱，孵堕 西南交通大学硕士研究生学位论文第3 页 触觉( t m p t i c ) 的方法来提示驾驶员，如安装在安全带卡扣上的振动装置就是通过触觉来 提示驾驶员的。图1 2 为该系统在不同的应用环境下不同的装置，左图是普通汽车上 的报警装置、中间是重型卡车上的报警装置、右图是振动报警装置。图1 - 3 为该项目 的重型卡车试验平台。 图1 2a w a k e 项目的报警装置 鬻鼋墅。j 捌麟镱豳懿。、时莨 图1 3a w a k e 项目的重型卡车实验平台 国内对人脸识别技术和驾驶员疲劳检测的研究起步较晚。目前国内在驾驶员疲劳 检测方面的研究主要有以下几个：1 ) 浙江大学的驾驶防磕睡装置，该装置通过实时监 测一段时间内驾驶员眼睛的活动，如眼睛的持续闭合时间、闭合频率，来判断当前驾 驶员的注意力程度，从而识别驾驶员是否处于疲劳状态；2 ) 北京航天航空大学的眼动 测量系统，采用光学系统中的图像传感器来获得眼睛运动的瞬时模拟图像，再进行图 像处理，经滤波、放大以及a d 转换，产生含有瞳孔位置信息的数字信号。它由数字 检测系统负责瞳孔中心坐标的检测以及数据转换，并以异步串行通信方式与计算机进 行通信，将瞳孔中心坐标位置传给计算机咀完成标定等工作。计算机对背景视场摄像 机传来的图像和标定后的瞳孔中心位置进行叠加以及数据后处理；3 ) 西南交通大学等 则开展了驾驶疲劳机理的相关研究。 我国在防止驾驶员疲劳驾驶方面的研究还处于起步阶段。目| j i 为止，还没有成熟 的技术问世，成熟产品基本处于空白。 西南交通大学硕士研究生学位论文第4 页 1 2 疲劳度识别算法介绍 对驾驶疲劳的研究可分为主观和客观两种，主观研究包括睡眠习惯调查表、驾驶 员自我记录等方法，客观的方法一般都需要借助脑电图仪、心电图仪、肌电图仪等仪 器起设备来测试驾驶员的疲劳程度，这些方法虽然比较准确但实时性差。因此，目前 国内外的研究都在追求一个共同的目标：研究实时、非接触式的疲劳检测方法。表 1 中列出了几种检测方法及其性能比较。通过比较可以发现，在这几种方法中基于身体 反应的检测方法性能最好，而在基于身体反应的检测方法中，p e r c l o s 是最权威、最 有效的。 表1 1 疲劳检测方法对比 检测方法检测准确性实时性可扩展性 基于身体反应的检测方法好很好很好 基于操控行为的检测方法好很好很差 基于汽车行为的检测方法好很好很差 基于驾驶员反应的检测方法好很差很好 基于行驶条件的检测方法很好好很差 基于生理信号的检测方法很好很差一般 p e r c l o s 是p e r c e n t a g eo fe y e l i dc l o s u r et i m e 的缩写，即p e r c l o s 是在单位时 间内眼睛闭合时间所占的百分率。 最早研究p e r c l o s 原理的是w a l tw i e r w i l l e ，他从2 0 世纪7 0 年代开始在弗吉尼 亚大学研究眼睛光学变量与疲劳的关系，8 0 年代到9 0 年代的研究表明，与疲劳有关的 主要因素有以下几个：瞳孔直径、注目凝视、眼球快速转动、眉眼扫视、眨眼睛等， 并且发现p e r c l o s 是最具潜力的疲劳测定方法之一，由p e r c l o s 得出的数据可以正 确反映驾驶疲劳，是对疲劳进估计测定的最好方法。 眼睛生理特点是否能表明驾驶员疲劳本质的研究，对从波士顿地区挑选的8 名卡 车司机和1 名公共汽车司机进行实际测试，他们有2 年到2 4 年的远距离驾驶经验。在 特制的驾驶模拟器上，每个人持续大约两天时间的驾驶测试，第一天使司机熟悉试验 设施，给他们大规模的训练，第二天正式开始测试实验，得出的实验结果如图l - 4 所 示。 西南交通大学硕士研究生学位论文第5 页 i l i l 持 续 闭 一k a 盔 “) 图1 - 4 驾驶模拟器上的测试结果 这项实验结果表明：眼睛持续闭合时间在事故前比在事故后要大，而在事故发生 前1 0 秒钟，突然变短，眼睛持续闭合时间与疲劳程度有密切的关系，眼睛持续闭合时 间在事故之前1 分钟比在起其它时间大得多。驾驶员眼睛持续闭合时间越长，疲劳程 度越严重，因此通过测量眼睛闭合持续时间的长短就能够确定驾驶疲劳的程度，而且 通过与其他方法如脑电信号e e g 的对比研究也能得出类似的结论。 1 9 9 9 年4 月美国联邦公路管理局f h w a ( f e d e r f lh i g h w a y a d m i n i s t r a t i o n ) 召集各个 大学有关研究驾驶疲劳方面的专家学者，对p e r c l o s 和其他眼睛活动测量方法的有 效性进行了大量讨论，研究一致认为，应该优先考虑把测量机动车辆驾驶员的 p e r c l o s f l l l 作为车载的、实时的、非接触式的疲劳测评方法。 通常p e r c l o s 方法有三种标准： p 7 0 ：指眼睑遮住瞳孔的面积超过7 0 就认为眼睛闭合，统计在一定时间内眼睛闭 合时所占的时间比例。 p 8 0 ：指眼睑遮住瞳孔的面积超过8 0 就认为眼睛闭合，统计在一定时间内眼睛闭 合时所占的时间比例。 e m ：指眼睑遮住瞳孔的面积超过一半就认为眼睛闭合，统计在一定时间内眼睛闭 合时所占的时间比例。 n h t s a 对这些方法作了实验，实验结果表明p e r c l o s 方法的三种标准中，p 8 0 与疲劳发展程度的相关性较好，其他研究人员也得出了类似的结论【1 2 】。如图1 5 所示： p 8 0 与疲劳发展程度具有很好的线性度。 西南交通大学硕士研究生学位论文第6 页 二乒 7 差 一 爱劳程度 图1 5p 8 0 对应的曲线图 1 3 基于p e r c l o s 测量原理的眼睛状态判断 本系统采用基于p e r c l o s 的p 8 0 模型，将闭合程度大于8 0 的眼睛状态归于闭 合状态。 系统记录眼睛闭合帧数及其开始结束时刻，计算p e r c l o s 值，当p e r c l o s 值大 于4 0 ，或者眼睛持续闭合时间大于3 秒时，就认为驾驶员处于磕睡状态，属于疲劳 驾驶。 脚c o l s - 蒜怒圳。 m ， 若p e r c l o s 值大于4 0 ，则判断驾驶员处于疲劳状态，给出警告信息，采取相 应措施。 1 4 研究内容及目标 根据1 2 节、1 3 节的论述，可以知道，眼睛闭合持续时间与人的疲劳程度有直接 关系，而且这个参数的获取是非强迫的，不与驾驶员有任何身体接触，因此本文将采 用p e r c l o s 值作为判断司机是否疲劳驾驶的标准。本列车司机疲劳驾驶检测与识别 系统的基本原理为：通过摄像头获取司机的实时视频，利用图像处理与模式识别技术 分析人脸特征图像信息，从视频图像中检测人眼，并识别人眼状态( 睁开或闭合) ，然 口厶v们o-10赢a 西南交通大学硕士研究生学位论文第7 页 1 1_ 后统计一定时间内的p e r c l o s 值，若其大于4 0 ，则确定司机疲劳驾驶，最后给出 相应的系统控制信号或采取相应的安全措施。系统总体框架示意图1 - 6 。 本文的目标是开发一套基于人脸特征识别的非接触式列车司机疲劳驾驶实时检测 预警装置。本文的研究内容为：结合列车司机驾驶的特点和规律，利用模式识别与图 像处理知识分析列车司机疲劳驾驶时的脸部特征，研究适合于列车运行时驾驶室光照 情况复杂多变及高频低幅振动环境下的列车司机疲劳检测和识别算法，并在以d s p 数 字信号处理芯片为核心的硬件平台上实现检测与识别算法，以达到系统实时检测的性 能要求。主要完成以下研究内容： 实现由摄像头实时捕捉视频数据； 提出适合列车驾驶室环境的人脸检测算法，使其对振动环境和光照变化有较强 的鲁棒性； 提出人眼检测算法，及判断眼睛睁开闭合的状态识别分析算法； 根据眼睛睁开闭合数据，基于p e r c l o s 的p 8 0 模型，给出列车司机疲劳驾 驶的判定算法； 在以d s p 为核心的硬件平台上，将列车司机疲劳驾驶检测与识别算法移植到 d s p 芯片中，提高算法的检测速度。 本识别系统的开发主要分为两大阶段进行： 检测与识别算法开发：在p c 上进行基于人脸特征的列车司机疲劳检测与识别 算法开发。主要完成基于a d a b o o s t 算法的人脸与人眼分类器训练，以及人眼 状态识别算法开发： 基于d s p 的疲劳检测与识别算法移植：将p c 上的非实时疲劳驾驶检测与识 别算法移植到基于d s p 的高速数据处理嵌入式系统，使算法达到实时检测与 识别的要求。 至霍圣鎏銮耋l 圭至至兰耋堡堡圣量! 至 黧 。，圈。2 理设备 。，址，绮果是；。诲试用 图1 6 疲劳驾驶检测与识别系统框架示意图 下面对上述两个研究阶段的研究内容进行简单介绍。 141 基于人脸特征的疲劳驾驶检测与识别算法开发 本阶段的主要任务是：结合列车司机驾驶的特点和规律，分析列车司机疲劳驾驶 时的脸部特征，研究适合于列车运行时驾驶室光照情况复杂多变及高额低幅振动环境 下的列车司机疲劳驾驶检测与识别算法。 整个检测与识别系统必须准确地检测和定位眼睛，根据查阅的相关技术资料，最 终确定本阶段算法开发分为三个步骤进行：1 1 检测视频中的人脸；2 1 在人脸区域中定位 人眼；3 1 对人眼状态进行识别，确定其状态，睁开或闭合。采用先检测人脸，再检测人 眼的策略，可以减少检测算法的计算量，同时提高人眼检测的准确率。算法开发三个 步骤关系如图1 7 。 图1 7 疲劳驾驶检测与识别算法实现步骤 西南交通大学硕士研究生学位论文第9 页 1 4 2 疲劳驾驶检测与识别算法d s p 移植 根据国内外研究人员发表的论文或技术资料显示：采用a d a b o o s t 算法开发的人脸 检测系统，计算量大，在对视频进行检测时，实时性方面表现不尽理想，而且本系统 在人脸与人眼检测阶段均采用a d a b o o s t 算法，同时考虑到本系统设备便携式的要求， 所以将算法移植到具有高速数据处理性能的d s p 嵌入式系统中，提高系统检测与识别 速度。 疲劳驾驶检测算法的d s p 移植及优化，首先完成基于d s p b i o s 最小视频输入输 出系统程序，然后将疲劳检测算法从p c 移植到d s p 系统，并完成移植过程涉及到的 相关算法优化及线性汇编优化等工作，使系统达到实时检测与识别的要求。 1 5 论文结构安排 本文主要讨论了基于人脸特征的疲劳驾驶检测与识别算法的实现过程，以及完成 疲劳驾驶检测与识别算法的d s p 移植。各章节具体安排入下。 第2 章：介绍基于a d a b o o s t 算法的人脸检测分类器的训练理论，并给出算法的软 件实现过程。 第3 章：介绍基于a d a b o o s t 算法的人眼检测分类器训练过程，在分析了典型的人 眼状态分析算法的基础上，提出一种新的人眼状态分析算法：区域灰度特征比较法。 第4 章：在完成人脸与人眼检测算法、人眼状态分析算法后，为了解决疲劳驾驶 检测算法帧速率低的问题，将疲劳驾驶检测算法移植到高速数字信号处理芯片d s p 中， 满足系统对实时检测的性能要求。 第5 章：通过实验数据，分析基于人脸特征的列车司机疲劳驾驶检测与识别系统 的实用性及整体性能。 西南交通大学硕士研究生学位论文第1 0 页 第2 章基于a d a b o o s t 算法的人脸检测 整个疲劳检测系统首先必须准确地检测到人眼位置，我们采用先确定人脸区域， 然后在人脸区域内进一步检测、定位人眼的方法，这样可以使得人眼的检测与定位更 准确一些。 2 1 人脸检测技术概述 人脸检测采用的方法大致可分为基于统计和基于知识两种类型f 5 1 。基于统计的方法 将人脸图像视为一个多维向量，从而将人脸检测问题转化为多维空间中分布信号的检 测问题；而基于知识的方法则利用人脸特征先验知识定义若干规则，建立相应的数学 模型，从而将人脸检测问题转化为假设和验证问题，比如利用人脸肤色和几何结构等。 表2 1 常见的人脸检测方法及其比较 方法优缺点及应用场合 事例学习算法训练时间较长，精度高，鲁棒性强 基于统计的子空间要求训练样本能足够表达人脸空间，计算准确，计 方法 算量大，适用于单人脸，正面图像 空间匹配模板匹配方法，运算简单，但精度低 器官分布利用人脸的生理几何特征，优点是姿态、表情、光 照等对算法影响不太明显，但计算量大 提取轮廓与姿态和光照等条件无关，但参数多，能量函数的 基于知识建系数难适应一般情况，计算量大 模的人脸检利用颜色 优点为计算速度快，但对光线要求较高，受光线影， 测方法 纹理影响较大，一般应用于粗定位 利用运动采用帧间差分法，只能检测相对运动物体，受光线 变化影响较小。但是由于两幅图像的时间间隔较短， 检测出的物体位置不精确。适用于固定背景 对称性适用于正面人脸，计算量大 西南交通大学硕士研究生学位论文第1 1 页 从表2 1 可以看出，每种人脸检测方法都有一定的优缺点以及应用场合。基于知 识建模的方法，一般对建模的假设条件依赖性强，而基于统计的方法，一般精度较高、 鲁棒性强，但运算量大。对于本系统，列车驾驶室光照环境变化迅速，同时带有一定 程度的震动，很难保证一个稳定的建模假设环境。例如，列车的光照环境不能保证基 于肤色的检测算法要求的光照稳定的建模条件，而列车的震动环境也不能保证基于运 动的检测算法要求的背景稳定的建模条件。基于统计的检测方法，通过模式识别的训 练过程，提取人脸样本中的大量人脸本质特征，在光照不理想的情况下，即使缺失少 部分特征，仍可以正确识别人脸。一般来说，基于统计的人脸检测方法只需要当前帧 图像，对振动环境并不是很敏感，带来的只是少许图像噪声，对算法检测性能影响不 大。由于本系统采用高速d s p 数字信号处理芯片，在很大程度上解决了基于统计的人 脸检测算法计算量大的问题。 从上面的分析，可以看出基于统计的算法对列车复杂多变的光照、振动环境都有 较强的适应性。在基于统计的人脸检测算法中，我们最终选择了基于a d a b o o s t 算法的 人脸检测算法。 2 2a d a b o o s t 人脸检测算法 2 2 1 集成学习算法 机器学习是人工智能应用的一个重要领域。目前常用的机器学习算法包括神经网 络( - n n ：n e u r a ln e t w o r k s ) 、支持向量机( s v m ：s u p p o r tv e c t o rm a c h i n e s ) 、自适应增强算 法( a d a b o o s t ) 等。机器学习范畴中的集成学习方法利用传统的机器学习算法( 例如决策 树和n a i v eb a y e s ) 产生多个基模型，并将它们组合成一个集成模型。因为集成模型通常 要比组成它的那些单个基模型的性能好许多，因而具有更强的表述能力，成为目前最 常用的机器学习算法。集成学( e n s e m b l el e a r n i n g ) 技术利用弱分类器的多个版本来解 决同一个问题，可以显著地提高机器学习系统的泛化能力。 对于集成学习算法，我们需要关注涉及到的两个关键问题：弱分类器和弱分类器 的集成方法。 西南交通大学硕士研究生学位论文第12 页 2 2 1 1 弱分类器 弱分类器的概念来源于1 9 8 4 年v a l i a n t 提出的p a c 学习理论1 9 】。之后，k e a r n s 和 v a l i a n t 提出了强p a c 和弱p a c 学习的概念【l o 】。在p a c 学习模型中，若存在一个多项 式级学习算法来辨别一组概念，并且辨别正确率很高，那么这组概念是强可学习的。 而如果学习算法辨别一组概念的正确率仅比随机猜测略好，那么这组概念是弱可学习 的。k e a m s 和v a l i a n t 还提出了弱学习算法与强学习算法的等价性问题，即是否可以将 弱学习算法提升为强学习算法。通常情况下，弱学习算法总是比强学习算法更容易获 得。如果两者等价，只需找到一个比随机猜测略好的弱学习算法，就可以将其提升为 强学习算法，而不必直接去寻找通常情况下很难获得的强学习算法。k e a r n s 和v a l i a n t 证明只要有足够的数据，弱学习算法就能通过集成的方式生成较高精度的估计，即提 升为强学习算法。 2 2 1 2 集成方法 集成学习中第二个关键问题就是弱分类器的集成问题。大部分机器学习算法只是 通过单个分类器的生成来对新的样本做出预测，而集成学习则是多个弱分类器的结合， 每一个弱分类器都可能是一种传统的机器学习模型。对一个新样本分类，集成分类器 把这个新样本交给其多个弱分类器，再把各个弱分类器对新样本的分类结果通过某种 方式( 比如投票或求均值) 组合来得到集成学习的预测结果。h a n s e n 等研究发现，集成 学习算法生成的分类器要比参与集成的那些单分类器的准确度高许多。我们也可以说 成集成学习的优点是集成分类器的性能比单个弱分类器具有更好的表达能力。 在众多的集成学习算法中，a d a b o o s t 算法因其有以下优点而被广泛使用： 算法速度快； 除了训练轮数参数t 外，不需要调节任何参数； 不需要知道任何关于弱分类器的先验知识； 对弱分类器的性能要求不高，只需要比随机猜测性能稍好即可，这种弱分类器 在实际情况下很容易获得，从而降低了算法的复杂度，提高了效率； 在弱分类器的构成上可以兼容多种方法，这些弱分类器可以是神经网路、 决策树、最近邻域分类器、经验规则等； 训练数据可以是文本、数字、离散值等，并且a d a b o o s t 算法很容易被推广到 西南交通大学硕士研究生学位论文第13 页 曼曼曼曼曼曼鼍曼曼曼曼寰璺曼曼曼! 舅曼! 曼曼曼! 曼曼曼! 曼皇! ! 曼曼皇曼曼皇曼曼皇蔓曼曼! ii 曼曼曼皇曼曼! 曼曼曼! 曼曼! ! ! 曼! ! ! ! 曼皇曼! ! ! 曼曼! 曼曼曼! 多类目标的分类问题中去。 2 2 2a d a b o o s t 算法 s c h a p i r e 于1 9 8 9 年提出b o o s t i n g 算法【3 】后，基于b o o s t i n g 的研究一直处于理论阶 段。p a u lv i o l a 和m i c h a e lj o n e s 于2 0 0 1 年提出的a d a b o o s t 算法1 2 】是第一个实时的人 脸检测算法，从根本上解决了检测的速度问题，同时具有不错的分类正确率。在本系 统中，采用a d a b o o s t 算法，从众多的弱特征中训练出最能代表人脸特征的一部分弱特 征，集成为强分类器，进而形成级联分类器。级联分类器不仅提高了人脸检测正确率， 还极大提高了人脸检测速度。 a d a b o o s t 算法的训练过程是一个样本权重的迭代更新过程。在a d a b o o s t 算法中每 个样本的权重值表示该样本被错分次数的多少，在每一轮权重更新的过程中，被错分 样本的权重会变大，在下一轮循环中算法就会更加关注上一轮被分错的样本。如果一 个样本被错分了很多次，那么这个样本的权重就会越来越大，我们就称这样的样本为 “困难样本”。通过这样的方式a d a b o o s t 算法能够“聚集于”那些困难( 更富有信息) 的样本上。下面按照集成学习算法的两个关键问题介绍a d a b o o s t 算法，首先是a d a b o o s t 算法应用于人脸检测的弱分类器h a a r - l i k e 特征，然后介绍a d a b o o s t 的集成方法，即由 h a a r - l i k e 特征组成的弱分类器生成