（模式识别与智能系统专业论文）基于多视觉信息融合的驾驶员疲劳检测方法研究与实现.pdf

独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：查丝丝日期：丝! ：生丝 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：查丝丝 导师签名： 摘要 摘要 驾驶员疲劳驾驶是造成交通死亡事故的重要原因之一，驾驶疲劳检测已成为 智能运输系统( i t s ) 研究的热点之一。本文首先对基于计算机视觉的驾驶员疲 劳检测的研究现状进行了总结和分析，并提出一种基于多视觉信息融合的疲劳检 测方法。该方法采用双摄像机联合定位跟踪面部，有效地提高了面部信息采集的 精度，然后通过一系列的脸部特征提取和跟踪的算法实时获取眼睛、嘴部、头部 运动等多种与疲劳程度相关的重要视觉特征信息；最后提出一种改进的贝叶斯算 法融合多视觉信息来估计驾驶员的疲劳程度。 本文研究的核心内容包括：基于双摄像机的人脸定位跟踪算法研究与实现： 眼睛和嘴部特征实时检测与跟踪算法研究与实现；多种视觉疲劳特征信息提取、 贝叶斯多信息融合等算法的实现与改进。 首先提出了一种基于双摄像机的人脸定位跟踪算法。本文通过两个摄像机实 时地采集驾驶员视频图像，其中固定摄像机a 用于拍摄驾驶员上半身，可控摄像 机b 用于跟踪拍摄驾驶员而部，并提出了一种基于肤色区域分割与人脸验证相 结合的人脸初步定位方法和基于c 舢s h i f t 跟踪与人脸验证相结合的跟踪方法 从摄像机a 采集的图像中快速定位和跟踪脸部位置。系统根据摄像机a 中定位 的脸部位置信息，通过串口发送云台控制指令控制高速可控摄像机b 实时转动， 跟踪拍摄驾驶员头部。实验结果显示基于双摄像机的人脸定位跟踪算法相比单摄 像机算法可咀有效地提高脸部图像的采集精度，获得大分辨率的脸部图像，以便 更精确地提取脸部疲劳特征信息。同时系统还可以在对摄像机a 所得视频的处 理过程中获取驾驶员的头部运动信息。 除了获取头部运动信息，还改进和提出了一系列眼睛及嘴部特征实时检测与 跟踪的算法，提取从摄像机b 所得视频中实时地采集驾驶员的眼睛和嘴部状态 信息作为疲劳程度估计的主要特征。本文提出了一种改进的粒子滤波人眼定位及 跟踪方法，首先采用了基于 i a 卅l i k e 特征级联分类器的检测方法，在人脸区域 内按照不同尺度搜索存在的眼睛，然后通过检测到的眼睛位置初始化粒子滤波算 法。为了提高算法的准确性，减小环境噪声和干扰的影响，本文提出了一种一阶 滤波算法来对跟踪结果进行再次滤波修正，并根据人脸的位置信息和眼睛定位的 历史信息来判断眼睛是否跟踪丢失。若跟踪丢失则采用h a a r - l i k e 特征级联分类 器重新检测眼睛位置。 嘴部定位采用三停五眼的方法。此方法简单，效率较高。其原理是根据眼睛 的位置及大小确定嘴部的相对位置。 本文选取了多种视觉特征作为疲劳估计特征，包括眼睛闭合程度、眨眼频率、 北京工业大学工学硕士学位论文 打哈欠频率和点头频率。本文分析了相关的视觉疲劳特征计算方法，并提出一种 判断眼睛及嘴部开合状态的新方法。其原理是根据眼睛或嘴部的外接矩形宽高比 及面积判断眼睛及嘴部状态。与以往的算法相比该方法可以更精确地表示眼睛及 嘴部的状态。该方法是获得眼睛闭合程度、眨眼频率、打哈欠频率的基础算法。 点头频率特征是通过跟踪头部运动获得的。 最后，采用贝叶斯算法对以上疲劳特征进行融合，计算驾驶员疲劳程度。由 于动态贝叶斯网络r f l 转移概率较难获取，本文提出一种概率更新的方法实现了 对疲劳特征的动态贝叶斯融合，并在室内环境对算法进行仿真测试，取得了良好 的实验结果。 关键词疲劳驾驶检测；人脸定位；人眼定位；嘴巴定位；贝叶斯融合 摘要 a b s t r a c t f a t i g u c 捌v i n gi so n e o ft l l em 萄o rc a u s e so ft r a 茄ca c c i d e n t ，觚dd r i v e rf a t i g u e d e t e c t i o nh 弱b e c o m eh o ts p o t so fi n t e l l i g e n t r m n s p o 她t i o ns y s t c m s ( i t s ) t i l i s p 印e rf i r s ts u m m 撕z e s 粕d 柚a l y z c s t i l ec u r r e n tr c a r c ho f “v e r f a t i g u ed e t e c t i o n t l l a tb 嬲e d0 nc o n l p u t c rv i s i o na n dp r 叩o s e san e wm e t l l o du s i n gm u l t i - v i s u a l i l l f 0 m l a t i o nm s i o n t h i sm e t i l o df i r s tp r o p o dat 、) l ，0 - c 锄e mc o - l o c a t i o n 锄d 觚峙k i n g f a c i a l 印p r o a c ht h a te 丑& t i v e l yi m p r o v e l ea c c u r a c yo f 惦i a li n f o 瑚a t i o nc o l l e c t i o n t h e no b t a i nr e a l - t i m ee y e s ，m o u t h ，h e a dm o v e m e n t 蛐df a t i g u e - r e l a t e dv i s u a lf e a t u r c 缸f o n n a t i o nm r o u g has e r i e so ff a c i a lf c a t u r ee x t r a c t i o na n d 仃a c l ( i n ga i g o r i t h m f i n a l l y ，、p r o p o s ea l li m p r 0 v e db a y e s i a na l g o r i t l l mt 0e s t i m a t e “v e ，sf 乱i g u eo v e r i i l t e g r a t i o no fv i s u a li i l f o m a t i o n t h ec o r cs t i j d yo ft h i sp a p 啊i n c l u d e ：r c a r c ho fd i 吼l c a m e r a - b 淞e dh u m 锄f a c e l o c a t i o n 孤dt r a c k i n ga l g o r i t a n di m p l e m e n t a t i o n ，e y e sa n dm o u mf c a t u r e s r e a l - t i m ed e t c c t i o na n dt r ：a c l ( i n ga l g o r i n l ma n d 呻l e m e n t a t i o n ，av 撕e 够o fv i s u a l f a t i g u ec h a r a c t e r i s t i ci r i f o m l a t i o ne x 地虬t i o n ，i m p l e m e n t a t i o na n di r i l p r o v e m e n to f m u l t i - i n f 0 姗a t i o n 觚i o na j g o r i t l l mf o rb a y e s i 舳 t h i sp a _ p c rf i r s tp r e s e n t sat w o c 锄e r a - b a s e df i a c el o c a t i o na n dt r a c k i n ga l g o r i m m w eu s e 钿，0c a m 锨st 0g e tr e a l t i i l l ev i d e oo f 廿l ed r i v e r ，i 1 1 c l u d i n gaf i x e dc a m e r a w h i c hi su s e dt 0s h o o t “v e r su p p e 卜b o d y 锄dac o n t r o i l a b l ec 锄e r aw h i c hi su s e dt 0 s h o o td r i v e r sf a c e t h e nw ep r o p o s eaf a c ep o s i t i o n i i l gm e t i l o dt h a tc o m b i i l e ss k i i l c o l o rs e g m e n t a t i o n 锄df a c ev a l i d a t i o n 觚da 觚c b n gm e t i l o dm a tb a s e so nc a m s h i r 觚df a c ev a l i d a t i o nt oq u i c 心yl o c a t e 锄d 仃a c kn l ef a c el o c a t i o n 硒mc 锄e ma t h e n 廿l es y s t e ms e n d sp t zc o n 仃d lc o m m a n d st h r o u 曲s e r i a lp o r ta c c o r d 吨t ot i l e f a c ep o s i t i o ni i lc a m e mat 0m a k et i l eh i g h s p e e dc o n 扛o l l a b l ec 锄e mbr o t a t ei nr e a l t i m ea i l df o l l o wt 1 1 ed r i v e r sh e a d t h er e s u l t ss h o w e dt h a tt l l i sm e t i l o dc 锄e 自f e c t i v e l y i m p r 0 v e t l l ea c c u r a c yo ff 砬i a l 曲a g ec o l l e c t i o n ，a c c e s st 0al 鹕es o l u t i o no ff 砬i a l i i i l a g e 觚da l s oc o u l dm o r ep r e c i l y 黜：t r a c tf a c i a lf a t i g u ei i l f b 衄a t i o n m p a r et 0t 1 1 e u s u a lm e t h o d a tt h es 锄et i m e ，w ec o u l do b t a i nt 1 1 e “v e r sh e a dm o v e m e n t 洫f o r m a t i o nd u r i n g 廿l ep r o c e s s i n go fc 锄e 豫av i d e oi r i l a g e s i i lt l l ep a p e r i l o to n l yg e th e a dm o v e m e n ti n f o r n l a t i o n ，w ea l s op r o p o s e 觚d i m p r o v es o m er e a l t i r l l ed e t c c t i o n 锄dn a c k i n ga i g o r i t h m so fe y e sa n dm o u t h s f ea _ t u r e s 、7 l ，：h i c hc o l l e c te y e s 锄dm o u t h ss t a t u s 弱t i l em a i nf e a t i l r e so fm ee s t i m a t e d f a t i g u e 舶mt h er c a l t i m ev i d e oo fc 姗e r ab 1 1 1 i sp 印e rp r e s e n t sae y e sl o c a t i n ga n d 北京工业大学工学硕士学位论文 鼍! 詈皇! ! ! ! ! 詈詈詈! ! ! ! 暑竺! ! 暑詈! ! 皇! 詈暑皇! 詈暑詈! ! ! 苎! ! ! ! 曼詈! 詈詈曼詈! 曼! ! 詈皇詈暑詈詈! ! ! 詈烹! 詈詈詈! 詈皇量詈鼍苎詈 仃a c k i n gm e t h o db a s e d o np a r t i c l ef i l t e r f i r s t l y ，w ed e t e c te y e sb 懿e do nh a a r - l i k e 凫a t u r e si nf a c er e g i o n ，t i l e ni n i t i a l i z ep a r t i c l ef i l t e rm r o u g ht h ed e t e c t e de y e s i no r d e r t 0i i t l p r 0 v et h ea l g o r i t h m sa c c u r a c y 锄dr e d u c et l l ei m p a c to fe n v i r o n m e n t a ln o i s e 锄d i n t e r f e r e n c e ，t h i sp a p 唧p r e s e n t saf i r s t - o r d e rf l l t e r i n ga l g o r i t h mt 0a m e n dt i l e 仃a c k r e s u l t 锄dd e t e 咖i n ew h e t h e rt h ee y e t i a c k i n gi sl o s ta c c o r d i n gt 0t h eh i s t o 巧f a c e p o s i t i o n 锄de y e sp o s i t i o n i fi ti sl o s t ，w ew i l ld e t e c te y e s 谢t hh a a r - l i k cf i c a n j r e s 锄d r e i n i t i a l i z ep 叭i c i ef l l t c r m 0 u t hl o c a t i i l gi s c o r d i n gt of a c ed i 矧b u t i o n 1 i l i sm 础o di sf 斑船de a s yt 0 陀a l i z e t h ep r i n c i p l ei st 0l o c a t em o u t l lr e g i o na c c o r d i n gt 0e y e ss i z e 锄dp o s i t i o n t h i sp a p e rs e i e c t sav a r i e t yo fv i s u a lf c a t u r e s 懿m ef i a t i g u ec h 锄c t e r i s t i c s ， i n c l u d i n gp e r c l o s ，b l i n k i n g 盘e q u e n c y ；y a w n i n gf 诧q u e n c ya n dn o d d i n gl 沁q u e n c y ：w b a l s o 粕a l y z cs o m er e l a t e dv i s u a lf a t i g u ec a l c u i a t i o nm e t h o d 锄dp r o p o s ean e w m e m o d j u d g i n gt h eo p e n i n ga n dc l o s i n gs t a t eo fe y e sa n dm o u t l l t h ep r i n c i p l ei s b 懿e do nt h ee x t e m a lr c c t a n g l er a t i o 柚da r c ao fe y e s 觚dm o u m c o 叫p a r e dw i n l 廿l e o t h e r l e m o d s ，t h i sm e t h o dc o u l dm o r ea c c u r a t e l yr e p r e s e n tm es t a t e0 fm ec y e sa 1 1 d m o u t l l t h i sm e m o di st i l ef o u n d a t i o nm e t h o do fo b t a i n i n gp e r c l o s ，b l i 出n g f k q u e n c ya n dy a w n i n gf r e q u e n c y n o d d i n gf 砘q u e n c yi so b t a i n e db y 锄c k i n gh e a d m o v e m e n t s f i n a l l y ，w eu s cb a y e s i a nm e t l l o dt oi n t e g r a t et i l ef a t i g u ef e a t u r c sm a tm e t i o n e d a b o v e a st h et 聊l s i t i o np r o b a b i l i t ) ，o fd y n 锄i cb a y e s i 锄n e 觚o r k si sd i 伍c u l tt 0 o b t a i n ，w ep r o p o s eap r o b a b i l i 妙u p d a t i n gm e l o dt om t e g r a t em ef a t i g u ef e a t u r e s b 硒e d0 nb a y e s i a l l a n dw ea c h i e v e d9 0 0 dr e s u l t si nt i l ei i l d o o re n v i r o n m e n t s i m u l a t i o n k e ”v o r d s ：嘶v e rf a t i g u e ；f a c ei o c a t i o n ；e y e 粕dm o u t hi o c a t i o n ；b a y e s i a nm s i o n 口录 目录 ， 摘要i a b s t r a c t ：i 第1 章绪论- 卜 1 1弓i 言一l - 1 2 疲劳驾驶研究现状一l - 1 2 1 基于计算机视觉的方法一2 - 1 2 2 多种信息融合的方法- 4 - 1 2 3小结。一5 一 1 3 主要研究内容和结构安排一5 一 1 3 1主要研究内容一5 1 3 2 论文结构安排- 6 - 第2 章总体构架一9 - 2 1 引言一9 - 2 2 硬件结构：- 9 - 2 3 软件流程一l o 一 2 4 本章小结一1 2 一 第3 章人脸定位一l3 - 3 1 引言一l3 - 3 2 人脸检测- l3 3 2 1 肤色区域分割与人脸验证的方法一1 3 3 2 2基于启发式模型的方法一1 4 3 2 3 基于统计模型的方法一1 5 - 3 3 人脸检测的实现一l 6 3 3 1肤色提取- 16 3 3 - 2基于先验知识的人脸区域绑定一l9 - 3 4c a ms h i r 原理一2 l - 3 4 1颜色空问选择- 2 3 3 4 2 反向投影一2 4 - 3 4 3 m e 柚s h i f i j 章法一2 6 3 4 4c 姗s h i r 运算一2 6 3 5基于c a ms h m 的人脸跟踪一2 7 3 6 双摄像机协作一2 7 3 6 1p 协议一2 8 3 6 2 双摄像机协作的实现一2 9 3 7 本章小结一31 第4 章眼睛、嘴部定位一3 3 - 4 1 引言一3 3 4 2眼睛检测的方法一3 3 4 2 1 h a a r - l i k e 特征一3 4 4 2 2 积分图像一3 5 一 v 北京工业大学工学硕士学位论文 4 2 - 3 h a a r l i k e 特征分类器3 7 4 3 眼睛跟踪二3 9 4 3 1 一阶预测算法4 0 4 3 2 卡尔曼滤波4 1 4 3 3 粒子滤波：4 4 4 3 4 基于均值偏移理论的粒子滤波4 7 4 4 眼睛及嘴部定位5 0 4 4 1 “参考白”算法5 0 4 4 2 眼睛定位5 2 4 4 3 嘴部定位5 4 4 5 本章小结5 5 第5 章 疲劳信息提取5 7 5 1 引言5 7 5 2 眼部疲劳信息提取5 7 5 2 1 p e r c l o s 信息提取5 7 5 2 2 b l i n l ( f r e q 信息提取5 9 5 3 嘴部及头部疲劳信息提取6 0 5 3 1 y h 心r e q 信息提取：6 0 5 3 2 n o d f r e q 信息提取6 卜 5 4外接矩形宽高比的归一化6 l - 5 5 本章小结6 2 第6 章疲劳程度计算及实验结果分析6 3 6 1 引言：6 3 6 2 基于贝叶斯的疲劳信息融合6 4 6 2 1 动态贝叶斯网络的数据融合理论6 5 6 2 2 贝叶斯网络的拓补结构6 8 6 2 3 贝叶斯网络的参数获取6 9 6 3 疲劳检测实验结果及分析7 1 6 4 本章小结7 3 结论。7 5 参考文献7 7 攻读硕士学位期间所发表的学术论文8 l - 至殳谢8 3 第1 章绪论 第1 章绪论 1 1 引言 疲劳是一种长时问的不充分休息而带来的身体和精神上的损伤。所谓疲劳驾 驶，是指驾驶员在长寸间连续行车后，产生的心理和生理机能失调，出现视线模 糊、反应迟钝、动作呆板，使驾驶机能下降的现象【l j 。疲劳驾驶将使驾驶员的感 觉、知觉、思维、判断等受到影响，也影响着驾驶员的信息处理，短期记忆，行 为能力，、警觉性等，在驾驶过程中极易酿成交通事故。 根据公安部通报的数据显示，2 0 0 7 年全国共发生道路交通事故3 2 7 2 0 9 起， 造成8 1 6 4 9 死亡、3 8 0 4 4 2 人受伤，直接财产损失1 2 亿元【2 j 。另外根据我国历年 交通事故的大量案例分析中得出结论，因驾驶员疲劳驾驶所造成的道路交通事故 约占总数的1 0 至1 5 。近年来，疲劳驾驶已经逐渐成为我国高速公路上的第 一杀手。美国有关资料显示，在美国最繁忙的两条公路上有5 0 的重大事故与疲 劳驾驶有关。2 0 0 4 年美国国家交通安全委员会n t s b ( ，1 1 l en a t i o n a lt r a n 驴僦i o n s a f e 母b o a r d ) 检查了1 0 7 起由于驾驶员造成的卡车交通事故，其中5 8 与疲劳驾 驶有关【3 】。英国交通研究室( t r 锄s p o r tr e s e a r c hl a b o r a t o 巧) 川认为疲劳驾驶导致的 路面交通事故占全部交通事故率的1 0 。据有关部门统计，每年世界的道路交通 事故多达1 0 亿次之多，其中造成汽车碰撞事故的原凶有2 5 - 3 0 产生于疲劳驾驶。 上述统计分析表明，驾驶员疲劳驾驶是造成交通死亡事故的重要原凶之一， 已经引起人们足够的重视。在过去的几十年中，国内外专家和学者都在积极开展 有关驾驶疲劳的研究工作，驾驶疲劳研究已成为当前智能运输系统( i t s ) 研究 的重要领域与热点。 1 2 疲劳驾驶研究现状 驾驶员疲劳时的表现主要分为以下9 类：1 ) 哈欠连天，脸发木；2 ) 头越来越 沉，不自觉的频频点头( 打瞌睡) ，很难保持抬头的姿态；3 ) 肌肉放松，眼睑下垂， 甚至闭眼；4 ) 视线模糊，眼睛发红、发干：5 ) 视野变窄，总是漏看错看信息；6 ) 反应迟钝，判断迟缓：7 ) 注意力无法集巾，思维能力下降；8 ) 动作僵硬，节奏缓 慢；9 ) 失去方向感，驾车左右摇摆，随意变换车道，行驶速率不定1 5 j 。 根据上述表现，研究人员将驾驶疲劳检测方法划分为：基于生理学、基于行 为、基于计算机视觉和多种信息融合等几大类，用脑电、心电、眼睑眨动、眼球 北京工业大学工学硕士学位论文 运动、头部的位移、方向盘控制的异常、车辆行驶方向的异常等加以鉴别【5 】。基 于生理学的方法是一种精确、有效、客观的疲劳检测方法，并在实验研究中取得 了重要的成果。但是南于大部分检测用传感器、电线或电极接触身体，会使行车 过程中的驾驶员感觉不适或影响驾驶员操作。因此，此类方法很难投入到实际应 用中m j 。基于行为的方法是最近几年开始逐渐流行的一种客观的疲劳检测方法， 采用这类方法的主要依据是基于这样的假设：当驾驶员处于疲劳状态的时候，驾 驶员的行为或者车辆的行为会偏离正常行为p 1 3 j 。本文主要研究了基于计算机视 觉及多信息融合的方法，具体介绍见1 2 1 和1 2 2 。 1 2 1 基于计算机视觉的方法 处于疲劳状态的人会产生一些视觉上的行为表现，这些行为很容易从人脸特 征( 如：眼睑活动、凝视位置、脸部表情等) 的变化中观察得到，同时车辆运行 状况和车内装置的状态变化也可以通过计算机视觉的方法来监控。通过对这些监 控结果分析得出驾驶员疲劳程度的方法就是基于计算机视觉的疲劳检测方法。随 着计算机技术和计算机图像处理技术的迅速发展，以及高精度数字视频采集处理 技术的不断进步，使得基于计算机视觉的疲劳检测方法越来越受到研究者的重 视。 基于视觉的疲劳检测测量的参数分为六大类：基于眼皮运动的【8 ，l 抛0 1 、基于 瞳孔变化的、基于视线的【2 1 2 2 】、基于头部运动的【2 3 1 、基于嘴部状态的【2 4 ，2 5 】、基于 面部表情的【2 1 j 。 ( 1 ) 基于眼皮运动。眼睛的运动和变化信息是反应驾驶员疲劳状态的重要特 征，现有的疲劳状态监测系统主要集中于监测眼睛的变化和运动。人在疲劳瞌睡 时，眼睛的眨动一般较频繁，眼睛闭合时间也较长。一般情况下人眼闭合时间在 0 1 2 s o 1 3 s 之间，人在驾驶时若眼睛闭合时间达到o 1 5 s 就很容易发生交通事 故【8 】。文献 1 5 】表明眼睛的眨动可以作为脑电图的替代来j l 【测疲劳的发生，如果 眼睛闭合的时间超过阈值就认为发生疲劳。眼皮运动主要包含的参数有： p e r c l o s ( p e r c e n te y e l i dc l o s u r c ，眼睛闭合时间占特定时间的百分比) ，e c t ( e y e c i o t i m e ，眼睛闭合最长时间) ，e b f ( e y eb l i i l l ( f r e q u e n c e ，眨眼频率) ， a c e s ( a v e r a g ee y ec l o s u r cs p e e d ，眼睛平均闭合速度) 。 目前很多研究疲劳监测的机构都采用p e r c l o s l 2 6 j 作为生理疲劳程度的测量指 标。p e r c l o s 是c a m e g i em e l l o n 研究所的d r i v i n gr e s e a r c hc e n t e r 研究开发的。 p e r c l o s 测量的参数是在单位时间内( 1 分钟) 眼睛闭合程度超过一定阀值( 如 7 0 ，8 0 ) 的时间占总时间的百分比。p e r c l o s 和类似的监测指标比较客观地反 映了瞌睡时人的眼睛的活动情况，人瞌睡的程度比较深时，都能测量到。但对于 第l 苹绪论 那些睁着眼睛睡觉或者戴眼镜的人误报率很高。 ( 2 ) 基于瞳孔变化。人在疲劳的时候瞳孔的直径相对清醒的时候会变小。 h e i 仰a 衄通过实验分别测量了人在清醒和瞌唾时瞳孔直径大小，得出入在清醒 时瞳孔直径保持相对稳定，而在瞌唾时瞳孔缩小的结论，并以此作为判断人出现 疲劳的评价标准。但目前还不能方便、实时地测量驾驶员瞳孔直径。 ( 3 ) 基于视线的。视线分布也是人警觉水平的潜在指示，g a z e d i s ( c k e d i s 仃i b u t i o n ) 和p e r s a c ( p e r c e n _ t a g eo f s a c c a d e ) 是反映驾驶员疲劳的两个主要的 视线参数。g e z e d i s 表示单位时间内口光的落点区域的数口，代表了眼睛视线 的分布范围，是从空间角度统计视线的分布状态：而p e r s a c 代表了视线跳动 的频率，视线跳动可以定义为视线落点发生较大的位置改变，是从时间角度统计 视线的运动状态。驾驶员在驾驶时，常常会有意或无意的查看前方道路的地形、 路况等，此时视线就会发生较大的跳跃。而在疲劳状态下，视线的跳跃次数就明 显减少，因此，视线评估可以反映驾驶员的疲劳程度。 ( 4 ) 基于头部运动。主要是通过检测人在驾驶过程中头部的位移情况来判断是 否在打瞌睡，即n o d f r e q ( n o df r e q u e n c e ，点头频率) 。人们对头部运动的控制能力 与疲劳的程度有关。头部的位置随着疲劳程度的增加而变化，人在疲劳的时候头 部会偏离清醒状态时的位置，出现震动、低头或摇动，甚至出现打盹的情况，这 些可以作为j l c 测疲劳的特征。 ( 5 ) 基于嘴部状态。人在疲劳的时候嘴巴可能张开，甚至出现打哈欠。因此 y a _ 、i 】f r e q ( y a w nf r e q u e n c e ，打哈欠频率) 可以表示人的精神状态。w a n g 【2 4 j 通过肤 色分割和f i s h e r 分类、区域分析定位嘴部区域，用k a l m 锄滤波跟踪嘴部，提取 嘴部的几何特征( 最大高度、最大宽度、上下唇问的高度) 组成特征向量，用 b p 神经网络确定嘴部的状态( 打哈欠、正常、注意力分散) 来监测疲劳。w a n g l 2 副 基于先验知识定位嘴部，用嘴部的高度和宽度的比率作为嘴部张开程度的度量， 嘴部张开的程度连续2 0 帧超过0 5 ，认为打哈欠，出现疲劳状态。基于嘴部状态 的疲劳检测存在的问题是如何区分谈话与打哈欠两种嘴部状态。 ( 6 ) 基于面部表情。面部表情是人类表达情感最重要的方法和途径。人在不同 的疲劳状况下，面部会呈现特有的表情，如肌肉僵硬，面无表情，但在疲劳状态 的检测中这方而的研究还很少。把而部表情作为疲劳状态的一个特征，有助于对 疲劳的分析理解。如：j i 【2 l 】在疲劳检测中融合了而部表情的信息。基于而部表情 的疲劳检测存在的问题是对疲劳时表情的准确描述和识别。 基于机器视觉的方法也可以与其他方法结合使用。如：由澳大利亚a u s t r a l i 锄 n a t i o n a lu n i v e r s i 锣si n t e l l i g e n tv e l c r op r o j e c t 研究开发的驾驶辅助系统d a s r i v e r a s s i s t a n c es y s t e m s ) 【2 刀，把计算机视觉技术与基于行为的方法相结合。该 研究主要通过两套计算机视觉系统c e d 水和f a c e l a b 分别j l c 视车外( 道路、其 北京工业大学工学硕士学位论文 他车辆等) 和车内( 驾驶员眼睛活动) 的相关信息。道路临视主要是针对车辆错 误地跨越道路中线或外边界线的情况给出警告。人眼的监视主要是获得人眼注视 方向，通过对实验结果的统计分析得出了驾驶过程中车辆行为与人眼注视方向之 间的显著关系。 基于视觉的检测方法最主要的优点是：可以通过非干扰的方式获得。其缺点 是由于光照的变化、检测角度变化常常造成目标定位和跟踪的失败，并且受环境 冈素影响较大。 1 2 2 多种信息融合的方法 人类疲劳的产生是一个非常复杂的过程，疲劳的建模和检测面临很多难题。 第一，疲劳程度不能够通过直接观察得到；第二，各种传感器观测到的结果一般 是：模糊的、不完整的、局部的、不确定的、不断随着时问演变化的。而且，人 类的视觉特征会因为年龄、体重、健康状况、脸型等因素不同而存在很大的差异。 第三，疲劳的产生有很多方面的冈素，包括：睡眠的数量和质量、生理节奏、工 作环境、健康状况等。它们共同作用于疲劳，并且这些因素彼此之间相互作用。 因此，很难通过单一的信息或者简单传感器得到的信息来准确估计人的疲劳状 态。近期的几项研究提出了一种新的方法，即通过综合视觉特征和视觉特征以外 的多种特征参数来检测人的疲劳程度。融合多种背景信息和多个传感器信息进行 疲劳程度估计，将会有效地降低单一信息模型估计造成的误判。 j i 等在文献【2 8 】中，通过建立基于贝叶斯网络( b 的疲劳概率网络模型，整 合多种视觉信息以及相关的背景信息( 如：睡眠的数量和质量、生理节奏、工作 环境、健康状况等) ，预测疲劳的产生。疲劳具有累积特性，疲劳程度会随着时 间增长而不断加重，因此上述模型又被称为静态贝叶斯网络( s b 。j i 等在s b n 的基础上又提出了动态贝叶斯网络( d b 的疲劳模型，该模型同时整合了产生疲 劳的空间和时间因素。类似的研究还有：y 锄g 等在文献【2 9 】中指出与疲劳程度相 关的主要因素包括背景信息( 包括：工作量、生活负担、身体状况、睡眠质量、 路况信息等) 和一些生理指标。生理指标分为视觉的( 即可以通过视觉观察获得， 如：身体姿势、眼部活动、头部活动、脸部表情等) 和非视觉的( 如：心率变化 和大脑活动状态等) 生理指标。然后通过d s 证据( d e m p s t c r - s h a f e re v i d e n c e ) 信息融合理论方法来对上述信息进行整合，建立一个疲劳识别的模型。类似的研 究还有采用模糊神经网络、加权平均法对以上疲劳特征进行融合。 这类方法通过融合与疲劳程度相关的多种冈素来共同建立疲劳识别的模型， 可以很大程度地提高识别的可靠性，减少由于部分因素变化而引起的检测失误。 一 第l 章绪论 1 2 3 小结 ， 通过概括近年来驾驶员疲劳检测问题的国内外研究现状，对当前存在的各类 研究方法进行对比分析，得到如表1 1 所示的分析结果。 表1 1 疲劳检测方法的对比分析 1 a b l el - 1a n a l y s i so f 嘶v 盯雠i g 嘴棚i 嘶m e t t i o d s 方法特点可靠性和精度分析实用性分析 1 ) 基于 通过仪器直接测量可以很好地反应出疲劳状对驾驶员的正常活动造 生理学人的各项生理指标况，m 于测量的手段已经成 成很大干扰，使用不便。 的方法来估计疲劳程度。熟，可靠性很高。 2 ) 基于 通过监测驾驶员和间接得到驾驶员的生理状 检测手段多样，检测特 行为的车辆的行为异常来态，精度比1 ) 稍低，目前还征灵活多交，对驾驶员 方法估计疲劳程度。没有公认为较好的特征能的活动有少量的影响。 可靠地估计疲劳程度。 3 ) 基于 通过视觉传感器获 采用间接的手段来获得人获得信息的方法简单， 计算机取的人或车辆的状的生理状况。检测精度相对对人和车造成的影响最 视觉的态信息来估计疲劳低于直接手段的精度。小，易于安装使用。 方法 程度。 4 ) 多种 通过建立复杂的信融合的信息较多，并且有分信息融合的模型建立和 信息融息融合模型综合背析预测的能力，检测精度和各种信息的获取比较困 合的方景信息和多种传感 可靠性优于2 ) 、3 ) 难，对人的干扰相对较 法器检测信息来估计低。 和预测疲劳程度。 从总体上看，目前存在的研究方法，绝大多数都局限于上述的前三类方法中 某个单一生理或行为表现指标的检测，受环境影响和检测手段及设备精度的限 制，检测精度不高。而且有些干扰式的、非实时的检测方法不能投入实际的应用。 大量的研究表明，基于计算机视觉的多疲劳特征是目前可靠性最好的、可以 用非干扰方式实时获取的疲劳特征。随着计算机工业的快速发展，计算机视觉检 测技术的检测速度和精度大幅度地提高。 1 3 主要研究内容和结构安排 1 3 1 主要研究内容 ， 综合考虑以上的调研和分析情况以及现有实验条件，本研究采用基于计算机 北京工业大学工学硕士学位论文 视觉的多信息融合疲劳检测方法。研究的硬件设备主要包括c c d 摄像机、可控 摄像机、视频采集卡、4 8 5 转2 3 2 模块和p c 机。研究核心内容归结如下： ( 1 ) 双摄像机视频图像的采集及双摄像机间的协作。 ( 2 ) 利用计算机视觉、模式识别以及生理学的基本原理，对如何进行人眼的 实时定位、嘴部定位、疲劳特征的提取及融合等方法进行研究。重点研究如何提 高检测算法的实时性及检测的精度。 本文通过固定摄像机a 获取驾驶员上半身的视频图像，可控摄像机b 获取 驾驶员头部的视频图像。首先定位摄像机a 所得视频图像巾人脸位置并且提取 n o d f r e q ，然后根据此位置控制摄像机b 转动，使其实时拍摄驾驶员的头部，再 通过对摄像机b 所得视频图像的一系列算法处理，提取p e r c l o s ，b l i n