（信号与信息处理专业论文）基于信息融合的驾驶员疲劳检测研究.pdf

西南交通大学硕士研究生学位论文第1 页 摘 驾驶员疲劳驾驶是导致交通事故的重要原因之一，疲劳检测也已成为 智能交通领域的研究热点。本文首先对驾驶员疲劳检测的研究现状进行 了总结，并对基于信息融合的疲劳检测方法进行了探索：先利用摄像头获 取人脸的面部信息，然后借助相应的特征提取算法提取眼睛、嘴巴等多 种能反映疲劳症状的特征信息；最后，通过所构建的d s 证据理论模型 和模糊神经网络模型来融合多源信息以完成对驾驶员的疲劳判定。 本文研究的核心内容包括：人脸定位算法的研究与实现；眼睛与嘴巴 定位；疲劳特征指标提取：信息融合模型的搭建与疲劳检测系统的实现。 在模型的构建方面，本文首先阐述了疲劳检测领域中的信息融合思 想，分别对特征层和决策层做了相应的剖析，这其中包括特征标准化、 特征指标权值的确定、决策模型的构建与相应算法的选取等问题。然后， 结合加权平均法完成了特征层融合模型的构建，结合d s 证据理论和模 糊神经网络完成了决策层融合模型的构建。实验结果表明，本文建立的 融合模型能很好地达到预期的效果，有效地弥补了仅利用单一信息源进 行检测所带来的不足。 在疲劳信息提取方面，本文首先结合基于h a a r 特征的级联分类器定 位人脸；其次，通过平均合成精确滤波算法对人眼进行跟踪定位，并在此基 础上，结合“三停五眼法 得到嘴巴的大致位置。然后，用黑色像素点 占所框定的人眼区域内全部像素点的百分比作为人眼闭合程度的衡量指 标；用单位时间内相邻两帧图像的眼睛闭合程度之差表征眼皮的闭合速 度。 最后，在系统实现方面，通过实验室环境下的算法仿真，获得了较好 的实验结果。另外，由于本文增加了历史数据存储、比对功能，有效避 免了不同驾驶员疲劳症状间的个体差异，大大提高了疲劳检测的准确率。 关键词：疲劳检测：人脸定位；人眼定位；信息提取；融合模型 西南交通大学硕士研究生学位论文第1 l 页 a bs t ：r a c t f a t i g u ed r i v i n gi so n eo ft h em a j o rc a u s e so ft r a f f i ca c c i d e n t ，a n dd r i v e r f a t i g u ed e t e c t i o n h a sb e c o m eh o ts p o t so fi n t e l l i g e n tt r a f f i cr e g i o n s t h i s t h e s i sf i r s ts u m n 1 a r i z e st h ec u r r e n tr e s e a r c ho fd r i v e rf a t i g u ed e t e c t i o na n d e x p l o r e st h em e t h o do ff a t i g u ed e t e c t i o nb a s e do ni n f o r m a t i o nf u s i o n ：f i r s t l y g e tt h ef a c i a l i n f o r m a t i o nu s i n gac a m e r a ，t h e no b t a i ne y e s ，m o u t ha n d f a t i g u e - r e l a t e df e a t u r e i n f o r m a t i o n t h r o u g h t h e c o r r e s p o n d i n g f e a t u r e e x t r a c t i o n a l g o r i t h m ，f i n a l l yi n t e g r a t e m u l t i - s o u r c ei n f - 0 r m a t i o n b y t h e c o n s t r u c t e dd se v i d e n c e t h e o r y a n d f h z z y n e u r a ln e t w o r km o d e lt o c o m p l e t et h ej u d g m e n to fd r i v e r sf a t i g u e t h ec o r es t u d yo ft h i st h e s i si n c l u d e ：r e s e a r c ha n dr e a l i z a t i o no fh u m a n f a c e l o c a t i o n a l g o r i t h m ，e y e sa n dm o u t hl o c a t i o n ， c h a r a c t e r i s t i ci n d e x e x t r a c t i o no ff a t i g u e ，c o n s t r u c t i o no fi n f 6 r m a t i o nf u s i o nm o d e la n d r e a l i z a t i o no ff a t i g u ed e t e c t i o ns y s t e m a b o u tt h ec o n s t r u c t i o no fm o d e l ，t h i st h e s i sf i r s t l ye l a b o r a t e st h ei d e a s o fi n f o r m a t i o nf u s i o ni nt h ef i e l do ff a t i g u ed e t e c t i o n ，r e s p e c t i v e l ym a k e s t h ea p p r o p r i a t ea n a l y s i st of e a t u r el e v e la n dd e c i s i o nl e v e l ，i n c l u d i n gt h e s t a n d a r d i z a t i o no fc h a r a c t e r i s t i c s ，t h ed e t e r m i n a t i o no fc h a r a c t e r i s t i c si n d e x w e i g h t s ，t h e c o n s t r u c t i o no f d e c i s i o n m a k i n gm o d e l ，t h e s e l e c t i o no f a p p r o p r i a t ea l g o r i t h m sa n do t h e ri s s u e s t h e nc o n s t r u c tt h ef l u s i o nm o d e lo f f c a t u r el e v e lc o m b i n e dw i t hw e i g h t e da v e r a g em e t h o da n dt h ef u s i o nm o d e l o fd e c i s i o nl e v e lc o m b i n e dw i t hd - se v i d e n c et h e o r ya n df u z z yn e u r a l n e t w o r k e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ef u s i o nm o d e li sw e l le s t a b l i s h e d t oa c h i e v et h ed e s i r e dr e s u l t s ，w h i c he f f e c t i v e l ym a d eu pf o rd e f i c i e n c i e s b r o u g h tb yu s i n go n l yas i n g l es o u r c eo fi n f b r m a t i o n a b o u tf a t i g u ei n f b r m a t i o ne x t r a c t i o n ，t h i st h e s i sf i r s t l y1 0 c a t e st h ef a c e c o m b i n e dw i t hc a s c a d ec l a s s i f i e rb a s e do nh a a rf e a t u r e s s e c o n d l y ，t r a c ka n d l o c a t et h ee y e sw i t ha v e r a g eo fs y n t h e s i se x a c tf i l t e r sa l g o r i t h m ，a n do nt h i s b a s i s ，o b t a i nt h ea p p r o x i m a t el o c a t i o no ft h em o u t hc o m b i n e dw i t h t h r e e s t o p sf i v ee y e s ”a l g o r i t h m t h e nc o n s i d e rt h ep e r c e n t a g eo fb l a c kp i x e l st o a l lt h ep i x e l si nt h ef t a m e da r e ao fe y ea st h em e a s u r eo ft h ed e g r e eo fe y e c l o s u r e ，a n dt h ed i f f e r e n c eo ft h ed e g r e eo fe y ec l o s u r eb e t w e e nt w oa d j a c e n t f a m e sa st h ec l o s e ds p e e d0 fe y e l i di nt h es i n g l et i m e f i n a l l y ， i na s p e c t so fs y s t e mi m p l e m e n t a t i o n ， o b t a i nab e t t e rr e s u l t t h r o u g ht h ea l g o r i t h ms i m u l a t i o nu n d e rl a b o r a t o r yc o n d it i o n s i na d d i t i o n ， t h i sp a p e ra d d st h es t o r a g ea n dc o m p a r i s o nf h n c t i o no fh is t o r i c a ld a t a ， w h i c h e f f e c t i v l y a v o i d st h ei n d i v i d u a ld i f f e r e n c e s a m o n g d i f f e r e n t d r i v e r s ，g r e a t l yi m p r o v e st h ea c c u r a c yo ff a t i g u ed e t e c t i o n k e yw o r d s ： f a t i g u ed e t e c t i o n ； f a c e l o c a t i o n ； e y el o c a t i o n ； i n f o r m a t i o n e x t r a c t i o n ；f u s i o nm o d e l ， 西南交通大学硕士研究生学位论文第1 页 1 1 选题的背景和意义 第1 章绪论 疲劳作为一种常见而复杂的生理现象将直接导致驾驶员的警觉性降低，反应迟缓， 很容易造成交通事故，对驾驶员的生命安全造成了很大的威胁。本文研究的疲劳检测是针 对机动车辆的驾驶员进行的，其主要目的是为了更准确地判别驾驶员是否处于疲劳困倦状 态以及其疲劳的程度。 近年来，随着我国道路交通运输业的快速发展，汽车保有量已达到8 5 0 0 多万辆，机 动车保有量则达到了1 9 9 亿辆：同时，恶性交通事故也明显增加。我国2 0 0 4 年2 0 0 9 年来交通事故情况的统计结果如图1 1 所示。另外，根据2 0 1 0 年上半年道路交通事故同 比口径统计，全国共有9 9 2 8 2 起交通事故，造成1 1 6 9 8 2 人受伤、2 7 2 7 0 人死亡，直接财 产损失4 1 亿元【1 】，其中，占事故总数3 0 左右的交通事故由疲劳驾驶引起。 事故次数( 万起j 死亡人数( 万人) 受伤人数( 万人) 直接经济损失( 亿元 图1 12 0 0 4 年2 0 0 9 年交通事故情况统计表 美国国家公路交通安全管理局【2 】估计，驾驶员疲劳驾驶会使事故发生的机率增加锱 倍，美国每年由疲劳驾驶引起的交通事故有1 0 万起，其中造成7 1 0 0 0 人受伤，1 5 0 0 人死亡； 在欧洲也有大致一样的情况，如在德国2 5 以上的交通事故是由驾驶员疲劳造成的：但官 方的这些统计数字仍是比较保守的统计，实际上，在事故发生后我们通常并不能确定驾驶 员是否处于疲劳状态，故因疲劳驾驶而引发的交通事故比重会更高。 通过以上的统计数字可见，在交通安全防范过程中疲劳驾驶己成为继酒后驾驶后的又 一大安全隐患，但检测酒后驾驶比检测疲劳驾驶要容易的多：关于驾驶员的疲劳检测问题， 目前已成为安全驾驶研究的重要环节，作为智能交通领域的一项关键研究课题，对减少和 预防由此引发的交通事故具有重大意义：而现有的疲劳检测技术如检测车辆行为、驾驶员 西南交通大学硕士研究生学位论文第2 页 生理参数和行为特征等在不同的驾驶背景下存在较大差异，到目前为止，尚未出现较有效 的疲劳检测方法；其中较为准确的方法是借助昂贵的仪器对驾驶员的生理特征如脑电波、 心电图、脉搏、眼睛状态等进行接触式检测，但此类检测方法一方面成本过高，另一方面， 若长时间检测会对驾驶员造成不良影响。因此，接触式的检测技术并不具有实用性。 目前最便捷且实用的方法是采用非接触式的检测技术，而只凭借某个单一的疲劳症状 去识别驾驶员的状态是不准确的，现有的此类疲劳检测技术很少能有效地综合各方面的信 息去解决此种问题。因此，研究基于信息融合的疲劳检测技术是大势所趋，对该领域的发 展将起到积极的推动作用。 1 2 疲劳检测的研究现状 最近几年来，随着科学技术的发展，疲劳检测方面的研究逐渐得到了人们的普遍关注。 现有的驾驶员疲劳检测方法大致可分成以下4 种。 ( 1 ) 基于生理参数的检测方法 驾驶员与疲劳相关的生理参数有心电图( e c g ) 、脑电图( e e g ) 、肌电图( e m g ) 等，在进行疲劳检测时，根据相应参数的变化对驾驶员的状态实施判别。 心电图借助e c g 仪器测量心跳的变化情况以识别疲劳。韩国人j e o n g 等依靠此种方 式获取了驾驶员的心率变化情况，取得了较准确的检测结果【3 】；关于心电图的测量，有接 触式和非接触式两种，有人比较了这两种方式，同时通过心电图中的典型特征p 峰情况测 量出驾驶员的心电图，最终实验显示天气等环境变化会对心电图的测量产生较大影响 4 1 。 脑电图的波形变化与疲劳程度存在着很大关系，其波段、谱分量均可以反映疲劳情况， 因此，波谱的提取会对疲劳检测效果产生较大的影响。当前的研究内容主要以波段数据的 特征提取为主；为了得到精准的脑电波信号，t m n 等人使用集中趋势测量法分析处理采 集到的脑电波信号，进而获取驾驶员的状态【5 1 ；另外，也有研究者利用小波分析和支持向 量机对e e g 进行特征提取和分类f 67 引。 肌电图信号的测量通常运用诱发电位的方式，研究人员首先使用肌电图记录仪获取来 自于肌肉表面的肌电信号，然后对其做相应的分析。h o s t s 等人通过此方法研究了疲劳产 生的过程，结果表明，出现疲劳症状后，肌电的平均频率会减小，其幅值将增大【9 】。 这种疲劳检测技术需要使用价格昂贵的检测仪器，而且通常是以接触式的方式进行疲 劳检测，会对驾驶人员造成不良影响；目前研究人员还是通过自主研发的硬件检测系统获 取相应数据，进而进行疲劳识别的。 ( 2 ) 基于视觉特征的检测方法 驾驶员疲劳会伴随着一系列视觉特征上的变化( 如：眨眼、瞳孔变化、视线调整、嘴 部活动及头部运动等) ，这些变化很容易被观测到。通过对测量数据的分析识别疲劳程度 的方式即是该方法的精髓。随着图像处理及模式识别技术的飞速发展，基于视觉特征的检 西南交通大学硕士研究生学位论文第3 页 测方式越来越得到研究人员的青睐。 当驾驶员处于疲劳态时会打哈欠、频繁点头、眼睑运动变慢、眼睛睁幅变小和凝视方 向变窄掣1 01 1 1 2 1 ，所以可通过眨眼频率、面部表情、头部姿态等视觉症状去检测疲劳。目 前，通过眼睛检测疲劳的方法中，以物理量p e r c l o s ( p 即c 饥t a g eo f e y e l i dc l o s u r eo v e r m e p u p i l0 v c rn n e ) 度量疲劳程度效果最为显著，这是卡内基梅隆研究所通过多次试验得出 的结论，同时也给出p e r c l o s 的p 8 0 ( 眼睛闭合程度达到8 0 以上的时间在单位时间内 所占百分比) 能最好地反映驾驶员的疲劳程度；美国高速公路管理局在1 9 9 8 年也有类似 的结论l l m ：p e r c l o s 指标能有效且可靠地反映出司机的疲劳程度，所采用的方法是首先 获取两幅在不同红外光源下得到的红眼效果图像和黑色瞳孔图像，然后将两幅图像相减便 可得到瞳孔区域，对瞳孔变化情况进行跟踪以识别眼睛的状态。在这基础上，h 0 n g 等人 先通过图像处理技术定位人眼的初始区域，再利用相应跟踪算法跟踪眼睛区域，最后借助 p e i l o s 指标对眼睛睁闭程度进行分析以判断驾驶员是否疲劳【1 4 】。 基于其它视觉特征的检测方法也有很多，如h 喇m 锄等人利用人眼的凝视数据和瞳 孔的直径变化情况检测驾驶员的身心状况【b 】，所做实验表明在凝视坐标恒定时，在疲劳症 状出现之前，瞳孔直径大小会缓慢波动；当轻度疲劳时，瞳孔直径变小；而当出现突发事 件时，瞳孔的直径会突然变大，且与眼睛注视相关的系数也将迅速变化。w a h l s 仃0 m 等人 6 l 先使用颜色分析法在人脸区域定位到嘴部位置，接着在脸部肤色域内找到双眼位置，通 过比较像素的明暗以判定出瞳孔的位置，最终可利用眼角与瞳孔的相对位置关系识别视线 方向，若眼睛的视线偏离正前方向，即可认为驾驶员注意力分散不宜继续驾驶。葡萄牙的 b a 矗s t a 使用椭圆拟合法【l7 】获取驾驶员三维的面部朝向信息，并通过面部朝向间接得出驾驶 员的视线方位，进而检测出驾驶员的状态。由于疲劳前后嘴部状态的差异，w a n g 等人【1 8 】 使用机器视觉法获取嘴部的几何特征，并以此为特征值结合b p 神经网络来判断驾驶员的 状态。除此之外，f 觚等人给出了另外一种检测疲劳的新方法，此法先采用模板匹配法对 人脸进行检测，之后借助灰度投影算法得到嘴部的左右角点，并结合g a b o r 小波变换提取 嘴巴角点的纹理特征，最后采用线性判别分析判断驾驶员打哈欠次数，以此作为是否疲劳 的判别依据i i 引。 面部表情作为人类表达思想的重要方式，也可以运用到疲劳检测领域，因为人在疲劳 状况下，面部会出现肌肉僵硬的症状，利用此特征便可对疲劳作出相应的分析：j i 【加】曾在 检测疲劳时加入了面部表情信息，但此法很难对面部表情做出准确的描述，因此其这方面 的应用研究还很少。 。( 3 ) 基于车辆行为特征的检测方法 通过车辆行为检测疲劳的思想是通过线路跟踪或车距情况间接判别疲劳是否发生。 z h o n g 等人【2 l 】运用能量分析技术监控车辆转向盘转动角度与车的行驶情况以实现疲劳检 测。日本的做e i 田j 采用快速傅立叶变换得到方向盘的转角信号，进而分析该信号以评价 西南交通大学硕士研究生学位论文第4 页 疲劳与否。瑞典的s 锄d b e r g 【2 3 】测量了航偏角、方向盘转角、车的速度和车的方位信息，采 用前馈神经网络( f n 小) 将获取的特征信息分类以识别驾驶员是否疲劳。k m y 等人【冽 采用驾驶员踏板控制模式，借助距离传感器采集车前数据，运用决策树和规则学习算法融 合这些数据，获取相应的反应模式便可进行疲劳判定。h 6 瓜d z e y e uv 等人【2 5 】通过h o u g l l 变换获取路面标记以便估计车辆的位置，并在f p g a 的硬件设计上运用了这项高速信号检 测技术。这种检测方法的关键问题是针对不同车型，不同外部环境下，很难达到比较好的 效果。 ( 4 ) 基于信息融合的检测方法 信息融合作为信息处理研究领域的新课题，其较为准确的定义可归纳为：按一定准则 将采集到的多源信息进行归纳综合以完成最终决策的信息处理过程。人类能够利用感觉器 官去辨识周围的世界，这个感知的过程就蕴涵着对各类不确定信息的合理判断。若要让某 个系统像人一样具备这种信息处理的能力，就需要借助信息融合技术最大程度地合理使用 各个信息源。 近期有学者提出将信息融合的思想运用到疲劳检测领域，即融合视觉特征与其它各方 面的特征参数对疲劳程序进行检测。通过综合各方面的疲劳症状进行疲劳评估可有效提高 检测的准确性。 yy j d s l l i t o m i 等人【2 6 】通过使用相应的传感器有效地融合了语音、人脸图像等信息进行 了情感状态识别。gy 锄g 等人【27 】建立了一个基于d _ s 证据理论的疲劳识别模型，该模型 包含了生活负担、心理状况、睡眠质量、体温等近十个与疲劳相关的参数。q i 锄gj i 等人 【2 8 】曾提出利用贝叶斯网络( b n ) 建立疲劳模型的方案，该方案融合了驾驶环境、身心状 况、睡眠情况及多种视觉症状对疲劳与否进行了预测：由于疲劳是逐渐累积的结果，随着 时间的推移疲劳症状会逐渐加重，所以此模型亦被称作静态贝叶斯网络：之后，又有学者 提出了动态贝叶斯网络的疲劳模型，此模型同时加入了时空因素。在我国，也有类似的研 究出现，比如江苏大学的李志春等人【2 9 】利用模糊神经网络的方法，将p e r c l o s 、哈欠次 数、点头次数和眼皮闭合速度这四个常见指标结合起来进行疲劳识别，取得了不错的效果。 ( 5 ) 小结 前文大致分析了近些年疲劳检测领域的国内外研究现状，通过对比当前存在的这四种 研究方法，得出了如表1 1 所示的研究结论。 西南交通大学硕士研究生学位论文第5 页 表1 1 疲劳检测方法分析 疲劳检测方法优点缺点 基于生理参接触式、精确度和鲁棒测量仪器价格昂贵，且 数的检测方法性高对驾驶员造成不良影响 基于视觉特征的非接触式、信息获取简检测精度相对低于接 检测方法单、易安装使用触式的精度 基于车辆行为的非接触式、检测方式多精度较低、尚无公认较 检测方法样、检测特征灵活好的特征 基于信息融合的有分析预测能力、检测融合模型的建立和各 检测方法精度高、可靠性好种信息的获取较困难 疲劳的出现伴随着复杂的生理反应过程，对其的检测面临殊多难题。首先疲劳程度 量化没有统一的标准：其次通过各种方式获取的数据一般比较模糊：而且人与人之间的疲 劳症状还存在着个体差异。因此，依靠单一的信息来评估驾驶员是否疲劳的方案是欠妥的： 而引入信息融合的思想去建立识别模型可有效降低检测的失误率，大大提高疲劳识别的准 确性。 1 3 研究的主要内容和结构安排 1 3 1论文研究内容 本文的研究目标是要构建一个基于信息融合的疲劳检测模型，并在此基础上完成对 疲劳信息的提取与融合：由于各个模态对决策的作用并非都是线性的，因此，本文需要通 过大量实验在这方面做一些有益的探索。 本文研究的基于信息融合技术的疲劳检测算法流程如图1 2 所示，首先由基于h a a r 特征的级联分类别3 0 3 13 2 1 检测到人脸的位置，进而通过平均合成精确滤波a s e f ( a v e r a g e o fs y n t h e t i ce x a c tf i l t e r s ) 【3 3 】算法定出眼睛、嘴巴的位置，同时，对嘴巴实施了跟 踪，然后提取驾驶员眼睛闭合程度、眨眼速度及哈欠频率，并按疲劳程度量化标准将每个 测量值变换为疲劳程度：最后运用信息融合技术实现疲劳信息的特征层和决策层这两个层 面的融合。 西南交通大学硕士研究生学位论文第6 页 图l - 2 疲劳检测流程 1 3 2论文结构安排 第一章首先介绍了疲劳检测的研究背景及意义，然后详细介绍了当前驾驶员疲劳检测 的国内外研究现状，并作了对比分析，最后提出了本文的研究目标。 第二章仔细分析了信息融合的理论和方法，给出了特征层和决策层融合的思想。 第三章介绍了本文所采用的疲劳特征信息提取方法，主要提取了基于面部特征的疲劳 症状，即首先采用训练好的级联分类器对人脸进行检测，并在此基础上，利用平均合成精 确滤波算法在一定范围内分别实现了人眼和嘴部的跟踪定位，最后在框定的目标区域内完 成相应的信息提取。 第四章大致介绍了基于特征层和决策层的疲劳检测融合方法，综合运用各种常用的信 息融合方法，完成了两种融合检测模型的构建及对比分析。 第五章为系统设计部分，首先介绍了本文信息提取所使用的软硬件工具，然后给出了 系统实现的大致思路并做了部分成果展示，最终的实验结果表明，本文所采用的融合算法 是有效且可行的。 最后，在本文结尾部分对全文工作进行了归纳总结，并给出了未来研究的方向。 西南交通大学硕士研究生学位论文第7 页 第2 章疲劳检测中的信息融合 疲劳检测的实质即模式识别问题，但目前仍未出现一种简单的方法可以 获得较高的准确率和可靠度，每种方法都有各自的优缺点及不同的适用范 围：另外，不同疲劳特征和匹配算法之间又存在定的互补性，所以，将不 同的疲劳特征和检测方法有机地结合起来构成信息融合型的疲劳检测系统， 可有效地避免因单一症状提取失败所造成的检测失败，很大程度上提高检测 的准确性。 2 1 信息融合技术简介 信息融合【34 】是指提取各种信息源，进而有效整合信息的过程：其实质为 决策推理；其目的是为了在原有信息的基础上推导出更多有用的信息。信息 融合技术f 35 】研究的是如何协调多种信息，使不同形式的信息互相弥补各自的 不足，以取得对待检测目标更清晰认识的信息整合技术。 多源信息融合需要根据不同的问题去选用不同的实现形式，这使得大量 的信息融合问题难以分类描述。通常情况下，我们将信息融合分为数据层融 合、特征层融合和决策层融合这三类；在此基础上，大部分的融合问题均是 针对同一层上的信息描述形式来实现的。 下面本文通过不同的信息层次，就信息融合的方式进行了大致的阐述 f 3 6 】： ( 1 ) 数据层融合 数据层融合又称象素级融合，如图2 1 所示，通常在图像分析与合成等 方面使用，一般的图像融合算法都是像素级的；其存在的问题是数据层上的 融合具有较大的盲目性，对多源原始数据的特性无法进行一致性检验，故很 少采用在数据层上直接进行信息融合。然而，考虑到图像处理自身的特殊性， 才保留了这一便利图像处理的融合层次。 图2 1 数据层融合 西南交通大学硕士研究生学位论文第8 页 ( 2 ) 特征层融合 如图2 2 所示，特征层融合是将从原始信息中获取的特征信息进行整合处 理的中间过程。这些特征信息能够充分体现原始信息的特点，是对多源信息 进行分类和整合的结果。特征层融合并非仅是多个特征的简单垒加，而是要 采用某种策略使其转换成行之有效的新特征。这种多维的新特征会比单一特 征提供更多关于目标的特征信息。 图2 2 特征层融合 ( 3 ) 决策层融合 如图2 3 所示，决策层融合是将同一目标的不同信息源，经过关联分析和 融合判决，最终得到综合判别结果的过程。决策融合的输出是综合决策的结 果，其常用的方法有b a y e s 理论、模糊神经网络以及d s 证据理论等。决策 层融合作为信息融合领域的一个研究热点，它可有效地整合反映目标的不同 类型信息( 包括非同步信息) ，具备非常高的灵活性，所以当前与信息融合 相关的研究成果均是在决策层上获得的。 图2 3 决策层融合 ( 4 ) 融合层次比较 数据层作为最低层的融合，是在原始数据未经处理的基础上实施的，它 能提供其他两层次融合所没有的数据，但也具有以下几方面局限： 1 ) 工作量大； 2 ) 纠错能力要求高； 3 ) 数据来源一致： 西南交通大学硕士研究生学位论文第9 页 4 ) 抗干扰能力较差。 决策层融合的优缺点与数据层融合恰好相反，而特征层融合是这两种数 据融合的折中。各层次融合的优缺点可用表2 1 说明。 表2 1 融合层次比较 影响因子数据层融合特征层融合决策层融合 通信量最大中等最小 通信损失最小中等最大 容错性最差中等最好 抗干扰性最差中等最好 对设备依赖性最大中等最小 融合方法最难中等最易 预处理最小中等最大 分类性能最好中等最差 2 2 疲劳检测的融合思想 疲劳程度并不依赖于人体能量消耗的多少，故不能被直接量测出来，但 能通过视觉与非视觉的生理特征间接地反映出来。视觉特征主要包括身体姿 态、眼睛闭合程度p e r c l o s 、眼皮闭合速度a e c s ( a v e r a g ee y ec l o s u r e s p e e d ) 、哈欠频率y a w n f r e q 和面部表情等，而这些症状通常很难准确地进 行定量描述：而非视觉特征则主要包括通过e c g 信号所反映的心率变化情 况和e e g 信号所反映的脑电波变化情况。很显然疲劳与其症状之间存在着某 种映射关系，但这种映射关系是不确定的，因此，有必要将各种特征综合在 一起以减少这种不确定性。对于多源信息融合的疲劳检测方案而言，通常需 要解决两方面的主要问题：一方面要求采用不同的检测方式获取不同的疲劳 特征，再对各特征指标进行特征层融合；另一方面要求将经特征层融合后的 结果有效地综合起来进行决策层融合。具体而言，就是采用加权平均法对疲 劳特征指标进行特征层融合；通过d s 证据理论和模糊神经网络对特征层的 融合结果进行决策融合。 2 2 1疲劳特征融合 信息融合作为一种新兴的数据处理技术，已成为目前模式识别领域研究 的熟点问题。在特征层融合方面，其研究虽已初见端倪【3 7 38 1 ，但尚存在着不 少问题，如其物理意义缺乏理论支持、有效性无理论依据等，因此在实现特 西南交通大学硕士研究生学位论文第1 0 页 征融合之前，需要搞清楚融合层次、融合算法以及融合的理论根据等问题。 特征层融合能够较大程度地保留原始数据信息且不需要独立性假设，故 其在模态普遍存在相关性的条件下具有明显的优势。从同一模式中获取的不 同特征量仅能反映该模式的不同特性，但若将其进行优化组合，则既能保留 多特征的有用信息，又能在一定程度上消除冗余信息，因此说，特征融合对 分类识别具有重要的意义。 现有的特征融合方法有两种：一种是以首尾相连的串行方式将多个特征 组合成一个新的特征矢量【38 1 ，在矢量空间进行特征提取：另一种是采用复向 量的并行方式将同一样本的多组特征矢量组合在一起【39 1 ，在复向量空间进行 特征提取。这两种特征融合处理的形式，其根本并非是特征的连接方式，而 是其保留的信息多少。 ， 在疲劳检测过程中，疲劳特征指标所能反映疲劳的重要程度是不一样的， 为体现各特征指标鸬的重要程度，可采用加权平均法，按公式( 2 1 ) 求出其 综合指标： h = 口， 矧 ( 2 1 ) y 口，= l 二- 一 j ，l l 其中为加权系数，口，值越大，表明相应的特征指标就越重要，在融合 过程中应赋予考虑的权重越大，反之，则予以考虑的权重就越小。加权平均 法通过不同的权重系数来反映不同指标的可信度，因而获得了较为广泛的应 用。 采用加权平均法进行特征层融合的关键在于权值的确定，而疲劳特征的 权重又可划分为静态权重和动态权重这两部分。静态权重是根据先验信息确 定的，体现了不同证据对识别框架下各真子集的隶属程度：如无特殊说明， 一般认为各特征指标具有相同的静态权重。动态权重通常指当一系列证据如 传感器、专家意见、属性等在实际环境中以间接的方式所体现的证据可信度。 当某一证据被支持的程度大时，即表明该该证据具有更大的可信度，反之亦 然。为了便于计算，采用折扣后的证据与加权平均证据间的欧氏距离来计算 证据间的相似度与支持度。同时，为了避免不同特征之间数值上的差异对判 别结果的影响，可利用如下方法对所获取的疲劳特征进行特征标准化【4 0 】： ( 1 ) 标准差变换 ：盟 ( 2 2 ) 2 。 lz - 2 ) s k 西南交通大学硕士研究生学位论文第11 页 其中瓦= 去，s ：= 去( ) 2 ，为第f 变量表征模式七的大小，经过公式 ( 2 2 ) 的变换后，各个变量的均值为o ，标准差为1 ，虽不能保证变换后的 值在 0 ，1 】区间内，但可以消除量纲的影响。 ( 2 ) 极差变换 一v = - ；! l 二粤l l ( 2 3 ) 眦一以m i n 公式( 2 - 3 ) 中，为第f 变量表征模式七的大小，m i 。和一分别为模式j | 的 最小和最大特征值；经过极差变换，可使变量x 强 0 ，l 】，并能消除量纲的影 响。 2 2 2疲劳识别中的决策融合 采用基于信息融合的疲劳检测方法一方面要求通过不同的分类器将不同 的特征进行归类，再对分类结果进行整合；另一方面需要把不同的分类结果 合理的整合起来以获得更好的结果：这两方面的问题即是决策融合问题。 通常情况下，为了得到事物的客观规律，人们往往根据事物间的相似度 划分类别，之后再采用相应的识别算法将一具体事物准确地归入到某一类 别。与大多数模式识别系统一样，疲劳识别均要历经设计和实现两个过程： 具体做法就是先用一定数量的训练样本进行分类器的设计训练，然后用所设 计的分类器对疲劳数据进行分类决策。 疲劳往往不能被直观地看出来，也难以进行定量的描述，然而进行疲劳 检测的研究就必须要有疲劳的量化标准，否则将无法说明信息融合算法在疲 劳检测领域是否具有可行性，也没法比较各种疲劳检测算法的效果。 当前，常用的疲劳程度量化标准是基于p v t 【4 1 】( p s y c h o m o t o rv i g i l a n c e t a s k ) 的；p v t 作为一种衡量精神反应快慢的标准测试，可被用于测试驾驶 员的精神反应速度，当在p v t 测试中驾驶员反应过慢时，即可判断当前状态 不适合驾驶，所以，在疲劳检测研究中使用p v t 作为疲劳的评价指标是合适 的。 按照p v t 疲劳程度量化标准，可将疲劳划分成若干种疲劳模式。假设每 种疲劳模式有刀个特征，那么任一模式均能用一个多维特征向量 x = ( x ，而，人，吒) r 表示，而这些特征向量可当作特征空间中的一个个小点： 疲劳识别实际上也就是将各个特征向量最大程度地映射到一个模式类的过 程，从几何学的角度来讲，即将特征空间中一些不相交的区域与某一特定的 模式类对应起来。从疲劳模式特征空间划分的角度来讲，信息融合一方面降 西南交通大学硕士研究生学位论文第12 页 低了单分类器的特征维数，另一方面也为各个特征的融合提供了多种方式。 对基于信息融合的疲劳检测系统而言，每个分类器类似于一个特征抽取器， 其输出构成了一个被扩展的特征向量；在各个单分类器对样本空间进行划分 之后，信息融合系统又从另一角度对样本空间进行了划分。通过不同的判别 准则将各个分类器结合起来，使得各特征之间拥有了多样化的关系，其检测 识别能力也是任何一单分类器所无法企及的。 在算法设计方面，融合多种症状对疲劳状态进行识别是当前研究的主流 方向，但需要考虑各种特征的主次关系，怎样结合各个症状判断是否处于疲 劳状态以及在识别过程中每个特征的作用大小，这些均不能依靠现有的相关 知识来作出准确地解答。而诸如d s 证据理论、模糊神经网络f n n ( f u z z y n u e r a ln e t w o r k ) 的信息融合方法比通俗的检测识别方法性能更好，能很好地 解决不确定非线性问题。 2 3 小结 本章介绍和分析了在疲劳检测过程中所涉及到的信息融合思想，给出了 本文的研究方案：先通过加权平均法对提取的特征指标进行特征层融合，再 利用d s 证据理论和模糊神经网络对特征层的融合结果进行决策融合；这为 下文疲劳检测模型的搭建提供了很好的理论支持。 西南交通大学硕士研究生学位论文第13 页 第3 章驾驶员疲劳信息提取 与疲劳检测相关的技术如模式识别、跟踪、特征提取等，由于其难度大， 适用性强，一直是近年来的研究热点，而特征提取作为其中的一个重要环节 也同样备受关注，其主要是指在图像的框定区域内搜寻到五官的位置、特征 点或轮廓线等。 在非接触式的疲劳检测过程中，对眼睛状态的正确识别是至关重要的一 步，驾驶员疲劳与否往往能从其眼睛中反映出来，例如眼睛闭合程度、眨眼 频率和眨眼速度等；然而仅从眼睛中获取疲劳信息却存在着一定的局限性， 如当驾驶员戴着墨镜甚至深色边框眼镜时，几乎不能检测到人眼。因此，就 需要获取其它的疲劳症状来进行疲劳检测，其中最为常见而有效的是眼睛和 嘴部信息的提取。本文研究的疲劳检测主要是针对眼睛与嘴部这两个器官来 进行检测识别的。所获取的特征指标分别是从眼部提取的p e r c l o s 与a e c s 和从嘴部提取的哈欠频率y a w n f r e q 。 本章综合了平均合成精确滤波算法和相应的规则知识，在得到人脸区域 后能较快地实现视频图像中眼睛和嘴部信息的获取。 3 1 人脸检测 人脸检测作为疲劳检测的重要一步，通常涉及两方面的问题：首先要对 待检测的人脸进行概率统计，得到待测对象的一些特征，以便更好地构建人 脸检测模型；其次，利用构建好的模型进行图像匹配，若匹配成功则输出所 匹配的区域，否则返回重新进行模板匹配。 当前，在快速人脸检测领域存在着三个主要的研究方向：第一，如何选 取新的特征类型以减少所用分类器的数目；第二，如何更新现有的学习过程 或是引入一种选取特征的新方式：第三，如何提高人脸检测的速度。 本部分给出的人脸检测流程如图3 1 所示，首先对获取的图像进行尺度 调整、对比度拉伸等预处理操作，然后将其转化为积分图像以便于采用 a d a b o o s t 算法进行人脸检测。 图3 1 人脸检测流程 西南交通大学硕士研究生学位论文第1 4 页 人脸检测采用基于h a a r 特征的a d a b o o s t 算法，其中的a d a b o o s t 算法是 由多分类器融合得到的一个级联分类器。为了获得一个比较好的分类结果， 需要采用针对不同特征的分类器进行融合以准确地表征目标的状态：这是因 为不同特性的症状或许仅能反映目标某一方面的状态，在一个特征空间难以 判别的不同模式或许在其它特征空间上就很易区分，另外也可以利用同一特 征的不同分类器将此症状映射到最终的结果集上。 a d a b o o s t 算法【42 】是一种基于积分图的检测方法，它通过不同人脸特征集 的正负样本进行训练以产生一系列的级联分类器，其级联分类器的检测结构 如图3 2 所示。此算法的基本思想是先将许多性能一般的弱分类器按照某种 规则叠加起来，组合成一个具有良好分类性能的强分类器，然后再把若干强 分类器以串联的方式组成级联分类器的过程；其中级联的级数依据系统对正 确率与检测速度的要求。 图3 2 级联分类器检测示意图 算法描述如下【4 3 】： 用( x l 1 ) ，( x 。n ) 表示训练集中的理个训练样本，其中y _ 1 ，1 ) ( f - l ，2 ，刀) 表示所选的正负样本。假设在训练样本中含有m 个负样 本，个正样本，待检测目标有k 个用乃( ) 表示的特征，其中l - ，k ，则第 f 个样本x ，的k 个特征的特征值可表示为 ( x f ) 以( x ，) ，乃( 工f ) ，以( 工f ) ) 。第 ，个特征的弱分类器可由公式( 3 1 ) 表示 j i l f ：j 1 ，矿p ，乃 p 巴 ( 3 1 ) 。 【0 ，d 砌p ，1 ，括p 式中力只有士1 两种取值，目，为所选取的阈值。乃= o 表示第个特征判断该样 本为负样本，反之则为正样本。 训练的目的是利用所选取的正负样本去选取分类错误率最低的n 个弱分 类器最终经过组合得到一个强分类器：其训练的大致方法如下： 西南交通大学硕士研究生学位论文第15 页 ( 1 ) 用w “表示第f 次循环中第f 个样本的误差权重，当y f - 1 时，w1 严l ( 2 m ) ；当y - l 时， w 1 ，= 1 ( 2 三) 。 ( 2 ) f o r ，= l ， w “归一化，使得w f ，= w f ，? ：1w f ，_ ，： 对于每个特征，获取其弱分类器乃：即定出阈值g 和偏置力，使 得第_ ，个特征的误差函数 岛= ，w ( 乃( 誓) 一乃) ( 3 2 ) 为该次循环的最小值； 选取一个具有最小误差函数e 的弱分类器j j l ，并将其并入到强分 类器中； 更新样本权重 w f + l f = w f ( 屈q ) ( 3 3 ) 式中= 忙榴屈= 南； 最终的强分类器 批) ： 1 ，。叩肛) 。口， ( 3 - 4 ) 【o ， d 咖盯w 恬p 式中q 2 吉1 0 唁。 各个强分类器通过设定合理的阈值，使得每一个强分类器均能让所有的 人脸样本通过，而几乎会拒绝所有的非人脸样本。强分类器应按照“先重后 轻 的原则串联在一起，将拥有更重要特征的强分类器放在最前面，这样可 有效减少大量的假样本，加快检测的速度，提高系统的实时性。 图3 3