司机疲劳驾驶检测系统设计

司机疲惫驾驶检测系统设计

摘要：随着社会经济的发展，商用长途运输车越来越多，司机为了追求经济效益,

常常罔顾交通法的规定疲惫驾驶，而一些私家车也因为各种各样的缘由常常铤而

走险疲惫驾驶，酿成很多人间惨剧。为了削减减轻司机的精神压力并对疲惫刚好

提示预警，本论文以计算机视觉技术为主体，设计好用操作简洁的疲惫驾驶检测

系统，协助驾驶员平安驾驶。

司机疲惫驾驶实时检测系统在实际应用中有很重要的意义。设计了一个利用

图像分析的方法，通过测量PERCLOS指标值来进行疲惫推断的该类系统。系统首

先对图像进行预处理，然后采纳基于YCbCr颜色空间肤色模型进行人脸粗定位，

依据人脸特征，逐次进行人眼区域缩小；最终通过对边缘信息进行先验学问结合

积分投影的方法进行人眼定位和闭合度测量。考虑到视频图像序列帧与帧之旬的

相关性，采纳线性运动预料的方法对人眼进行跟踪，削减了系统的运算量。试验

结果表明系统能实时、精确地反映司机的疲惫状态。

关键词：疲惫驾驶人脸检测肤色检测交通平安疲惫推断

书目

摘要

Abstract

1.疲惫驾驶检测系统探讨背景与意义.........................................................

2.疲惫驾驶检测系统探讨与实现

2.1国内外疲惫驾驶检测系统探讨现状

国外疲惫驾驶检测系统的探讨成果............................................................

国内疲惫驾驶检测系统的探讨现状............................................................

2.2疲惫驾驶检测系统浅析...................................................................

2.3驾驶员疲惫检测系统的探讨...............................................................

2.3.1人脸检测

2.3.2人眼定位

233疲惫程度的综合判定

3.基于人脸特征的列车司机疲惫驾驶检测与识别系统探讨......................................

3.1探讨内容及目标.........................................................................

基于人脸特征的疲惫驾驶检测与识别算法开发..................................................

疲惫驾驶检测与识别算法OSP移植

3.2基于Adaboost算法的人脸检测

3.2.1人脸检测技术概述

3.2.2Adaboost人脸检测算法

3.3基于Adaboost算法的人脸检测软件实现

3.3.1.样本训练过程

人脸检测程序

3.4人眼检测与人眼状态分析算法

3.4.1基于Adaboost的人眼检测算法

3.4.2人眼级联分类器效果分析

3.4.3人眼状态分析算法

4.基于贝叶斯网络的驾驶疲惫程度识别模型

4.1基于贝叶斯网络模型的驾驶疲惫程度识别

4.2驾驶疲惫程度识别模型

驾驶疲惫贝叶斯网络结构

4.2.2贝叶斯网络条件概率表的确定

4.2.3驾驶疲惫程度贝叶斯网络识别模型

4.3模型有效性验证

5.基于FPGA的疲惫驾驶检测系统设计

5.1疲惫驾驶检测系统总体设计方案

5.1.1系统红外光源原理

5.1.2系统总体设计

5.2系统硬件设计与实现

5.2.1系统硬件总体架构

5.2.2图像采集电路设计

523主控板设计

5.2.4协助电路设计

5.2.5系统硬件电路的物理测试

6.基于NiosII多核驾驶疲惫检测系统设计

6.1系统介绍

6.2系统关键模块设计

6.2.1图像采集模块设计

6.2.2图像处理算法

6.2.3图像处理算法硬件加速的实现

6.2.4数据存储模块设计

7.疲惫驾驶预警系统的探讨进展..............................................................

7.1预警系统的组成及工作原理

7.2典型的疲惫驾驶预警系统

7.3疲惫驾驶预警系统比较

7.4发展趋势

8.新型多功能驾驶员状态监测系统设计

8.1无线脑电信号采集和分析

8.1.1心情预警

8.1.2疲惫监测

8.1.3突发疾病监测

8.2酒精监测

9.多源信息融合在驾驶疲惫检测中的应用

9.1驾驶疲惫特征

9.1.1PERCLOS值的计算

9.1.2行驶方向变更与驾驶员反应不一样状况

9.1.3方向盘动作状态

9.1.4连续驾驶时间

9.1.5实际时间参数

9.2模糊神经网络疲惫识别

9.2.1疲惫度量化

9.3智能限制技术在汽车疲惫驾驶监控中的应用探讨

9.3.1硬件描述

结束语......................................................................................

参考文献...................................................................................

L探讨背景与意义

驾驶疲惫川是指驾驶员由于睡眠不足或长时间持续驾驶造成的反应实力下降，这种下降

表现在驾驶员困倦、打磕睡、驾驶操作失误或完全丢失驾驶实力。美国印第安那高校对交通

事故缘由的调查探讨发觉85%的事故与驾驶员有关，车辆和环境因素只占15%。驾驶员在

事故发生前一瞬间的行为和故障干脆导致了事故的发生，这些行为包括知觉的延迟、对环境

的决策错误、对危急状况的处理不当等。在全部的驾驶员错误中，最常见的是知觉延迟和决

策错误，这些错误会产生留意力不集中、反映迟钝、操作不当等，产生这些错误的根本缘由

就是驾驶疲惫。

随着我国生活水平的提高，人们的衣食住行等方面有了很大的改善，在交通方面更是有

了质的飞跃。四通八达的道路、便捷的交通工具大大地缩短了人与人的距离，其中汽车保有

量更是与口俱增，一个家庭拥有两辆以.上的小车已经不是什么簇新的事情。但是，汽车在带

给人们便利的同时，随之而来的交通事故也源源不断。据统计，我国交通事故死亡人数己连

续10多年居世界第一。我国在滚滚车轮下丧生的人数，短短十几年间己从每年5万多人增

长到10多万人，是交通事故死亡人数居世界其次位国家的两倍。其中，驾驶员疲惫造成交

通事故的占总数的20%左右，占特大交通事故的40%以上。同样，在国外状况也不容乐观。

据美国国家马路交通平安委员会的估计，在美国大约发生56000次与睡眠有关的交通事故，

其中约40000人次受伤和1550人死亡。1965年美国俄克拉荷马州收费马路局发表了1953

年至1964年2128名机动车驾驶员发生车辆碰撞事故的调查结果:22%的驾驶员打吨驾驶，

48%的交通事故归结于疲惫驾驶疲惫。

由此可以知道，疲惫驾驶正渐渐成为交通事故的主要缘由之一，成为马路上的“第一杀

手”，假如我们能主动开展疲惫检测的工作，提示驾驶者，很大程度上就能预防和削减交通

事故的发生，使得公民的出行更加平安。因此，探讨出一套疲惫检测的系统对社会和民众都

有不行估量的社会意义和经济价值。

一套好的检测系统必须要有成熟而完善的算法。本文对疲惫检测系统的实现方法进行探

讨，以期提高疲惫检测的速度和精确度。假如能将好的算法应用于疲惫检测系统之中，无疑

能更有效的预防驾驶员疲惫驾驶而引起不必要的人员伤L和经济损失。

2.疲惫驾驶检测系统探讨与实现

2.1国内外疲惫驾驶检测系统探讨现状

对疲惫驾驶的探讨在国外最早可以追溯到20世纪30年头，但事实上，投入真正探讨的

却还是从上世纪RO年头美国国会通过的汽车驾驶状态与交通平安之间的关系探讨起先的。

进入上世纪90年头，疲惫驾驶的科研工作得到了人们更大的重视，取得了一系列卓有成效

的成果。

2.1.1国外疲惫驾驶检测系统的探讨成果

早期的疲惫驾驶测评主要是从医用角度动身，借助医疗器件进行生理特征测量的。疲惫

驾驶的实质性的探讨工作是从20世纪80年头由美国国会批准交通部探讨交通平安和机动车

驾驶的关系，并健全汽车平安管理条例起先的。由此把疲惫驾驶的探讨提高到了立法高度，

保证了开展疲惫驾驶探讨的有效性、合法性和持续性。其探讨工作也许可以分为两大类：•

是探讨疲惫磕睡产生的缘由和其他诱发因素，找寻能够降低这种危急的方法:二是研制智能

报警系统，防止驾驶员磕睡状态下驾驶。20世纪90年头，美国对疲惫驾驶电子装置的研发

工作发展的较快。在各国研制的装置中具有代表性的成果有：

⑴美国研制的打磕睡驾驶员侦探系统DDDS(TheDrowsyDriverDetectionSystem)o采纳

多普勒雷达和信号处理方法，可获得驾驶员烦躁担心的心情活动、挤眼频率和持续时间等疲

惫数据，用以推断驾驶员歪否打磕睡或睡着。该系统可制成体积较小的仪器，安装在驾驶室

内驾驶员头顶上方，完全不影响正常的驾驶活动。

(2)美国华盛顿高校通过自行开发的专用照相机、脑电图仪和其他仪器来精确测量头部

运动瞳孔直径变更和挤眼频率，用以探讨驾驶行为问题。一般状况下入们眼睛闭合的时间在

0.2-0.3s之间，驾驶时若眼睛闭合时间达到0.5秒就很简洁发生交通事故。

⑶卡内基梅隆探讨所的Copilot装置。探讨所的Grace等人采纳特制的红外LED装置，

依据人的视网膜对不同波长红外光的反射量不同所表现诞生理特征，运用850nm和950nm

波长的红外光源，在同一时间内得到两幅眼部具有微小差别的图像，然后将这两幅图像进行

差分相减，就可以提取出限部瞳孔的位置和大小。再用PERCLOS法则计算眼睛的闭合程度

来推断疲惫的程度。运用此装置能比较精确地定位出人眼然后进行疲惫推断。

(4)2000年1月明尼苏达高校计算机科学与工程系的NikolaosP.Papanikolopoulos教授

胜利开发了一套驾驶员眼睛的追踪和定位系统，通过安置在车内的一个CCD摄像头监视驾

驶员的脸部，用快速简洁的算法确定驾驶员眼睛在脸部图像中的准确位置，追踪多幅图像来

监控驾驶员是否驾驶疲惫，同年3月，他对上述系统进行了改进，改用红外线彩色摄像头并

加滤波器滤除图像的噪声和非脸部的图像，使搜寻脸部图像的次数削减，加快了处理图像的

速度。

(5)日本胜利研制了电子“醒悟带”，固定在驾驶员头部，将其一端的插头插入车内点

烟器的插座，装在带子里的半导体温差电偶使平展在前额部位的铝片变凉，使驾驶员睡意消

退，精神振作。

(6)日本先锋公司最近开发出防止驾驶员开车打磕睡的系统。它可通过心跳感应器每隔

巧秒检测司机的心跳速度,监测司机驾驶员是否打磕睡，在睡意来临巧分钟前提示司机留意,

防止发生事故。先锋公司还探讨了通过测量挤眼频率和车体摇摆频率监测司机是否磕睡的系

统。

(7)西班牙的防磕睡系统(Anti-DrowsinessSystem),测量驾驶时手对方向盘的握力，一旦

检测到疲惫发生，利用汽车的灯不停的闪耀，提示四周的交通车辆。

(8)澳大利亚的头部位置测量跟踪系统与沃尔沃合作，通过测量头部位置、闭眼和挤眼

评估疲惫驾驶，但是它要求在司机的脸上作一些标记，给司机带来极大的不便。

(9)2005年，澳大利亚的探讨人员们推出了一款眼镜，它可以检测出司机是否已经处于

疲惫状态，并刚好提出警告。原理是通过红外线传感器监测司机的眼睑活动和挤眼频率，据

此推断司机是否己经处于疲惫状态。

(10)转向盘监视系统S.A.M(SteeringAttentionMonitor),一种监测方向盘非正常运动的

传感器系统，当方向盘正常运动时传感器系统不报警，若转向盘4s不运动就会发出报警声

直到转向盘接着正常运止。该系统固定在车内录音机旁，转向盘下面的杆上装有一条磁性带,

用以监测转向盘的运动。

(11)头部位置测量仪(ASCIAdvancedSafetyConceptsInc研制)。传感器设计安装在司机

座位上方，每个传感器都能输出司机头部距离传感器的位置，利用三角代数算法就可以计算

出头在X,Y,Z三维空间中的位置，也能够实时跟踪头部的位置，同时利用各个时间段头部

位置的变更特征，可以表现出司机处于醒悟还是磕睡状态。该传感器物埋特点基于传感器电

极屏蔽之间的电容，通过人这个高导体可以变更电极之间的电容，通过测量电压计算头部与

传感器之间的距离。当人进入电容区域时，接近的电容变更同距离之间的关系是，利用3

个传感器，就可利用三角代数计算出头的X,Y,Z的坐标。并对司机的头部位置进行实时跟

踪，并且依据头部位置的变更规律判定司机是否磕睡，发觉点头的动作和磕睡有特别好的相

关性。

(12)法国图卢茨西门子汽车公司投资1700万法郎研制的一整套疲惫检测系统。他们在

汽车上装上5种传感器:汽车速度传感器(监测汽车是否超速)、脚踏板传感器(监控脚踏板上

压力的状况，是否在预定时间内没有压力变更)、方向盘传感器(监测方向盘状况)、车尾CCD

传感器(测量汽车和马路上旁侧或中间的白线距离)、眼睛传感器(特地监控眼部的疲惫特征)。

这套系统主要是从多方面状况来联合监控驾驶员的状况，运用传感器融合的原理来综合推断

驾驶员的状况，在实时性、精确性上有很大的保障。

国内疲惫驾驶检测系统的探讨现状

国内的疲惫驾驶预警系统的探讨还处于起步阶段，相对国外来说还比较落后。我国对疲

惫驾驶的探讨最早始于20世纪60年头，其中主要以高校居多。到目前为止，还没有很成熟

的产品问世。目前的检测方法主要有：

(1)江苏高校汽车与交通工程学院的葛如海教授等(5］人设计的一套疲惫监控系统，运用

图像差分、灰度直方图等一系列图像处理方法，定位驾驶员眼睛睁开闭合状态，再用

PERCLOS指标衡量驾驶员的疲惫状态。

(2)上海交通高校石坚、吴远鹏等人通过在车上安装传感器来测量方向盘、踏板压力等

状况间接或许驾驶员的疲惫信息，当踏板或方向盘长时间不动的时候，驾驶员可能有疲惫的

迹象，但是这和驾驶员的驾驶阅历和习惯有关，精确性不高。

(3)中南高校对驾驶员驾驶时的疲惫检测方法进行了探讨，设计出了一套眼睛跟踪系统,

可达到实时的跟踪效果，同时探讨了疲惫时眼睛的闭眼时间、快挤眼次数、慢挤眼时间和次

数的特征模式。

(4)航空医学探讨所的俞梦孙、周俞斌等司利用人眼在特定波长的红外光照耀下的不同

成像特点，设计了适用于全天候的疲惫检测系统。

(5)西南高校的姜德美提取驾驶员驾驶时的反应时间和方向盘转动角度作为BP神经网

络模型的输入，来进行仿真验证。

(6)浙江高校正在探讨驾驶防磕睡装置，该装置通过实时监测一段时间内驾驶人员眼睛

的活动如眼睛的闭合时间、闭合频率等参数，来推断当前驾驶人员的留意力程度，从而识别

驾驶员是否疲惫。

(7)中国农业高校车辆与交通工程学院正在进行机动车驾驶员疲惫测评方法的探讨，他

们运用CCD摄像头来采集图像数据，数据采集到计算机后，先利用高斯肤色模型进行驾驶

员人脸定位，然后依据人脸图像的灰度分布检测出眼睛在图像中的具体位置，最终利用模板

匹配技术推断出人眼的开闭状态，并计算出眼睛的闭合时间和PERCLOS,当眼睛的持续闭

合时间大于3秒，PERCLOS大于80%时・，就认为驾驶员处于疲惫驾驶状态，发出警告。

(8)吉林高校的王荣本等与中国业高校郑培等，利用机器视觉的方法对驾驶员的眼睛特

征进行实时跟踪从而推断驾驶员的精神状态。

(9)深圳长途汽车公司的周鹏应用人体生理学、现代神经学、电子工程学分析了驾驶员

疲惫事故隐患的起因，提出了消退疲惫事故隐患必需消退司机开车时的异样疲惫和大脑麻

痹。依据这一思想他探讨了佩戴于司机小腿部与手腕部的''司机疲惫事故预防器”。

(10)中国的金吉公司制造了一种像戒指一样的测量装置，利用人的皮肤阻抗的变更，司

机磕睡时，通过声音提示司机当前的状态，由于特异性和精确度不高，误报率和漏报率都很

高。

综合国内外的现状来看，能做到实时、有效、简洁地检测驾驶员的疲惫状况是目前探讨

的重点和热点，但是FI前市场上还没有特别成熟的产品投入到市场上进行实际的应用，这主

要存在着以下的困难:首先产品的投入成本比较高，汽车厂商研制出了较好的预警系统但是

却无法很好地进行商业化的推广;其次目前疲惫的推断没有准确的定义，因此在进行疲惫检

测的时候可能会出现误判等状况:再者诸如EEG,“醒悟带”、监测眼镜等方法的有效性良好,

但是由于是接触性的装置，大大影响了驾驶员了自由活动;最终还因为个体和环境的差异（诸

如男女性别、近视眼镜、光照状况、路况等）受到不同的影响。

总体看来，驾驶员疲惫检测是个困难的过程，我国的驾驶疲惫检测的方法同发达国家相

比，还存在较大的差距。探讨表明，眼睛状态和疲惫有很大的关联性，现阶段随着数便相机

和网络摄像头的价格越来越便宜，通过监测驾驶员的眼睛状态来推断驾驶员是否疲惫的技术

正逐步成为热点。因此，探讨如何利用机器视觉技术、图像处理技术、人脸识别技术PERCLOS

疲惫检测方法相结合，开发出一种车载的、非接触式的、实时的员疲惫检测系统是当前的一

个探讨热点，这就是本课题探讨的初衷。

2.2疲惫驾驶检测系统浅析

经过几十年的探讨疲惫检测技术仍远未达到成熟、完善的地步国内外主要探讨成果如下

（1）利用方向盘内置传感器感应驾驶员对航向订正的速率若对方向的掌控迟钝则判为疲惫驾

驶并发出警报但这个系统并未充分考虑长距直路、路况好的状况。（2）利用内置摄像头侦测

驾驶员眼部状态包括:眼睑、瞳孔变更及挤眼频率等来推断驾驶员是否疲惫。但这个系统并

未充分考虑人眼特征差异，比如:眼眼小的人、睡觉睁眼的人戴眼镜的人等。（3）利用连续驾

车时间来推断驾驶员是否疲惫。这种方法很难扼制短暂停车接着驾驶的人。（4）利用后视镜

传感器检测车辆是否偏离车道若车辆非线性行驶则判为疲惫驾驶并发出警报。该系统不适合

坎坷、颠簸的道路。（5）利用驾驶员脸部肤色变更来推断是否疲惫驾驶这种方法受光照强度

的影响很大。其他如通过检测心跳、血压、明视长久度、能见度、调整时间变动率、闪光融

合频率、脑电图、心电图、肌电图等判定疲惫的方法形式单一多信息融合系统随之产生担其

精确性、牢靠性有待完善，

2.2.1神经传导速度测定方法

疲惫干脆反映了神经的传导时间人在疲惫时房使神经传导时间明显延时。所以神经传导

速度可作为反应驾驶员是否疲惫驾马史的基本生理参数。

1.感觉神经传导速度测定方法

疲惫早期驾驶员主要是感觉障碍基本无运动障碍和肌肉萎缩问此时测定感觉神经传导

速度对于预防疲惫驾驶、避开交通事故的发生具有重要意义。

依据如下公式计算出感觉神经传导速度:检测方法如下（以挠神经为例）运用指环电极作

为刺激电极，运用表面电极作为记录电极，刺激位置为拇指接近虎口的指关节，记录位置选

择手腕挠测或前臂下1/3}}a测出刺激点与记录点之间的距离S并测出刺激起先至感觉神经

收缩产生动作电位的潜藏期T。

=SxlO

,愚党神经传尊丁

2.运动神经传导速度测定方法

运动神经传导速度检查能干脆测定运动神经的传导性。依据刺激点与记录电极之间的距

离差及潜藏期间隔来推算该段距离内的运动神经传导速度。

依据如下公式计算出运动神经传导速度：

(S.-S.b-lO

222系统设计

本系统主要靠检测、计算出的神经传导速度与参考值作比较来推断驾驶员是否疲惫。通

过内嵌在方向盘内的电极及腕、肘部的电极来测得神经传导速度的关键参数并传入限制系统,

由限制系统通过计算、与参考值进行比较最终对是否疲惫作出裁决厂旦认定疲惫驾驶，便启

动声、光报警系统甚至自动刹车系统，以避开交通事故的发生。

2.3驾驶员疲惫检测系统的探讨

为了削减由于驾驶员疲惫驾驶引起的交通事故，提出驾驶员疲惫状态检测系统的方案。

运用3X3中值滤波去除噪声和光照对图像的影响，通过对AdaBoost算法的强分类器训练算

法改进、级联分类器优化实现人脸的快速检测，在检测到的人脸区域，通过积分灰度投影和

从粗到细改进的模板匹配方法对人眼进行精确定位；通过PERCLOS、眼睛闭合时间、眼睛

挤眼频率、嘴巴张开程度、头部运动的计算，进行驾驶员疲惫程度的综合判定。试验结果表

明，该方法精确率高，兼具了良好的实时性和鲁棒性。

2.3.1人脸检测

1.图像预处理

由于自然条件下的噪声和光照影响等一些因素，会给人脸图像的处理带来肯定的干扰，

所以须要找到合适的方法滤除噪声和改善非匀称光照的影响。经试验验证，3X3中值滤波

法可达到很好的预处理效果。

2.改进的AdaBoost检测方法

1995年,Freend和Schapire提出AdaBoost算法,ViolaP和JonesM提出的与基于

枳分图的Haar-like特征快速计算算法相结合的AdaBoost算法，在历史上第一次真正实

现Id标的实时检测。这个算法的基本思想就是将大量的分类实力一般的弱分类器通过肯定方

法叠加起来，构成一个分类实力很强的强分类器，且算法不须要任何关于弱分类器性能的先

验学问，很简洁应用到实际问题中。AdaBoost算法流程如图2所示。

图2AdaBoost算法流程图

ViolaP和JonesM提出的基于AdaBoost的快速目标检测方法，虽然得到了广泛的应

用，但是该算法还存在很多问题。如：虽然AdaBoost系统检测速度很高，但是由于AdaBoost

算法本身训练比较耗时，整个系统的训练时间特别惊人。依据文献[7],其系统在训练上花

费了数周的时间。在分析这些问题的基础之上，本文提出了改进的AdaBoost目标检测算法，

极大降低了检查的时间。

（1）强分类器训练改进算法

基于AdaBoosi的快速目标检测算法在计算Haar-like特征时运用积分图的方式进行了

快速计算，依据文献网的统计，24X24的搜寻窗口虽然有18万的特征，但是过半的矩形特

征面积特别小（小于2X2）,这些特征在实际目标检测的性能很差，使训练的特征不具有

很好的泛化实力。木文在进行特征选取的时候将这些小面积矩形特征进行过滤，避开了此类

特征的计算，在保证分类器检测率的同时，提高了分类器的训练速度。由AdaBoost训练强

分类器的训练算法可以看出，该算法是选择单个特征作为弱分类器，且选择弱分类微的标准

是弱分类的检测精确率略大于随机揣测（即略大约0.5）,则将该弱分类器保留。但是在训

练的过程中，很可能出现特别相像的特征，这类相像的特征对分类器的性能没有提高的作用，

而且不利于分类器的泛化实力。

（3）级联检测技术的优化

AdaBoost算法能够完成实时性检测的缘由除了通过积分图进行快速特征计算之外，另

一个重要缘由是该算法在进行检测目标时采纳了级联分类器。级联结构分类器如图3所示。

在将训练出强分类器串联在一起形成层叠分类器时，应遵循“先重后轻”的分级分类器

思想，将由重要特征构成的结构较简洁强分类器放在前面。这样可以先解除大量假样本，从

而提高检查速度。AdaBoost算法在进行级联分类器训练的时候，对每一级强分类器都进行

了重新训练，训练比较耗时。已经证明：“随着弱分类器数量的增加，通过AdaBoost构建

的强分类器的检测率也会不断提高”。本文为了提高训练速度，在对级联分类器训练时，后

一级的强分类附会重复利用前一级已经训练好的弱分类器，并在此基础上通过增加弱分类器

的数量来提高强分类器的性能。这样可以大大削减强分类器的训练时间。

23.2人眼定位

1.灰度积分投影确定准眼睛区域

在精确定位脸部位置后，依据人脸的面部器官的分布，人眼在脸部的上半部，所以首先

截取人脸区域是上半部进行处理。人脸图像中眼睛部位的灰度值通常比四周区的灰度值小，

利用该特征常运用积分投影的方法来定位眼睛。最为常用的投影函数是积分投影函数。

2.改进的模板匹配精前定位眼睛

模板匹配方法是假设待搜寻图像S的尺寸为W'H,模板T的尺寸为M'N,

通过肯定的算法在大图像（即待搜寻图像S）中搜寻与模板T具有相近的尺寸、方向和图像

的子图，并确定其坐标位置。

基于相像度的模板匹配算法以各局部图像作为模板,先在人脸集中手工提取各种状态的

眼睛图像作为模板。

0

一

/、

都

卷

君

会

3

图5水平灰度投影曲线及眼睹上卜边界

12000

=11000

度10000

球

£9000

超

史8000

7000

6000

020406080100120140160180200

人脸图像的横坐标值（像素）

图6垂l*L灰度投影曲线及眼睛左右边界

一幅眼睛图片为一个模板，即一个二维矩阵，利用眼睛模板与人脸图像作相关匹配，匹

配函数如下：

MN..

E£S“m,n)xT(M,N)

m-\n-\

Rg)=MN"MN"

之之[S%〃，切2七刃片(MN)]?

/M-1/J-I，“一I"-1

当模板匹配的相关系数R（ij）等于1的时候，说明搜寻子图与模板完全匹配。这只

是一个志向值，模板匹配的过程中主要是找寻相关系数的最大值，此时它所对应的搜寻子图

便是所要找寻的目标子图，明显，用这种公式做图像匹配计算量大、速度慢。可以运用另外

一种算法来衡量T和Sij的误差，其公式为：

MN..

E（iJ）=Z2及（〃?，〃）一丁（/，N）|

m-\n-\

计算两个图像的向量误差，可以增加计算速度，依据不同的匹配方向选取一个误差阀值

E0,当E（ij）＞E0时就停止该点的计算，接着下一点的计算。

2.3.3疲惫程度的综合判定

驾驶员疲惫的判定会因错误检查带来不良影响，本文采纳PERCLOS、眼睛闭合时间、

眼睛挤眼频率、嘴巴张开程度、头部运动的计算，进行疲惫程度的综合判定，精确、有效地

进行驾驶员疲惫的检测。

1.PERCLOS

PERCLOS(PercentageofeyelidClosureoverthepupilovertime)是指眼睛闭合时间占某

一特定时间的百分率。PERCLOS方法有P70,P80和EM三种判定标准。探讨表明P80

与疲惫程度间具有最好的相关性。

2.嘴巴张开程度

嘴巴的状态通常有三种，闭合，说话及打哈欠，在疲惫状态下，人会频繁地打哈欠。在

人脸下半部分进行水平灰度投影，视察不同单人图像的水平灰度投影曲线，会发觉该区域下

半部分的水平灰度投影曲线有一个波谷，即为嘴唇间位置。对•人脸下半部分区域二值化，从

嘴唇间向上、下计算连通区域(连通区域可以防止鼻孔及胡须对计算带来影响)的像素值，

即可得到嘴巴的张开程度，

3.眼睛高度D及嘴巴高度H补偿

在上眼睑到下眼睑的垂直距离D及上嘴唇到下嘴唇的垂直距离为H时，由于驾驶员头

部相对「检测设备有位置移动，因此为了实现驾驶员眼睛高度和嘴巴高度的精确计算，须要

修正眼睛、嘴巴与检测设备距离相对变更引起的D及H变更。

4.眼睛闭合时间

眼睛闭合时间，一般用眼睛闭合到睁开所经验的时间来表示。人处于正常醒悟状态时，

眼睛闭合时间是很短的，会快速睁开眼。而当疲惫时，眼睛闭合时间会明显变长，因此眼睛

闭合时间能干脆反映驾驶员的精神状态。本文采纳计算从眼睛闭合D/3到睁开D/3的最大

帧数，帧数越多，闭合时诃就越长，则疲惫程度就越严峻。

5.眼睛挤眼频率

人在疲惫状态下，挤眼频率会比醒悟状态下频率高。本文也将其作为一项参数作为疲惫

推断的依据。眼睛闭合DG到睁开D/3为挤眼一次。累加一段时间内挤眼次数，作为疲惫

推断的一项参数。

6.头部运动的疲惫参数

驾驶员在疲惫状态下会出现频繁点头，头部向前倾。本文通过水平灰度积分投影得到眼

睛瞳孔、嘴角的水平位置。＜11为瞳孔水平位置到采集图片的上边缘距离，d2为嘴角的水平

位置到采集图片的下边缘电离。在驾驶员疲惫出现点头状况，则dl增大且d2减小,驾驶

员疲惫时，头部向前倾，则dl增大且d2增大。点头和头部向前倾可以作为疲惫推断的一

项重要的依据。

3.基于人脸特征的列车司机疲惫驾驶检测与识别系统探讨

3.1探讨内容及目标

本章的目标是开发一套基于人脸特征识别的非接触式列车司机疲惫驾驶实时检测预警

装置。本文的探讨内容为结合列车司机驾驶的特点和规律，利用模式识别与图像处理学问分

析列车司机疲惫驾驶时的揄部特征，探讨适合于列车运行时驾驶室光照状况困难多变及岛频

低幅振动环境卜.的列车司机疲惫检测和识别算法，并在以DSP数字信号处理芯片为核心的硬

件平台上实现检测与识别算法,以达到系统实时检测的性能要求。主要完成以下探讨内容：

1.实现由摄像头实时捕获视频数据；

2.提出适合列车驾驶室环境的人脸检测算法，使其对振动环境和光照变更有较强的鲁棒性；

3.提出人眼检测算法，及推断眼睛睁开/闭合的状态识别分析算法；

4.依据眼睛睁开/闭合数据，基于PERCLOS的P80模型，给出列车司机疲惫驾驶的判定算法；

5.在以DSP为核心的硬件平台上，将列车司机疲惫驾驶检测与识别算法移植到DSP芯片中，

提高算法的检测速度。

本识别系统的开发主要分为两大阶段进行：

1.检测与识别算法开发:在PC上进行基于人脸特征的列车司机疲惫检测与识别算法开发。主

要完成基于Adaboost算法的人脸与人眼分类器训练，以及人眼状态识别算法开发；

2.基于DSP的疲惫检测与识别算法移植:将PC上的非实时疲惫驾驶检测与识别算法移植到

基于DSP的高速数据处理嵌入式系统，使算法达到实时检测与识别的要求。

3.1.1基于人脸特征的疲惫驾驶检测与识别算法开发

本阶段的主要任务是:结合列车司机驾驶的特点和规律，分析列车司机疲惫驾驶时的脸部

特征，探讨适合于列车运行时驾驶室光照状况困难多变及高频低幅振动环境下的列车司机疲

惫驾驶检测与识别算法。

整个检测与以别系统必需精确地检测和定位眼睛，依据查阅的相关技术资料，最终确定本

阶段算法开发分为三个步骤进行:1）检测视频中的人脸⑵在人脸区域中定位人眼;3）对人垠状

态进行识别，确定其状态，睁开或闭合。采纳先检测人脸，再检测人眼的策略，可以削减检测算法

的计算量，同时提高人眼检测的精确率。

3.1.2疲惫驾驶检测与识别算法OSP移植

依据国内外探讨人员发表的论文或技术资料显示:采纳Adaboost算法开发的人脸检测系

统，计算量大,在对视频进行检测时，实时性方面表现不尽志向，而且本系统在人脸与人眼检测

阶段均采纳Adaboost算法，同时考虑到本系统设备便携式的要求，所以将算法移植到具有高

速数据处理性能的DSP嵌入式系统中，提高系统检测与识别速度。

疲惫驾驶检测算法的DSP移植及优化,首先完成基于DSP旧105最小视频输入输出系统

程序，然后将疲惫检测算法从PC移植到.DSP系统,并完成移植过程涉及到的相关算法优化及

线性汇编优化等工作，使系统达到实时检测与识别的要求。

3.2基于Adaboost算法的人脸检测

整个疲惫检测系统首先必需精确地检测到人眼位置，我们采纳先确定人脸区域，然后在人

脸区域内进一步检测、定位人眼的方法，这样可以使得人眼的检测与定位更精确一些。

3.2.1人脸检测技术概述

人脸检测采纳的方法大致可分为基于统计和基于学问两种类型［5］。基于统计的方法将

人脸图像视为一个多维向量，从而将人脸检测问题转化为多维空间中分布信号的检测问题;而

基于学问的方法则利用人捡特征先验学问定义若干规则，建立相应的数学模型,从而将人脸检

测问题转化为假设和验证问题,比如利用人脸肤色和几何结构等。

表2/常见的人脸检测方法及其比较

方法优缺点及应用场合

事例学习算法训练时间较长，精度高，鲁棒性强

基于统计的子空间要求训练样本能足筋表达人脸空间，计算准确，计

方法算量大，适用于单人脸，正面图像

空间匹配模板匹配方法，运算简单，但精度低

器官分布利用人脸的生理几何特征，优点是姿态、表情、光

照等对算法影响不太明显，但计算量大

提取轮廓与姿态和光照等条件无关，但参数多，能量函数的

基于知识建系数难适应一般情况，计匏量大

模的人脸检利用颜色优点为计算速度快，但对光线要求较高，受光线影，

测方法纹理影响较大，一般应用于粗定位

利用运动采用帧间差分法，只能检测相对运动物体，受光线

变化影响较小。但是由于两幅图像的时间间隔较短，

检测出的物体位置不精确。适用于固定背景

__

对称性适用于正面人脸，计算量大

从表2—1可以看出.每种人脸检测方法都有肯定的优缺点以及应用场合。基于学司建

模的方法，一般对建模的假设条件依靠性强，而基于统计的方法，一般精度较高、鲁棒性强、但运

算量大。对于本系统，列车驾驶室光照环境变更快速，同时带有肯定程度的振动，很难保证一个

稳定的建模假设环境。例如，列车的光照环境不能保证基于肤色的检测算法要求的光照稳定

的建模条件,而列车的振动环境也不能保证基于运动的检测算法要求的背景稳定的建模条

件。基于统计的检测方法.通过模式识别的训练过程，提取人脸样本中的大量人脸本质特征，

在光照不志向的状况下,即使缺失少部分特征，仍可以正确识别人脸。t一般来说，基于统计的

人脸检测方法只须要当前帧图像，对振动环境并不是很敏感，带来的只是少许图像噪声，对算

法检测性能影响不大。由于本系统采纳高速DSP数字信号处理芯片，在很大程度上解决了基

于统计的人脸检测算法计算量大的问题。

从上面的分析，可以看出基于统计的算法对列车困难多变的光照、振动环境都有较强的

适应性。在基于统计的人脸检测算法中,我们最终选择了基于Adaboost算法的人脸检测算法。

3.2.2Adaboost人脸检测算法

1.集成学习算法

集成学习中一个关键问题就是弱分类器的集成问题。大部分机器学习算法只是通过单个

分类器的生成来对新的样本做出预料，而集成学习则是多个弱分类器的结合，每一个弱分类器

都可能是一种传统的机器学习模型。对一个新样本分类,集成分类器把这个新样本交给其多

个弱分类器，再把各个弱分类器对新样本的分类结果通过某种方式（比如投票或求均值）组合

来得到集成学习的预料结果。Hansen等探讨发觉,集成学习算法生成的分类器要比参加集成

的那些单分类器的精确度高很多。我们也可以说成集成学习的优点是集成分类器的性能比单

个弱分类器具有更好的表达实力。在众多的集成学习算法中,Adaboost算法因其有以下优点

而被广泛运用：

（1）算法速度快；

（2）除了训练轮数参数T外，不须要调整任何参数；

（3）不须要知道任何关于弱分类器的先验学问；

（4）对弱分类器的性能要求不高，只须要比随机揣测性能稍好即可，这种弱分类器在实际状况

下很简洁获得，从而降低了算法的困难度，提高了效率；

（5）在弱分类器的构成上可以兼容多种方法，这些弱分类器可以是神经网路、决策树、最近

邻域分类器、阅历规则等；

（6）训练数据可以是文本、数字、离散值等，并且Adaboost算法很简洁被推广到多类目标

的分类问题中去。

2.Adaboost算法

Adaboost算法的训练过程是一个样本权重的迭代更新过程。在Adaboost算法中每个样

本的权重值表示该样本被错分次数的多少，在每•轮权重更新的过程中,被错分样本的权重会

变大，在下一轮循环中算法就会更加关注上一轮被分错的样本。假如一个样本被错分了很多

次,那么这个样本的权重就会越来越大，我们就称这样的样本为“困难样本”。通过这样的方

式Adaboost算法能够“聚集于”那些困难（更富有信息）的样本上。下面依据集成学习算法的

两个关键问题介绍Adaboost算法,首先是Adaboost算法应用于人脸检测的弱分类器Il-likc

特征，然后介绍Adaboost的集成方法，即由

Haar-like特征组成的弱分类器生成强分类器，最终获得级联分类器的方法。

3.3基于Adaboost算法的人脸检测软件实现

Adaboost分类器实现主要分两部分:Haar—like特征的选择过程，即样本训练过程;检测

过程，即利用得到的Haar-like特征进行人脸检测。下面分别给出样本训练过程及检测过程

的软件逻辑实现。

331.样本训练过程

样本训练过程的主要目的是从过完全的弱特征中获得分类实力较好的少量弱特征，进而

生成强分类器和级联分类器。下面具体介绍样本训练过程。在样本训练过程中，首先须要解

决的就是人脸样本库的选择及预处理。

采用CBCL人脸库

均方差均衡化，尺寸归一

生成5000个正反样本

的正斜积分图数据

利用积分图数据生成

»69120个特征值的数据

T轮

a获得分类性能较好的弱分类器

验证前期工作的正礴性

»和Adaboost算法的可行性

►减少人脸检测时间

图2・6级联分类转训练过程

3.3.2人脸检测程序

人脸检测程序主要是利用基于Adaboost学习算法训练得到的人脸级联分类器，进行实际

的人脸检测。人脸检测程序流程包括图像预处理、积分图生成、特征值计算、级联分类器推

断等步骤。

下面给出级联分类器人脸检测程序的流程图,以及程序关键代码。

比例系数变大

巴耳京数＜10?

3.4人眼检测与人眼状态分析算法

3.4.1基于Adaboost的人眼检测算法

人眼训练过程须要人眼库，因为没有现成的人眼库，所以只能自己收集人眼样本,建立人

眼库。人眼样本，主要裁剪自人脸库样本以及一些互联网下载人脸图片中。样本被统一-缩放

到20x12像素,样本库共包括1000个人眼样本和1500个非人眼样本

3.4.2人眼级联分类器效果分析

利用人眼检测程序进行了大量图片检测,发觉人眼检测正确率特别高，只要能够正确定位

人脸，人眼检测几乎可以达到100%。经过分析，可以发觉，这是由人眼特征确定的。首先、人眼

特征简洁、变更小，不像人脸特征多、变更大。其次人眼搜寻区域小，人眼的搜寻区域为从前

定位的人脸区域，而人脸搜寻区域为整幅图像。特征简洁、搜寻区域小,导致人眼检测正确率

高,基本不会出现漏检和误检。

3.4.3人眼状态分析算法

人眼状态分析是疲惫状态识别最关键的步骤,也是一个主观的定义过程。人眼状态分析

算法可以分为基于统计和基于学问建模两种方法。因为人眼开闭状态连续,状态确定主观，而

基于统计的人眼状态分析方法（模板匹配,Fisher法等）固有的离散特点,使得基于统计的方法

样本选择难度大，运用敏捷性很差，因此本系统优先考虑基于学问建模的方法,该方法最大的

特点就是模型参数可调，所以可以通过调整参数，尽量达到PERCLOS的P80模型的要求。最

常见的两种基于学问建模的人眼状态分析基本方法是:Hough找圆法和灰度投影法。

1.Hough找圆法

Hough变换是图像处理中从图像中识别几何形态的基本方法之一。Hough变换的基本原

理在于利用点与线的对偶性，将原始图像空间给定的曲线通过曲线表达形式变为参数空间的

一个点。这样就把原始图像中给定曲线的检测问题转化为找寻参数空间中的峰值问题。

简而言之,Hough变换思想为:比如检测图像中的一条直线，在原始坐标系下的一个点对

应了参数坐标系中的一条直线，同样参数坐标系的一条直线对应了原始坐标系下的一个点。

原始坐标系卜呈现直线的全部点，它们的斜率和截距是相同的，所以它们在参数坐标系卜对应

于同一个点。这样在将原始坐标系下的各个点投影到参数坐标系下之后，看参数坐标系下有

没有聚集点，这样的聚集点就对应了原始坐标系下的直线。

2.灰度投影法

灰度投影法基本原理若人眼睁开，黑色瞳孔未被眼脸遮盖,则其垂直灰度投影在瞳孔位

置形成一个波峰。若人眼闭合,黑色瞳孔被眼睑遮盖，则其垂直灰度投影基本呈水平直线。

对眼睛部位进行垂直灰度投影，得到共灰度投影图，然后推断投影图足否具有明显的波峰,

就可以判定眼睛状态。灰度投影法同样面临Hough找圆法同样的问题,须要图像的质量较高

和精确的人眼定位,否则就不能获得明显的波峰，甚至可能出现两个较小波峰的状况,导致灰

度均值较大等异样状况,导致状态分析错误。

其次灰度投影法须要较困难的前处埋步骤，以消退噪声，才能得到很好的灰度投影图（即

明显的单波峰，或小均值呈直线形式）。

3.区域灰度特征比较法

鉴于上述Hough找圆法、灰度投影法两种基于学问建模方法固有的过分依靠其假

设条件，须要精确几何模型、鲁棒性较差的缺点，我们提出了一种区域灰度比较法，即使得眼睛

状态分析具有基于学问建模方法的连续性、参数可调性,而且不须要精确的几何模型,同时也

使得状态分析具有不错的鲁棒性。

4.基于贝叶斯网络的驾驶疲惫程度识别模型

4.1基于贝叶斯网络模型的驾驶疲惫程度识别

驾驶疲惫作为一个不行干脆观测的探讨对象，其影响因素特别多且难以定量，各类度量

指标对驾驶疲惫的界定又没有统一的标准。因此，推断驾驶疲惫程度是一个特别困难的系统

问题。与酒后驾驶的检测指标不同，全部用来检测驾驶疲惫的指标在获得过程中均会受到不

同程度的干扰。目前，还没有一种方法能够对驾驶疲惫程度进行精确无误的检测。因此，运

用概率论的方法对驾驶疲惫程度进行识别具有肯定的合理性。

贝叶斯网络模型的基本思想是：在信息不完备的状况下，通过可视察随机变量（证据变

量）推断不行视察随机变量（隐含变量），进行概率推理。利用贝叶斯网络求解驾驶疲惫程度识

别的问题可以表述为：在已知疲惫度量指标测定结果的状况下，利用贝叶斯网络方法求解在

肯定影响因素条件下，疲惫状态处于各种程度（醒悟、轻度疲惫、重度疲惫）时的概率。

驾驶疲惫贝叶斯网络的构建包括两个主要内容：I）确定网络节点；2）计算节点间的先验

概率。其中，网络节点的选择取决于疲惫的各种特征及影响因素，而节点先验概率的确定则

依靠于某个特征或因素对推断疲惫程度的可能性。

4.2驾驶疲惫程度识别模型

驾驶疲惫贝叶斯网络结构

驾驶疲惫作为系统的核心，其困难的影响因素即该系统的输入，在生理、眼动及驾驶绩

效等方面表现出来的特征即该系统的输出。

将驾驶疲惫的影响因索分为三类:驾驶环境属性、驾驶人个体属性以及原始疲惫属性。

各类影响因素的具体度量指标见图1。其中，温度、天气等变量是驾驶环境变量的父节点，

相应的驾驶环境变量是温度、天气等变量的子节点，以此类推。

图1驾驶疲劳影响因素

4.2.2贝叶斯网络条件概率表的确定

在建立的驾驶疲惫贝叶斯网络模型中，条件概率分为两类：一类是输入层变量与隐含层

变量之间的条件概率，另一类是陷含层变量与输出层变量之间的条件概率。

4.2.3驾驶疲惫程度贝叶斯网络识别模型

输入层变量和输出层变量统称为贝叶斯网络中的证据变量。利用贝叶斯网络建立驾驶疲

惫程度识别模型的原理是在已知网络中各节点先验概率的前提下，结合证据变量的取值，依

据贝叶斯公式计算不同驾驶疲惫程度的后验概率。

4.3模型有效性验证

采纳模拟驾驶的方法进行试验设计。试验设备包括模拟驾驶仿真试验平台一AS13Q0卡

车驾驶模拟系统、多通道生物生理记录仪、摄像机等。同时采纳斯坦福嗜睡量表(S⑶]fordSI

ccpincssScale,SSS)对驾驶人的主观疲惫状况进行问卷调查，以了解驾驶过程中驾驶人对疲

惫的主观感受。

5基于FPGA的疲惫驾驶检测系统设计

5.1疲惫驾驶检测系统总体设计方案

5.1.1系统红外光源原理

主动红外光源理论的内容:人眼视网膜对不同波长红外光的反射率不同，对850nm波长

红外光的反射率是90%,对940nm红外光的反射率是40%,红外波长在880士80nm范围之内

时，人脸的其他部分对于红外光的反射程度基本一样。这样通过限制这两组LED灯的闪耀频

率得到亮瞳孔和暗瞳孔图像，将这两幅图像经过差分获得瞳孔明显的几乎没有背景干扰的以

人脸为主体的差分图像，大大简化了整体算法的困难度。

如图2.1所示:获得了差分图像后,对其在水平和垂直方向上进行投影，通过确定人脸的

上、下、左、右边界来定位出人脸区域。依据人眼和人脸的固定几何关系来定位出人眼的大

致区域，接着在此区域内利用困难度算法检测到瞳孔。人眼睛睁开时瞳孔面积大，当人闭眼时,

瞳孔面积随闭眼程度变更.当完全闭眼时瞳孔面积为0,所以通过统计瞳孔面枳可以推断当前

采集到图像中驾驶员是睁眼还是闭眼。最终通过统计一段时间内闭眼帧数占总帧数的比例得

到挤眼频率进行驾驶员是否疲惫的推断。P80疲惫算法定义J'闭眼的标准和疲惫推断的标

准。闭眼标准为:眼脸遮住瞳孔的面积超过80%；疲惫标准是:一段时间内闭眼帧数己:'总帧数

的比例大于40%。

A亮瞳孔图像A水平投影

SDRA.M

存储芯片

差分图像定位出人脸区域

A垂直投影

A暗瞳孔图像

图2.1系统图像处理升法流出

5.1.2系统总体设计

本系统主要集成了图像采集、存储、算法处理、报警和显示模块，组成了以FPGA为核

心限制器的疲惫驾驶检测系统。系统的总体方案图如图2.2所示。

►SDRAM

图2.2系统总体设计框架

本设计中的图像处理算法都是在PPGA上实现的,算法处理速度达到了视频源25帧每秒

的速度，解决了现有疲惫驾驶系统领域普遍存在的难以满意实时性的问题。

5.2系统硬件设计与实现

5.2.1系统硬件总体架构

整体硬件电路依据功能划分为三部分,完成图像输入功能的图像采集板、完成系统限制、

图像存储以及其他功能模块的主:控电路板、实现图像数据模拟转数字以及数字转模拟的协助

电路。卜.面分模块介绍硬件电路的具体实现。

ra

像

性

入

电

路24.5-6MH/

A”码芯片Mik电路

电源转换电路

FPGAS片

EP2C35F4S4C8

50MHz报瞥电路

发位电路

品最电路好明器

图3.1系统硬件电路总体架构

5.2.2图像采集电路设计

图像采集板上集成的元器件由图像传感器、外围电路元件和L