疲劳驾驶实时监测系统的设计和研究

1、谢己卫工誓女孽硕士学位论文论文题目：基王塑夔的驾壁虽瘗莹驾壁塞盟鉴型丕统的亟过麴班窒作者姓名型羞指导教师垫塑盘丝撞学科专业蕉型墨逢墨丝剑三堡所在学院篮！塾墨壁堂瞳提交日期窆生§旦旦浙江工业大学硕士学位论文基于视频的驾驶员疲劳驾驶实时监测系统的设计和研究摘要目前，随着我国人民生活水平的不断提高，汽车已经走进了千家万户，成为人们日常出行的一种重要的交通工具。然而，我国的交通事故也随之增多，成为威胁人民生命安全和社会治安稳定的一个不容忽视的社会问题。疲劳驾驶，作为导致交通事故频频发生的一个重要原因，在我国的研究还处于起步阶段，远远落后于西方各国，而目前国内对基于视频的疲劳驾驶监测系统的研制

2、与开发仍处于初始阶段，因此，关于疲劳驾驶方面的课题研究具有极大的科研价值与意义。本文在对国内外关于疲劳驾驶监测领域的研究现状和发展趋势进行深入分析的基础上，归纳和总结了目前常用的几种疲劳驾驶监测方法，提出了一种基于视频的驾驶员疲劳驾驶实时监测系统。该系统通过视频监测驾驶员眼部特征的变化来评价驾驶员的疲劳状态，是一种比较切实可行的方案。基于视频的驾驶员疲劳驾驶实时监测系统主要包括图像采集模块、图像处理模块和分类器三部分，本课题研究和设计的重点是系统中的图像处理模块和分类器。图像处理模块主要采用基于卷积核模板匹配的眼睛定位与跟踪算法对用图像采集模块获取的司机脸部视频图像进行处理，并且基于变换提取出

3、个多尺度、多方向的特征和另外两个眼睛特征参数，然后，将这个与疲劳驾驶相关的特征送入经过训练的分类器进行识别，判断出驾驶员是否处于疲劳状态并及时地予以报警，从而能有效地预防交通事故的发生。本文所做的工作主要有以下几方面：对目前国内外关于疲劳驾驶的监测方法和主要装置进行详细的综述，在深入分析了国内疲劳驾驶监测方面的研究现状和存在问题的基础上，提出了一种通过用红外摄像机的“亮瞳效应实时监测驾驶员眼部特征来评价驾驶员是否疲劳的实际有效的方案，并设计了系统的硬件和软件的总体框架。研究和设计了系统中的图像处理模块。根据系统的实时性要求，提出了基于卷积核模板匹配的眼睛定位和跟踪算法，并且基于“亮瞳效应”设计

4、和制作了眼睛模板，通过浙江工业大学硕士学位论文对眼睛定位和跟踪算法的深入研究，用凇进行了设计与实现。对于图像处理模块中的特征提取单元，通过深入分析和研究纹理特征、多尺度变换等图像处理技术，提出了基于变换的特征提取方法。将检测到的眼睛区域的内眼角、外眼角和内外眼角的中心点三个点分别进行变换，对每一个点，取刀、，：、要、孚、孚、孥、莩，计算其特征，共可得到个特征值。同时，结合眼睛闭合时间和前次眨眼的平均时间两个特征，作为图像处理模块输出的特征向量。研究和设计了系统中分类器，通过对分类器相关的理论基础和基本概念进行详细的介绍和概述，提出了系统中分类器的设计方法，并且在平台上用一工具箱等对几组视频片段

5、进行了训练和测试，取得了预期的效果。本文的研究工作只是采用眼睛特征作为评价驾驶员是否疲劳的特征参数，在今后的研究中还可以结合生理信号、车辆参数等多种指标进行综合评价。也可以在嵌入式系统上进行实验，做成产品，并扩大应用的领域。关键词：疲劳驾驶，卷积核模板匹配，眼睛定位与跟踪，变换，支持向量机（），核函数浙江工业大学硕士学位论文耵垤，毛，倘硒，弱，埘，：浙江工业大学硕士学位论文，盯，（，￥，硫籼仃陆，址，叫、，号、等、詈、竺、詈，舔，诵，：，（），浙江工业大学学位论文原创性声明本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作所取得的研究成果。除文中已经加以标注引用的内容外，本论

6、文不包含其他个人或集体已经发表或撰写过的研究成果，也不含为获得浙江工业大学或其它教育机构的学位证书而使用过的材料。对本文的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。本人承担本声明的法律责任。作者签名：日期：护年厂月哆学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权浙江工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本学位论文属于、保密口，在年解密后适用本授权书。、不保密瓯（请在以上相应方框内

7、打“”）作者签名导师签名月够月日浙江工业大学硕士学位论文第章绪论选题背景和研究目的近年来，随着社会经济的迅速发展和人民生活水平的日益提高，我国的汽车数量正逐年增多。汽车已经成为人们日常生活中的一种重要的交通工具。汽车的普及，一方面极大地方便人们的出行，提高了人们的生活质量；另一方面，也产生了环境污染、道路拥挤、交通事故增多等诸多问题。据有关部门统计，我国目前拥有全世界的汽车，而引发的交通事故却占了全球的左右，每年在交通事故中丧生的人数超过万人。可见，交通事故给人民的生命财产安全和社会治安稳定造成了极大的威胁，成为我国一个不容忽视的社会问题。导致交通事故发生的原因是多方面的。客观原因有车辆性能存

8、在隐患、道路设施不合理和维护不完善等。主观原因包括驾驶员酒后驾车、违章超载超速、疲劳驾驶；行人乱闯红绿灯、乱穿马路等。年，全国共查处各类交通违法违规行为约亿人次，其中，酒后驾车万人次，违章超载超速万人次，疲劳驾驶万人次。据公安部交通管理局统计，仅年月至月，全国共发生交通事故起，造成人死亡。其中，因疲劳驾驶导致的死亡人数达人。可见，疲劳驾驶的危害极大。疲劳是由于体力或脑力劳动使人产生的生理机能和心理机能失调的现象，疲劳驾驶指司机在疲劳状态下驾驶机动车辆的行为，主要表现为：哈欠连天、频频点头、眼睑下垂甚至闭合、老打瞌睡、注意力无法集中、思维能力和判断力下降、动作迟缓、反应迟钝、驾驶车辆左摇右摆、失

9、去方向、车速随意变换等【】【】。由于疲劳会极大地影响人的判断力和行为能力，因此，处于疲劳状态的司机往往难以集中注意力、反应迟缓，在驾驶过程中经常打瞌睡、甚至睡着了，从而无法正常驾驶，极易发生撞车、冲出路面等交通事故。专家表明，司机过度疲劳时发生事故的可能性是正常驾驶时的倍。目前，疲劳驾驶已成为导致交通事故发生的一个重要原因【。在美国，每年发生的万交通事故中，由于疲劳驾驶和因疲劳导致的注意力不集中所致的车祸超过万起，损失高达万美元。在德国，约有的交通事故是因为疲劳驾驶所造成的。我国的交通事故中，有的交通事故是由于司机疲劳驾驶而引发的。由此可见，研究驾驶员疲劳驾驶实时监测系统具有非常广阔的应用前景

10、，它对于预防由于疲劳驾驶所引起的交通事故具有重要的意义，是目前交通事故预防的一个热门课题。国内外的研究现状和发展趋势疲劳驾驶的监测方法目前，国内外关于疲劳驾驶的监测方法和装置主要分为三类【】如表所示：表疲劳驾驶监测的主要方法种类主要方法驾驶员的生理信号脑电信号、心电信号、肌电信号驾驶员的个体特征瞳孔直径、眼睛特征、头部位移车辆的参数方向盘的运动情况、车辆的行驶方向第一种是通过监测驾驶员的生理信号来评价驾驶员的疲劳状态，其中，主要的生理信号有：脑电信号、心电信号、肌电信号。脑电信号是人体重要的一种生理信号，被誉为监测人体疲劳的“金标准【】。脑电波根据频率和振幅的不同可分为波、波、波和波。当人处于

11、清醒状态时，脑电波中的波和波占主导地位；当人处于疲劳状态时，脑电波中的波和波会逐渐减弱乃至消失，同时，波和波出现并随疲劳程度的增加而不断增强。可见，通过监测脑电波的主导节律，我们可以客观准确地判断出驾驶员的疲劳程度。心电指标也是判断驾驶疲劳的一种重要的生理指标，它包括心率指标和心率变异指标二种。研究发现，在心电信号的七项时域和频域指标中，有四项指标与疲劳程度有明显的相关性。心电信号具有简单易行、可随身携带等优点，而且随着检测手段和分析技术的不断发展，今后可实现动态检测和实时处理【】。另外，通过监测肌电信号的幅值与频率的变化也可以客观地评价驾驶员的疲劳状态。在肌电图中，肌电信号的幅值大小与疲劳程

12、度成正比，其频率也随着机体疲劳的产生和疲劳程度的加深而逐渐地下降【】。第二种是通过监测驾驶员的个体特征来评价驾驶员的疲劳状态，其中，个体特征主要包括：瞳孔直径、眼睛特征、头部位移。相关的监测方法和装置主要有瞳孔测量计、眼动信号和头部位移传感器三种。实验表明，人在清醒时，瞳孔直径保持相对稳定，而在瞌睡时，瞳孔会缩小。因此，瞳孔直径的变化可作为判断驾驶员疲劳驾驶的一种评价标准【。瞳孔测量计则通过测量瞳孔直径随时间的变化，用得出睁、闭眼的参数来判断驾驶员是否疲劳驾驶。眼睛特征主要有眨眼频率、闭眼时间长度、眼睛闭合程度等。一般情况下，人们正常眨眼时的眼睛闭合时间为秒，当眼睛闭合时间超过秒时则很容易发生

13、交通事故。因此，通过对眼睛闭合时间、眨眼频率等眼睛特征进行监测，可以判断驾驶员是否疲劳。眼动信号是的英文缩写，即“眼睛闭合时间占特定时间的百分率【】，它是根据人在疲劳打瞌睡时眼睑眨动频繁且眼睛闭合时间较长的特点，通过记录并分析驾驶员的眨眼频率和眨眼周期来判断其是否疲劳驾驶【】【刀，这种方法已通过美国联邦公路管理局论证，是一种比较可靠和成熟的测评方法。一般，当人们打瞌睡时，其头部往往会频频点头，因此，点头的动作与打瞌睡也有极大的相关性【】。头部位移传感器则是根据人在打瞌睡时会频频点头的特点，利用头部的位移变化情况来判断驾驶员是否疲劳驾驶¨。第三种是通过监测车辆的参数来评价驾驶员疲劳状态

14、，主要的车辆参数有：方向盘运动情况、车辆行驶方向等。由于当驾驶员感到疲劳时，其反应变慢，操作方向盘的动作也会减缓，与正常驾驶有很大的区别，因此方向盘是否正常运动可作为评价驾驶员疲劳驾驶的一个标准。疲劳时，驾驶员由于注意力分散、反应迟钝，车辆极易偏离车道，失去方向。可见，通过监测车辆的行驶方向亦可判断出驾驶员是否疲劳驾驶。国外的研究进展国外关于疲劳驾驶监测系统的研究有很纠】，下表卜列举了一些比较有代表性的疲劳驾驶监测装置【。其中，美国明尼苏达大学的驾驶员眼睛追踪和定位系统通过在车内安装的红外线摄像头实时采集的驾驶员脸部图像，然后将图像经滤波等图像处理后，用灰度模板匹配法搜索、定位眼睛区域并确定眼

15、睛的睁合状态，最后根据眼睛的睁合状态来判断驾驶员是否疲劳驾驶【。公司研制开发的头部位置传感器根据人在打瞌睡时会频频点头的特点，通过测量驾驶员头部位置的变化来判断驾驶员是否在打瞌睡。该装置主要通过设计、安装在驾驶员座位上方的一个电容传感器阵列来精确地定位出驾驶员的头部位置，然后，通过对头部位置的实时跟踪，根据头部位置的变化情况来判断驾驶员是否疲劳打瞌浙江工业大学硕士学位论文睡。表国外的一些疲劳驾驶监测装置国家研究机构疲劳驾驶监测装置明尼苏达大学驾驶员眼睛跟踪和定位系统公司头部位置传感器美国公司方向盘监视装置研究实验室型路面警告系统瑞典沃尔沃汽车公司驾驶员警示系统澳大利亚公司疲劳驾驶警报系统希腊科

16、技研究和发展中心疲劳驾驶警示系统公司开发的方向盘监视装置则是通过监测方向盘是否非正常运动来判断驾驶员是否疲劳驾驶【。（）是一种能够监测方向盘非正常运动的传感器装置，当方向盘作非正常运动（如：一直左转，或一直右转）超过秒时，就会发出警报，提醒驾驶员。研究实验室研制的型路面警告系统是一种设置在公路上用计算机控制的红外线监测装置，它通过监测车辆的行驶方向是否正常来判断驾驶员是否疲劳驾驶。当车辆偏离道路中线太远、将要冲出路面时，该装置会向驾驶员发出警告【。瑞典沃尔沃汽车公司最近推出的“驾驶员警示系统”通过实时监测车辆的行驶过程，记录并分析司机的驾驶行为，判断车辆是否处于有效控制状态，从而能够主动地预防

17、安全事故的发生。一旦系统发现车辆处于失效控制状态时，就及时地予以警示习。澳大利亚公司的疲劳驾驶警报系统是通过检测司机的眼皮来判断他是否处于疲劳状态。希腊科技研究和发展中心的研究人员目前正研制一种疲劳驾驶警示系统，该装置通过在车内安装微型摄像头来计算司机眨眼的次数，通过在方向盘、座位和车顶部安装的感应器来检测司机手上的压力、汽车的行驶路线及与周围车辆的距离，并且将这些参数相融合，综合地评价司机是否疲劳驾驶。国内的研究现状目前，国内在这方面的研究才刚刚开始，尚处于理论研究的阶段，已开发的相关产品极少。首都师范大学信息工程学院的韩相军、关永等人提出了种采用累积差分帧和变换等实时图像处理技术进行检测和

18、跟踪眼睛的方法，这种方法通过分析眼睛的状态和提取眼睛的特征参数，在一定时间内连续统计眼睛闭合时间，从而计算出值，判断驾驶员的疲劳状态。他们通过将这种眼睛检测和跟踪算法在专用的上进行实验，设计和开发了一种用于监测疲劳驾驶的嵌入式系统。文献【】提出了一种利用图像差分和进行驾驶员疲劳识别的方法。这种方法通过采用灰度直方图、直方图均衡化等图像分析手段来定位和识别驾驶员眼睛是处于睁开还是闭合的状态。最后通过统计眼睛闭合时间判断驾驶员的疲劳程度。文献【】提出来的方法则是先对原始图像进行图像灰度化、几何校正、光照强度校正、去噪声和边缘检测等图像预处理，利用基于肤色模型的人脸检测技术来确定人脸的位置。然后用微

19、积分联合投影算法分别定位出左右眼睛，通过边缘检测双眼二值图像的平均高度来判断眼睛的开合程度，最后，也采用方法判断出驾驶员的疲劳状态。年月深圳亿龙科技有限公司研制开发的手表式汽车驾驶疲劳预警系统，通过监测人体的生物信息（如：红外光谱、心路脉搏、生物电等）来判断人的精神状态，当使用者进入疲劳状态时该系统会发出警告。北京第九趋势科技发展有限公司推出的疲劳预警系统系列产品包括疲劳智能预警手表、眼镜、戒指和方向盘等，它通过检测皮肤电阻的微小变化或眼皮的活动情况来监测人体的“精神疲劳指数，从而判断驾驶员是否疲劳。但是，由于这些产品都是采用基于生物信息的技术，其可靠性和稳定性比较差，存在许多的不足，有待于进

20、一步的研究和完善。可见，基于视频的疲劳驾驶实时监测系统的研究和开发具有非常重要的实用价值和意义。本文主要的研究工作和各章节的安排本文提出的基于视频的驾驶员疲劳驾驶实时监测系统是通过监测驾驶员的个体特征（主要是眼睛特征）来评价驾驶员的疲劳状态。系统的基本硬件组成包括计算机和红外摄像机，主要的软件功能模块有：图像采集模块、图像处理模块和分类器三部分。由于图像采集模块主要是靠硬件来实现的，因此，本文研究工作的重点是该系统的图像处理模块和分类器的设计。论文各章节的安排如下：第一章绪论本章主要介绍了本课题的选题背景和研究目的，在综合性地概括目前常用的几种疲劳驾驶监测方法的基础上，详细介绍了当前国内外的研

21、究现状和发展趋势，提出了本课题研究的意义和价值、以及主要的研究内容。第二章系统的整体结构和图像采集模块本章重点介绍了系统的整体结构和图像采集模块两部分。系统的整体结构分为硬件组成和软件结构两方面，系统主要的软件功能模块有图像采集模块、图像处理模块和分类器。其中，图像采集模块是用硬件来实现的，不是课题研究的主要内容，因此，在这一章中作介绍。第三章眼睛的定位与跟踪图像处理模块是本课题研究的主要内容之一，它主要采用基于卷积核模板匹配的眼睛定位与跟踪算法，实现眼睛定位和眼睛特征提取的功能。本章内容主要包括图像预处理、眼睛模板的制作、眼睛定位与跟踪算法几部分，重点阐述了基于卷积核模板匹配的眼睛定位与跟踪

22、算法。第四章特征提取与图像处理模块的设计本章在前一章节的基础上，主要介绍了图像处理模块中的特征提取单元与该模块的整体结构。图像处理模块的输出是一个包含了个特征参数的特征向量，该特征向量主要是由个眼睛特征值与眼睛闭合时间、前次眨眼的平均时间组成。在详细阐明了主要基于变换的特征提取之后，本章给出了图像处理模块的整体框架及其部分程序。第五章分类器的设计分类器是驾驶员疲劳驾驶实时监测系统的核心，它通过对提取出的眼睛特征进行分析，识别出眼睛的状态，并由此来判断驾驶员是否疲劳驾驶。本章通过对的理论基础、基本原理、核函数及其参数进行概括总结的基础上，提出了分类器设计的具体方法。通过在平台上用工具箱进行仿真实

23、验，得出了适用于本系统的较好的核函数类型及其参数。第六章总结与展望本章通过总结在课题研究过程取得的一些经验和存在的不足之处，提出了本课题将来研究的一些方向，为今后这方面研究工作的开展提供一些参考意见。浙江工业大学硕士学位论文第章系统的整体结构和图像采集模块系统的整体结构基于视频的驾驶员疲劳驾驶实时监测系统是通过监测驾驶员的眼睛特征来评价驾驶员的疲劳状态。系统的基本硬件组成包括红外摄像机和计算机，主要的软件功能模块有：图像采集模块、图像处理模块、分类器三部分。硬件组成系统的硬件主要是计算机和一个带红外光源的红外摄像机。红外摄像机又称为红外夜视摄像机，这几年迅速发展，是目前各种民用行业中常用的一种

24、监控设备。自年英国天文科学家赫谢耳（）发现了红外线以来，美国贝尔实验室在上世纪年代初发明了红外夜视技术，并将之不断推广，应用于摄像机等诸多产品中，产生了红外摄像机等新型高科技产品【】。红外摄像机是红外光源产生技术与视频捕捉技术相结合的产物，随着这两项技术的不断发展和应用，红外摄像机正逐渐成熟，在国防、军事、商业、社区安全等领域中得到广泛的应用，慢慢地走向大众。众所周知，光与无线电波一样，都是一种电磁波，光波的波长从几纳米（即，母）到毫米。在光波中，人眼可以看见的只是其中的一部分。这部分可以看见的光波，我们称之为可见光。可见光的波长范围是，根据波长由长到短可以分为红光、橙光、黄光、绿光、青光、蓝

25、光、紫光七种。对于光波中其它的不可见的部分，我们将波长比紫光短的称为紫外光，波长比红光长的称为红外光。红外光的波长在之间，位于无线电波和可见光之间，是人眼不可见的光。红外摄像机中的关键技术红外夜视技术，可分为主动红外夜视技术和被动红外夜视技术。主动红外夜视技术是通过红外光源来主动照射并利用目标反射回的红外光线进行观察的夜视技术。被动红外夜视技术则是借助目标自身发射的红外辐射来实现观察的红外技术，又称为远红外技术，其穿透能力和抗干扰能力强，常用于军事、卫星等领域。目前，用于监控领域的红外技术主要采用主动红外技术，相应的红外摄像机多采用独立的红外光源发生器与感红外摄像机相结合的组合方式。而现在大多

26、数的摄像机都是采用浙江工业大学硕士学位论文（是的缩写，即“电荷耦合器件）作为感光组件。是一种半导体成像器件，它本身就可以感应到红外光线，因此，只要在普通摄像机的前加上红外滤光镜便具备了红外摄像能力。由于疲劳驾驶多发生在夜间行车时，而且基于“亮瞳效应一等因素的考虑，因此采用红外摄像机作为监控设备。软件结构系统主要的软件功能模块分为图像采集模块、图像处理模块、分类器三部分。其中，图像采集模块的功能是用红外摄像机实时采集驾驶员的脸部图像；图像处理模块的主要任务则对采集到的脸部图像进行眼睛定位与跟踪，提取出眼睛特征参数；分类器的功能是通过对这些眼睛特征参数进行分析，来判断驾驶员的精神状态。由于图像采集

27、模块主要是靠硬件来实现的，因此，课题研究的重点是该系统的后面两部分，即：图像处理模块和分类器的设计。系统的软件结构图如图所示。原始陶像厂一一一一一眼睛、图像采图像处特征、集模块，理模块，分类器驾驶员疲劳驾驶实时撬测系统图系统的软件结构图疲劳清醒首先，驾驶员脸部的原始图像经图像采集模块采集后，送入图像处理模块进行图像预处理。然后，图像处理模块用基于卷积核模板匹配的眼睛定位与跟踪算法对驾驶员脸部图像中的眼睛进行定位与跟踪，并提取出眼睛特征参数。最后，由经过训练的分类器对提取出的眼睛特征参数进行分析，判断出驾驶员是处于疲劳状态还是清醒状态。一旦系统发现驾驶员处于疲劳状态，就及时地发出警告，从而有效地

28、避免交通事故的发生。浙江工业大学硕士学位论文图像采集模块图像采集模块的主要功能是用红外摄像机实时地采集驾驶员脸部的原始图像，它是基于“亮瞳效应”的，主要用一个带红外光源和红外滤波器的摄像机来实现旧。对驾驶员疲劳驾驶检测系统而言，系统的实时性、准确性以及对驾驶行为的非约束性都是在设计系统过程中所必须考虑的几个重要因素。尤其是实时性，它是衡量该系统性能好坏的一个重要指标，利用人眼图像来检测疲劳驾驶是目前的一个主流方向，它具有实时性好、不会对驾驶员的驾驶行为产生影响等优点。研究表明，人眼在正常眨眼情况下的眼睛闭合时间约在秒之间，如果驾驶员在驾驶过程中眼睛闭台时间达到了秒以上，则很容易发生交通事故。因

29、此，要求系统必须在这个时间内处理完所有的分析和判断过程。针对本系统，我们提出的眼睛定位方法是基于“亮瞳效应”的，它不仅可以满足系统的实时性、准确性和非约束性要求还能够适应不同的光照背景、旋转和偏转角度等多种复杂的环境。而实现“亮瞳效应”所需的硬件也非常简单，只要添加一个带红外光源和红外滤波器的摄像机就可以了。利用这种红外摄像机，我们就可以拍摄出具有“亮瞳效应”的人眼圈像旧。所谓“亮瞳效应”是指：当人眼不可见的红外光线沿着摄像机的光轴照到人脸时，瞳孔会沿原路径反射几乎所有接收到的红外光给摄像机，使摄像机拍出的人脸图像中眼睛是一对明亮的光点如图所示。这就像摄像中的“红眼效应”，故而又被称为“红眼效

30、应”。纛。蒸图亮瞳效应的效果围本系统采用红外摄像机来拍摄人脸图像，主要基于以下几点考虑：首先，利用红外摄浙江工业大学硕士学位论文像机拍摄驾驶员的脸部图像，可以产生“亮瞳效应，使下一步的图像处理模块能够快速、准确地定位出眼睛，满足系统实时性的要求。第二，红外光线对于人眼来说是不可视的，不会影响驾驶员的正常驾驶。第三，采用带红外光源的红外摄像机进行监控还可以减少实际环境中不同光照的影响，提高系统定位和跟踪眼睛的精确度。“亮瞳效应”的工作原理如图所示。红外摄像机图亮瞳效应的原理图图是一个俯视图，在驾驶员头部位置的正前方放置了一个带有红外光源的红外摄像机。当摄像机上位于摄像镜头两侧的红外光源发出的红外

31、光线沿着摄像机的光轴照到驾驶员脸部时，驾驶员眼睛中央的瞳孔会沿着原路径反射回几乎所有的红外光给摄像机，使摄像机拍出的照片中瞳孔是一对明亮的光点，从而获得了明亮的瞳孔效果。可见，利用“亮瞳效应，我们可以快速、准确地定位出眼睛的位置。本章小结本章主要详细介绍了系统的整体结构以及系统的三个软件功能模块中的图像采集模块。首先，本章从硬件和软件两个方面详细地介绍了整个系统的硬件组成和软件结构。系统的硬件比较简单，主要是由计算机和一个带红外光源和红外滤波器的摄像机组成。系统的软件结构部分作为本课题研究的重点，它主要包括了图像采集模块、图像处理模块和分类器三部分。然后，重点介绍了系统三大软件功能模块中的图像

32、采集模块。图像采集模块的主要功能是用红外摄像机实时地采集驾驶员脸部的原始图像，它是基于“亮瞳效应”的，主要用浙江工业大学硕士学位论文一个带红外光源的红外摄像机来实现。浙江工业大学硕士学位论文第章眼睛的定位与跟踪图像处理模块的主要任务是对采集到的驾驶员脸部图像用基于卷积核模板匹配的眼睛定位与跟踪算法进行眼睛的定位与跟踪，根据检测到的眼睛坐标提取出与疲劳驾驶相关的眼睛特征参数【，为下一步用分类器判断驾驶员是否疲劳作准备。图像处理模块是本系统设计的一个重要内容，它的工作主要包括了图像预处理、眼睛的定位与跟踪、特征提取三部分。其中，眼睛的定位与跟踪是图像处理模块设计中的重点内容之一，在本系统中，主要采

33、取的是基于卷积核模板匹配的眼睛定位与跟踪算法。图像预处理在用基于卷积核模板匹配的眼睛定位与跟踪算法进行眼睛定位与跟踪之前，应先对用图像采集模块获得的原始图像进行图像预处理，为卷积核模板匹配工作做准备。图像预处理主要包括了两部分的工作内容，如图所示。原始矧像厂一一一像素值像曩值直方图。一、像素值一，均衡化，标准化图像预处理图图像预处理的主要工作输出第一项工作是对原始图像进行直方图均衡化处理。通过直方图均衡化来增大原始图像的对比度，使我们能更好地从背景中分辨出眼睛的位置。直方图是图像处理中一种十分重要的图像分析工具，它直观地反映了图像的灰度分布情况。从数学上说，图像的直方图是图像各灰度值统计特性与

34、图像灰度值的函数，它统计了一幅图像中各个灰度级出现的次数或概率。浙江工业大学硕士学位论文任何一幅图像的直方图都包含了丰富的信息，通过对图像的灰度值进行统计，可以得到一个一维离散函数【：（）鱼，后，一（）其中，为图像厂（，）的第级灰度值，是厂（，）中具有灰度值的像素个数，刀是图像的总像素数，三是图像的总灰度级数。可见，直方图函数实际上是图像各灰度级分布情况的反映【”，它表达了在第个灰度级上的像素个数仇占全部像素总数刀的比例。（气）给出，出现概率的一个估计，由该函数可以清楚地了解到图像灰度分布主要集中的范围。因此，可以通过改变图像的原始分布状况，使灰度均匀地分布于整个可能允许的灰度范围空间，以拉大

35、灰度值之间的动态范围，从而在视觉上增强图像的整体对比度，达到图像增强的效果。直方图均衡化就是这样一种以累计分布函数变换为基础的直方图修正法。它根据图像的直方图分布信息进行灰度调整，运用灰度点运算来实现直方图的变换，产生一幅灰度级分布具有均匀概率密度的图像，扩展了像素的动态取值范围，从而实现图像增强的目的，是一种常用的图像增强方法。直方图均衡化的基本思想是根据像素灰度的概率密度函数进行灰度的压扩变换。在概率密度大的地方进行拉伸，增强对比度；在概率密度小的地方进行压缩，减小对比度。其变换函数为：（吒）喜尸（）喜鲁（），其中，气为图（，）的第级灰度值，吩是厂（，）中具有灰度值的像素个数，疗是图像的总

36、像素数，经过直方图均衡化处理后，可以使变换后图像的直方图即概率密度函数分布尽量平坦、均衡，使图像更加清晰、明亮，从而改善图像的整体视觉效果，提高图像的使用价值。第二项工作是对原始图像进行像素值标准化【。这主要是为卷积核模板匹配做准备。由于“亮瞳效应，用图像采集模块获得的原始图像中眼睛是一对明亮的光点。因此，我们制作的眼睛模板是一个围着黑边的亮圆点，并将其像素值也限定在一的范围内。而用图像采集模块采集到的原始图像是一幅灰度级为的图像，其像素值是在范浙江工业大学硕士学位论文围内。为了进行卷积核模板匹配工作，也应将原始图像的像素值标准化为一的范围内。同时，通过对原始图像进行像素值标准化，不仅不会影响

37、到后面眼睛定位与跟踪过程的精确度，相反，还能够去除一些不必要的灰度信息，节省计算机的存储空间，简化算法复杂度，减少计算量，从而大大提高后面的图像处理模块的运行速度。眼睛模板的制作由于“亮瞳效应，原始图像中眼睛是一对围着黑边的亮圆点。因此，我们在制作眼睛模板时，首先要做一个黑色背景的模板，其像素值为，并在模板中央制做一个白色的圆点，其像素值为。然后，再对这个眼睛模板进行一些预处理。这类似于对原始图像进行的预处理，包括了用直方图均衡化来增大模板的对比度、将像素值标准化为一的范围内这两部分的内容。从而，可以得到一个眼睛模板的雏形。第二步，为了防止图像中平滑区域获得较高的相关值，通过调整眼睛模板的大小

38、，使模板中黑色像素的数量约等于白色像素的数量，这样做可以使图像平滑区域中黑白两种像素值相互消减，从而降低了平滑区域的相关值。第三步，为了防止图像中可能存在的与眼睛大小差不多的反射区域（如牙齿、耳廓、卷曲的头发等）也获得较高的相关值，考虑到这些区域并不像眼睛区域那样会有圆形的暗边，通过调整模板中某些暗区域的像素值，使模板中每一个在眼睛亮区域周围的暗像素能够比背景中其它的暗像素增加或减少更多的相关值，从而提高眼睛模板的性能。眼睛模板的制作过程如图所示。图中，第一幅图是眼睛模板的雏形，它只经过了直方图均衡化和像素值标准化等简单的图像预处理。中间一幅图像是经过第二步处理后得到的眼睛模板，在这个模板中，

39、黑色像素的数量与白色像素的数量大致相等，从而防止了图像中的平滑区域也获得较高的相关值。最下面的一幅图像是经过第三步处理后得到最终的眼睛模板，在这个模板中，我们对眼睛区域周围的每一个暗像素的像素值进行了调整，使它们能比背景中的其它暗像素增减更多的相关值，防止图像中与眼睛差不多大小的反射区域也获得较高的相关值，进一步提高眼睛模板的性能。浙江工业大学硕士学位论文第一步第二步第三步。眼睛模板的雏形调整模板的大小，与白色像素的熬量调整摸板中某些咱提高模扳的性能最：模扳图眼睛模板的制作过程基于卷积核模扳匹配的眼睛定位与跟踪算法模板匹配是图像检测和定位中常用的一种方法）。它能够直观地反映出国像与模扳之间的相

40、似性，利用模板匹配我们可以检测和定位出某物体在图像中的具体位置。模板匹配的基本原理是：首先，根据被检测的物体制作模板。然后，用该模板与图像中相同大小的区域进行比对，先从图像左上角开始进行逐点扫描，计算出模板与图像中相同大小区域的相似度，接着，将模板平移到下一个像素进行相同的操作，依次计算模板与图像中各个区域的相似度，直到图像中所有的位置都比对完后。最后，根据确定的相似度闺值，判断图像中是否有该物体，并且定位出该物体在图像中的具体位置。模板匹配中的相似度表示了模板与图像中与模板大小相同的区域之间的相似程度，通常，可以用欧氏距离、余弦距离等表示。本文采用的卷积核模板匹配方法则是通过将模板与图像中相

41、同大小的区域进行卷积操作，从而获得两者的相关系数。浙江工业大学硕士学位论文该方法的工作原理如下：根据被检测对象制作出模板，并将该模板作为卷积函数（，刀）。对于大小为的图像，首先从图像的左上角开始，选择一个与模板同样大小的活动窗口缈（肌，拧），将该窗口缈（聊，刀）与模板（，胛）进行卷积运算，即：将缈（肌，刀）的像素与模板（，刀）中对应的像素进行相乘后求和，计算出相似系数（！坐），（，）（聊，刀）（研，行）忉（，）×（，）】（）（，），）并且，将计算结果，（，）作为该活动窗口中心像素的新灰度值。然后，将模板平移到下一个像素进行相同操作，逐点扫描，直到图像中所有像素点都进行了卷积操作后，得

42、到一个新的图像，称为原图像的结果相关性图像。在这个图像中，像素灰度值较大的区域表示其与被测对象的相似度较高，像素灰度值较小的区域表示其与被测对象的相似度较低。可见，卷积核模板匹配过程实际上是一个利用卷积核模板对图像中每个像素的灰度值进行修正的过程【。它根据对中心像素坐标为（，）的活动窗口与模板进行卷积运算得到的相似度作为该窗口中心像素新的灰度值，（，），这个灰度修正值，（，）是通过对该点像素的一个领域内所有像素灰度值进行加权求和后得到的。眼睛定位算法眼睛定位算法的流程图如图所示。其工作原理是：首先，经过图像预处理的的原始图像与眼睛模板进行卷积核模板匹配操作，得到结果相关性图像。然后，将结果相关

43、性图像与原图像进行像素相乘，并且阈值化处理，使图像中只保留与眼睛相关值高的区域，作为眼睛的候选者。最后，判断图像中眼睛候选者的个数是否为。如果是个，则认为它们就是眼睛，并记录下眼睛坐标等特征；如果不是个，则认为没有检测到眼睛，更新相关特征后，取下一帧图像继续进行检测。浙江工业大学硕士学位论文图眼睛定位算法的流程图是眼睛定位算法的结果示意图。结果相关性图图眼睛定位算法的结果示意圈浙江工业大学硕士学位论文从图中我们可以看到，原始图像经卷积核模板匹配操作后得到结果相关性图像，在这个图像中，像素值大的亮区域表示与眼睛的相关值较高，而像素值小的暗区域表示与眼睛的相关值较低。然后，将结果相关性图与原图像进行像素相乘，并且阈值化处理，最终得到眼睛的候选者。当图中只剩下个眼睛的候选者时，我们则认为