（光学工程专业论文）驾驶员眼睛开闭状态计算机图像识别技术开发.pdf

摘要 眼睛是判断驾驶员疲劳最重要的依据，通过对驾驶员眼睛开闭状态的识别与跟 踪可以较准确的判断出驾驶员是否疲劳，同时实时性也比较高，容易实现。尽管目 前疲劳驾驶检测系统正在向多参数检测，多信息融合系统发展，但眼睛的变化在众 多识别参数中始终占据着最重要的地位，因此提高眼睛的识别准确率和快速的跟踪 眼睛对发展疲劳驾驶检测系统具有重大的作用。 结合课题的研究背景及国内外的研究现状，本文提出了基于红外瞳孔做差的眼 睛识别及跟踪算法，并搭建了基于i c e t e k d m 6 4 2 b r 的硬件平台和软件平台，构 建了基于d m 6 4 2 的嵌入式人眼识别系统，具体内容如下： ( 1 ) 制作了可控红外光源图像采集板。首先选取了8 5 0 n m 的红外l e d 作为照明 源，其次设计了l e d 的驱动电路，并对驱动电路的各个元器件进行了选取，该光源 可通过d m 6 4 2 b r 板上的g p i o 外扩接口进行控制。 ( 2 ) 提出了红外差分图像与计算机视觉技术相结合的瞳孔定位算法。对在不同 红外光下得到的明暗瞳孔图像进行差分，差分后采用高斯平滑滤波对图像进行处理， 之后采用实验的方法选择合适的阈值对图像进行分割，最后提取出瞳孔的位置。 ( 3 ) 提出了改进的模板匹配算法直接判断眼睛的开闭状态，相比于传统的模板 匹配算法，不需要提取眼睛的特征，可节省时间，提高识别速度。 ( 4 ) 采用k a l m a n 滤波对眼睛进行跟踪。通过k a l m a n 滤波器的预测作用提高了 眼睛识别和跟踪的速度。 ( 5 ) 搭建了基于d m 6 4 2 b r 板的硬件平台和软件平台，并通过c c s 测试了眼睛 识别的各种算法，并对其优化，使其满足实时、准确的要求。 关键词：人眼识别；红外差分；模板匹配；k a l m a n 滤波 a b s t r a c t e y e sa r et h em o s ti m p o r t a n tf a c t o rt h a tj u d g e sw h e t h e rt h ed r i v e ri sf a t i g u e w ec a n j u d g ew h e t h e rt h ed r i v e ri sf a t i g u eb yt h er e c o g n i t i o no ft h eo p e na n dc l o s ec o n d i t i o no f t h ee y e s ，t h em e t h o dc a nm e e tt h er e a l - t i m ea n di sm u c he a s i e rt oa c h i e v e d e s p i t et h e c u r r e n tf a t i g u ed r i v i n gd e t e c t i o ns y s t e md e v e l o p sp l u r a l i s t i c ，t h ec h a n g e si nt h ee y e s o c c u p yam o s ti m p o r t a n tp o s i t i o ni ns om a n yr e c o g n i t i o np a r a m e t e r s t h e r e f o r e i m p r o v i n ge y ei d e n t i f i c a t i o na c c u r a c ya n dq u i c k l yt r a c k i n ge y e sh a v et h es i g n i f i c a n tr o l e i nd e v e l o p i n gf a t i g u ed r i v i n gd e t e c t i o ns y s t e m g i v e nt h eb a c k g r o u n do ft h er e s e a r c ha n dt h ec u r r e n ts t u d i e sf r o mh o m ea n da b r o a d ， t h i st h e s i sd e s i g n e dam e t h o dt h a ti d e n t i f ya n dt r a c ke y e sb a s e do nd i f f e r e n c ep i c t u r ei r a n di m a g ep r o c e s s i n g m e a n w h i l ew eb u i l tt h eh a r d w a r ep l a t f o r ma n ds o f t w a r ep l a t f o r m b a s e do ni c e t e k - d m 6 4 2 - b ra n dc o n s t r u c tt h ee m b e d d e ds y s t e mo fi d e n t i f y i n ge y e s t h em a i nw o r ki sa sf o l l o w s ： ( 1 ) m a k ea l li m a g ea c q u i s i t i o nb o a r dt h a tc a nc o n t r o lt h ei n f r a r e dl i g h ts o u r c e f i r s t s e l e c t8 5 0 n mi n f r a r e dl e da st h el i g h t i n gs o u r c e ，t h e nd e s i g nt h el e d d r i v i n gc i r c u i ta n d s e l e c tt h ec o m p o n e n t so nt h ec i r c u i t t h el i g h tc a nb ec o n t r o l l e dt h r o u g ht h eg p i o o u t s i d ee n l a r g ei n t e r f a c eo nt h ed m 6 4 2 一b r ( 2 ) p r o p o s ea na l g o r i t h mo fp u p i ll o c a l i z a t i o nw h i c hi sc o m b i n e db yi n f r a r e d d i f f e r e n c ei m a g ea n dc o m p u t e rv i s i o nt e c h n o l o g y t h ea l g o r i t h md o e sd i f f e r e n t i a l t r e a t m e n tt ot h eb r i g h to rd a r kp u p i li m a g eg o tf r o md i f f e r e n ti n f r a r e dl i g h t ，t h e ns m o o t h t h ei m a g ew i t hg a u s sf i l t e r , a n dt h e ns e l e c tp r o p e rt h r e s h o l dt op a r t i t i o nt h ei m a g e ，f i n a l l y e x t r a c tt h ep u p i ll o c a t i o n ( 3 ) p u tf o r w a r da ni m p r o v e dt e m p l a t em a t c h i n ga l g o r i t h mt od i r e c t l ye s t i m a t et h e c o n d i t i o no fe y e s c o m p a r i n gt ot h ec o n v e n t i o n a la l g o r i t h m s ，t h i sm e t h o dd o e s n tn e e dt o e x t r a c tt h ef e a t u r eo f e y e s ，s oi tc a ns a v et i m ea n di m p r o v et h es p e e do fr e c o g n i t i o n ( 4 ) m a k eu s eo ft h ek a l m a nw a v ef i l t e rt ot r a c kt h ee x t r a c t e df e a t u r e s t h es p e e do f r e c o g n i t i o na n dt r a c k i n go fe y e sc a nb ea c c e l e r a t e dw i t ht h ep r e d i c t i o nf u n c t i o no f k a l m a nw a v ef i l t e r ( 5 ) c o n s t r u c th a r d w a r ep l a t f o r ma n ds o f t w a r ep l a t f o r mb a s e do nd m 6 4 2 b rb o a r d t e s ta n do p t i m i z ev a r i o u se y e sd e t e c t i n ga l g o r i t h m si no r d e rt om e e tt h er e q u i r e m e n t so f r e a l t i m ea n d a c c u r a c y k e yw o r d s ：e y ed e t e c t i o n ；i n f r a r e dd i f f e r e n c e ；t e m p l a t em a t c h i n g ；k a l m a n f i l t e r i n g i i 第一章绪论 1 1 研究背景及意义 第一章绪论 机动车自1 9 世纪诞生以来，已经为推动人类社会的发展做出了巨大的贡献。然 而，近些年来随着车辆的不断增加，交通事故发生的次数也在逐渐增加，尤其是特 大交通事故发生的概率在逐渐增加，严重影响了人类的正常生活。表1 1 是我国近 六年来道路交通事故发生次数、财产损失和伤亡人数的统计数据1 ，2 1 。 表1 1 我国道路交通事故、伤亡人数统计表 年份 事故次数( 万起) 直接损失( 亿元) 死亡人数( 万人)受伤人数( 万人) 2 0 0 45 l2 3 91 0 74 8 1 2 0 0 54 51 8 89 84 6 9 2 0 0 63 81 4 98 94 3 1 2 0 0 73 31 28 23 8 0 2 0 0 82 61 0 17 33 0 5 2 0 0 92 49 16 82 7 5 从表1 1 中可以看出，尽管交通事故发生的次数及引起的损失在逐年减少，但伤 亡人数却一直居高不下，国家和人民的财产损失数目更是触目惊心。据统计，我国 是交通事故中死亡人数最多的国家，且连续数年来一直居世界首位。交通事故分析 原因表明：目前，疲劳驾驶、酒后驾驶以及超速驾驶是引发交通事故的最主要原因。 其中由疲劳驾驶引发的交通事故占总数的2 0 左右，占特大交通事故的4 0 以上， 可以说疲劳已成为安全行车的大敌。目前，疲劳驾驶检测的方法很多，主要包括检 测驾驶员生理参数，如脑电图、心电图、肌肉状况等；检测驾驶员的行为特征，如 眼皮的运动、头部运动、眼睛开闭状态等；检测交通工具的行为特征，如车速车辆 行驶的轨迹是否偏离车道等。 在上述的检测方法中，检测驾驶员的生理参数是最准确的，但由于此方法需要 驾驶员佩戴一定的工具，具有侵入式的缺点故应用受到限制。检测交通工具的行为 特征虽然不是侵入式的，但受外界条件影响太大，如雨雪天气等会使误识率大大提 高。而基于驾驶员行为特征的方法，尤其是检测眼睛状态的方法由于其具有检测直 接、非侵入性、与驾驶员的生理参数的变化具有一致性、可接受性强等特点，是目 前多数研究机构广泛采用的方法。 生理学研究表明p j ，一般情况下，当驾驶员精神饱满时，一分钟的眨眼次数为 青岛大学硕士论文 三四次，最多十几次，而当驾驶员处于疲劳状态时，眼睛的眨动次数会明显增 加。同时，眼睛的眨动次数还受各种心理状态的影响，如愤懑、惶恐等。驾驶员在 繁华街道上行驶时眨眼次数要少于高速公路，当驾驶员疲劳到一定程度时眨眼次数 会大大增加，而且驾驶员紧张的情绪也会增加眨眼次数，因此眼睛是判断驾驶员疲 劳度最重要的依据，通过对驾驶员眼睛开闭状态的识别可以较准确的判断出驾驶员 是否疲劳，同时实时性也比较高，容易实现。尽管目前疲劳驾驶检测系统正在向多 参数检测，多信息融合系统发展，但眼睛的变化在众多识别参数中始终占据着最重 要的地位，因此提高眼睛的识别准确率和快速的跟踪眼睛对发展疲劳驾驶检测系统 具有重大的作用。 1 。2 研究现状 目前眼睛的识别方法基本上分为两类：一是基于被动图像处理的传统方法，此 方法主要包括基于模板的方法1 4 , 5 】、基于外观的方澍6 ，7 1 和基于特征的方法【8 9 】。二是 基于主动红外的方法。传统的被动图像处理方法主要是通过探测眼部与脸部其他部 位的外观或形状差异来实现的，受外界光照条件的影响很大，而且在夜间不可以识 别，所以目前主要的研究方法是基于主动红外的方法。图1 1 为眼睛识别方法的分 类【i o 】。 1 2 1 国外研究现状 图1 1 眼睛识别方法分类 研究表明：一般情况下，人眼的闭合时间介于0 2 s , - , o 3 s ，若驾驶员的眼睛闭合 2 第一章绪论 时间达n 0 5 s ，则表示状态不好，很容易发生事故，这时可以判定为疲劳，给予驾驶 员一定的警示。近些年来，一些国家已经成功地开发出了一些基于主动红外方法的 眼睛识别和跟踪系统，并在此基础上构建了疲劳驾驶检测系统。其中，比较有代表 性的包括：p e r c l o s 系统、c o p i l o t 系统、q i a n gj i 等研发的系统、内华达大学计算 机视觉和机器人研究室研发的系统以及f a c e l a b 系统等。 1 ) p e r c l o s 系统 p e r c l o s 系统【l l 】是由c a r n e g i em e l l o n 大学研发的，它充分利用了人的视网膜对 不同的红外波长具有不同的反射能力这一原理( 即当用波长为8 5 0 n m 的红外光源照射 视网膜时，视网膜能反射9 0 的入射光；当用波长为9 5 0 n m 的红外光源照射视网膜 时，视网膜能反射4 0 的入射光) 。在相同光照强度下，可以利用c c d 摄像机同时采 集波长为8 5 0 n m 和9 5 0 n m 红外光源照射眼睛时的图像，这两幅图像中只有视网膜位置 处不同，其他部位都相同，据此可以将这两幅进行差分处理，这样就能得到瞳孔图 像的大小，并在此基础上来定位眼睛和对眼睛进行状态识别。该系统检测单位时间 内眼睛闭合程度超过8 0 以上的时间占总时间的比值，并和预先设定的值进行对比， 从而得到驾驶员的疲劳程度。 2 1q i a n gj i 等研发的系统 美国纽约r e n s s e l a e rp o l y t e c h n i c 学院的q i a n gj i t l 2 ，1 3 】等采用内外圈红外光源照射 的方法，利用一个摄像机采集8 5 0 n m 波长处的奇偶帧瞳孔图像，其系统工作流程见 图1 2 。当内圈红外光源亮时，可以获得亮的瞳孔图像，当外圈红外光源亮时可以获 得暗的瞳孔图像，将获得明暗瞳孔图像进行差分处理，最后通过支持向量机来判定 人眼的位置。光源硬件结构如图l - 3 所示。 交叠ii 视频 图像一解码器图像il 解码器 眼睛一勰 奇场图像 偶场图像 候选眼对 图像ii 自适应 差分一阂值分割差分ii 阂值分割 二值图像 几何i 斑点f 连通成 约束r 分析约束l1 分析 图1 2 系统工作流程图 3 ) c o p i l o t 系统 c o p i l o t 系统是由卡内基梅隆大学开发的用于检测驾驶员疲劳状态的系统【1 4 1 。此 系统也是利用视网膜对不同波长的红外光源的反射率不同，采集两种波长的图像进 行差分处理，然后确定眼睛的位置，进一步分析瞳孔的大小，根据瞳孔的尺寸大小 来判定眼睛的开闭状态，进而分析驾驶员的疲劳程度。 青岛大学硕士论文 4 ) 内华达大学计算机视觉和机器人研究室研发的系统【1 5 】 该实验室采用的硬件设备如图1 3 所示。在连续的两帧图像中，分别采用两种 不同波长的红外光照明，检测眼睛的开闭状态，同时检测眼睛的凝视方向和头部运 动等与疲劳有关的线索，最后采用动态贝叶斯网络融合和疲劳有关的线索并做出决 策。 外圈红 外l e d 7 ， 、 像机 主视图侧视图 图1 3 红外光源结构图 5 ) f a c e l a b 系统 f a c e l a b 1 6 】系统是由澳大利亚国立大学与沃尔沃公司合作研发的。此系统是一 种多信息、多参数、多特征融合的系统。它需要检测驾驶员眼睛的状态、头部的姿 势、眼睛的凝视方向等诸多参数，然后将这些参数、特征融合在起来判定驾驶员 的疲劳状态，因此可以克服头部运动、驾驶员佩戴眼睛、暗光照等引起的视线跟踪 问题。目前，最新版的f a c e l a b t m 5 采用先进的红外光主动照明技术，进一步增强了 视线检测的精确度，并且能够独立地跟踪每一只眼睛。 1 2 2 国内研究现状 我国对疲劳驾驶的研究起步较晚，同时对眼睛识别与追踪方法的研究成果也较 少。目前国内利用对眼睛的识别与追踪来进行疲劳检测方面的研究主要有： 中国农业大学与车辆交通工程学院利用c c d 摄像头首先采集驾驶员头部图像， 然后利用高斯肤色模型来定位人脸，接着根据人脸图像的灰度分布来定位眼睛，最 后通过模板匹配算法来判断眼睛的开闭状态，同时计算出p e r c l o s 值，通过 p e r c l o s 值的大小来判断驾驶员的疲劳程度。 山东大学的耿磊【1 7 】等提出一种基于图像处理的实时检测的方法，利用肤色信息、 4 第一章绪论 灰度投影和连通区域相结合的方法来检测眼睛，通过动态模板匹配的方法对眼睛进 行跟踪，最后通过判断上下眼睑之间的距离来判断驾驶员是否疲劳。 中南大学的李衡峰，夏利民【1 8 , 1 9 】通过c c d 摄像头获取到驾驶员的脸部图像，然 后将图像传送到p c 机中，在p c 机中采用基于局部h a a r 特征的人脸检测算法去定 位人脸，得到人脸图像后再进行眼睛定位，将径向基函数神经网络( r b f ) 作为分类器， 同时采用了b a g g i n g 方法来对判断眼睛的开闭状态。 首都师范大学的韩相军【2 0 】等采用差分帧和基于肤色特征相结合的算法首先对人 脸进行检测，接着利用累计直方图阈值法对人脸图像进行二值化，然后从人脸中分 割出眼睛，再利用连通搜索算法提取眼睛的开闭程度，利用基于眼睛色度图的提取 算法对眼睛进行定位，最后通过计算眨眼持续时间和p e r c l o s 两个参数来判断眼 睛疲劳程度。 江苏大学的刘志强教授【2 l 】在眼睛识别与追踪方面取得了较大的进展，他利用红 外光源、c m o s 图像传感器以及d s p 处理器的控制主板来进行眼睛识别的算法，同 时利用神经网络辅助k a l m a n 滤波器来对眼睛进行跟踪，有效的解决了驾驶员头部 晃动的情况下识别眼睛的问题，同时保证了系统的实时性。 综合国内外的研究现状与发展趋势，研究如何将图像处理技术和计算机视觉技 术相结合开发出一种实时的、准确的、全天候的可以用于疲劳驾驶检测的人眼识别 与跟踪系统，这就是本课题的研究初衷。本论文采用8 5 0 n m 红外光源、c c d 摄像头、 基于t m s 3 2 0 d m 6 4 2 的i c e t e k d m 6 4 2 b r 开发板进行眼睛识别与追踪算法的研 究。 1 3 论文的研究内容与技术路线 本论文的主要工作是利用计算机视觉技术与图像处理技术相结合进行眼睛识 别，并在此基础上对眼睛进行跟踪。首先，利用c c d 摄像头获取明暗瞳孔图像，然 后做差，通过图像处理算法识别眼睛，最后通过k a l m a n 滤波算法来对眼睛进行跟 踪和预测。因此，本文主要分为两大模块：人眼识别和人眼追踪。 1 3 1 人眼识别 人眼识别的主要任务是对得到明暗瞳孔图像进行差分，得到差分图像，然后对 差分图像进行平滑滤波处理以降低噪声，接着对处理后的图像进行二值化，得到二 值图像后通过区域查找算法找出可能的眼睛区域，最后通过改进的模板匹配算法来 识别眼睛。其技术路线如图1 4 所示。 5 青岛大学硕士论文 1 3 2 人眼跟踪 人眼的跟踪即在一组图像序列中实时连续地评估人眼的位置。首先在定义的初 始帧图像中检i ! i i i i i 睛的位置，并把此时的眼睛位置图像作为模板图像，即为目标 模板，然后运用k a l m a n 滤波的方法预测出下一帧图像中的眼睛的位置和协方差， 如图1 5 所示。最后对被跟踪的眼睛图像进行开闭状态的判断。 1 4 本文的结构 本论文共分为七章： 第一章：主要指出了课题的研究背景，概述了国内外眼睛识别与追踪方法的研 究现状，介绍了本文的研究内容与章节安排。 图1 4 眼睛识别技术路线图 第二章：主要介绍了眼睛识别与追踪系统的基本结构组成，并分别介绍了系统 的硬件组成结构和软件结构的功能。 第三章：主要介绍了红眼效应原理以及图像采集板的详细制作过程。 第四章：主要介绍了人眼定位的各种算法，并详细介绍了本文所选用的红外差 分帧定位人眼的详细步骤。 第五章：主要概述了眼睛状态识别方法与跟踪算法。并详细介绍了本文所选用 的改进的模板匹配算法以及k a l m a n 跟踪算法。 第六章：主要介绍了系统软硬件平台的搭建过程以及眼睛识别与跟踪系统的算 法实现及实验结果。 6 第一章绪论 瞳孔位置 图1 5 卡尔曼滤波跟踪眼睛 第七章：对全文进行总结，并给出了下一步研究工作的重点及未来的发展趋势。 7 青岛大学硕士论文 第二章系统框架 总结国内外眼睛识别与跟踪系统的研究现状以及疲劳驾驶检测系统的研究现 状与需求，结合现代疲劳驾驶检测的发展趋势以及现有检测系统的局限性，本论文 将采用可控红外光源与d s p 硬件系统相结合，计算机视觉技术与图像处理技术相结 合的软件方法来搭建眼睛识别与跟踪系统的平台。 2 1 系统的基本结构 本文所设计的眼睛识别与跟踪系统主要用于疲劳驾驶检测，考虑其特殊性，所 设计的系统必须满足以下几个基本要求： 1 ) 非接触性，即不对驾驶员的驾驶行为产生干扰影响； 2 ) 实时性，即检测系统必须迅速的检测出眼睛的特征与状态： 3 ) 可靠性，即具有较高的检测率； 4 ) 适应性，即检测系统必须适应各种工作环境和条件； 5 ) 全天候，即可以在微光或无光以及驾驶员戴眼镜的条件下工作。 鉴于以上要求，本研究提出了基于红外光源差分图像与d s p 相结合的方法， 并设计了系统的结构。系统的基本框架如图2 1 所示： 图2 1 系统框架图 系统主要由人眼图像采集系统以及人眼图像处理系统组成。基本的工作原理是： 由d s p 主板控制内外圈红外光源，当内圈光源亮时，由c c d 摄像头采集亮的瞳孔 图像，缓存到d s p 板上，当外圈光源亮时，c c d 摄像头采集暗的瞳孔图像，将缓存 8 第二章系统框架 的亮瞳孔图像与暗瞳孔图像进行做差，得到差分图像，再由图像处理系统对差分图 像进行运算处理，主要包括进行高斯平滑滤波、二值化、连通区域查找、模板匹配 等算法的实现，最后分析得到眼睛的状态及眨眼频率。 2 2 硬件结构 眼睛识别与跟踪实时系统设计的关键是如何在有限的时间内完成对图像的各 种技术处理。根据人的视觉理论，我们知道只有每秒至少采集2 5 帧图像时，才可以 达到实时的效果，即要求图像处理系统在4 0 m s 内要完成对图像的采集、处理和状 态分析，只有这样才能保证系统的实时性。t i 公司的d m 6 4 2 芯片具有很高处理速 度，可以很好的满足实时算法的要求。鉴于此本文选择了北京瑞泰的 i c e t e k d m 6 4 2 b r 控制主板，并设计了可控红外光源的c c d 摄像头板，同时选择 了j t a g 仿真器和l c d 显示器来构成系统的硬件结构 2 2 j ，其原理图如图2 2 所示： p c 机 接口 j 1 a g 刊糕 视频a d c s a a 7 1 1 5 ( 2 )a r m p h i l i p s l p c 2 2 1 4 d s p 卜二爿 椰d m 6 3 4 2 2 。b 牺p l a s h l l n 卜广叫 图2 2 硬件原理图 d m 6 4 2 b r 板是一个低功耗独立的开发平台，如图2 3 其主要特点包括： 1 ) 一颗t i 公司的6 0 0 m h z 的t m s 3 2 0 d m 6 4 2 芯片和一颗t m s 3 2 0 f 2 8 0 1 5 芯片； 2 ) 2 路视频输入端口和1 路视频输出端口p a i ，制式； 3 ) 4 m * 6 4 b i t 同步动态存储器( s d r a m ) 选配可扩展至8 m * 6 4 b i t ； 4 ) 3 2 m b i tf l a s h ：可以写进大量程序，具备自启动功能，可作为嵌入式的产品 使用可扩展为6 2 m b i t 、1 2 8 m b i t 等； 5 ) a i c 2 3 立体声数字信号编辑器； 6 ) 1 0 1 0 0 m 以太网端口； 7 ) 板上j t a g 仿真接e l ； 8 ) 一路9 针全制式串口驱动，一路r s 2 3 2 或4 8 5 接口； 9 ) 一路v g a 视频输出； 9 青岛大学硕士论文 l o ) 可接2 5 寸i d e 硬盘，进行数据的读写。 此外控制板上的t v p 5 1 5 1 0 视频解码芯片与s a a 7 1 2 1 视频编码芯片可以通过 d m 6 4 2 的1 2 c 总线进行编程。 2 3 软件结构 图2 3i c e t e k - d m 6 4 2 b r 板实物图 根据系统实时性的要求，设计高效、简洁的图像处理算法是整个识别与跟踪系 统开发的核心部分。本系统的算法主要包括红外差频算法、图像处理算法以及计算 眨眼频率算法等。全部算法采用c 语言和汇编语言混合编程并在 i c e t e k d m 6 4 2 b r 开发板上实现。整个系统的主程序运行在d m 6 4 2 中，由其完成 图像处理的全部算法以及红外光源的控制算法，且全部用a n s i c 语言编写，并在 t i 的c c s 中调试完成。其算法流程如图2 4 所示。 本系统主要包括以下四个步骤： 1 ) 图像采集系统主要实现内外圈红外光源的控制以及明暗瞳孔图像的实时采 集。 2 ) 图像处理模块主要实现奇偶帧明暗瞳孔图像的差分处理【2 3 j 、平滑滤波处理， 区域分割处理以及图像二值化处理。 3 ) 人眼识别主要包括眼睛定位和模板匹配两部分。眼睛定位主要采用区域查找 算法初步确定前几帧图像中眼睛区域的位置；模板匹配是采用改进的模板匹配算法 来判断眼睛的闭合状态。 1 0 第二章系统框架 4 ) 人眼跟踪主要是采用k a l m a n 滤波的方法对检测出的瞳孔状态进行跟踪。 否 2 4 本章小结 图2 4 算法流程图 本章主要介绍了眼睛识别与追踪系统的基本结构组成， 件组成结构和软件结构的功能，基本上可以满足实时处理、 应用于疲劳驾驶检测系统。 譬 二争：。 f = 。 并分别介绍了系统的硬 嵌入式的需要，且可以 青岛大学硕士论文 第三章图像采集模块设计 本论文中所设计的图像采集系统是通过基于带可控红外光源的c c d 摄像头采 集板来实现的，本系统主要包括三部分：1 可控红外光源；2 c c d 摄像头；3 d s p 硬件控制平台。 3 1 红眼效应原理： 人的眼睛就像是一套完整的光学系统，我们可以把人眼抽象成一个简单的光学 模型，晶状体可以等效成一个凸透镜，视网膜等效为光屏。进入人眼的光线都是通 过晶状体成像于视网膜上，并且光线可以被视网膜反射出去。如果进入人眼的光线 经过视网膜的反射，能够被摄像装置接收到，则能产生红眼效应1 2 训。 当光源距离摄像机镜头的光轴较远时，光源发出的光线进入瞳孔再由视网膜反 射出来之后，不能进入镜头，这时拍摄到的人的瞳孔是暗的如图3 1 ( a ) ，当光源距离 镜头的光轴较近时，由光源发出的光线进入瞳孔再由视网膜反射出来后能够进入镜 头，这时拍摄到的人的瞳孔就是亮的如图3 1 ( b ) 。 0 印o 印 ( a ) 暗眼 ( b ) 亮眼 图3 1 暗眼、亮眼形成示意图 由于本论文所需的图像是明暗瞳孔图像，由红眼效应的原理，我们可以采用两 组波长相同的红外l e d 作为光源来产生明暗瞳孔图像，可以通过d s p 来控制两组 红外l e d 的交替开关。当近轴l e d 灯亮时，可以得到一幅亮瞳孔图像，当远轴l e d 灯亮时，可以得到一幅暗瞳孔图像。经查阅文献资料，在波长8 5 0 n m 附近时，获得 的明暗瞳孔图像差别最大。近些年来随着l e d 的广泛使用，产品质量有了很大的提 高，功耗低，寿命长，且价格合理，因此本论文采用峰值波长在8 5 0 n m 附近的近红 外l e d 作为红外光源。 1 2 第三章图像采集模块设计 3 2 图像采集可控红外光源设计 本论文将l e d 排成一个圆圈作为近轴红外光源，将l e d 排成平行的两列作为 远轴红外光源，以实现对眼睛及其周围部分的均匀照明。经过筛选，本论文采用邦 臣光电有限公司的8 5 0 r i m 近红外l e d 作为红外照明源，其型号为 b c 5 i r 4 h c 3 2 a 1 c 。本型号的l e d 参数如表3 1 和表3 2 所示。 表3 1b c 5 i r 4 h c 3 2 a 1 c 极限参数特性 p a r a m e t e r s y m b o l a b s o l u t em a x i m u m r a t i n g u n i t 参数符号极限参数单位 f o r w a r dc u r r e n t 正向最大电流i f4 0m a p e a kf o r w a r dc u r r e n t 峰值电流 l f p 2 8 0m a r e v e r s ev o l t a g e 反向电压 v r 5 v p o w e rd i s s i p a t i o n 损耗功率 p d 8 0m w i e l e c t r o s t a t i cd i s c h a r g e 防静电电压h b m5 0 0 v o p e r a t i n gt e m p e r a t u r e i 作温度t o p - 4 0 0 2 8 0 0 co c l e a ds o l d e r i n gt e m p e r a t u r e 焊接温度1 s o l2 6 0o cf o r5s e c o n d so c 表3 2b c 5 i r 4 h c - 3 2 a 1 c 光电参数特性 p a r a m e t e r s y m b o l c o n d i t i o nm i n t y p m a xu n i t 参数符号测试条件单位 f o r w a r dv o l t a g e i e 电压 v f i f = 2 0 m a1 41 5| v r e v e r s ec u r r e n t 反向电流i r i f = 3 0 m a | 5 v i f = 3 0 m a |9 0 士8 i d e g v i e wa n g l e 发光角度 2 日l ，2 d o m i n a n tw a v e l e n g t h 主波长2 di f = 3 0 m a|8 5 0|姗 3 2 1l e d 驱动方案设计 l e d 的一般驱动方案如图3 2 所示，这是一种简单经典的l e d 驱动方式【2 5 1 。 此驱动电路的优点是成本低；缺点是电流不稳定，而且电阻发热功率大，对电的利 用率很低，不适合大功率的l e d 。 根据所选的l e d 型号，本系统设计了采用固态继电器驱动l e d 的电路如图3 3 所示。 青岛大学硕士论文 + r 图3 2l e d 驱动电路 图3 3 固态继电器驱动l e d 电路 该驱动电路是将6 个l e d 串联起来，接入一个限流电阻r 组成一个支路，再将 几条支路并联起来组成一组光源，电源采用1 2 v 直流电源。其工作原理为：当在 q 1 端输入一个高电平时，通过三极管输入到固态继电器的输入端，即输入控制电流， 控制电流可使固态继电器的输出端导通，此时1 2 v 电源接通三组并联的红外二极管 发光；当q l 端输入一个低电平时没有控制电流输入到固态继电器中，继电器的输 出端不导通，三组红外二极管不发光。 3 2 2 限流电阻的选择 型号为b c 5 i r 4 h c 3 2 a 1 c 的l e d 的正向伏安特性曲线如图3 4 所示。 曲线的线性部分可以通过方程以= z o - t - r ，1 ，来表示。取曲线上线性部分的两 点( 2 0 n a ，1 5 v ) 和( 5 0 m a ，1 6 v ) ，将这两个点的坐标值分别代入方程中可得到： v o = 1 4 3 v ，咫= 3 3 q 。 设限流电阻为r ，并设l e d 的工作电流为2 0 m a ，则l e d 的正向压降为1 5 v ， 由驱动电路可以计算得到r = 1 5 0 q ；设l e d 的工作电流为4 0 m a ，则l e d 的正向 压降为1 5 6 v ，由驱动电路的连接方式可以计算得到r = 6 6 f 2 ；由此可以确定r 的取 1 4 第三章图像采集模块设计 值范围为6 6 1 5 0 q ，根据需要，本设计取r 值为1 0 0 f 2 。 r l l l l | l ， ，r 图3 4 正向伏安特性曲线( 横坐标表示电压，纵坐标表示电流) 由驱动电路图和红外发光二极管的线性拟合方程式可得下式： r i + 6 x ( v o + 足t ) = 1 2 ，将r = 1 0 0 q ，v o = 1 4 3 v ，r s = 3 3 q 代入上式可得： = 2 8 5 m a ，据此可以计算限流电阻r 的功率尸= 尺2 = o 0 8 2 w ，为了保证电阻 的正常工作，本文选择功率为1 4 w 的插脚式电阻。 3 2 3 固态继电器的选择 固态继电器是由微电子电路，分立电子器件，电力电子功率器件组成的无触点 开关，通过隔离器件实现了控制端与负载端的隔离。固态继电器的输入端用微小的 控制信号，可以直接驱动大电流负载。其优点如下： 1 ) 可靠性高，寿命长：固态继电器内部没有运动的机械零部件，它的触点功能 都是由固体器件来完成的，这就说明s s r 可以工作在冲击强烈、振动频繁的恶劣环 境下，由于s s r 的元器件的固有特性，决定了s s r 的可靠性高，寿命长； 2 ) 控制功率小，灵敏度高：s s r 所需的驱动电流很小，而且可以工作的电压范 围很宽，同时可与逻辑电路兼容而且中间不需要加驱动器； 3 ) 电磁干扰小、切换速度快：由于s s r 没有输入线圈，也没有触点燃弧和回跳， 因此电磁干扰小；由于s s r 采用固体零部件，所以响应速度可致几微妙。 由l e d 的驱动电路可知负载电流最大为3 x 4 0 m a = 1 2 0 m a ，据此本文采用无锡市 固特控制技术有限公司的型号为s d l l l 0 2 d 的固态继电器如图3 5 所示来驱动l e d 的负载电路。 青岛大学硕士论文 图3 5s d i l l 0 2 d 固态继电器 s d l l1 0 2 d 的主要参数如表3 3 所示【2 6 】： 由表3 3 参数可知，此固态继电器完全可以满足设计要求。 通过实验测试，设计了可控红外光源采集板如图3 6 、图3 7 ( 图3 6 表示近轴红 外光源，图3 7 表示远轴红外光源) 所示。 表3 3s d i l l 0 2 d 参数表 负载电压 1 2 1l o v d c 负载最大电流 2 a 隔离电压 1 5 0 0 v 绝缘电压 2 0 0 0 v 控制电压 3 1 5 v 控制电流 2 3 0 m a 通态压降 1 3 v 断态电流 0 0 5 m a 动作状态指示无 工作环境温度 - 4 0 8 0 0 c 开关时间 0 1 m s 3 3 g o d 摄像头 c c d 摄像机【2 j 刀具有体积小、重量轻、功耗小、分辨率高、灵敏度高、噪声低、 响应速度快、动态范围大等显著特点。 对于图像处理系统来说，c c d 摄像头的好坏直接影响图像处理的好坏，因此摄 像头的选择是十分重要的，选择c c d 摄像头时既要求性能良好，同时也要考虑经济 实用。摄像头一般有p a l 制式和n t s c 制式，两者区别在于编码、解码方式以及场 扫描方式不同，应根据需要进行选择。摄像头的接口要在满足接口要求以及经济性 1 6 第三章图像采集模块设计 的前提下，尽可能多，以便可以连接更多的设备。摄像头的分辨率越高，图像越清 晰，因此，在满足要求的前提下，尽可能地选择高分别率的摄像头。综合以上因素 本系统采用的摄像头型号为b l 3 3 9 d ，p a l 制式。 图3 6 近轴红外光源 3 4i ) s p 控制板 由于本系统要求内外圈红外光源交替亮灭，可同步使用d m 6 4 2 b r 板来控制内 外圈光源。d m 6 4 2 b r 板提供了存储器扩展接口( e m i f ) ，此接1 2 1 提供了一组控制信 号和地址、数据线可以扩展各类存储器和寄存器映射的外设。d m 6 4 2 b r 板上的j 2 7 用户i 0 接口：共由6 个寄存器来控制。如表3 4 所示。 当d i r 方向控制寄存器的值为0 时，i o 为输出；当d i r 方向控制寄存器的值 为l 时，i o 为输入。i o 为输出时，输出的值在数据输出寄存器中存储，可读可写。 i o 为输入时，输出的值在数据输出寄存器中存储，只读。本系统通过对这些寄存器 1 7 青岛大学硕士论文 编程来实现对外设接口的控制，从而达到控制内外圈红外光源的目的。 表3 4 寄存器功能及地址 寄存器名称功能地址 i o l d i r 低8 位i o 口方向控制寄存器 0 x 9 0 0 c 0 0 0 2 i o h d r r高8 位i o 口方向控制寄存器0 x 9 0 0 c 0 0 0 3 i o l o u t 低8 位i o 口数据输出寄存器 0 x 9 0 0 c 0 0 0 8 i o h o u t 高8 位i o 口数据输出寄存器 0 x 9 0 0 c 0 0 0 9 i o l n 、i 低8 位i o 口数据输入寄存器 0 x 9 0 0 c 0 0 0 a i o h n 、i 高8 位i o 口数据输入寄存器 0 x 9 0 0 c 0 0 0 b 3 5 本章小结 本章主要介绍了红眼效应原理以及图像采集板的制作过程。首先对8 5 0 r i m 的红 外l e d 进行了选取，选择了邦臣型号为b c 5 i r 4 h c 3 2 a 1 c 的l e d 作为照明源； 其次设计了l e d 的驱动电路，并对驱动电路的各个元器件进行了计算选择；最后制 作了带可控红外光源的图像采集板。 1 8 第四章眼睛定位及图像处理模块 第四章眼睛定位及图像处理模块 4 1 人眼定位算法概述 眼睛定位是指在输入的图像中检测出眼睛的位置，它是进行眼睛识别和跟踪的 前提，因此如何在给定的眼睛图像中准确、快速的定位出眼睛是进行识别与跟踪的 关键步骤。目前，眼睛定位方法基本上可分为三类t 一是基于学习的方法，二是基 于模板匹配的方法，三是基于特征的方法。 4 1 1 基于学习的方法 基于学习的方法一般分为三个步骤进行定位：首先搜集大量的眼睛训练样本和 非眼睛训练样本；其次，采用不同的训练方法对这些样本进行训练从而得到分类器；。 最后，将所要检测的图像送入分类器中进行检测。其代表方法主要包括a d a b o o s t 法、 。 支持向量机法、p c a 法等。 1 ) a d a b o o s t 法【2 8 】 此方法是一种迭代算法、其基本思想是对同一个训练集训练不同的分类器，即 弱分类器，然后把弱分类器集合起来，构成一个更强的分类器。将样本库通过小波 变换后得到一定的特征，将此特征作为分类器的输入器，将a d a b o o s t 作为训练算法， 然后训练多个弱分类器，再将这些弱分类器通过级联的方式组合成强分类器对目标 进行检测。由于人眼的大小在图像中是未知的，可以采用对分类器的检测窗口逐级 缩放的形式来检测。此方法漏检率较低，但是计算量很大，且需要大量的样本库。 2 ) 支持向量机法【2 9 】 此方法需要采集大量的样本包括眼睛样本及非眼睛样本( 薯，乃) ，其中一表示眼 睛向量，y t = 一1 ，1 ) ，- l 和1 分别表示非眼睛样本和眼睛样本，通过支持向量机方法 进行训练可以得到一个分类向量p 和常数b 。可通过式4 1 来检测眼睛： 厂( x ) = p h x + b ( 4 1 ) 如果r x ) 值大于0 则表示此图像为眼睛图像，反之为非眼睛图像。此方法漏检率 虽低，但计算量大。 3 1p c a 澍3 0 】 p c a 法即主元分