（模式识别与智能系统专业论文）汽车安全驾驶中的人眼视线估计.pdf

l 硕士论文汽车安全驾驶中的人眼视线估计 摘要 汽车驾驶安全性的提高，有赖于汽车被动安全和主动安全技术的研究。作为主动 安全技术的组成部分，对驾驶员驾车状态的监控是必不可少的。本文的研究内容是使 用普通的摄像头实时地进行人眼视线方向估计和驾驶员困倦状态检测，用以判断驾驶 员是否处于安全驾驶状态。 首先，本文对人眼模型进行了讨论，在传统纺锤形眼睛模型的基础上，忽略下眼 睑，只保留上眼睑、虹膜和内外角点。 然后，本文研究了眼睛各个特征的检测方法，包括眼睛窗口定位，角点检测，虹 膜检测以及眼睑检测，并且采用一种简单的视线定位方法定位视线方向。本文将虹膜 用圆来拟合，将上眼险视为一段圆弧，研究并采用亚像素边缘检测方法检测亚像素级 的虹膜边缘和基于梯度朝向和梯度方向信息的h o u g h 变换的方法检测虹膜和眼睑。 实验表明，本文采用的方法在低分辨率图像条件下具有更高的估计精度和实时性。 最后，本文将所提出的人眼视线方向估计算法应用于实时视线方向监控系统。这 个系统能够实时地对驾驶员视线方向和困倦状态进行监控。从系统运行的效果看，在 实验室环境中，本系统的运行效率是很高的。 关键词：智能运输系统，汽车安全驾驶，视线方向估计，困倦检测， h o u g h 变换，边缘梯度，亚像素 硕士论文 汽车安全驾驶中的人眼视线估计 a b s t r a c t t h ee n h a n c e m e n to fa u t o m o b i l ed r i v i n gs e c u r i t y d e p e n d so i lt h er e s e a r c ho f a u t o m o b i l ep a s s i v es e c u r i t ya n dt h ei n i t i a t i v es e c u r i t yt e c h n o l o g y a so n eo fi n i t i a t i v e s e c u r i t yt e c h n o l o g i e s ，i ti se s s e n t i a lt om o n i t o rt h ec o n d i t i o no f t h ed r i v e r i nt h i st h e s i s ，w e f o c u so nh o wt oe s t i m a t et h eg a z eo fh u m a ne y ea n dd e t e c tw h e t h e rt h ed r i v e ri ss l e e p yi n r e a l - t i m ew i t hae o m n l o nc a m e r a , s ot h a tw ec a nd e t e r m i n ew h e t h e rt h ed r i v e ri sa tu n s a f e d r i v i n gc o n d i t i o n f i r s to fa l l ，w ed i s c u s st h ee y em o d e l b a s e do nt h et r a d i t i o n a ls p i n d l ye y em o d e l ，w e i g n o r et h ed o w n - e y e l i d , o n l yr e t a i nu p p e r - e y e l i d , i r i sa n de y ec o m e r s t h e n , w er e s e a r c hm e t h o d so fe y ef e a t u r e sd e t e c t i o n , i n c l u d i n ge y ew i n d o w p o s i t i o n i n g e y ec o r n e r sd e t e c t i o n , i r i sd e t e c t i o na n de y e - l i dd e t e c t i o n a n dw ea d o p ta s i m p l em e t h o dt oe s t i m a t eg a z e w ef i tt h ei r i st oac i r c l ea n dr e g a r dt h eu p p e r - e y e l i da sa s e c t i o no fc i r c u l a ra r c t h e nw eu s et h em e t h o do fs u b - p i x e ld e t e c t i o nt od e t e c ts u b - p i x e l e d g ea n dt h em e t h o do fh o u g ht r a n s f o r mb a s e do ng r a d i e n to r i e n t a t i o na n dg r a d i e n t d i r e c t i o nt od e t e c tc i r c l e t h ee x p e r i m e n ti n d i c a t e st h a tt h e s em e t h o d sh a v et h eh i g h e r e s t i m a t i n gp r e c i s i o na n dm o r et i m e l i n e s su n d e rt h el o wr e s o l u t i o ni m a g ec o n d i t i o n f i n a l l y , w ea p p l yt h eg a z ee s t h n a t i o na l g o r i t h mt h i sp a p e rp r o p o s e di nar e a l - t i m eg a z e s a f e t ye x a m i n a t i o ns y s t e m t h i ss y s t e mc 姐c a r r yo nt h em o n i t o r i n go ft h eg a z ed i r e c t i o n a n dt h es l e e p yc o n d i t i o nr e a l - t i m e f r o mt h en m n i n ge f f e c to f t h i ss y s t e m , t h ee f f i c i e n c yo f t h i ss y s t e mi sv e r yh i 曲i nt h el a b o r a t o r ye n v i r o n m e n t k e y w o r d s ：i t s ，a u t o m o b i l es a f e t y , g a z ee s t i m a t i o no f h u m a ne y e ， s l e e p yd e t e c t i o n ，h o u g ht r a n s f o r m , e d g eg r a d i e n t , s u b p i x e l 声明 本学健论文楚我在导炳戆指零下取缮的磅究艘果，尽我嚣知，在本 学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或 公布过的研究戚粜，也不包含我为获得任何教育机构的学位或学历而使 熙过的材麟。与我一同工作弱同攀对本学位论文做出的赏献均邑在论文 中作了明确的说明。 研究生签名：盛国杰 学饺论文使用授权声明 南京理工大学有权保存本学像论文的电子和纸质文档，可以借阕或 上网公布本学位论文的部分或全部内容，可以向有关部门戚机构送交并 授投其保存、诺瓣或上嬲公布本学位论文鹣部分藏全部逡容。对予镶密 论文，按保密的有关规定和程序处理。 研究生签名：盎：固杰如醇年月善，日 硕士论文 汽车安全驾驶中的入眼视线估计 1 绪论 1 1 基于面部特征的视线检测与i t s 1 1 1i t s 的提出和发展趋势 随着社会的进步和经济的发展，汽车在人们日常生活中正扮演着越来越重要的角 色。但是随着汽车数量的急剧增长，汽车安全驾驶便成为了世界性的社会问题。每年 全世界因为汽车不安全驾驶所造成的伤亡人数估计要达到一千多万，其中死亡人数要 有5 0 多万，而我国则是全世界交通事故最严重的国家。无论是汽车消费者还是政府 决策者都对汽车的安全性有着愈来愈高的期望值。另一方面，汽车工业已经成为世界 上最典型的集团化和全球化产业，在世界经济全球化浪潮的带动下，世界各国汽车企 业都在力争占领技术制高点，以使得自己的产品具有更强的竞争力。汽车安全作为一 项关系民生的重要技术已经成为各国工业支柱产业发展战略不可缺少的组成部分。汽 车安全技术可以分为传统的被动安全和现代的主动安全，其中被动安全技术主要以冲 撞安全为核心，虽然可以有效地减轻事故灾害，但是已经远远不能满足现代交通对汽 车安全性的要求。而以预防为核心的现代汽车主动安全技术，在充分应用先进的电子、 通讯和信息技术的基础上使得安全技术更加智能化，为满足现代交通对汽车安全性的 要求提供了可能。 近年来，各个发达国家都在大力发展各自的智能运输系统( i t s ) 。i t s 是指将先 进的信息技术、数据通讯和传输技术、电子自动控制技术以及计算机信息处理技术等 有效地集合运用于整个地面运输管理体系，而建立起的一种在大范围内、全方位发挥 作用的适时、准确、高效的公路运输综合管理系统。 i t s 涵盖内容十分广泛l ”，根据权威的美国i t s 协会的观点，从技术领域、工作 特点和应用场合等方面，可把从事i t s 产业的众多部门大致概括为以下四大类： 1 车辆控制和车载单元 主要包括：自动高速公路系统、不停车收费系统、智能运行控制系统、视觉增强 系统，汽车电子子系统、车道跟踪变更交汇系统、自动刹车系统、精确停车系统、 车牌自动识别系统、电子黄页和其它非地图数据库。 2 远程信息处理 主要包括：导航数据库、车载硬件系统和元件，实时交通气象信息服务紧急 辅助通信和服务、g p s 系统和元件、事故检测系统、互联网接入、碰撞告警系统。 3 车队信息系统和导航 主要包括：车队跟踪软件和服务、车队管理和燃油系统、运动称重设备和系统、 贵重器材运输车辆跟踪系统、计算机辅助调度系统、航位推算装置、差分g p s 修正、 硕士论文汽车安全驾驶中的人眼视线估计 其它有关软硬件。 4 i t s 工程和服务 主要包括：系统工程设计，i t s 系统集成、运输市场分析、系统计划测试评估、 外场测试、培n 技术支持、运行维护、培训鉴定、交通环境模拟等。 智能运输系统作为当今各种尖端高新技术的系统集成，代表着未来交通运输系统 的发展方向。可以说，智能运输系统中的汽车是一个移动的电脑平台，未来智能汽车 的基本特征就是实现智能安全驾驶，其雏形就是美国于7 0 年代提出的试验安全车 ( e x p e r i m e n ts a f e t yv e h i c l e ) 和日本于9 0 年代提出的先进安全车( a d v a n c e ds a f e t y v e h i c l e ) 。我国也于2 0 0 0 年完成了i t s 体系框架草案。在汽车智能运输和安全驾驶等 领域，虽然我国已经开始了各项体系框架的起草和主要技术的研发，但是受到汽车工 业原有经济基础的制约和信息产业原创性成果不足的影响，其关于汽车主动安全和辅 助驾驶等技术的研发和应用要远落后于发达国家。我们要开发属于自己的智能运输系 统，主要出于如下的目的： 1 开发具有自主知识产权的汽车安全驾驶技术，使得我国在世界未来汽车工业中能 够占有一席之地； 2 加速信息技术的产品转化，使得诸如模式识别和机器视觉等信息技术能够在汽车 系统中得到很好的应用，并使得我国汽车工业朝着更加智能化的方向发展； 3 智能运输系统中的汽车安全驾驶智能平台作为驾驶员辅助驾驶系统，可以最大程 度地避免因驾驶员主观因素而产生的交通事故，为国家的社会稳定和经济繁荣做出积 极的贡献。 1 1 2 i t s 中的主动安全技术 人车环境是影响汽车行驶安全性能的三大因素，驾驶员驾车的过程就是人车 环境三者之间信息交流的过程。利用先进的信息通讯技术，形成人车环境三位一体， 从而大大提商道路交通的安全性、行车的舒适性以及运输效率的提高和有利于环境保 护，这是i t s 系统的根本目的。 对车辆而言，必须为驾驶员提供一个能够适应人的生理和心理特点的外部技术条 件，并能够很好地辅助驾驶员实旌安全驾驶，这就是汽车主动安全技术的内涵。从本 质上讲，汽车主动安全技术就是要实现汽车的智能驾驶、辅助驾驶和安全驾驶。当前 各大汽车厂商都在积极研发智能安全驾驶技术，有的技术已经成为车辆的标准配置。 随着i t s 体系的确立、发展和完善，美国已经将注意力从道路系统研究转移到智能车 辆研究，特别是安全保障技术的应用研究。日本交通部关于2 l 世纪先进安全车的要 求是具有良好的主动安全性和被动安全性，目的是避免车辆事故的发生和减少伤害程 度，主要技术是大量使用先进的安全预警系统。在欧洲，德国、法国和意大利等国家 2 硕士论文汽车安全驾驶中的人眼视线估计 也都正在积极研发安全保障技术，欧洲开放基金和委托基金正在支持诸如驾驶员监 控、道路环境感知、视觉增强、车距控制和传感器信息融合等主动安全技术研究。 汽车主动安全技术按功能可以分为自主导航和汽车安全驾驶智能平台两个方面。 其中，自主导航技术的应用有赖于整个智能运输系统的建立和完善。而汽车安全驾驶 智能平台则可以率先应用于汽车辅助驾驶。 汽车安全驾驶智能平台，是一个辅助驾驶员实现安全驾驶的智能集成系统平台， 其属于智能运输系统中的汽车主动安全技术。驾驶员驾车的过程构成了人车环境信 息交流的循环系统，汽车安全驾驶智能平台的目的就是通过集成各种先进的电子信息 技术，使得循环系统中人车环境这三个主体进行相互协调，实现驾驶员行为特性、 车辆机械特性和道路设施以及交通法规之间的最佳匹配 1 ，1 3 汽车安全驾驶智能平台的划分 根据汽车驾驶涉及的主体对象类型，汽车安全驾驶智能平台可以划分为三个智能 予平台，分别为驾驶员辅助平台、汽车控制平台和环境感知平台，如图1 1 1 所示。 作为汽车驾驶的操纵者，驾驶员的状态是否正常、获取汽车运行状态和环境状态信息 是否通畅，都将直接影响着汽车的主动安全性。驾驶员辅助平台，不仅要准确便捷地 向驾驶员提供行车中的环境和车辆信息，而且要实时监控驾驶员的状态，例如驾驶员 是否已经走神、驾驶员是否处于正常驾驶位置等等，根据监控信息采取提醒驾驶员或 向汽车控制平台发送异常消息等措施。环境感知平台，负责感知行车环境的变化并分 析环境对于汽车的潜在威胁，将所感知的环境信息发送给驾驶员辅助平台，并根据分 析结果向汽车控制平台发送异常消息。汽车控制平台，根据汽车自身的电气状态和从 其它平台所获取的异常消息，实施智能制动、智能加速、智能减速或智能转向。 图1 1 1 汽车安全驾驶智能平台 硕士论文汽车安全驾驶中的人眼视线估计 汽车安全驾驶智能平台中的三个智能子平台分别与各自的主体进行交互控制，每 个子平台都具有独立的智能事务处理能力，这种模块化的功能设置使得平台具有非常 好的可扩展性、稳定性和鲁棒性。环境感知平台与环境进行交互，获取环境信息并进 行智能加工，负责向其它平台传递消息；驾驶员辅助平台和汽车控制平台，不仅要获 取环境信息，而且它们之间需要进行信息交互。汽车安全驾驶智能平台是三个子平台 的智能集成，子平台之间的信息传递对于最大程度地发挥平台的安全保障功能起着非 常关键的作用。汽车安全驾驶智能平台的具体研究内容包括： 1 驾驶员辅助平台： 主要分为驾驶员信息提示系统和驾驶员监控系统。一般来说，汽车驾驶员所处的 车内环境存在很大的噪音，怎样将提示信息安全有效地传递给驾驶员，需要研究良好 的人机交互界面，以使得驾驶员在接受提示信息的同时能够进行正常的驾驶，避免提 示信息成为影响安全驾驶的隐患。比较常见的方法是在驾驶员仪表盘的附近设置一个 信息提示屏，但是存在驾驶员在观看提示信息的时候疏忽前方路面观察的可能。一种 新的方法是在挡风玻璃上提供提示信息，这样就可以使驾驶员在清晰地看到提示信息 的同时，时刻注意前方的路况，如图1 1 2 所示。 图1 1 2 车内信愚提不 对驾驶员的监控，可以通过分析驾驶员的驾驶图像来实现，主要基于先进的模式 识别和机器视觉等技术。其分析技术主要包括入脸检测、表情识别、眼睛定位、眼神 识别和事件挖掘等等，这是需要重点解决的关键技术问题。 2 环境感知平台： 环境的感知需要融合多种传感器，如c c d 摄影机、激光扫描雷达和超声波传感器 等等。驾驶员在行车中仅依赖前窗玻璃和后视镜，很难将车辆周围的环境了如指掌， 4 硕士论文汽车安全驾驶中的人眼视线估计 就会出现超越驾驶员视野的盲点，这对于汽车高速行驶、转弯或超车等操作是很大的 安全隐患。所以，视野盲点检测和提示是环境感知需要解决的问题。由于各种传感器 的最佳适用条件各不相同，如c c d 摄影机在夜晚、下雨和下雾等能见度差的情况下就 难以发挥作用，而且每种传感器所感知的环境内容也可能大不相同，所以怎样将多个 传感器信息进行有效的融合是需要进行重点研究的。 由于驾驶盲点的存在和不同传感器具有不同的最佳适用条件，所以需要安装多种 传感器。如图1 1 3 所示，在汽车的前部需要安装前视摄像机和激光扫描雷达，其中 激光扫描雷达可以探测前方汽车的距离与速度，摄像机可以获取确切的路面信息。在 汽车的尾部安装有后视摄像机，用以获取后方路面和汽车的信息。在后视镜的位置上 安装侧向摄像机，它和后视镜一起用来监测汽车侧蕊的信息。后视摄像机和侧向摄像 机对于消除驾驶员的盲点起着关键的作用。考虑到对于不同气候条件和夜晚行车的适 应性，需要安装红外摄像机。通过汽车四周的传感器信息驾驶员可以获取汽车前后左 右的路况，使用图像识别、雷达测距以及危险预测等技术可以防止车辆与车辆、车辆 与行人的正面、追尾和侧向碰撞。当环境感知平台预测到潜在危险时，会通过驾驶员 辅助平台提醒驾驶员，或者通过汽车控制平台实施智能操作，包括制动、加速和减速 等等。 图1 1 3 环境感知平台 由于各种传感器的适用条件和感知范围不同，所以需要将多种传感器信息进行有 效的融合，进行潜在危险事件的检测，其实质就是动态的上下文信息推理。推理的规 则是通过机器学习的方法。在人工智能、机器学习现阶段的发展水平上，建立鲁棒的 基于规则的语义理解必须以概率作为描述方法。贝叶斯网络是概率表示的载体。网络 的节点包括以概率形式描述的多媒体对象及事件。在底层时空关系支持的基础上，语 眼视线估计 义推理的规则是通过机器学习的方法，根据领域知识和大样本的概率统计确定每个上 下文信息支持事件存在的概率，然后根据上下文概率( 通过训练得到的多个事件彼此 符合一定时空分布关系的概率) 和模糊计算理论得到事件存在的概率。 3 汽车控制平台： 汽车是驾驶员和各种机械和电子设备的载体，其扮演着安全驾驶直接实旌者的角 色。对于主动安全技术来说，汽车智能制动是必不可少的。当汽车遇到危险的时候， 汽车控制平台就要通知驾驶员实施制动，如果驾驶员根本来不及反应或者脚踩刹车制 动力不够，那么汽车控制平台就应该实施智能制动，代替驾驶员进行自动刹车或者辅 助驾驶员刹车。除了智能制动，汽车控制平台还应能够根据汽车自身的运行状态和从 其它平台获取的信息，实施智能加速、智能减速或智能转向。汽车控制平台对于预防 前方障碍物碰撞、后方车辆追尾和车道偏离等事故或隐患具有非常关键的作用。 汽车控制平台是汽车主动安全技术的硬件保证，其智能性应该由一个底盘信息控 制中心来完成。要实施智能制动，必须获取环境感知平台的潜在危险信息通知，并实 时监测刹车机械装置的电气参数，以使得刹车制动力达到避免危险的程度。汽车控制 平台还必须监测轮胎的速度、轮胎与道路的摩擦力等信息，以保证汽车在偏离正常行 驶轨迹或进行弯道超速行驶时实施智能转向和制动。由于汽车实施智能刹车和转向需 要很好的实时响应，所以对于决策控制技术就提出了很高的要求。虽然汽车安全驾驶 智能平台是以驾驶员为中心，追求车一人一环境三者的和谐统一，但是良好的汽车控制 平台是一切主动安全驾驶技术实现的基础。 4 信息传递技术： 在不同的平台之间需要信息传递，每个平台与所控制的主体对象也需要信息传递， 信息传递的质量很大程度上决定了整个智能平台的集成效果和性能发挥。信息的实时 传递和实时响应对平台体系结构的先进性和合理性是一个很大的考验，因为只有保证 信息传递的实时性才能切实保证汽车的安全性。是将汽车内的各种平台都综合到一个 中央计算系统中还是采用分布式的平台计算，是使用通用的计算平台还是使用多种专 用的嵌入式系统等等，都对信息传递技术具有不同的要求。信息传递技术的研究应该 综合考虑实时性、冗余性、稳定性、鲁棒性和扩展性。 1 1 - 4 驾驶员视线及困倦状态检测 在汽车自动驾驶技术还没有完善之前，驾驶的主体依然是人。据统计，中国创造 了全球汽车交通事故的最高纪录，连续3 年交通死亡人数超过l o 万人。仅在2 0 0 3 年，我国汽车交通事故就导致死亡1 0 9 万人，受伤5 6 2 万人，直接经济损失3 3 2 6 硕士论文 汽车安全驾驶中的人眼视线估计 亿元其中，有六成以上的车祸由于驾驶员疲劳、走神所造成的。因此对驾驶员驾驶 状态的监控显得尤为必要。 在汽车安全驾驶智能平台的三个智能子平台中，驾驶员辅助平台是负责直接与驾 驶员进行信息交换的平台。它的任务不仅包括负责向驾驶员提供周围的环境信息和汽 车的状态信息，并根据环境的潜在危险和汽车的异常状态向驾驶员发出建议性的操作 指令，更重要的是对驾驶员的驾驶状态做实时的监控，当出现非安全驾驶状态时立刻 报警提示。 对驾驶员驾驶状态的监控，可以通过分析驾驶员的驾驶图像来实现，这也是近年 来主要发达国家竞相研究的热门领域。其分析技术主要包括人脸检测、表情识别、眼 睛定位、眼神识别和事件挖掘等等，这是需要重点解决的关键技术问题。 运用图像处理对驾驶员驾驶状态进行监控主要基于先进的模式识别和机器视觉 等技术，其主要技术难点是： 1 选取合适类型的摄像机及其安装位置。为了在不同光线条件下进行驾驶员监控， 必须拥有对光线条件相当鲁棒的摄像机；也可以采用普通摄像机和红外摄像机综合使 用的方案。由于不同型号的汽车具有不同大小的驾驶空间，摄像机的安装位置也应该 不同，可以放在驾驶员的前上方或者仪表盘的附近。 2 图像抖动下的人脸检测。目前人脸检测已经得到了很多研究，但是自然环境下的 人脸检测仍然是个挑战，人们更多的是选取在受限的、结构化的环境下进行。驾驶员 所处车内空间环境相对而言比较简单，对于高性能的人脸检测算法的实现提供了可 能。但是汽车在行驶中的图像会发生激烈的抖动，怎么在抖动图像中进行有效的人脸 检测需要重点研究。用于驾驶员监控的人脸检测算法必须要求很好的实时性能。根据 人脸检测结果我们可以初步判断驾驶员是否处于正常安全状态，如果检测不出入脸或 者所检测的人脸严重偏离了正常位置，那么就可以判断驾驶员没有处于正常状态，应 该提示或制动。 3 眼睛定位与眼神识别。对于长时间的驾驶，驾驶员可能会出现疲劳的现象，从驾 驶员眼睛的状态就可以判断驾驶员的精神状况。如果驾驶员长时间的闭着眼睛，就说 明驾驶员正在打盹；如果驾驶员眼睛一直盯着某个方向不变，就说明驾驶员可能在走 神或者可能会导致驾驶员走神。 1 2 本文研究内容 驾驶员疲劳或视线不集中的状态都是致命的隐患。我们根据人脸检测结果进行跟 睛窗口检测和定位，然后对视线进行检测，就可以尽早的发现驾驶员的疲劳隐患并采 取有效措施。在正面人脸中进行眼睛检测，由于人脸和眼睛的对称性信息可以被很好 的应用，所以其检测结果可以达到实用的要求。但是从侧面人脸中进行眼睛检测，由 7 厂=：垫主窭全竺墼主竺里塑垡笪生 于受到侧面人脸检测效果的影响目前无法达到实用的水平当前的人脸检测算法对于 驶中无需检测侧面人脸，因为侧面人脸就意味着驾驶员已经处于不安全的驾驶状态， 其事故隐患等同于驾驶员偏离了正常的驾驶位置。所以当前的人脸检测和眼睛定位等 技术的发展水平已经可以达到汽车安全驾驶的需求。 本文的工作是在已有的人脸检测算法的基础上，进一步检测出眼睛的位置及状 态，实现一套视线方向监控系统。重点解决眼睛窗口的定位以及视线估计，要求能够 在实时环境下，对驾驶者的目光方向进行准确的定位，以及能够在一定程度上判断驾 驶者是否处于疲劳驾驶状态。 我们所开发的视线方向监控系统，需要满足下面的要求： ( 1 ) 能够通过简单图像获取设备( 如聊天用摄像头) 进行实时视线跟踪 ( 2 ) 与被监控对象非接触： ( 3 ) 要求能够实时检测； ( 4 ) 视线估计要求尽可能精确； ( 5 ) 检测出困倦或精神不集中要能够及时报警； ( 6 ) 设计简洁紧凑。 1 3 论文结构 本篇论文的主要目的是要开发一套驾驶员视线方向监控系统，主要完成对驾驶员 视线方向和困倦状态的实时监控。第二章将详细介绍视线方向监控的主要流程以及眼 睛部分特征检测的主要方法。第三章将针对在低分辨率的视频图像中实时地检测眼部 特征这一现实环境，对现有方法加以改进。第四章将以实验论证本文的改进方法的效 果。第五章将对我们开发的一套驾驶员视线方向监控系统做一下简单介绍。 8 硕士论文 2 视线方向监控系 汽车安全驾驶中的人眼视线估计 统综述 2 1 引言 国内外已经有不少科研单位对人脸面部识别进行了深入研究。一些用于头部位置 和眼睛视线方向监控的商业软件也已经出现。这些商业软件有着比较高的精确度和可 靠性，但是需要昂贵的硬件支持和理想的环境。对于面部表情所造成的影响不能有效 的克服许多研究方法精确检测头部位置和朝向，但算法较为复杂，不能用于实时监 控。众所周知，从单目图像序列中获取3 d 位置信息是较为困难的问题。随着硬件技术 的发展，运用立体视觉技术开发实时的面部状态跟踪系统已成为可能。 视线方向监控系统主要包括面部特征提取和特征跟踪两个部分。对于面部状态跟 踪系统的系统模型，很多人提出了他们各自的想法。总结这些方法，一个面部状态跟 踪系统离不开检测和跟踪两个环节。其中，以z e l i n s k y 4 的系统流程具有代表性。如 图2 1 1 所示。 图2 2 1z e li n s k y 面部状态跟踪系统流程图 9 硕士论文汽车安全驾驶中的人眼视线估计 其中，初始化阶段，系统在整副图像中寻找人脸的位置，并用立体匹配的方法得 到面部特征点位置，包括眼睛定位【5 1 1 6 7 ，眼角【3 】【9 l 、眉心【l o l 1 、嘴角、虹膜1 2 】f 1 3 1 、 下巴【1 4 1 检测等。当得到面部特征点的位置后，系统开始面部跟踪。同时，人脸的3 d 特征模型用于判定人脸的3 d 姿势【1 5 】【1 6 】。如果人脸跟踪不成功，系统认为人脸已丢失 并且跳回初始化阶段重新寻找人脸。如果跟踪成功，系统计算眼睛的视线方向。这里， 综合运用头部的3 d 姿势和眼睛的3 d 模型来判定3 d 视线向量。 z e l i n s k y 利用3 d 信息进行视线估计，虽然有较高的精确度，但算法较为复杂，较 难实现。但是，他提出的实时面部监控系统流程具有较高的参考价值。从他的流程里 可以看出，精确的特征检测是整个系统得基础。因此，本文将首先讨论面部各种特征 的检测方法。 2 2 面部特征检测方法类比 无论是头部姿势的判定还是眼睛实现方向的判定，精确的面部特征检测是基础。 这就要运用面部特征定位技术。脸部特征定位是人脸分析技术的一个重要组成部分， 其目标是在图像或图像序列中的指定区域内搜索人脸特征( 如眼睛、鼻子、嘴巴、耳 朵等) 的位置。它可广泛应用于人脸检测和定位、人脸识别、姿态识别、表情识别、 头部像压缩及重构、脸部动画等领域。 到目前为止，国内外学者们已经提出许多中脸部特征定位方法。根据定位所以据 的基本信息的类型，可以将现有方法分为：基于先验规则、基于几何形状信息、基于 色彩信息、基于外观信息和基于关联信息等五类【l “。各类方法的比较如表2 2 1 。 ( 1 ) 基于先验规则：根据脸部特征的一般特点总结出一些经验规则，搜索前先对输入 图像作变换使目标特征得到强化，而后根据上述规则从图中筛选出候选点或区域。 ( 2 ) 基于几何形状信息：根据脸部特征的形状特点构造一个带可变参数的几何模型， 并设定一个评价函数量度被检测区域与模型的匹配度。搜索时不断调整参数使评价函 数最小化，从而使模型收敛于待定位的脸部特征 ( 3 ) 基于色彩信息：使用统计方法建立起脸部特征的色彩模型，搜索时遍历候选区域， 根据被测点的色彩与模型的匹配度筛选出候选点。 “) 基于外观信息：将脸部特征附近一定区域( 窗口) 内的子图像作为个整体，映 射为高维空间中的一个点，这样，同类脸部特征就可以用高维空间中的点集来描述， 并可以使用统计方法得到其分布模型。在搜索中，通过计算待测区域与模型的匹配度 即可判定其是否包含目标脸部特征。 ( 5 ) 基于关联信息：在局部信息的基础上，引入脸部特征之间的相对位置信息，以缩 小候选点范围。7 l o 硕士论文 汽车安全驾驶中的人眼视线估计 表2 2 i 脸部特征定位方法分类 鲁棒性 算法分类运算量准确率 图像质量要求 姿态表情光照 镶嵌图大 较低 高 先验 集合投影小较低高 规则 二值化定位小较低高大 广义对称 大较高高 s n a k e s 大高高 几何 可变形模板大高高大 信息 a s m 较大高 较高 色彩信息小 低较高小 神经网络 大高低 外观 p c a 大高低较小 信息 s 大高低 概率网络较大高较低小 关联 d l a 较大高较低 较小 信息 g 肼 较大 高较低较小 从表2 2 1 中可以看到，综合运用先验规则，几何信息和色彩信息，可以实现对特 征点快速检测，满足实时检测与跟踪的要求。 就驾驶员的面部状态监控系统而言，主要是对驾驶员的头部位置以及眼睛和视线 方向进行监控，这就是需要重点研究眼睛部分各特征的检测方法，其中包括眼睛定位， 眼角、眼睑、虹膜的检测。 2 3 眼睛窗口定位 眼睛由于其灰度性质和几何形状，成为在面部的诸多特征中最容易被检测出的特 征。检测眼睛中诸如内外角点，虹膜等特征，如果直接在整个脸部搜索，势必增加搜 索量，减慢检测速度。可以先快速大致定位眼睛窗口位置，再在眼睛窗口内检测各细 微特征。这样可以有效减少搜索空间，加快检测的速度，提高检测精度。然而眼球在 眼眶中的位置是多样性的，所获取的图像中眼眶部分又极易受到各种因素的影响，同 时，眼睑灰影对眼球的定位也有很强的干扰性，这些问题无疑都增加了眼睛定位的难 硕士论文汽车安全驾驶中的人眼视线估计 度。下面我们分析几种眼睛定位方法。 2 3 1 基于投影的眼睛定位 投影法是一种有效提取图像特征的方法。通常，一幅二维图像可以由两个正交的 一维投影函数来分析。维数的降低便于分析图像的特征，并且减小了计算量，所以投 影成为一种重要的图像分析方法。 到目前为止，已有很多学者将投影函数成功运用于定位面部特征。k a n a d e 1 8 1 最早 将积分投影函数成功地应用于人脸识别，他首先用拉普拉斯算子对原始灰度图进行二 值化，然后用积分投影函数对二值图像进行分析。b r u n e l l i 和p o g g i o 1 卅对g a n a d c 的 算法作了改进，他们将积分投影函数应用于边界图分析，从而确定出面部各个特征的 位置。方差投影函数的概念最早由f e n g 和y u e n t m 提出，并同时提出了一种利用方差 投影函数定位眼睛的简单方法。后来，他们又提出一种多线索定位眼睛的方法【2 1 1 。其 中应用了一种眼睛方差过滤器( e y ev a r i a n c ef i l t e r ) ，而这种过滤器正是利用方差投影函 数产生的。由此可以看出，投影实际上是人脸识别中经常采用的一种定位技术。较为 常用的投影函数分别是积分投影函数( i n t e g r a lp r o j e c t i o nf u n c t i o n ，简称f ) 、方差投 影函数( v a r i a n c ep r o j e c t i o nf u n c t i o n ，简称v p f ) 和混合投影函数( h y b r i dp r o j e c t i o n f u n c t i o n ，简称h p f ) 。 积分投影函数( i p f ) 最简单的投影函数是积分投影函数。假设胞表示点伍纠处的像素灰度值，在区 间【g b x 2 和陟l ，y 2 】内的垂直积分投影函数和水平积分投影函数分别表示为墨俐和 瓯劬，则 鼠( x ) = i 警，( x ，j ，) ( 涉 s ( j ，) ：卧五y ) d r 叫 平均积分投影函数似和m h o ) 分别表示为 1， 螈( 力= 二i 警，以y ) d y y 2 一y l 1， ( 2 3 2 ) 尥0 ) = 二i ：i ( x , y ) d x 耳2 一西 当图像某一列像素灰度均值发生变化时，这种变化会在s 和 磊的值上反映 出来。同理，当图像某一行像素灰度均值发生变化时，这种变化会在瓯和似的 值上反映出来。因此，可以通过对积分投影函数值的分析提取图像中的特征， 如图2 3 1 ( a ) ，在水平方向上3 个不同区域的交界处，积分投影函数对应的曲线发生 硕士论文 汽车安全驾驶中的人眼视线估计 了跃变，从而准确反映出了图像中的区域特征。 方差投影函数( v p f ) 方差投影函数是另一种较为常用的投影函数。设在区i 回 x b x 2 和d ，l ，y 2 i 勾的垂直方 差投影函数和水平方差投影函数分别表示为，( x ) 和矗，则 拜o ) - 去奢“训卜坂o ) 】2 ) 仃：( y ) = _ i _ ，( 一，y ) - m ，( j ，) 】2 其中，胍似和l 磊劬由式2 3 2 求出。当图像某一列像素灰度的方差发生变化时， 这种变化会在五( x ) 的值上反映出来。同理，当图像某一行像素灰度的方差发生变化 时，这种变化会在无( y ) 的值上反映出来。此外，f e n g 和y u e n 还证明了v p f 对随机噪 声并不敏感。因此，同样可以利用v p f 对图像特征进行分析。如图2 - 3 1 ( b ) ，垂直 v p f 对应的曲线在不同区域的边界处发生了较大的跃变，从而反映出了图像在水平方 向上的区域变化。 i p f 和v p f 都有其各自的缺陷。i p f 只考虑了均值的变化，却不能反映均值相同 情况下灰度值的变化，在均值相同的情况下，i p f 不能反映某一行或某一列的变化情 况，此时i p f 会失效。如图2 3 1 所示，很显然，在水平方向上有3 个不同的区域， 但是积分投影函数对应的曲线并不能反映出这种变化。同样，v p f 只考虑了灰度值的 变化情况，而没有考虑灰度平均值，在方差相同的情况下，v p f 也会失效。如图2 3 1 ( a ) 所示，水平方向上有3 个不同的区域，但是v p f 对应的曲线并不能反映这种变化。 混合投影函数( h p f ) 混合投影函数结合了i p f 和v p f 的优点圈。垂直混合投影函数儡例和水平混合 投影函数劬分别定义为： 日，( x ) = 寺盯：( x ) + 肘：( 工) ：，乞 ( 2 3 4 ) 日。o ) = 盯；( y ) + 肘： ) 其中矿，( x ) ，0 2 h ( y ) ，m ，( x ) ，m h o ) 分别是0 2 ，( x ) ，五( ) ，) ，m “x ) ， m h 0 ) 规范 化到 o ，1 】区间后的结果： 盯；( x ) 2i五王ori2i(x彳)；-西ra：iin二(a而,2(x)盯一2(y)2；五!i；磊(23，1 砒，= 盎高篙“咖跨畿一 h p f 的值反映了图像在某个方向上灰度均值和方差变化情况的综合，所以具有更 硕士论文汽车安全驾驶中的人眼视线估计 强的适应性。假设4 表示一个很小的值，当i - i p f 的值从风向矽到风向+ 4 ，发生了显 著变化时，则表示在x = 】【o 处是两块不同区域的边界。具体地，给定闽值乃找出所 有满足以下条件的连续区间x ： v x x ，j 鼠 + ) 一日，( 功l t( 2 3 6 ) 对离散的数字图像来说，一般4 = 1 。然后找出所有满足条件的x 区间中的最大值点 m 即x 0 应满足以下条件： 日，( ) = m 蟹( f 月? + a ) 一风( 工) d ( 2 3 7 ) 则x = 砌处为不同区域的边界。如图2 3 1 所示，x l 、】( 2 即为图像在水平方向上的区 域边界点。由图2 3 1 可以看出，不论是在i p f 失效的情况下( 图2 3 1 ( b ) ) ，还是在 v p f 失效的情况下( 图2 3 1 ( a ) ) ，混合投影函数均能反映出不同区域的变化。 区簟1ie ：u 2l 区葚3 i ； 区域l ： 区域2 ： 区域3 ： 骈i 广i 孵 饼l ；l v 耶 脯；广；孵 硒船 孔 奶 ( a ) v p f 失效而i p f 和i - i p f 成功的例子 c o ) i p f 失效而v p f 和i - i p f 成功的例子 图2 3 1 混合投影函数反映出不同区域的变化 但是，由于投影法对光照的极度敏感性，我们在试验中发现无论利用哪种投影方 法都无法准确的定位眼睛窗口。如图2 3 2 所示，其中，白线表示垂直方向投影，黑 线表示水平方向投影。可以看到，由于遮挡的原因，有半边脸要明显偏暗，这就使得 投影曲线很不稳定，从中很难定位出准确的眼睛窗口。 ( a ) 积分投影( b ) 方差投影( c ) 混合投影 图2 3 2 三种投影法用于眼睛窗口定位 1 4 f 一 的人眼视线估计 起于2 0 世纪6 0 年代。数学形态学采用非 间的联通性及其形状。在很多领域中，如 预处理、基于物体形状分割、物体量化等等，与其它标准算法相比，形态学方法都有 更好的结果和更快的速度。 数学形态学研究图像几何结构的基本思想是利用一个结构元素( s t r u c t u r i n g e l e m e n t ) 去探测一个图像，看是否能够将这个结构元素很好地填放在图像的内部，同 时验证填放结构元素的方法是否有效。通过对图像内适合放入结构元素的位置作标 记，便可得到关于图像结构的信息，进一步完成对图像的分析。 l u i sj o r d a o 5 l 实现了用于a t m 交互系统对用户行为跟踪的一种方法。其中，定位 眼睛位置的方法用到了形态学交换。对每帧图像，用形态学变换的方法进行处理，处 理后的图像为：g = h ，其中，h 是一个低通滤波器，五由公式( 2 3 8 ) 给出： i ，= f i o p e n ( i ) f + i i c l o s e ( ，) i ( 2 3 8 ) 其中，是含有面部的窗口图像，o p e n ( i ) 和c l o s e 仞分别表示灰度级的开运算和闭运算。 这里，i ，一o p e n ( 1 ) l 能够找到图像中的峰值，而i ，c l o s e ( i ) 能够找到图像中的谷值。 r e i n - l i e n h s u 嘲运用公式( 2 3 9 ) 得到眼睛窗口： e y e m a p l = 裂告 ( 2 3 9 ) c l o s e ( ，) + 1 7 同样，公式( 2 3 9 ) 中的o p e n ( 1 ) 和c l o s e ( 矽分别表示灰度级的开运算和闭运算。 在形态学变换中，开运算和闭运算是两个非常重要的概念。图像z 关于结构元素 丑的开运算记为xo b ，定义为： 石o b = ( x eb ) o 丑 ( 2 3 1 0 ) 即先对图像作形态学腐蚀运算，再作形态学膨胀运算。相反地，先作膨胀再作腐 蚀的运算称为闭运算。图像x 关于结构元素嚣的闭运算记为x b ，定义为： x b = ( x o b ) e b( 2 - 3 1 1 ) 灰度级开、闭运算经常用来提取灰度图像中具有特定形状和灰度结构的部分。 可以看到，基本的形态学变换就是膨胀与腐蚀。基于二值图像的膨胀与腐蚀变换 在很多教材中都有提及，这里本文不再赘述。这里我们介绍一下灰度图像的膨胀与腐 蚀概念【2 】洲【2 5 l 。 1 ) 灰度图像膨胀 图像厂0 v ) 被图像6 伍力膨胀定义为，o b ，记为： ( 厂0 6 ) ( 甜，v ) = m a x f ( u j r , v 一) ，) + 6 ( 工，y ) l ( “一x ，v y ) g ；( 工，y ) 瓯 ( 2 3 1 2 ) 硕士论文汽车安全驾驶中的人眼视线估计 其中，q ，g 分别是函数“v ) 和b 伍力的定义域。为了求出信号被结构元素 在点x 膨胀的结果，可在空间滑动这个结构元素，使其原点与x 点重合，然后向上推 此结构元素，使之仍处于信号上方所能达到的最小值，此即为该点的膨胀结果。由于 结构元素必须在信号的上方，故空间平移结构元素的定义域必为信号的定义域。否则， 膨胀该点没有定义。图2 3 3 给出灰度图像膨胀的例子。 ( a ) 原图像 ( b ) 灰度膨胀后的图像 图2 3 3 灰度图像的膨胀 2 ) 灰度图像腐蚀 图像，v ) 被图像6 伍力腐蚀定义为，e b ，记为： 厂e6 ( m v ) = m i n f ( u + 工，v + ) ，) 一b ( x ，y ) i ( 甜+ x ，v + j ，) g ，；( 工，y ) g ( 2 3 1 3 ) 其中，回，国分别是函