（控制理论与控制工程专业论文）基于视觉的疲劳驾驶监测关键技术研究.pdf

南京理工大学硕士论文基于视觉的疲劳驾驶监侧关键技术研究 劝e 川 。 比 习 ， ln g n u n 山 erof。 习 ffi c 姗 d en tsdue toa 面v er 、加 柱 gue b asb e c o lr 岭a 胶 ” 。 u s p rd b l 翻 口for the socl e ty . 城ththe b a c k groun氏d e v el o p in g a s y s 记 mfor 在 io ni t o 石 办 9 山 e driv er ，sl evelofv l 幼anceand al 。 石 n g the d ri v erw h enhefa ti guesis。 剐 泊 石 at . in面5 山 韶 1 5 ， a so ft w aj 哈syste 口isd evel o 侧 川for d e te ct in gth e 面v er ，sfa ti g u e ands o m e k e y techno l o g esa rep r t ed. r 招 t of心， a n e weye m odelis卿四刘 in。 盯sys招 m . a c c o 到 石 n g tothe m o d e l ， the 喊ght ofu pp 叮e y e li d is d 助 ec 囚 tos h o wthe e y es ， 5 . 加 5. s ec o n d 】 yth ee y es ， 1 以 翔 d ons 毗 伪 叨d胡ds 创 叮 e丘 汾 tu n ，ofe y es眼 d e 让 抚 月 . h 创 月 “toget th e】 。 漪 iti ons ofth ee y e s ， 幻 丹 。m e 山 团sare i 功 p i 曰 叮 e n 抚 月 ， m o rp holo 91 团 让 田 招 化 m以 l on al g o ri th mandg ra yness i n 沈 乎 alp rojecd on ai g o n th m . 1 七 e p reci s i on and ti nle costfor the two m e 山 阅5 毗 c 创 m p a r e d 如d the l aj 山 叮isb e 创 erfor o urs y s te m . ac眨 ve co n t o u r m od e l ， w hi c h isal s o n 田 旧 e d s n ak e al g o ri t 加 认isin 加 刃 u “ 川tod e 让 t the u p p 叮 e y e li d . b e c a o seofthe s 详 幼 alg ra d s ofthe e y e ， an田 m 比。 口 t edsn 吐e al g orith misp 找 )p 0 女 月 the n ew ai gori th mc o ” s i sts。 刃 o pha ， 绍 . t h e firs t p h ase u 断zes th e ove r al l in fo n 山 以 ti o n of th e edgeofthe e y e tobed e 抚 喇. t h e ， 兄 o n d p b ase u ti li zes the 脚d s of咖 e y e u 刀 日 g e theexp erin 址 ” 回 n 绍 u lts sh o wth a t the n e w 功 e th od cou l dd e 众 tthe u 哪 叹 eyelid e 巧 留t l v el y. r n 叨y 此 廿 止 哪加 t i gue p 如 e te rsare p i c k ed叩， w h i c b are p e r c l o s ， e y e clos 山 re 往 口 e an d e y e b li nk丘 e q u e n c y.id3 al g o ri t 知 叮 is in 切 记 u c edtod e v el 叩a d ec i s i on扛 e 吧 w hi c h c a n u s e th e t 知 re e p a n ” 刀 e t e rsto概0 9 山 z e th e driv er 、加 6 gue. as o ft w 田 吧 s y s te mb a s e d onth e a bov e 吹hnologi esisl m p 】 eidented 胡d the s y s 沈 功can d et ect lhe driver、e y es四d n 戈 幻 9 肚 ze址 s fa 6 gue inr 已 公6 m e . f 旧 mthe nj n 山 口 g e 巧 ec t of 以s s y s te m ， the e ffio en cyofd 五 s sy s 记 mis v 卿 址 ghinthe 助。 叨。 巧env 五 劝 . m en t . k e yw0 r ds:f 妞 ti gue d e te ction， d 喊 v e r 劝gi l anc e ， asti v e c o n t o u r m ode is ， s n ake ，e y e fea 奴 叹 e d e t e c ti o n ，d e d ai ontre e 声明 本学位论文是我在导师的指导下取得的研究成果， 尽我所知， 在本 学位论文中， 除了加以标注和致谢的部分外， 不包含其他人已经发表或 公布过的 研究成果， 也不包含我为获得任何教育机构的学位或学历而使 用过的材料。 与我一同工作的同事对本学位论文做出的贡献均己 在论文 中作了明 确的说明。 研究生签名: _ 年月日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档， 可以借阅或 上网公布本学位论文的部分或全部内容， 可以向有关部门或机构送交并 授权其保存、 借阅或上网公布本学位论文的部分或全部内容。 对于保密 论文，按保密的有关规定和程序处理。 研究生签名:年月日 南京理工大学硕士论文 荃于视觉的疲劳驾驶监洲关键技术研究 1 绪论 1 . 1智能运粉系统与智能车辆 1 . 1 . 1智能运钧系统 (its)的 提出 和发展趋势 自20世纪90年代以 来， 电子信息技术越来越多地进入交通运输部门， 并逐渐形 成一个崭新的工 程领域， 即 智能 运输系统( 玩 t e l li g en t 介 ansportad ons y s t o n ) ， 简称仃 5 。 所谓智能 运输系统， 就是采用先进的电子技术、 信息技术、 通信技术等高新技术， 对 传统的交通运输系统及管理体制进行改造， 从而形成一种信息化、 智能 化、 社会化的 新型现代交通系统。 智能运输系统将车辆、 驾驶员和道路等基础设施有机地结合在一 起， 从而可以 通 过计算机控制、 人工智能和通信技术， 使交通运输基础设施得以发挥最大效能， 车辆 堵塞和交通拥挤得到有效解决， 实现更好的通行能力和更安全的交通， 并通过节约能 源和保护环境使全社会获得巨大的社会经济效益。 由于智能运输系统加速了 交通运输 进入信息时代的步伐，因而是21 世纪现代化交通运输体系的重要发展方向。而其巨 大的市场容量更决定了 这是一项新兴的、大规模的国家产业，而且是21世纪全球最 大 产 业 之 一 111 . rrs 涵盖内容十分广泛， 根据权威的美国叮5 协会的观点， 从技术领域、工作特 点和应用场合等方面， 可把从事叮5 产业的众多部门 大致概括为以下四 大类11 : 1 . 车辆控制和车载单元 主要包括:自 动高速公路系统、 不停车收费 系统、 智能 运行控制系统、 视觉增强 系统、 汽车电子子系统、 车道跟踪/ 变刃交汇系统、自 动刹车系统、 精确停车系统、 车牌自 动识别系统、电 子黄页和其它非地图数据库。 2. 远程信息处理 主要包括:导航数据库、车载硬件系统和元件、实时交通 了 气象信息服务、紧急 辅助通信和服务、 g p s 系统和元件、事故检测系统、 互联网接入、碰撞告警系统。 3. 车队信息系统和导航 主要包括:车队跟踪软件和服务、车队管理和姗油系统、运动称重设备和系统、 贵重器材运输车辆跟踪 系统、 计算机 辅助调度系 统、 航位推算 装置、 差 分gps 修正、 其它有关软硬件。 4 . ! ts工程和服务 主要包括:系统工程设计、 灯5 系统集成、 运输市场分析、系统计切测谕评估、 外场测试、培训/ 技术支持、运初维护、培训 2 鉴定、交通环境模拟等. 发展仃5 所需的主要技术有: 微电子技术、 计算机网络及软件技术、 移动通信技 l 绪论硕士论文 术、系统控制和集成技术等。具体包括:互联网技术、g p s 技术、 g i s( 地理信息系 统)技术、gsm ( 全球移动通信系统) 技术、光纤网络技术、 ic 卡技术、电子标签 技术、 信息自 动采集技术、 航位推算技术、大屏幕显示技术、 智能信号 控制技术、 信 息系统集成技术和网 络软件技术 等。 发展r 路，最核心的 研究是车辆本身的智能化研究，目 前对车辆智能化的研究和 开发形成了件5中的研究热点一 智能车辆。 1 . 1 。 2 智能车辆的 研究与发展方向 智能车辆是一个集环境感知、 规划决策、 多等级辅助驾驶等功能于一体的 综合系 统。 它集中地运用了 计算机、 现代传感、 信息融合、 通讯、 人工智能及自 动控制等技 术， 是典型的高新技术综合体。 智能车辆技术包括硬件技术与软件技术。 硬件技术包 括智能执行机构、智能传感器、计算机、通讯设备等，它提供智能车辆的物质基础。 软件技术指规划决策、 人工智能、 各种功能算法等， 它直接决定智能车辆的智能程度。 智能车辆的研究始于20世纪50年代初美国 b a rr e ttei 忱t r o n i cs公司开发出的世 界上第一台自 动引导 车辆系 统( a u 1 q ir 旧 t edg ui d edvehi cl e s ys tem ， a g v s ) 。 1 9 7 4 年， 瑞典的volv o k al n 叮 轿车装配工 厂 与s c 仙n d er 一 digi tron 公司 合作， 研制出一 种可装 载轿车车体的a g v s ，并由多台该种 a g v s组成了汽车装配线，从而取消了 传统应 用的拖车及叉车等运输工具。由于k a li n a r 工厂采用a g v s 获得了明显的经济效益， 许多西欧国家纷纷效仿volv 。 公司， 并逐步使a g v s 在装配作业中成为一种流行的运 输手段。 20世纪50年代， 伴随着与机器人技术密切相关的计算机、电子、 通信技术 的飞速发展， 国外掀起了智能车辆研究热潮， 其中各种具有广阔应用前景和军事价值 的 智 能 车 辆 受 到 西 方 各 国 的 普 遍 关 注 1211 31 . 智能 车 辆的主要 研究方向 有以 下 几个方面 12 阎 ， 1 驾驶员 行为分 析 ( driv erb e h a v i oranal ys is ) : 研究驾 驶员 的行为 方式、 精神状 态与车辆行驶之间的内在联系， 其目的在于建立各种辅助驾驶模型， 为智能车辆安全 辅助驾驶或自 动驾驶提供必要的数据， 如对驾驶员面部表情的归类分析能够判定驾驶 员是否处于疲劳状态，是否困倦磕睡等: 2. 环境感知注 匕 v irolnnen以p 。 印 叨) : 主要是 运用 传 感器 融合等 技术， 来获得 车辆行驶环境的有用信息， 如车流信息、 车道状况信息、 周边车辆的速度信息、 行车 标志信息等; 3 一极端情况下的自 主驾驶( a u to n 创 旧 o u s driv 田 g one x 切 知 帕cou r 别 ， ) : 主 要研究在 某些极端情况下，如 驾驶员的反 应极限、车辆失控等情况下的车辆自 主驾驶; 4 .规 范环境下的自 主 导航 a u to n o m o u s navi g a 石 ononn o n n al en v 咖 m e n t ) : 主要 研究在某些规范条件下， 如在有人为设置的路标或道路环境条件较好的 情况下， 智能 南京理工大学硕士论文基于视觉的疲劳驾驶监侧关键技术研究 防护措施， 以 减少由 于驾 驶疲劳而导致的道路交通事故己 经成为国内 外专家和学者研 究的热点 ， 也是智能 运输系缄 叮 5 ) 研究的一个重要领域. 1 . 孟2盆劳 驾玻 监侧技 术的 研究 现状 驾驶疲劳是指在一段时间的驾车之后所产生的反应水平下降， 主要表现为以下9 类: 哈欠连天， 脸发 木; 头越来越沉，不自 觉的频频点头( 打磕睡 ) ， 很难保持抬 头的姿态; 肌肉 放松， 眼睑下垂， 甚至闭眼; 视线模糊， 眼睛发红、 发千; 视 野变窄， 总是 漏看错看信息; 反 应迟钝， 判断 迟缓: 注意力无法集中，思维能力 下降; 动作僵硬， 节奏缓 慢: 失去方向 感， 驾车左右摇摆在公路上， 随意变换车 速， 行驶速率 不定 191 。 根 据上述 特征， 研究 人员 用脑电、 心电、 眼睑眨 动、 眼球运动、 头部的位移、 方向 盘控制的 异常、 车辆行驶方向的 异常等加以鉴别网 。 驾驶疲劳监测技术的研究主要分为三类: 1 .基于生理测里的 方法。 测量人的生理参数， 如脑电图 ( e e qel ec tr oencepha 】 o g ra . 解 w ) ，皮肤阻抗，心电图 ( e k qe l ec 娜 沉 题 rd i o 多 侧 m ) ，心率变异性和肌电图( e m q 日 即 扛 叮以 。 脚p h y) 的 变化， 通过医用测量仪器 获 得测 量数据。 m i t曾 研制出s l l l a r t c ar ， 内 置各类传 感器， 可 测量 心电图( e k g ) ， 肌电 图( e m g ) ， 呼吸， 皮 肤阻 抗等闭 。 在 拍y o 叮 a的asv项目 中 ， 驾 驶员 需戴 上 类似 手 表的 传 感 器， 测量其 心率 门 . 这种方 法最具有说服力， 但是实时测量有较大难度和较高要求，不适合实际应用。 2. 测盆驾驶行为的方法。 这种方法通过直接监视车辆行驶状况，比 如车辆在路面 的位置， 方向 盘操纵情况， 行驶速度等， 来观测驾驶员的注意力集中状态。虽然这些 监控技术是非干扰性的， 但是它们视车型， 驾驶员经验， 路面状况而不同。而且， 这 些技术需要大量的时间去分析驾驶员的行为， 因此， 无法检测所谓的轻微睡眠， 如当 一 个驾 驶员在 笔 直的 路面 上打吨几 秒， 车辆的 位置不会发生变化闭 。 在这种检侧技术 领域，有一些不同的实验模型，但是没有产品 化。 这些模型中， d a i n d erc 脚 s l er开 发的系统包括速度， 方向角的检测， 以 及通过摄像机记录车辆离路面边界的距离来检 测车辆是否偏离路面。 由 于当驾驶员感到疲劳时， 反应变慢， 操作方向 盘的动作也会 减 缓11 切 。 美国e lec 。 ” c s afety 枷du cts 公司 开 发的 方向 盘 监视 装置s. a 扒. ( 5 泊 州 n g a 怕 翔 t l o n . lo ni to r ) 是一种监测方向 盘非正常运动的 传感器装置， 适用于各种车辆。 方 向盘正常运动时传感器装置不报警，若方向盘持续4 5 不运动，s. a-m. 就会发出报警 声， 直到方向 盘继续正常运动为止。 s. a.m.被固定在车内录音机旁， 方向盘下面的杆 上装有一条磁 性带， 用以 监测方向 盘的 运动阁 。 3. 基于视觉的监测方法。 该方法由 于其非接触性的优点， 是最有前途的监测方法， 但是由于其监测难度大， 特别是精确性和可靠性还有待提高，在目 前研究最为广泛. 这种方法是使用一个摄像头实时拍摄驾驶员的头像， 通过图像处理和识别技术， 分析 ， 绪论 硕士论文 出驾驶员的眼部运动， 脸部表情， 头部运动等， 取得某些运动参数， 从而判断出 驾驶 员的疲劳与否。 根据采集图像的方法不同， 基于视觉的方法可分为普通图像和红外线 图像两种。普通图像技术采用的是普通摄像头拍摄的图像，一次只能拍摄一幅图像。 红外线图像则使用了两种不同波长的红外线同时成像， 拍摄两幅图像， 利用视网 膜对 不同波长红外光的反射量的不同， 将两幅图相减， 得到瞳孔位置， 这样可以有效降低 定 位 眼 睛 的 时 间 消 耗 ， 提 高 实 时 性 111 11 121 . 1 . 2.3 墓于视觉的疲劳驾驶监月技术研究现状 人们通常 通过简单的观察驾驶员面部特征( 如眼睛， 头部， 脸部) 的变化来评价 是否疲劳。 从拍摄的驾驶员图像中观测到典型的困倦特征有: 长时间的眨眼， 缓慢的 眼睑活动，眼睛睁开程度变小或闭合，频繁的点头，打呵欠， 视线变化不大，面部表 情变化缓慢，头部低垂的姿势。 计算机视觉自 然成为实现这一方案的最佳技术选择。 可以通过放置在驾驶员面前的摄像机拍摄， 从得到的图像中提取表现驾驶员疲劳状态 的视觉特征。 基于图像的驾驶员警示系统已 经有很多研究成果。 其中一些主要是用两个摄像头 跟踪头部和眼睛的状态。 文献l 3 对视线方向 进行了研究。 文中的系统对3 一 头部姿 态和视线方向进行了精确的计算， 并且对眼睑的睁开状态和眨眼频率进行了监控。 基 于上述信息，系统对驾驶员的困倦程度做出了评估。该系统在白天和晚上均可运行， 晚上效果较差。由于该系统依赖于特征点的手动初始化， 虽然表现出 较强的鲁棒性， 但是手动初始化具有局限性。 文献11 41中 提出了2 一 d单目 瞳孔跟踪系统， 它是基于瞳 孔和虹膜之间的彩色和反射率的差异来实现的。 系统通过研究眼睑的活动来监控驾驶 员的精神状态。 但是， 该系统仍基于被动的视觉技术， 所以 在光线很强或很弱的情况 下性能较差。而且不能在夜晚运行。 为了能 在夜晚实现监测， 许多 人研究了基于红外l e d的动态照明。 文献l 5中， 作者设计了一个利用多摄像机结合3 刃 视觉技术来估计和跟踪人的3 一轮廓的系统。 该方法使用简单的眼睛模型和红外光源成像来得到眼睛位置。 有了这些信息， 视线方 向就可以 得到。文献l 6 实现了 单摄像机基于红外光源的 识别系统。 利用红外l e d ， 可以很容易的识别眼睛的位置， 然后定位其他面部特征。文献 1 6中的实验是在模拟 车辆环境中实现的。 所以 对于行进中的车辆有一些新的研究， 比 如光线的变化， 背景 的变化以及震动等在实际系统中都要考虑到。 依赖于单一视觉参数的系统在该视觉特征不能准确得到的情况下难以实现。因 此， 单一参数不能表现出 所有精神状态。 多视觉参数将会减少单一参数带来的不确定 性和模糊性。西班牙的luis m . b ergasa等人研究出一套非接触性的驾驶疲劳检测模 型， 该模型基于红外光源， 在汽车方向盘附近实现了一个小型视觉信息采集系统， 系 南京理工大学硕士论文墓于视觉的疲劳驾驶监侧关健技术研究 第二章: 基于视觉的 疲劳驾驶监测关键技术介绍。 总结了 基于视觉的 疲劳驾驶监 测系统的 实现流程，简单介绍了 疲劳监测所用到的 一些常用关键技术。 第三章: 眼睛窗口 定 位。 采用了 形态学方法和积分投影法两种方法实现了眼睛窗 口 的定 位， 对两种方法的 实时性和准确性进行了比 较， 确定采用积分投影法定位眼睛。 第四 章: 眼 睛 特征 提 取 及 状 态分 析。 采用了 基于c 越 m y 算法边 缘提 取和曲 率 最大 的眼角点 提取方法， 提出了 分阶段的活动轮廓模型生长提取了上眼睑轮廓， 在此基础 上改进了 眼睛模型，对眼睛的各种状态进行了分析. 第五章: 基于m3 算法的疲劳识别。 根据前两章的研究成果， 提取了三个疲劳参 数。 研究了d3 算法的原理和实现， 基于id3 算法初步实现了多疲劳参数综合识别疲 劳状态。 第六章: 系统工程实现。 介绍了 系统软件的实现， 对采集到的视频做了多次实验， 并对实验结果进行了分析。 最后对本文的工作进行总结，并对未来的研究做了展望。 南京理工大学硕士论文 墓于视觉的疲劳驾驶监侧关键技术研究 2 墓于视觉的疲劳驾驶监侧关键技术介绍 2.1引育 国内 外己 经有很多科研机构对基于视觉的疲劳驾驶监测系 统进行了 深入研究， 取 得了一些成果。 在这些研究中， 研究方法与研究角度都各有特色。 从图 像采集角度看， 有普通图 像采集和基于红外光源的图 像采集。 从模型建立角度看， 有对眼睛建立的 zd 模型和对头部建立的3 d 模型进行视线估计。 从疲劳状态的判断角度看， 有单一疲劳参 数判断和多个疲劳参数结合机器学习算法进行识别。 国内外 研究机构所创建的系统一 般采用如下的流程: 图2. 1.1 疲劳驾驶监侧系统流程 如果是基于红外光源的系统， 则利用瞳孔对不同波长红外光的反射量不同， 直接 得到眼睛位置，而省略了 人脸检测这一步骤，提高了实时性。 如果有跟踪算法的话， 在第一帧检测到面部 特征后， 后面的每一帧就可以 跟踪目 标特征， 只有在丢失目 标后才重新检测， 不需每帧都检测， 这样也有利于提高实时性。 由流程图可见， 基于视觉的疲劳驾驶监测系统中涉及了 众多图像处理和模式识别 技术， 是一个综合性很强的视觉处理系统。 因此在该系统的实现过程中每一步都有着 重要的研究意义和研究价值。 本文所实现的疲劳监测系统是建立在z d 模型的基础上，通过usb 摄像头拍摄测试 者头部， 通过对眼睛状态的识别， 提取多个疲劳参数进行疲劳判断。 从流程图中可以 看出， 人脸检测和精确的面部特征识别是整个疲劳监测的基础和关键， 研究成果也最 为丰富。 本文直接采用了成熟的人脸检测技术， 因此对该技术不做探讨， 主要研究精 l l 基于视觉的疲劳驾驶监侧关键技术介绍硕士论文 确的面部特征检测相关技术。 疲劳时的面部生理表现主要集中于眼睛， 如长时间的眨眼， 缓慢的眼睑活动， 眼 睛睁开程度变小或闭合， 视线变化不大等。因此， 准确的定位眼睛成为驾驶疲劳监测 中的关键技术. 眼睛定 位之后， 就 要对眼睛状态进行分析。 现在对眼睛状态分析的 研究方向主 要 集中 在两方面: 基于 机器学习的 方法进行状态分类和基于图像理解的方法进行状态分 析。基于机器学习的方法是在离线状态下用各种状态的眼睛模板，如睁开，半睁开， 闭合等， 去训练得到分类器， 然后利用该分类器在线地判断眼睛状态。 基于图像理解 的方法即通过图像处理得到某些眼睛特征参数， 如眼睑， 虹膜等，由这些特征来分析 眼睛的状态。这类方法要利用各种图像预处理，图像分割和图像理解等关键技术。 2 . 2面部特征定位方法 面部特征定位， 即 在图像或图像序列的给定区域内搜索部分或所有人脸特征( 如 眼，鼻， 嘴， 耳等) 的位置、 关键点或轮廓线，由于其难度大，应用面广，一直是近 年来的研究热点。 国内 外学者们己提出了许多种脸部特征定位方法。 根据定位所依据 的基本信息的类型， 可以将现有方法分为基于先验规则、基于几何形状、 基于色彩信 息、 基于外观信息和基于关联信息等。表2 . 2 ， 璐 对各类方法的 运算量，准确率和鲁 棒 性 作 了 粗 略 的 比 较 121。 表2 . 2 . 1面部特征定 位方法比 较 算法分类运算盈准确率 鲁棒性 图像质量需求姿态表情光照等影响 先验规则 镶嵌图大 较低 高大 几何投影，j 、 二值化定位，j 、 广义对称大较高 几何信息 s n a k e 大 商 高 大可变形模板 a sm较大较高 色彩信息刁 、低较高小 外观信息 神经网络 大高低，j 代 人 s 姗 关联信息 概率网络 较大高较低较小 o 以 g 洲 南京理工大学硕士论文基于视觉的疲劳驾驶监侧关键技术研究 2.3 je面人脸中的眼睛窗口 定位 鉴于驾驶这一特殊环境条件下所获取的基本为正面人脸， 并且驾驶过程中人脸一 般为正视前方， 所以本文仅讨论正面端正人脸中的眼睛窗口 定位。 同时， 由于是实时 监测， 所以 对检测算法的 运算量也有限 制， 因此运算较小， 可满足系统需求的方法是 本文分析的重点。 目 前正面人脸中的快速眼睛定位算法主要有:区域分割法 ( 或称二值化定位)， 边缘提取结合可变形模板法， 对称变换法， 投影法等。 本节简要介绍前三种方法， 投 影法将在第三章着重介绍。 2 . 3.1 区域分创法定位眼睛 区域分割方法是利用眼睛在人脸中的区域灰度特征结合二值化来定位眼睛。 劝明g lm.等先 用直方图阐 值法 将图 像二值 化， 然后根据其中 黑 色区 域的 面积、 形 状 和相对位置等几何特征确定出瞳孔的位置， 最后通过边缘追踪依次找到上眼眶、 眼角 和 下 眼 眶 ， . 山 世 光 等 采 用 了 类 似 舫法 ， 对 由 人 脸 检 测 框 定 的 人 脸 区 域 ， 蔚 尧 进 行 区 域的 扩充， 以 使 之 包含 全部的 头 部区 域 a ( 包括大 部 分 或者 全 部 头发以 原 整个面部 ) ; 然后对区域a 用合适的阂值进行二值化，在得到的二值图像b 中，用区域标号算法对 不同的“ 黑” 连通区进行标号化，用预置的面积阂值h 滤掉由于噪声造成的小的孤立 连通区， 可以 认为， 位于区域a最上方的最大的连通区h 即为头发区域。 当头发区域 h 确定后， 在剩下的连通区域中搜索满足某些先验知识的连通区对l 和r ， 即为眼睛区 域231. 该方法的关键在于闽值的确定和连通区域的筛选， 运算量小， 但易受光照和噪声 影响。在第三章中，我们将数学形态学方法和区域分割法结合进行眼睛定位。 2 . 几2 边缘提取结合可变形模板法定位眼睛 王磊等 人采用 c a n n y 算法边缘提取眼 睛边缘后， 用 h o u gh变换检测眼 球， 再结合 可变形模板精确定位眼睛 124。 该 方法涉 及了 图 像处 理领域几个关键的 有深远意义的 技 术。下面一一介绍。 1 。 。 胡 n y 算法提取 边缘 用边缘检测算子检测到的图像边缘， 不能作为分割结果。 因为通常得到的边缘并 非单像素的 边缘， 甚至在边缘处产生双重响 应， 使边缘变粗， 如图 2 3 . 1 伪 ) 和2. 3 . 1 (c)， 而且对于不同的边缘， 阂 值的 选取也是个问题。 所以必须采用后续的处理进行边缘提 取. c al m y 算 法就是这样一种提取精确单像素边缘的方法。 c 欲 m y 算法应 用非 最大抑 制寻找边缘， 抑制单个边界邻域内的多个响应， 实现对边缘的部分矫正， 并结合滞后 阐 值化处理的思 想， 提取出 单 像素 边缘。 图 2. 3. 1 (d)为 c 肚 m y 算法检测结果。 l 3 墓于视觉的疲芳驾驶监测关健技术介绍硕士论文 状态的识别率较高，但是需要大量眼睛样本进行训练。 文献口 6 中 利 用 h ough变换检测圆的方法将 上眼睑 拟合 为一段图 弧， 建立了 如图 2. 5. 1 所示的 眼睛状态模型， 判断眼睛开合状态时计算圆弧所对应的圆心角。 该方法简 单可行， 但是 h ough变换时间 代 价太大. 本文采用基于图像理解的分析法，具体方法将在第四章介绍。 闭眼时的上眼睑 庵分弋 、 、 睁眼时的上眼脸 上眼睦 、 一 一， 二，产 内角点 _外角点 严 、 / 、洲 佃 睁眼时的角度(b)闭眼时的角度 图 2. 5 . 1眼睛状态模型 2 . 6 本章小结 本章对基于视觉的疲劳监测系统中所涉及的一些关键技术作了简单的介绍。 基于 视觉的疲劳监测技术包含了图像理解和机器学习中的众多知识， 在驾驶环境这一特殊 条件下， 主要涉及了正面人脸检测， 面部特征定位和状态识别。由于疲劳主要表现在 眼睛上，因此集中讨论了眼睛特征的提取和眼睛状态的识别。 南京理工大学硕士论文墓于视觉的疲劳驾驶监侧关健技术研究 3 眼睛窗口 定位 第二章介绍了几种眼睛定位方法， 但是对于实时性要求较高的系统， 耗时太大。 本章所采用的两种方法符合系 统实时性要求， 能够对眼睛进行粗定位， 我们称之为包 含眼睛的眼睛窗口定 位。下面分别介绍. 3 . 1荃于形杏学方法的眼睹窗口 定位 3.1 . 1 形态学简介 数学形态学作为图像理解的一个分支兴起于20世纪60年代。 形态学的基础是作 用于物体形状的非线性算子的代数，它在许多方面都要优于基于卷积的线性代数系 统。 在很多领域中， 如预处理、 基于形状分割、 物体量化等等。 与其他标准算法相比， 形态学方法有更好的结果和更快的 速度。 通常形态学图 像处理表现为一种邻域运算形式。 一种特殊定义的 邻域称之为“ 结 构元素” ( s t ructure eleme nt) ， 它的中 心元素在图像上滑动， 在每个像素位置上它 与图像对应的区域进行特定的逻辑运算， 逻辑运算的结果为输出图像的 相应像素。 形 态学 运算的 效果 取决 于 结 构 元 素的 大 小、 内 容以 及 逻 辑 运算的 性质 固. 它一 般用于 处 理二值图像，但我们这里对它进行扩展处理灰度图 像。 3 。 1 . 2 序胀与腐蚀运算 1 . 二值图像的膨胀腐蚀运算 设a为图像集合， b为结构元素，数学形态学运算是用b对a进行操作。其中 a，b中的元素都是逻辑值0 或 1 组成。 膨胀:用b来膨胀a记做:a 份b 。定义为: a 。刀 = x j (b) 二 n a 护 夕 (3 . 1 ， 1 ) (b) 二 代表先 对b作关 于 原点的 映射， 再 将其映 像平移x. 用b来膨 胀a得到的集合 是 云的位移与a至少有一个非零元素相交时b的原点位置的 集合。 腐蚀:用b来腐蚀a记做:a g b 。 定义为: a e b = x l ( b ) 二 a (3 . 1 .2) (b) 二 代表将b 平 移 x。 b 腐蚀 a 的结果是 所有x 的 集 合， 其中 b 平移 x后还在a 中。 即结果是b 完全包含在a 中时b 的原点位置的集合。 2 . 灰度图像的膨胀腐蚀运算 眼睛窗口定位硕士论文 对一幅图像的腐蚀( 或膨胀) 运算定义为对每个像素赋值为 某个领域内 输入图 像 灰度级的最小值 ( 最大值) 。灰度图变换中结构元素比二值变换有更多的选择。二值 变换的结构元素只代表一个领域， 而在灰度级变换中， 结构元素是一个二元函数， 它 规定了希望的局部灰度级性质。在灰度级上定义: 膨胀:( f 。 无 ) ( x)= max f ( x 一 2 ) + k ( 2 ) ， 2 任 k ， x 一 2 任 f (3. 1 . 3) 腐蚀:(f以) ( x)二 而n f ( x + 2 ) 一 k ( 2 ) ， 2 任 k ， x + 2 任 f ( 3 . 1 . 4 ) 其中f为图 像，k 为结 构元素， k为结 构元素像素 集合， f 为图 像像素集 合。 3 . 1 . 3 开运算与闭运算 膨胀和腐蚀并不是互为逆运算，所以可以级联结合使用。开运算和闭 运算就是 基于腐蚀膨胀两种顺序不同的级联运算 开运算是先腐蚀后膨胀，其定义为 ao b=( a o b ) eb(3. 1 . 5 ) 闭运算是先膨胀后腐蚀，其定义为: a. b=( a由b ) e 刀( 31 .6 ) 开运算与闭运算无论运用于二值图像还是灰度图像上都可以去除比结构元素小 的特点图像细节并起到平滑的效果， 同时保证不产生全局的几何失真。 开运算可以把 比结构元素小的凸刺虑掉， 切断细长搭接从而起到分离作用。 闭运算可以把比结构元 素小的缺口 或孔填充上， 搭接短的间断从而起到链接的作用阴. 3 . 1 . 4 墓于形 态学方法的 眼 睛定 位 切is fo r d a o l3 刀 定 位眼 睛 位置的 方法 用到了 形 态 学 变 换。 对每 帧图 像， 用形 态学 变 换的方法进行处理，处理后的图 像为:g=h *it ， 其中， h 是一个低通滤波器， 几 由公 式(3.1 .7)给出: 1 ， 月1 一 ope n ( 1 ) 1 + 1 1 一 c to se( 1 ) 1(3 .1 7 ) 其中， 1 是含有面部的窗口 图 像， 印en(i)和c to s e (i)分别 表示灰 度级的开 运算和闭 运算。 这里， 叮 一 即己 ” (i ) 能够找到图 像中的峰值， 而卜c z o s 己 (i )l 能 够找到图 像中 的谷值. r n 一 li enh su 381运 用 公 式 (3，1 .8) 得 到 眼 睛 窗口 ， 其 中 op en (i) 和 close (i) 分 别 表 示 灰 度级的开运算和闭运算: 汤己 赫叩乙 = ope n ( 1 ) c to se( 1 ) +1 (3. 1 8 ) 南京理工大学硕士论文墓于视觉的疲劳驾驶监侧关镶技术研究 3.3 要求 眼睛窗口定位方法准确性和实时性比较 基于形态学方法和 基于积分投影法检测眼睛的 耗时比 较如表3 .3.1 。 表3. 3. 1两种眼睛窗口定位方法实时 性比 较 检测方法耗时 基于形态学方法 荃于积分投影法 44. 46d i s 3 395d 对 由表 3. 3 . 1 中可以 看出， 基于积分投影的方法耗时更少，更符合本系统的实时性 在准确率方面， 形态学方法对于戴眼镜的情况识别率较低， 而且易受头发等附属 物的影响，所以我们选用积分投影的方法进行眼睛定位。 3 . 4本章小结 本章介绍了 两种快速定位眼睛的 方法， 并通过实验证明了 积分投影法在准确率和 实时性方面都比 较符合系统要求。由 于驾驶环境中驾驶员 位置基本不变，头部端正， 因此可以 不要求眼睛精确定位， 只要找到包含眼 睛的眼睛窗口 就可以了。 采用积分投 影法结合人脸特征的先验知识， 就可以 获得眼睛窗口的定位。 与第二章介绍的一些眼 睛定位方法比较， 该方法虽然不能获得眼睛的精确位置， 损失了精确性， 但是同时提 高了实时性， 而且， 对于后续处理， 这种眼睛窗口的定位己 经足够了， 所以该方法在 实时系统中更有实际 应用价值。 南京理工大学硕士论文基于视觉的疲劳驾驶监侧关键技术研究 4 眼睛特征提取及状态分析 心1 引言 根据疲劳的生理学分析， 疲劳时驾驶员的 生理表现主要集中于头部和眼睛， 如头 部缓慢低下， 没有正视前方; 眨眼频率过高: 闭眼时间过长; 视线方向 变化缓慢且幅 度很小等等。 因此疲劳识别的 基础是准确得到与此相关的面部特征， 以 此判断驾驶员 的生理表现是否异常。 实验所采用的摄像头的 分辨率为3 20 x 2 40， 在这种分辨率下所拍摄的图像中我们 能够精确得到的眼睛特征有眼角， 上眼睑， 虹膜。 下眼睑在图像中很难看到， 而且对 于我们后续的疲劳参数提取影响不大，因此我们放弃识别下眼睑。 眼睛是疲劳的重要表现载体。 眼睛的开合状态主要表现在上眼睑的位置， 上眼睑 的弧度， 虹膜面积的大小等。由于眼睛闭合时， 虹膜完全被遮挡， 所以 无法准确利用 虹膜面积得到眼睛状态。 而上眼睑在任何情况下都清晰可见。 如果计算上眼睑的弧度， 则需要利用hou gh变换检测 上眼睑， 而hou gh变换在实际 应 用中 最大的 缺点 是时间 代 价太大， 无法保 证实时 性。 文 献13 6 中作者对h ough变换检 测圆的方法做了 改进， 引 入了梯度信息， 减少了计算量，但是平均41.2 3 ins的耗时对于30刺 口 5 的视频依然太长。 因此， 本文采用基于活动轮廓模型的方法拟合上眼睑边缘， 在实时性方面达到了系统 要求。 同时， 本章重新定义了眼睛模型， 集中 研究上眼睑与下眼睑的高度差以 此判断 眼睛的状态。 采用活动轮廓模型拟合上眼睑， 需要定位轮廓的初始位置，由于上眼睑的末端即 眼睛的内外眼角点，所以眼角的定位是拟合上眼睑的前提条件。 魂2 眼角定位 2. 3节中介绍的两种角点检测方法都适用于有严格形状的角点检测， 如机器零件 的角点， 物体的 边角 等。 人眼的眼角与机器零件的角点不同: ( 1)眼角点形状很不规 则，不是严格意义上的两直线交点; ( 2) 外眼角点灰度不定， 有渐变效果， 边缘检测 很难得到外角点边缘; ( 3) 不同的人，眼角的 形状差异很大.因此很难用上述角点检 测的方法来检测眼角点。根据眼角点的特殊性，我们设计了特殊的检侧方案。 眼睛的内眼角和外眼角表现出不同的边缘特征和灰度特征，内眼角尖锐， 外眼角 平缓，根据不同的特征， 采用不同的检测方法。 么2.1 内眼角定位 内眼角边缘尖锐， 在边缘检测后有很明显的尖角形状。因此我们对图像先作边缘 检测。 边缘检测算子 选用二 阶导 数 过零点的log算子， 并 采用c a n n y 算 法提取了 单 3 3 眼睛特征提取及状态分析硕士论文 4.3 . 2 活动轮脚模型的 离散形式及能里最小化求解方法 对活动轮廓进行离散化是将轮廓分为 n 个点，那么原始的活动轮廓模型即式 (4:31) 等 分， 设 vl， v:，二 ， 是 活 动 轮 廓上的 的离散形式如下: 凡 幽 = 艺( 殊( 片 ) + 气( 从 ) + 互 响 ( vi ) + 气(vi ) ) (4. 3. 4) 双 翻 (v，) = allv，一 vl 刁 12 (4.3 5 ) 双 明 ( 从 ) 二 屏汀 vt-l一 z vi + 、尸 (4.3 对 双 例 ( vl ) 为弹性能 量的 离散形式， 也称为 连续性能 量。 ecu。 (v，) 为刚性能 量的离 散形式， 也称为曲 率能量 。 双 加 明 ， (v，) 通 常 为 某 种 梯 度 函 数 的 图 像 能 量的 离 散 形 式 . 双 朋 ( v，)为外部 约束能 量的离散形式， 根据具体情况设 定。 其中， n 为sn ak e 控 制点 的 数目 ，巧 = (x， 共 ) 是 第1 个s n ak e 控 制点 的 坐标。 活动轮廓模型算法的实现常用以下三种方法: 1 . 欧拉方程法 通过求解能量函数的极小值使问题得以解决. k as s等人采用变分法得到欧拉方 程来求解这一能量函数。 月 .山 = 丁 ( a ， v (5 ) ， 叨， v ( 5 ) ， + 沙 锰 召， (v ， ， ) = f (v ，v ， v )ds4 3 7 ， 公 式 (4 .3. 7) 的 能 量 极 值问 题 是 一 个 典 型 的 变 分 问 题 。 若气 在某 一 确 定 的曲 线 上 取得极值，则式(4.3. 7) 满足欧拉方程: _a _、 a z， _ 气 一 丽哄)+丽咋) = u(43 名) v ( 5) 。 试 0 ， 1 ， v ( 0) = vo ， v (l ) = 叭 ， v ( 0) = 呀 ， 杯 (l)= vl 这 样，凡 曲能 量 极 小 化问 题 就转 化 为求 解偏 微 分 方 程 (4.3 .8)式。 k a s s 等人用 有 限差分方法解方程(4.3. 8). 用有限差分近似微分有可能改 变数值解的 稳定性， 而且在 s n ake 能量最小化过程中 存在着收敛到局部最优， 而不是全局最优的问 题。 2 .动态规划算法 a l l 五 n i 提出一种动态规划 ( d p算法)的方法，由 于其动态灵活的特点，成为实 现活动轮廓模型的很好选择。 d p算法是解决多阶段决策过程最优化问题的一个有效而快速的方法。对 snake 能量模型的最小化可看作是一个离散的多阶段决策处理过程。 因此， 最小化问题也就 南京理工大学硕士论文墓于视觉的疲劳驾驶监测关键技术研究 转化为有限阶段(l 么 n)中 每个阶段的最小化，从一组有限的可能策略中作出决策。 因此，离散化的能量函数化为: e 扁 走 ( vl ， 凡 ， 二 ， 气 ) = 尽(vl， 性 ， v3 ) + 乓( h ， 几 ， v ) + 二 其中 ， 凡， ( vl-l满， vj+l) = 凡( ” 刁 ， vl，vl+l) + 几(v，) (4.3.9) (4. 3. 1 0) 凡( 灿， vl， vl+l) 为 弹 性能 量 和刚 性能 量的 和，几(vt) 为图 像能 量 与 约束能 量的 和. 每 个 决 策 阶 段 中 有vi ， ， 巧 ， vl+l三 个 控 制点， 其中 从 表 示 第1 个决 策 阶 段的 阶 段 变 量 ( vl-l， vl+ ， 在 第1 个决 策 阶 段作 为 定 值) ， 且 每个变量 只允 许有m个 可能 值。 求解 式 ( 4. 3. 7 ) 最小值的 有效方法是离散dp 算法，其复杂度是o(nm， ) 。 d p 算法包括生成 优 化 函 数 序 列 凡 忿 ， 在 第 1 个 阶 段 进 行 最 小 化 ， 得 到 每 个 又 。 d ” 最 小 化snak e 的 能量，采用下式的活动轮廓模型:- 一一 况 ( 巧 ， vl+ ， ) = m in 凡1 ( 片 ， vl- ; ) + 乓 ( vt- : ， 巧 ，