基于图像的机车司机疲劳检测系统研究.doc

浙江大学信息学院硕士学位论文基于图像的机车司机疲劳检测系统研究姓名：高法灯申请学位级别：硕士专业：光学工程指导教师：侯民贤20100125 摘随着铁 路生 产 力布 局调 整 ， 机车 交 路不断延 伸 ， 驾 驶 员 超 劳 现 象 非常 严重 。 琣 研 究 成果 ，也不 包 含 为 获得逝 江 盘 堂 或其他教 育 机 构的 学 位 或证书 而使 用 过 的 材 料。 致谢两年的研 究 生生活即将 结束 ，这 一 阶 段的学 习 生涯 使我 收 获 颇丰 ，收 益良 多 ，是 我高 法 灯 课 题研 究 背 景 与 意义疲劳 驾驶 已 经 成 为影响到列 车 行驶 安 全的 重 要 因素， 并 且 驾驶 疲劳 具 有相 当 的 隐 蔽性 。 因此， 运 用 车 载 多 传感 器实 时 获 取并 监视 驾驶 行为信息 与 驾驶 员 生 理信息 ， 利 用 这 些信息 判 断 车 辆 行驶 的 安全性 ， 并 采 用 相 应 报 警 和 防护措 施 ， 以 减 少由 于驾驶 疲劳 而导 致的 道路交 通事 故 已 经 成 为国内外专 家 和 学 者 研 究 的 热点 ， 也 是 智能运 输 系 统 芯 康囊 桓鲋匾A煊 颉緇】 。 国内外相 关技术的 发 展 方 法 皇 视 糜 诨 担 椒 会因为不 同 的 驾驶 员 个 人习 惯 而不 能广泛 适 用 。肌 电 信号经 表面 电 极传至 肌 电 图 记 录 仪。 可以 看出 ， 肌 电 图 的 频 率随 着疲劳 的 产 生 和 疲劳程度 的 加 深 呈现下 降趋 势 ， 而肌 电 图 的 幅 值增 大则表明 疲劳 程度 增 大。的 变化 关系 来评 测疲劳 度 。 研 制 开 发 的 头部位 置 传感器可精 确 测 研 究已 达 到 检 测 技 术的基础 上，提 出了本文 的主 要 研 究工 作 的必 要 性和 可 行 性。技 术与 流 程等 。法 。 第 五章 介 绍系统的实 现 与 结 果 分析。根 据 前 面 提 出的原 理和 方法 ，软 件 实 现 人 脸检测 和 人 眼 定位 与 状态识 别 。首 先要 进 行 人 脸检 测 分类器 的训 练 ，并 介 绍了应用 于人 脸检 测分类器 的训 练 结 果 。通 过 创 建的训 练 集，分别 对 人 脸检 测 和 人 眼 检 测 算 法 进 行 测 试 。得出了测 试 的统计 结 果 ，并 对 结 果 进 行 分析，对 人 脸和 人 眼 检 测 算 法 进 了评 价，并对 检 测 中 误检 和 漏 检 的原 因进 行 了分析。 疲劳 状 态 检 测 的指标 人 脸检测技 术概 述身 份 验 证手段 ， 这种 应 用 背 景 要求 自 动 人 脸识 别 系统 能 够对 一 般 图 象 具 有 一 定 的识 别 能 量 函 数。 通 过 不 断调整 参 数， 将 函 数能量 最 小 的弹 性模板作 为 人 脸 匹配的 最 佳模板。 基 于 几 何特 征的 方 法 要 求所 选取 的集 合矢 量 具 有一定的 独 特性， 能够 反 映 不 同人脸 之 间的 差别， 同时 又 具 有一定的 弹 性， 以 消除不 同的 光照 、 环 境 等 的 影 响。 几 何特 征矢量 是 以 人 脸 各 器 官的 形状 和 几 何关 系为 基 础的 特 征矢 量 ， 其分 量 通 常 包 括 人 脸 指 定两 点之间的 欧 式 距离 、 曲率 、 角度等 。 人 脸 检测 所 利用的 几 何特 征的 规则通 常 包 括 ： 人 脸 轮廓 、器 官分 布规 则等 信息 。 种人 脸 内和 人 脸 间的 拓 扑 信 息 ，相信 在 识别能 力 上 会有较 大的 提 高 。技术 已 经 成为机 器学 习领 域 的 研 究热 点。它 的 基 本 思想 是 通 过用 内 积 函 数 定 义 的 非 线性 变换 ， 将 输入 空 间转 换 到 高 维 的 线性 空 间， 在 这 个 高 维 空 间中 求 最 优分 类面， 它 能 使 期望风险 达 到 最 小 。 梢院 芎 玫慕 饩龆 喾 掷辔侍 猓欢 杂 诙 嗬辔侍 猓琒 则将 其 转 化为多个 二 类问题 加 以解 决 。研 究表 明 ， 且恢 盅 盗 范嘞钍 胶 窬 纭 分 类器的 有效 方 法。另 一 方 面， 支持 向 量机 的 方 法具 有很 强的 非 线性 分 类能 力 。等则把 蚐 结 合起 来 用 来 人 脸 身 份 的 识别。 矶 品蚰 列 车司 机 疲 劳检 测系 统要求 能对 人的 疲 劳状 态 进 行 检 测， 在 实 际应 用 中 ， 还要求 具 备 身体 疲 劳程 度 。 率 。判定 驾 驶员 是 否处 于 睡 眠状 态 。本 检 测系 统设 备 ，具 有以 下特点： 度 。通 过 对 前 面 人脸检 测技 术 的 总结 与分 析 ， 人脸检 测部 分 采 用的 是 基于 特 征 的 算法， 此 算法是 具 有目 前 人脸检 测准 确度 最 高水平的 算法， 同 时 运行 速度 很 快 ，能满足实 时 性的 要 求。 人眼 定位 ， 主 要 是 在 人脸检 测的 基础 上 进 行 模板 匹 配。 人脸的 准 确检 测已 经 将 匹 配的 范围 缩小 到人脸 区域 ， 人眼 的 匹 配在 处 理 速度 上 并 不慢 。 关于 人脸检 测和 人眼 定位 这两 部 分 的 详细 介绍将 在接下 来 的 章 节 给 出 。 项 目 署 兔拦 骄 芯 渴 笛 槭 成立了 ， 特 征 积 分图 的 概 念与 微积 分的 原 理类 似 ，对 于 微积 分，计算公式 为和 ，积 分图 像 计算公式 为 ： 度 图 。积 分图 像 一 旦建 立 ，对 于 任 意 大小的 矩 形 ，其特 征 值都 可 以在 常 数 时 间内 完成， 即 是可 以利用 、 四 点 的 值来 计算：矩 形 区 域 南 袼 刂 档暮 臀# 簊 石 下 面 以 特 征 中 的 为 例， 计算其特 征 值： ， 来 完 成图 像的 搜 索 检 测。 善强 分 类器 集图 人脸分 类器 的 训 练流 程 图 算法 通 过一系 列 循 环 中 调用一个 给定的 弱 分 类器 的 学 习 算法 ， 琘 ， 琘 ， ， 琘 ， 琘 初 始 化 对 于 正样 本 和 负 样 本 ，权重 分 别初 始 为 ： 儿 】 贫 艱 琹 薯 恢 銲 日簊鐀 簕 苩级 联分 类 器 的 目的 就是 要 在 最 初 的 几级 中 尽 可能多 的 排除 非 人 脸 区 域 ，而 能让几乎所 人 体 图 像的 通 过。 层 叠 分 类 器 的 构 造如 下： 比 范 勘 晡蠹 炻 蔉 螂甜 。 并 推 断 系统 至少 需要 ， 珽 哪 甜 个强分 类 器 级 联。 随着 层 叠 分 类 器 级 数 的 增 加 ，通 过不 断 降低 错误 接 受 率来 提 高分 类 器 的 检测效 果 。 在 验 证时 有一 部分 非 人 脸 样 本会 逐 渐 被 筛选 掉，并 不 会 通 过所 有层 ，被 筛选 掉的 非 人 脸 样 本对于下 一 层 的 训 练已经 没有价值了 ，仅仅保留 非 人 脸 集中 误 检的 样 本到 下 一 层 训 练中 使用 。 而正样 本集的 更新 ，仅仅保留 上 层 中 通 过层 叠 分 类 器 的 正样 本，漏 判 的 正样 本将 被 剔 除 。 层 叠 分 类 器 的 正确检测率和 错误 接 受 率 图 人脸检 测流 程 图 人 眼 定位 目 前 存 在 很多 算法 ， 但是其中 很多 算法 是对 高 分 辨 率 和 人 眼 具有 很好成 像质量的 图 像进 行的 研 究， 所以虽 然很多 算法 的 检 测 精 度虽 高 ， 却 达 不 到实 用 的 要 求 。 本 章首先 对 目 前 文 献 中 常 用 的 人 眼 定位 算法 进 行了 综述 ， 在 结合 本 系 统 自 身 的 特 点， 提出了 应 用模板 匹 配 的 方 法 进 行人 眼 定位 。 然后 就本 系 统 采用 的 具体 匹 配 的 实 现 过 程 进 行了 详细 的 分析 与 介绍 。 接 着 ， 将 模板 匹 配 的 方 法 进 一 步应 用 到人 眼 状态 的 识别 ， 介绍 了 具体 的 实 现 过程 和 疲 劳 状态 的 评 价 策 略 。 由 于对 待检 测图 像作一 定的 预处 理， 能 大大提高 算法 的 检 测率 ，最 后 对 人眼定位 与 状态 的 预处 理过 程 进 行了 简 单 描述 。 位 ， 该 算 法 对于 较 复 杂 的 人脸图像也 有 较 好的 检 测效 果 。利 用 人眼 在 人脸中特殊的 个 性特前 面 章节 已经提到过， 基 于 统 计 的 方 法 目前 被 广 泛 的 应用 于 人脸检 测与识别 中， 很 多 找到匹 配相 识度 最 大的 区 域 ， 若大于 设定的 阈值 ， 则 该 区 域 为包含 目标的 区 域 ， 否则 不是 。模 板 诖 觳馔枷 馭中横向 纵 向 不断 移动与 进 行匹 配， 易知 ， 匹 配结 果 的 大小 躓一 、 一 种是 相 关测度 ， 它 是 以 欧 式距 离 为基 础 的 一 种测度 ， 距离 越 短 ， 表 示越 匹 配。 归 一 化 为：双 琷 ， ， ， 籗 ， 一 ， 珊 人 眼模板 匹配平 均 模板 的 具 体 制作 方法 如 下 ： 旧 粕艱 这 样 我 们得 到最终 模板的 高 为 ：痺 至 此 ， 得 最终 模板的 尺 寸大小 为 ：与 该 模板的 人 样 状 态 一 致， 达到 识 别 人 眼状 态 的 目的 。 浙江 大学 硕 十 学 位 论文灰 度值 的 中 值 。 的 不同 表 情 不同 光照 环 境的 人脸 图 片 ，主要为 正面 人脸 ，还 有 少量 侧 面 和具 有 倾 角的 人 测 试 数据 库 禄 锶 柰 譬 ： ： 唾 鱼 裂 彰 翟 唾 蝌逻 ； 测 试 结 果测 试 集 于 人 脸存在过 大的倾角。 图 像 ， 主 要 是 由于 人 脸都 存在阴 影 ， 使 得计 算 的 特 征 、 瞪 主 圈奠霪 徐上面的测 试 中 主 要 是 使 用包 含人 脸的图 像 库， 重点测 试 算法的对 人 胜 正确 检测 的准 确 田 互 联网 非 人 胜 误挂 图 像 人 胜 数 ： 检 测 出 ： 漏 检 ： 馗 醇 觳 猓 误 检 ： 整个 人脸 区 域 光 照 不 均 匀，如 当人脸 左 半部分背着 光 源 时 左 脸 形 成 的 阴影 ，造 成 整个人脸 的 不 对 称 性 很 明 显了 ，这些会 影 响人脸 特 征 值 的 计 算。还 有 就是 当头 发 过 长对人眼产生遮 挡 等情 况 ，可 能 出 现 漏检。测 试集误 定位位 时 间 互 联 网人脸 阜 一酾阑孽 隐一孰 测 试 集麟： 固圉 人眼 状态 正 确 植测 图 像错 误 人疆 桡态 识别结果 锤图 人暇 状态 错 误 检 测 图 像【 测 试集正 确 挂 测 串圉 恳 腮田 人暇 整 体 状卷 正 确 挂 澜 围 像 前面测试 的统 计 结 果 反映 出本 系统 模板 匹配 方 法 定 位 人 眼 的时 间 开 销 很 小 ，这主要基于 两点 ：一是 在 人 脸 区 域 内检 测，待 匹配 的区 域 很 小 ；另一方 面，本 文 根 据 检 测到 人 脸 的大小 调整 匹配 模板 的大小 ，只 进 行 一次 模板 匹配 。 对 光 照 条 件不 好的拍摄 人 脸 测试 集，整 系 统总 结所 处 的 疲 劳 程度。 根据 人 眼 在 特 定 时 间 内 的 持续 闭 合时 间 和人 眼 的 平 均 闭 合速 度两个 指标来衡 量 驾 驶员 所处 的 疲 劳 程度。 对 疲 劳 状态的 检测 过程， 包括 两部 分：人 脸的 检测 与 定 位 、人 眼 定 位 与 状态识 别。 在 对 图 像 中 人 脸进 行 检测 ， 确 定 其 位 置 和区域大小 的 基 础上 ， 进 行人 眼 定 位 和状态识 别。 本 文 采 用 基 于 特 征 的 算 法进 行 人 脸检测 ， 在 已