人眼跟踪技术研究及其在裸眼3D下的应用

电 子 科 技 大 学UNIVERSITY OF ELECTRONIC SCIENCE AND TECHNOLOGY OF CHINA硕 士 学 位 论 文MASTER THESIS（ 电 子 科 技 大 学 图 标 ）论 文 题 目 人 眼 跟 踪 技 术 研 究 及 其 在 裸 眼 3D 下 的 应 用学科专业 光 学 工 程学 号 201121240101作者姓名指导教师陈 国 龙黄 子 强 教 授分 类 号 密 级UDC 注 1学 位 论 文人 眼 跟 踪 技 术 研 究 及 其 在 裸 眼 3D 下 的 应 用（ 题 名 和 副 题 名 ）陈 国 龙（ 作 者 姓 名 ）指 导 教 师 黄 子 强电 子 科 技 大 学教成授都（ 姓 名 、 职 称 、 单 位 名 称 ）申 请 学 位 级 别 硕 士 专 业 学 位 类 别 光 学 工 程提 交 论 文 日 期 2014.05.28 论 文 答 辩 日 期 2014.06.04学 位 授 予 单 位 和 日 期 电 子 科 技 大 学 2014 年 06 月 日答 辩 委 员 会 主 席评 阅 人注 1： 注 明 国 际 十 进 分 类 法 UDC 的 类 号 。THE RESEARCH OF EYE TRACKING AND ITSAPPLICATION IN NAKED-EYE 3D DISPALYA Master Thesis Submitted toUniversity of Electronic Science and Technology of ChinaMajor:Author:Advisor:School :Optical EngineeringChen GuolongProfessor Huang ZiqiangResearch Institute Electronic Science andTechnology of UESTC独 创 性 声 明本 人 声 明 所 呈 交 的 学 位 论 文 是 本 人 在 导 师 指 导 下 进 行 的 研 究 工 作及 取 得 的 研 究 成 果 。 据 我 所 知 ， 除 了 文 中 特 别 加 以 标 注 和 致 谢 的 地 方外 ， 论 文 中 不 包 含 其 他 人 已 经 发 表 或 撰 写 过 的 研 究 成 果 ， 也 不 包 含 为获 得 电 子 科 技 大 学 或 其 它 教 育 机 构 的 学 位 或 证 书 而 使 用 过 的 材 料 。 与我 一 同 工 作 的 同 志 对 本 研 究 所 做 的 任 何 贡 献 均 已 在 论 文 中 作 了 明 确 的说 明 并 表 示 谢 意 。作 者 签 名 ： 日 期 ： 年 月 日论 文 使 用 授 权本 学 位 论 文 作 者 完 全 了 解 电 子 科 技 大 学 有 关 保 留 、 使 用 学 位 论 文的 规 定 ， 有 权 保 留 并 向 国 家 有 关 部 门 或 机 构 送 交 论 文 的 复 印 件 和 磁 盘 ，允 许 论 文 被 查 阅 和 借 阅 。 本 人 授 权 电 子 科 技 大 学 可 以 将 学 位 论 文 的 全部 或 部 分 内 容 编 入 有 关 数 据 库 进 行 检 索 ， 可 以 采 用 影 印 、 缩 印 或 扫 描等 复 制 手 段 保 存 、 汇 编 学 位 论 文 。（ 保 密 的 学 位 论 文 在 解 密 后 应 遵 守 此 规 定 ）作 者 签 名 ： 导 师 签 名 ：日 期 ： 年 月 日摘 要摘 要随 着 显 示 技 术 的 快 速 发 展 ， 为 了 获 得 更 舒 适 的 观 看 体 验 ， 裸 眼 式 自 由 立 体 显示 技 术 方 案 被 提 出 。 其 中 光 栅 式 自 由 立 体 显 示 因 其 独 特 的 优 势 被 各 大 公 司 和 学 者研 究 ， 但 传 统 的 光 栅 式 自 由 立 体 显 示 技 术 只 在 空 间 中 形 成 有 限 的 最 佳 视 点 ， 当 用户 头 部 移 动 到 最 佳 视 点 之 外 时 ， 双 眼 会 看 到 串 扰 的 立 体 图 像 ， 影 响 了 立 体 视 觉 体验 。 针 对 这 种 问 题 ， 在 跟 踪 式 裸 眼 3D 显 示 系 统 中 通 过 实 时 定 位 人 眼 的 空 间 坐 标 ，由 人 眼 坐 标 对 图 像 像 素 进 行 重 新 排 布 改 变 最 佳 视 点 的 区 域 ， 可 有 效 地 减 小 人 眼 移动 过 程 中 的 图 像 串 扰 。因 而 本 文 以 人 眼 的 检 测 识 别 为 主 要 研 究 目 的 ， 在 2D 图 像 领 域 研 究 实 现 了 人 眼的 检 测 跟 踪 ， 而 随 着 光 学 、 计 算 机 学 的 发 展 ， 基 于 结 构 光 投 影 的 三 维 轮 廓 术 逐 渐成 为 研 究 热 点 ， 本 文 创 新 地 研 究 了 三 维 图 像 信 息 在 人 眼 检 测 领 域 的 应 用 ， 并 同 样将 人 眼 检 测 应 用 到 了 裸 眼 3D 显 示 下 。 主 要 内 容 为 ：1.本 文 基 于 人 眼 的 双 目 视 差 原 理 ， 分 析 了 立 体 显 示 器 实 现 立 体 显 示 的 必 要 条件 ， 并 依 据 狭 缝 式 光 栅 立 体 显 示 原 理 制 备 了 原 型 机 ； 2.针 对 2D 图 像 处 理 领 域 的 人眼 检 测 进 行 分 析 研 究 ， 通 过 分 析 Haar 特 征 值 和 积 分 图 计 算 原 理 ， 以 及 对 Kalman 滤波 器 原 理 的 研 究 实 现 了 一 种 AdaBoost 级 联 分 类 器 和 Kalman 滤 波 相 结合的人眼跟踪 识 别 算 法 ， 并 通 过 实 验 验 证 了 该 改 进 算 法 的 性 能 ； 3.对 三 维 轮 廓 术 领 域 内 基 于位 相 原 理 的 四 步 相 移 法 进 行 了 Matlab 软 件 仿 真 ， 并 对 相 位 解 包 裹 算 法 进 行 了 介 绍和 实 现 。 提 出 了 一 种 基 于 二 值 光 栅 投 影 的 人 眼 中 心 位 置 检 测 方 法 ， 提 出 并 实 现 了光 栅 条 纹 边 界 的 编 解 码 算 法 ， 利 用 像 素 的 偏 移 量 来 获 取 该 位 置 点 的 高 度 轮 廓 分 布 ，并 利 用 计 算 机 进 行 模 拟 仿 真 和 实 际 实 验 进 行 方 案 可 行 性 验 证 。 同 时 研 究 了 涉 及 到的 图 像 二 值 化 和 噪 声 滤 除 技 术 ； 4.在 人 眼 检 测 跟 踪 研 究 的 基 础 上 ， 整 合 了 跟 踪 式狭 缝 光 栅 裸 眼 3D 显 示 系 统 的 人 眼 跟 踪 模 块 和 子 像 素 移 动 的 硬 件 模 块 ， 实 现 了 当 人头 部 移 动 产 生 串 扰 时 ， 相 应 地 通 过 移 动 子 像 素 来 减 小 串 扰 。关 键 词 ： 裸 眼 3D， 人 眼 检 测 ， 二 值 光 栅 投 影 ， 三 维 轮 廓IABSTRACTABSTRACTWith the quick advances in the display technology, the naked-eye stereoscopicdisplay solutions have been proposed in order to achieve a more comfortable viewingexperience. Among these technologies, the grating auto-stereoscopic display is widelyresearched by major display companies and academic institutes because of its uniqueadvantages. However, traditional raster stereoscopic display technologies can onlyform limited best viewpoints in space, which means when the users head movesoutside of the best viewpoints, inevitable crosstalk would seriously affects thethree-dimensional visual experience. In response to this problem, it is believed that aneye-tracking stereoscopic display system can effectively reduce the image crosstalk bytracking the position of the human eyes and moving the RGB sub-pixels to change thelocation of the best viewpoints in real-time.Therefore, the human-eye detection is identified as the primary research purposeof this project. Furthermore, because of the successful research of a two-dimensionalhuman eye tracking and the development of optics and computer science, this projectproposed and researched the three-dimensional image application in the field ofhuman-eye detection. Moreover, the human-eye detection is applied to the naked-eye3D display as well. The milestones of this project are:First, based on the principle of binocular vision of the human eye, this projectanalyzes the necessary conditions to achieve a three-dimensional stereoscopic display.Furthermore, a prototype is built based on the stereoscopic display principle; Second,based on the analysis of the Haar eigenvalue and the integral image computingprinciples, as well as the research on the Kalman filter, an improved recognitionalgorithm is proposed by combining the AdaBoost cascade classifier and Kalmanfiltering. And experiments have verified this new improved algorithm. Third, usingMatlab do the experimental simulation of four-step phase shifting which is athree-dimensional profilemetry based on the principle of phase, and phase unwrappingalgorithms are introduced and implemented. The human eye center position detectionmethod, based on a binary raster projection,is proposed and the coding and encodingalgorithm of grating boundaries is proposed and implemented, using pixel offsets to getthe points height profile of the distribution, and both of the software simulation andIIABSTRACTactual experiments are conducted to verify the feasibility of the program. Moreover,the image binarization and noise filtering technology are involved during theimplementation. Fourth, on the basis of the human eye detection and tracking studies, ahuman eye tracking module of a tracking slit grating naked eye 3D display system andhardware module of sub-pixels rearrangement are integrated to achieve a lowercrosstalk effect when head movements occur by rearranging the correspondingsub-pixels.Keywords: Naked-eye 3D, Human-eye detection, Binary projection,three-dimensional contourIII目 录目 录第 一 章 绪 论 . 11.1 课 题 选 题 依 据 和 背 景 . 11.2 本 论 文 主 要 研 究 内 容 与 结 构 安 排 . 2第 二 章 光 栅 式 立 体 显 示 器 系 统 原 理 与 制 备 . 42.1 人 眼 双 目 视 差 原 理 . 42.2 显 示 器 立 体 显 示 的 条 件 . 52.3 立 体 视 频 片 源 介 绍 . 62.4 光 栅 式 自 由 立 体 显 示 技 术 . 82.5 狭 缝 光 栅 式 自 由 立 体 显