【毕业学位论文】立体视觉系统三维恢复软件设计与实现-软件工程

中图分类号： 学校代码： 10055 密级： 硕 士 专 业 学 位 论 文 立体视觉系统三维恢复软件设计与实现 D 文作者 赵斌 指导教师 袁晓洁 申请学位 工程硕士 培养单位 南开大学 学科专业 计算机技术 研究方向 计算机技术 答辩委员会主席 贾春福 评 阅 人 张金 辛运帷 刘杰 南开大学研究生院 二 一 四 年 四 月 摘 要 I 摘 要 论文工作 来源于某研究所通过双目探测器拍摄的图像对序列完成三维恢复的需求。立体视觉系统场景三维恢复软件作为该探测器导航控制系统的一部分独立运行在计算机终端上，通过局域网与系统相连。立体视觉系统场景三维恢复软件作为客户端接收图像数据包，将图像数据包恢复为原始的两个相机的图像序列，最终完成该探测器场景的三维恢复工作。 立体视觉系统场景三维恢复软件 的具体功能 是通过局域网接收指令和图像，实现 对 双目探测器拍摄的左右图像序列 进行校正、匹配、三维恢复、显示、存储并通过局域网发送到数据存储数据库 中 。 本文运用软件工程的先进思想， 依据低耦合高内聚的软件框架设计原则，采用分布式拓扑结构 ， 设计实现了 立体像对极线校正、立体匹配和三维恢复三个独立的软件 。 三个软件的主要功能：极线校正软件是对左右相机原始图像进行畸变 校正 和极线校正，为立体匹配提供输入 ； 立体匹配软件对立体图像对进行匹配搜索， 标定 左右图像中个像素点之间的对应关系，从而提取左视图和右视图之间的视差信息，为三维 恢复 计算提供输入 ； 三维恢复软件接收 二维（或 视差图 ）的图像序列 ， 按照图像序列的顺序找出相邻图像间的对应关系，将 相邻 图像进行拼接，形成 360全景图像（或全景点云），最后利用 维图形处理技术形成动态三维图像。 各个软件都具有相同的网络通讯和网络数据库接口（通讯模块），软件之间又是输入和输出的关系，因此该软件是典型的分布式系统。本文从需求分析、系统设计、系统实现和测试验证等方面论述了三个软件的实现过程。 目前，该软件 已经 作为某 巡视器 遥测 操作系统 的一部分 成功 应用 ，通过 对 软件 的实施 和优化 ，高效 完成了三维 场景 恢复 的 任务 。 关键词： 三维恢复 立体视觉 极线校正 立体匹配 I he of an on by to on a as a of be as a to of to of of AN to of by to to In D on of of on of of of as to D of of to to 3D D ( or to in to 60 or to a D II so a on of as a of of 录 录 摘 要 . I . 录 . 一章 绪论 . 1 第一节 研究背景与意义 . 1 研究背景 . 1 研究意义 . 1 第二节 国内外研究现状 . 2 国外研究现状 . 2 国内研究现状 . 3 第三节 研究的关键技术 . 3 第四节 论文框架 . 4 第二章 系统相关算法与开发技术 . 5 第一节 相关算法简介 . 5 图像畸变校正 . 5 图像极线校正 . 5 立体匹配 . 5 匹配算法分类 . 6 图像配准 . 6 图像插值 . 6 第二节 关键开发技术 . 7 软件工程化开发流程 . 7 分布式系统 . 7 接口处理技术 . 8 维图形处理技术 . 8 多进程及进程间通信技术 . 10 面向对象技术建模 . 10 目 录 V 第三章 立体视觉系统三维恢复软件系统需求分析 . 11 第一节 功能需求 . 11 用户总目标 . 11 系统需求 . 11 第二节 非功能需求 . 12 性能需求 . 12 可靠性、安全性和可维护性需求 . 12 运行环境及其他要求 . 13 第三节 具体业务流程与功能分析 . 14 立体像对极线校正模块 . 14 立体匹配模块 . 15 三维恢复模块 . 16 通讯模块 . 17 第四章 立体视觉系统三维恢复软件系统设计 . 18 第一节 立体视觉系统三维恢复软件总体设计 . 19 软件功能划分 . 19 软件结构设计 . 20 第二节 功能模块设计 . 22 极线校正模块设计 . 22 立体匹配模块设计 . 26 三维恢复模块设计 . 36 网络通信模块设计 . 48 数据库操作模块设计 . 50 第三节 界面与接口设计 . 50 极线校正模块界面设计 . 50 立体匹配模块界面设计 . 51 三维恢复模块界面设计 . 52 用户接口 . 54 系统内部接口 . 54 第四节 运行模式设计 . 54 目 录 五节 系统出错处理设计 . 55 出错信息及补救措施 . 55 系统维护设计 . 55 第六节 开发环境设计 . 55 第七节 设计结论 . 56 第五章 立体视觉系统三维恢复软件系统实现 . 57 第一节 物理层实现 . 57 软件逻辑结构 . 57 软件开发及运行环境 . 58 第二节 系统功能实现 . 58 极线校正软件 . 58 立体匹配软件 . 60 三维恢复软件 . 63 网络通信 . 65 第三节 系统测试 . 66 测试功能概述 . 66 系统测试环境 . 66 系统功能测试 . 67 单元测试 . 71 测试结果分析 . 75 第六章 总结与展望 . 78 第一节 总结 . 78 第二节 展望 . 78 参考文献 . 80 附录：核心程序源代码 . 82 致 谢 . 95 个人简历 . 96 第一章 绪论 1 第一章 绪论 第一节 研究背景与意义 研究 背景 论文主要工作 来源于某研究所通过双目 探测器 拍摄的图像 对 序列完成三维恢复的需求。 立体视觉系统场景三维恢复 软件作为 该 探测器 导航控制系统的一部分独立运行在计算机终端上，通过局域网与系统相连。 立体视觉系统场景三维恢复 软件作为客户端接收图像数据包，将图像数据包恢复为原始的两个相机的图像序列 ，最终完成该探测器场景的三维恢复工作 。 关于 双目立体视觉方法进行三维 场景恢复技术，在计算机视觉中是指由 二维图像 对 恢复三维 场景 的 技术 。 在有视觉系统的生物界，绝大多数具有三维立体视觉的生物都有双目，在使用双目观察物体时，会感知到该物体的相对距离（即：深度）。 我们 早期 看的 3D 电影之所以有逼真的深度感，也是 利用 了立体视觉 的 原理。 在早期的 3D 电影拍摄，是使用左右摄像机同时录像，在播放的时候，又是利用人的偏光感知原来，将左右摄像机的录像内容同时投射到屏幕上，使观众通过两眼同时接收的是左右视觉信号，从而感受到比较真实的三维立体场景。 研究意义 基于计算机视觉 的 恢复 三维 场景 技术 ， 是指 将 双目摄像机作为 获取图像的媒介，综合运用 图像校正 、 立体匹配和三维图像 配准 和 过滤等技术 生成 三维点云 数据 ，并且用计算机虚拟现实显示 三维 场景 的技术。 该技术模仿了人的双目处理三维场景的原理，获取实场景三维立体数据 还原 三维 现实 ， 所以立体视觉研究对于人 类 自身探索具有十分重要的意义。 高效的实现该技术 ，是 立体视觉的一个重要的发展方向。 随着 人们对三维 场景 获取 需求 的 增加 ， 在航天航空、 教育、 娱乐、 商业、工业设计、 远程医疗 和 远程会议 等 多 社会各 领域，均希望通过建立三维 场景 模型实现虚拟现实 1。 譬如 ， 交通事故 场景 重建：由于交通事故调查有 局限性， 在事 故报告中不可能 再现现场所需的信息，而 其中 大多信息都以二维 图像 的形式保存 3，这样我们 可以通过利用三维 恢复 技术，再现交通事故 场景 ； 又如， 物体第一章 绪论 2 三维成像 ：获取物理模型数据是 物体三维成像 的基础，与 传感器 测量等方法相比较， 使用 物体的二维图像来 恢复 其三维 图像 的方法会 更加 便捷 ； 还有， 三维医学图像 恢复 ：医生制定手术计划 时 需要 彻底 理解复杂的三维 机体 结构，仅通过在 大脑中重建切面 图像是难以完成的 ， 因此 利用 三维 恢复 呈现机体机构 是非常有必要的。 近年 三 十年来，针对如何 从 二维图像中 恢复 三维图像的特征信息，学者提出了大量的解决 方案 。 本课题通过 的 两步法标定和 基于双目的 立体视觉系统获得摄像机内外 标定 参数， 再 进行图像处理 使用的畸变校正和极线校正 ，并 检测图像 边缘 的 有 代表性特征 点 ， 使用同名点 匹配算法 分析 像素点之间的对应关系 进行匹配 ，然后 利用开放的 维图形 恢复 技术呈现三维场景 。 第二节 国内外研究现状 国外研究现状 对于立体视觉的三维 恢复 及相关算法 的研究，国外开始 研究 的较早， 在多个方面取得了比较好的成果 。 在 标准 定义 方面， 立体视觉进展进行了详细评述，介绍了大量 图像 匹配方法， 定义 了层次体系的概念，并 引入了 三目立体 提供 立体匹配的 辨析方法 4； 很 有名的瑞典科学家 微分 方程 给出 边缘点检测相关 理论 的计算 方法 ，并 总结 出了 利用 缘点 检测 规则 。 科学家 给出 了用单应矩阵 代替 灰度 值 相似性 及 极线 的约束当成相关匹配 准则 5。 在算法 研究 方面： 美国 著名 科学家 通过二维的图像信息 恢复 三维物体的立体信息 6； 科学家 将立体匹配过程分成视差优化、视差精化、代价函数计算 和 代价函数累加 四个模块 ， 从而 加快 立体匹配研究 和三维恢复系统发展 78。 在 技术 应用方面， 美国麻省理工学院 发明 了一 个将智能交通工具与 传感器 结合 方案 ，由雷达 辅助 系统提供目标 相对距离 范围， 再 利用双目立体视觉恢复粗略相对的距离 信息，结合图像分割 相关 算法，能够对 实时 视频图像中的目标 物 进行 分割提取 9。 近 十几年 国外 开发 了一些 非常 成功的三维 恢复 系统。 例如 ： 法国 由 发的 利用三维恢复技术的 便携式 位置 测量机 、比利时 由 司 开第一章 绪论 3 发的 K 系列 位置 测量机、挪威 由 司 开发 的 统、 加拿大由 司 开发的 系列产品 10。 国内研究现状 目前国内 计算机视觉研究 正 处于 快速发展 的 阶段 ，在 多个 领域均 展现 出了加速前进 的 前景。 例如： 国内在机器人视觉方向的专家 钟云德博士发明了一种立体图形对匹配的方法，该方法折中了稀疏匹配和稠密匹配，所以称之为半稠密匹配法，在该种方法的匹配过程中产生了很多新的匹配点，因此可以更佳的实现三维场景显示，在很大程度上节约了匹配时间 11。 东南大学 的 基于双目 三维 立体视觉， 发现 了一种 与 灰度相关 的 多 重 峰值视差 图绝对值极小的 立体匹配方法， 利用该种 方法可以 对三维 任意 规则物体的空间坐标进行精密 的 测量 12。哈尔滨工业 大 学 将一个固定摄像机和一个可以水平旋转的摄像机，分别安装 在不同的位置 ，采用这种异构双目活动视觉系统实现了全自主 研发的 足球机器人进行 导航 13。 还有，清华大学的王磊也提出了一种基于平面投影变换 的 遗传匹配算法 ， 该算法 可以 在未知摄像机内外参数的情况下自动 匹配 正 确的对应点，由于使用的是平面投影变换， 算法的使用有一定的局限性，不过这也是算法级别的一次比较重要的突破 14。 第三节 研究的 关键技术 立体视觉系统场景三维恢复软件 主要包括三个相对独立的分支软件：立体像对极线校正软件、立体匹配软件及三维恢复软件。 三个软件既是可以 单独 运行的 ， 软件 之间又是输入和输出的关系。 立体像对极线校正软件主要 使用 图像处理技术的畸变校正技术和极线校正技术； 立体匹配软件 主要用到了图像过滤技术、同名点匹配技术和视差过滤技术； 三维恢复软件 主要 使用 二维图像匹配技术、三维图像匹配技术、二维全景图插值滤波技术、三维全景图插值滤波技术和三维恢复成像技术。 以上 关键 技术会在系统设计阶段分别实现。 第一章 绪论 4 第四节 论文框架 本论文共分为 五 章，其主要内容如下： 第 一 章，绪论： 重点 介绍 论文 的 研究 相关 背景 和 意义 、 国内外研究现状 和研究的关键技术 以及论文框架。 第 二 章， 系统相关理论与技术 ：结合 三维恢复软件 相关 需求 ， 介绍 开发 过程 中所运用到 的 相关理论和技术 。 第 三 章， 立体视觉系统三维恢复软件 系统需求分析： 重点 讨论和分析 立体视觉 系统场景三维恢复 软件 相关的 功能 需求 和 非功 能要求 ， 并阐述了 用户的总体目标和业务流程 。 第 四 章， 立体视觉系统三维恢复软件 系统设计： 系统总体设计、 算法设计与实现 、功能模块与相关接口的设计以及系统安全与环境的相关设计 。 第 五 章， 立体视觉系统三维恢复软件 系统实现： 具体实现 了 系统 各个 模块，并 通过测试用例进行系统测试，并分析测试结果。 第 六 章， 总结 与展望 ：总结了论文的 研究成果 ， 并对研究成果 今后 的继续发展提出了一些 建议 和展望 。 第二章 系统相关算法与开发技术 5 第二章 系统相关 算法 与 开发 技术 本章主要是对系统 相关算法 和 开发 技术概念做一些 描述 ，以便 后面 更好的讨论 系统 的 设计和实现 。 第一节 相关 算法 简介 图像畸变校正 从数字图像处理的观点来考察畸变校正 , 实际上是一个图像恢复的过程 ，是对一幅退化了的图像进行恢复。在图像处理中，图像质量的改善和校正技术，也就是图像复原，当初 这种技术 是在处理从人造卫星发送回来的劣质图像的过程中发展、完善的。目前，图像畸变校正的应用领域越来越广，几乎所有涉及应用扫描和成像的领域都需要畸变校正。图像在生成和传送的过程中，很可能会产生畸变，如：偏色、模糊、几何失真、几何倾斜等等。前几种失真主要是体现在显示器上，而后一种失真则多与图像集角度有关。不正确的显影，打印、扫描，抓拍受反射光线的影响等方式，都会使图像产生偏色现像。模糊、几何畸变主要是在仪器采集图片过程中产生，大多是因机器故障或操作不当影响导致，如在医学成像方面。而几何空间失真广泛存在于各种实际工程应用 中，尤其是在遥感、遥测等领域。 图像极线校正 极线校正又称为图像校正、投影校正，指的是对两幅图像各进行一次投影，使得两幅图像对应的极线在同一条扫描线上，从而满足扫描线特性。当前极线校正的方法有很多种 。 立体匹配 图像经过预处理，就可以去掉大部分的噪声污染，并且增大了图像的对比度等。下一步就可以进行同名点的匹配。对于双目视觉而言，同名点就是世界坐标中的同一点分别在两个摄像机中所有像点，假设世界坐标中的一点 P，其在摄像机 1 中的所成像点计为 摄像机 2 中的成像点计为 据 出第二章 系统相关算法与开发技术 6 相应的 过程成为同名点的匹配，在双目视觉中也可以称为立体匹配。在图像传感器经过标定后，那么三维形体重建的任务在于如何快速、准确、可靠的在左右相片上寻找同名像点 25 匹配算法分类 匹配是立体视觉中最复杂、最重要的环节。总结起来目前匹配算法可分为基于特征匹配、基于面积匹配和基于相位匹配。特征匹配主要以零交叉点和梯度为依据，受噪声影响较小，但仅能获得稀松的视差，所得结果还需要进行内插面积匹配可以获得稠密的视差，但主要依据为灰度连续性，受噪声影响较大，尤其是对交叉摆放的双目 体视觉系统，左右图像灰度变化不一致，核线互不平行，误匹配几率增大；相位匹配一般是针对核线平行而言，虽然将空间域转化为时间域，可同样存在邻域奇异性。这种方法研究的相对较少。到目前为止，还没有一种适合于各种场合的通用 的匹配方法 162。 图像配准 图像配准就是不同传感器所采集得到的同一场景的多光谱、多波段或同一传感器再不同时相、不同方位获得同一场景的图像变换到同一坐标系下，一红融合使用 30，的图像融合特别是数据层融合技术中需要先期解决的问题 31。 图像插值 插值算法所应用的领域较多，对图像进行缩放处理是比较典型的应用，由于图像像素的灰度值是离散的 , 因此一般的处理方法是对原来在整数点坐标上的像素值进行插值生成连续的曲面 , 然后在插值曲面上重新采样以获得缩放图像像素的灰度值。缩放处理从输出图像出发，采用逆向映射方法，即在输出图像中找到与之对应的输入图像中的某个或某几个像素，采用这种方法能够保证输出图像中的每个像素都有一个确定值，否则，如果从输入图像出发来推算输出图像，输出图像的像素点可能出现无灰度值的情况 20 第二章 系统相关算法与开发技术 7 第二节 关键开发技术 软件工程化 开发 流程 软件工程 就 是 探索 利用 工程化 相关 方法 开发 和 维护高 效 的 、 稳定 的 和 实用的 软件的 一门 学科。它 包括 开发工具 、 程序设计 、 数据 存储 、系统 环境 、 设计方法 和 原则 等 多个 方面。在 当今这个时代 ，软件应用于 很多地方 。典型的软件有 各类 操作系统 、 网络游戏 、 电子 邮箱 、嵌入式系统、人机 交互 界面、 各种 数据库 和 办公 软件 等。 而且 ， 计算机软件的应用 与 各个行业，如 金融、 工业、农业、 政府部门 和航天 航空 等。这些 软件 应用促进了经济和社会的发展，也提高了 生活质量 和 工作 效率。 本 软件产品的研制过程严格按照软件工程化的思想具体要求进行 软件调研和分析工作 ，软件开发基本流程如图 示 。 在充分了解 用户需求 的基础上，我们首先对软件体系进行设计 ， 以 + 为主要开发环境，并选用 C+作为主要开发语言，选用 维图形接口实现三维视景演示 系统 。 再 根据设计方案，组织开发人员进行编码，在设计编码过程中，得到用户深入地参与和支持。最后对形成的软件产品进行 软件测试，完成软件验收和交付培训 。 用户需求用户