（计算机应用技术专业论文）大型工件特征点三维测量系统研究.pdf

论文题目 大型工件特征点三维测量系统研究 专业 计算机应用技术 硕士生 席跃 签名 指导教师 李占利 签名 摘要 汽车的生产制造是一个超大规模的复杂制造过程 其最基本的前提是汽车零件的制 造 传统的汽车零件设计制造流程要求有产品的蓝图设计或其c a d 模型 然而在很多场 合下设计的初始信息状态不是c a d 模型 而是各种形式的物理模型或实物样件 若要进 行仿制或再设计 必须对实物进行三维数字化处理并在c a d 软件中对获得的数据建模 因此 准确 快速 完备地获取实物的三维几何数据 即对物体的三维几何面进行三维 离散数字化处理 是实现汽车零件制造重要步骤之一 本文结合近年来新兴的图像序列 三维测量技术 设计了一套大型工件特征点三维测量系统 用于实现三维几何面的三维数 据测量 首先通过对目前流行的三维测量技术的比较 确定了使用序列图像三维测量技术作 为三维测量系统开发的理论基础 其次对特征点三维测量系统进行了详细的需求分析及可行性分析 在设计过程中 本文将系统划分为三个模块 图像预处理模块 特征点匹配模块 三维重建模块 本文 重点对图像预处理模块及特征点匹配模块进行探讨 介绍了相关的理论并详细论述了图 像预处理模块中基于人工特征点的图像分割算法以及在特征点匹配模块中人工特征点 匹配算法 对以上算法进行了实验验证 最后 在上述研究成果的基础上 建立了大型工件特征点三维测量系统的整体框架 利用m a t l a b 7 o 开发了大型工件特征点三维测量系统 开发时留出接口供今后开发使用 运行结果表明 系统具有了三维测量的主要功能 关键字 人工特征点 视觉测量 图像分割 特征点匹配 研究类型 应用研究 s u b j e c t r e s e a r c ho n1 胁r g e t si m a g e sb a s e dl a r g e s c a i ew o r k p i e c e3 d m e a s u r e m e n t s y s t e m s p e c i a i t y c o m p u t e ra p p i i c a t i o n1 e c h n o i o g y n a m e x iy u e i n s t r u c t o r l iz h a n i i a b s t r a c t s i g n a t u s i g n a t u a m o m o b i l em a n u f a c t u r ei sas u p e r s c a l ea n dc o m p j e xp r o c e s s w h i c ht h eb a s i cp r e m i s e i st 1 1 ep r o d u c t i o no fc a r t p a i r t s t h et r a d i t i o n a ld e s i g n 锄dp r o d u c t p r o c e d u r er e q u i r e st h eb l u e p r i n to rc a d m o d e lo fp a r t h o v e v e r t h ei n i t i a ls t a t u so f p r o c e d u r ei so f 论nw i t 量l o u tb l u ep r i m o rc 触 m o d e l i nm a 嗲c a s e s i n s t e a dt l l e r ea r ep h y s i cm o d e l so r 耐g i n a lp a r t s i n s s i t u a t i o n m u s ta c q u i r ct h e3 dd a t a 丹o mm eo b j e c ta n dm a nm o d e l i n gm a ti nc a d s o r 撇鹏b e f o r et h ec l o n eo rd e s i g n a t i o n t h e r e f o r e a c q u i r i n g3 d 咖a p r e c i s e l y r a p i d l ya i l d c o m p l e t e l yi st h em o s ti i n p o r t a m ts t 印i l la u t o m o b i l em a l l u f 犯t u r e 1 1 l ep a p e ra i l a l y s i st l l e t e c l l l l i c a lo f3 dm e a s w e m e n tb ye n c o d e d t a r g e t si m a g es e q u e n c ea 1 1 de p e r i m e n t a l l yt e s t i f i e s t 1 1 0 s et e c h i l i c a b yt h e3 dm e a s m e m e n ts y s t e mw ed e v e l o p e d p o p u l a r3 一d i m e n s i o nm e a s u r et e c h n o l o g i e sa r ef i r s t l yc o m p a r e d w h i l et l l e e a l m e s s e s a r ep o i n to u t t h a n3 dm e a s u r e m e mb ye n c o d e dt 龃g e t si m a g es e q u e n c ei sc h o s e na sm e m e o 巧b a s eo f3 dm e a s u r e n l e n ts y s t e m s e c o n d l y t l l er e q u i r e m e n ta i l df e a s i b i l i t yo f h em e a s u r es y s t e mh a v eb e e nd o n e i n s y g t e md e s i g l l i n g t h es y s t e mh a l sb e e nd i v i d e di m ot 1 1 r e ec o m p o n e n tm o d u l e s i m a g e p r e p r o c e s s i n gm o d u l e f e a t u r ep o i n tm a t c hm o d u l ea 1 1 ds p a c ep o i n tr e c o n s t m c t i o nm o d u l e t l l i sm e s i sf o c u s e so nt h ef i r s tt om o d u l e s d e s c r i b e sm em e t h o d so ff e a t u r ep o i n te x t m c t i o n a i l df e a t u r ep o i n tm a t c h i n gi nd e t a i l f i i l a l l y b a s e do nt h cs t u d ya i l dr e s e a r c ha b o v e w eb u i l dt h em a i n 托姗eo f3 dm e a s u r e s y s t e ma 1 1 dg i v et h ec l a s sa n di 1 1 t e 施c ei nt h es o 小 a r e 1 1 1 a nw er e a l i z et h es v s t e m 晰t h m a t l a b 7 0 t h ee x p e r i m e mr e s u l ts h o wm es y s t e m p o s s e s s e dt l l eb a s i c 觚c t i o no f3 d m e a s u r e m e n t k e y w o r d s e n c o d e dt a 唱e t 3 dv i s i o nm e a s u r e m e n t e d g ee x t r a c t i n gt h 玛e tm a t c l l i n g t h e s i s a p p l i c a t i o nr e s e a r c h 姿料技大学 学位论文独创性说明 本人郑重声明 所呈交的学位论文是我个人在导师指导下进行的研究t 作及 其取得研究成果 尽我所知 除了文l 加以标注和致谢的地方外 论文中不包含 其他人或集体已经公开发表或撰写过的研究成果 也不包含为获得西安科技大学 或其他教育机构的学位或证书所使用过的材料 与我一同工作的同志对本研究所 做的任何贡献均已在论文中做了明确的说明并表示了谢意 学位论文作者张耘净 日期 一 9 f 学位论文知识产权声明书 本入完全了解学校有关保护知识产权的规定 即 研究生在校攻读学位期闭 论文工作的知识产权单位属于西安科技大学 学校有权保留并向国家有关部门或 机构送交论文的复印件和电子版 本人允许论文被查阅和借阅 学校可以将本学 位论文的全部或部分内容编入有关数据库进行检索 可以采刚影印 缩印或扫描 等复制手段保存和汇编本学位论文 同时本人保证 毕业后结合学位论文研究课 题冉撰写的文章一律注明作者单位为西安科技大学 保密论文待解密后适用本声明 学位论文作者签名 指导教师签名 盘 铴 f o 刁年厶胄 8 日 1 绪论 1 1 选题的背景与意义 1 绪论 汽车工业作为国民经济的支柱产业 近2 0 年来得到迅猛的发展 汽车生产企业的不 断增多 汽车产量的不断扩大 汽车品种的不断拓宽 使得市场竞争愈加激烈 中国加 入w t o 也使汽车产业面临着巨大的挑战 随着生产的发展和技术的进步 检测手段 检测技术 特别是自动化检测设备在汽车工业中的作用和地位显得日益重要 其先进与 否往往是制约产品质量的一个重要因素 自动化监测设备有多种用途 其中一种就是用于汽车的生产制造 汽车的生产制造 是一个超大规模的复杂过程 其最基本的前提是汽车零件的制造 传统的汽车零件设计 制造流程是一种预定的顺序模式 即从市场需求抽象出产品的功能描述 然后进行概念 设计 在此基础上进行总体及详细的零部件设计 制定工艺流程 设计工夹具 完成加 工及装配 通过检验及性能测试 这种模式的前提是完成产品的蓝图设计或其c a d 模 型 然而在很多场合下设计的初始信息状态不是c a d 模型 而是各种形式的物理模型 或实物样件 要对其进行仿制或再设计 就必须对实物进行三维数字化处理并在c a d 软件中对获得的数据建模 并按制造软件所需文件格式生成文件 l 在此过程中 实现 准确 快速 完备地获取实物的三维几何数据 即对物体的三维几何形面进行三维离散 数字化处理 是实现汽车零件制造重要步骤之一 因为没有准确的三维几何数据 就谈 不上后续的造型处理以及快速原型制造 因此 目前汽车制造业急需一种能够测量零件 原型并得到其空间三维几何数据的软件系统 开发这种系统有极大的现实意义 就目前来说 流行的三维测量技术除了接触式测量外 使用最广泛的测量方式就是 利用光学原理进行非接触式测量 这也是目前研究和应用的热点之一 在国内外已经出 现了很多成熟的 商业化的系统和软件 下面介绍这些流行的测量技术及它们的优缺点 1 接触式测量技术 接触时测量技术的代表是坐标测量机 c m m 它以精密机械为基础 综合应用了电 子技术 计算机技术 光学技术和数控技术等先进技术 成为目前应用最广泛也是最成 熟的一种测量方法 它利用测量机上的探头 不同直径 不同形状及不同方式 逐点的捕 捉被测物体表面数据 然后再由软件按一定的评定准则计算出几何元素的尺寸 形状和 相对位置等 三坐标测量机测量精度很高 可以达到士5 岬1 2 对被测物体的材质和色泽一般没有 特殊要求 测量过程也较简便 三坐标测量机对没有复杂内部型腔 特征几何尺寸多 只有少量特征曲面的零件的测量是非常有效的 但是 由于这种方法是接触式测量 易 西安科技大学硕士学位论丈 于损伤探头并有可能划伤被测物体的表面 并且始终需要人工干预 不可能实现全自动 测量 而且测量数据点较少 还需要在c a d 软件中修改模型或重构模型 另外 三坐 标测量机价格较高 对使用环境也有一定的要求 而且测量速度较慢 2 非接触光学测量技术 根据是否采用额外的光源 光学测量可分为主动式和被动式测量 主动式测量 主动式测量是指存在着外加的光源 对被测物体投射特定的结构光 使之被物体调 制 传感器接收信号 将其解调得到被测物体的三维信息 由于这种方法需要额外的辅 助光源 因此根据不同的光学原理产生了多种不同的光源 从而也出现了不同的测量方 法 目前主要有投影光栅法 3 1 激光三角法 4 光照模型法 5 1 激光测距法和数字全息 6 法等 主动式方法的测量技术 由于需要使用额外的光源 这就限制了这一类方法的使用 范围 如在狭小空间内 汽车发动机内侧腔壁等 采用主动式方法进行测量就很不方 便 于是 研究者提出了被动式测量来避免了这类问题 被动式测量 7 j 被动式测量方法不需要附加的光源 只是通过c c d 摄像机探测物体的自然光辐射并 进行分析来获取物体的三维信息 根据c c d 摄像机数目的不同 被动式测量可分为单目 视觉法 双目视觉法和多目视觉法 a 单目视觉法 二维图像是三维景物的透视 但二维图像也包含着很强的三维的暗示 单目视觉法 采用单个c c d 摄像机进行测量 利用透镜成像原理获得被测物体的三维信息 这种方 法结构简单 避免了其他视觉方法中的特征匹配的困难 单目视觉法根据测量原理可分为聚焦法和离焦法 聚焦法对误差敏感 对灰度近似 区域测量精度不高 离交法的离交模型复杂 标定困难 近年来 单目视觉法实际运用 较少 b 双目视觉法 人类利用双眼来感知世界 利用双眼来获取三维物体的信息 人的双眼从不同的两 个角度观察物体 由于几何光学的投影 物体上的某一点在左右视网膜上成像在不同的 位置上 这种位置的差异称之为视差 它反映了客观景物的深度或距离 双目视觉法 又称立体视觉法 仿照人类的双眼 采用两个数码摄像机同时摄取同一 物体的两幅图像 通过各种立体视觉的方法在两幅图像中找到同一物点在这两幅图像中 的坐标位鼍 计算出视差 然后采用基于三角测量的方法恢复该点的距离 双目视觉法成像的原理简单 但由于需要在两幅图像中匹配到对应点 受到光照 物体表面曲率变化等因素的影响 实际上的立体匹配过程很复杂 这也是双目视觉测量 2 1 绪论 的一个瓶颈问题 目前有很多学者对此进行了深入的研究并提出了大量的算法 但都不 能完全的解决这个问题 c 多目视觉法 多目视觉法是指同时使用多于二个c c d 摄像机进行测量的方法 由于相对于双目视 觉 这种方法添加了摄像机的个数 也就是增加了匹配图像的数量 从而增加了匹配点 的几何约束 降低了立体匹配的困难 如三视视觉 匹配点的搜索范围从一条直线下降 到一个直径非常小的圆 从而提高了匹配的精度 虽然这种方法降低了立体匹配的难度 但由此增加的结构也变得复杂 额外引入了测量误差 降低了测量效率 应用范围也受 到了限制 如空间等 所以在实际测量中应用较少 为了避免上述三维测量方法的种种限制 近十年来 研究人员对基于图像的三维测 量技术进行了广泛的研究并取得了显著的进展 出现了用图像序列进行三维测量的新技 术 光学三维测量技术 它综合了图像处理 射影几何及计算机视觉等领域的知识 可以通过序列二维平面图像恢复目标的三维几何信息 该技术首先通过图像处理技术 从二维平面图像中得到关键点的图像坐标 然后利用 射影几何相关理论确定图像间的几何约束关系 最后采用计算机视觉技术逐步恢复出目 标的三维信息 该技术成本低 环境适应好 因此本文的三维视觉测量系统选择这种方 法作为开发的基础理论 1 2 三维视觉测量系统国内外发展现状 国外在光学三维测量方面理论方面起步较早 技术发展比较成熟 已经有不少用于 实际生产开发的商业软件 美国c m u 大学的t o m a s i 和k m a d e 8 等在假定摄像机为正交投影模型的前提下 利 用仿射分解的方法同时一求解几何物体的三维结构和摄像机运动 姿态的方法进行重建 的系统 该系统的缺点在于只有当被重建物体的深度远远大于物体的几何尺寸时 所假 定的正交投影模型才能成立 同时由于只能针对少数关键点进行重建 重建效果不是十 分理想 p o l l e f e y s 等人在比利时k u l e u v e i a 9 j 大学开发的特征点三维重建系统能自动完成特 征点的检测和匹配 相机标定等技术 实现了复杂曲面场景的自动重建并给出了非常好 的重建结果 这项工作在基于图像建模研究中具有重要的理论和实践意义并已在考古 文物保护领域得到了成功应用 但是 该算法在数值计算上的稳定性仍存在一定的问题 且对于不同场景的适用性上也有一定就局限性 a c i o n 公司的测量软件处c o n3 ds t u d i o 1 0 该软件是专业的三维测量系统 能够准 确快速的从各种测量模块记录并且分析得到的数据 可用于汽车撞击试验前后汽车外形 改变的测量 3 西安科技大学硕士学位论文 测量软件的专业公司r a i n d r o pg e o m a g i c 1 1 1 的产品g e o m a g i cs t u d i o 可轻易地从扫描 所得的点云数据创建出完美的多边形模型和网格 并可自动转换为n u r b s 曲面 而且 其附带的g e o m a g i cq u a l i 匆模块甚至可以在计算机辅助设计 c a d 系统生成的部件和 已有实际部件之间或在c a d 系统生成的部件之间进行自动的几何形状比较和误差分析 使检验人员 技术人员和人员和设工程师可以快速简便地检测与报告设计制造过程中的 任何质量问题 实现有效和准确的产品检验 与国外相比 我国在三维测量领域才刚刚起步 但有些成果已经具有较高的水平 清华大学 上海交大等单位都对结构光测量技术进行了研究 开发了实验室系统 哈尔 滨工业大学将大型三坐标测量机和基于c c d 摄像的双目成像原理相结合 进行大型工件 特征点的检测 在他们的方法中 工件需要放在特制的精密转台上以提供标准的位移 因此硬件设备组成较为复杂 缺乏足够的柔性 中科院自动化所模式识别国家重点实验 室采用平面激光的主动测量成功地获取了三维信息 并在口腔医学中得到应用 另外 中国科学院自动化研究所和西安交通大学等单位分别在机器人视觉以及三维视觉的基础 算法方面进行了研究 并取得高水平的研究成果 1 3 主要工作及章节安排 基于图像的三维测量技术由于综合应用了多个领域中的相关知识 仍然存在着许多 问题需要解决 1 图像特征的提取问题 现实世界中的景物多种多样 因此获得的图像中包含的信息也异常的丰富 而我们 真正需要的信息只占其中很少的一部分 如何从中有效的过滤信息而获取我们所需要的 特征点是图像处理技术的重要研究目标之一 2 图像的特征匹配问题 只有获得同一空间点在不同图像中的对应关系 才能够将不同图像之间联系起来 给出一幅图像中的特征点 如何在另一幅图像中找到与其对应的匹配点 一直是计算机 视觉中的难题之一 本文在充分研究相关理论的基础上 利用人工特征标志组合作为图像中的特征点以 解决针对匹配困难的问题 通过研究特征标志的分割与识别技术 提取特征标志在每幅 图像中的二维信息 此外 在理论研究的基础上 充分吸收利用相关领域的先进技术成 果 开发一套基于图像序列的大型工件三维测量系统 为将来的科研产业化打下一定的 基础 本文所设计的序列图像三维测量软件使用c c d 相机作为载体 围绕被测物体拍摄多 幅多角度高精度的数码照片 将其导入高性能计算机中 采用图像处理和模式识别技术 4 l 绪论 获得特征点的信息 利用计算机视觉中的自标定理论获得相机的内外参数 然后进行三维 点重建得到特征点在欧式空间下的三维信息 本文主要工作为 1 对序列图像进行三维测量的可行性进行分析 2 对特征点三维测量系统进行系统分析和设计 从宏观上说明测量系统实现方法 3 利用人工特征点解决图像特征提取存在问题 利用编码的人工特征点解决特征 点匹配难题 各章节内容安排如下 第一章绪论 介绍了目前存在的三维测量技术 说明了当前三维测量技术在国内外 的应用研究现状及本课题的研究背景 并简要的介绍了序列图像光学测量的方法 第二章系统分析与设计 分析了序列图像三维测量系统的构成 介绍了射影几何的 基本原理 分析了利用序列图像进行三维测量的可行性 介绍了各个构成模块作用 说 明了软件实现的环境 第三章图像预处理方法 分析了序列图像的预处理方法 对边缘提取算子做了简单 介绍 根据特征点的差异设计了一种区分算法 最后利用实验验证了这种区分算法的可 靠性 第四章特征点的匹配方法 介绍了本文使用的两种人工特征点 介绍了编码特征点 的匹配与非编码特征点匹配基础理论 详细介绍了编码特征点和非编码特征点的区分与 匹配算法 实验验证了特征点匹配算法的可行性 第五章系统的实现 介绍了大型工件特征点三维测量系统的开发 并给出了系统运 行的结果 证明了系统的可靠性 第六章总结 总结了全文的主要工作和研究成果 对下一步的研究工作进行了展望 5 西安科技大学硕士学位论文 2 系统分析与设计 特征点三维测量系统通过序列图像三维测量技术来达到测量的目的 序列图像三维 测量技术首先通过图像处理技术 从二维平面图像中得到关键点的图像坐标 然后利用 射影几何相关理论确定图像间的几何约束关系 最后采用计算机视觉技术逐步恢复出目 标的三维信息 本章将特征点三维测量系统做技术可行性分析及需求分析 2 1 可行性研究 可行性研究的目的 就是利用最小的代价在尽可能短的时间内确定问题是否能够解 决 下面介绍图像三维测量的基础知识并进行序列图像三维测量的技术可行性分析 2 1 1 空间几何变换 1 射影变换 射影变换 1 2 是一个最为广义的线性变换 一维射影变换如图2 1 所示 过o 点的直 线束分别交直线l l 与l 2 于a b c d 和a b c d 对于l l 上的任意一点 例如 点a 总可在l 2 上找到其对应的点a a 为o a 射线与l 2 的交点 当o a 与l 2 平行时 则定义 o a 与l 2 的交点a 为l 2 上的无穷远点 这种几何关系给出了l 2 与l 2 之间的一个一一对 应的变换 称之为以为中心射影变换 4 t 矗 c td 图2 1 一维摄影变换 n 维射影空间的射影变换可以表述为 p l 乙x 三l 其中 p 为比例因子 x y 分别为变换前后空间点的齐次坐标 y y l y 2 y n 1 t t p 为满秩的 n 1 n 1 矩阵 6 2 1 x 每 x l x 2 n 1 t 2 系统分析与设计 以一维射影变换为例写出上述变换 岈匮亦 仁2 射影变换中用非齐次坐标表示的变换关系是非线性的 一般n 维射影变换的矩阵等 式包含了n 1 个方程 消去p 后得到变换前后非齐次坐标的n 个方程 在三维射影空间 射影变换矩阵t p 可以表示为 耳 a 3 a 4 p 2 3p 2 4 p 强p 弘 p 鸭p 嘁 2 3 可以选择一个非零的比例因子归一 因此该矩阵有1 5 个自由度 2 仿射变换 仿射变换是射影变换的特例 是一类重要的线性几何变换 在射影变换中 当图2 1 中射影中心平面变为无限远时 射影变换就成了仿射变换 同样以一维射影变换为例写出上述变换 僻陌墟 亿4 比较射影变换可知 射影变换是非线性变换 仿射变换是线性变换 在三维仿射空 间 仿射变换矩阵t a 可以表示为 霸 吼l盘1 2 吒1盘麓 吩la 兹 00 4 b盘l i 4 2 3 口 吃3口3 o1 2 5 很明显 仿射变换矩阵有1 2 个自由度 3 欧式变换 欧式变换是在欧式空间进行的变换 欧式变换有6 个自由度 其中3 个为平移 3 个为旋转 在欧式空间内其变换形式可以表示为 豫貅l 6 7 吃吩 l 1 j 乃耽乃 西安科技大学硕士学位论文 其中 由啊组成了一正交矩阵 它是以旋转矩阵 该矩阵有3 个自由度 其欧式变 换矩阵t e 可以表示为 疋 l 2 吃l 嘞 吒l吩2 oo 欧式变换代表了在欧式空间中的刚体运动或刚体变换 2 1 2 摄像机透视投影模型 1 摄像机投影涉及的坐标系 z 帮 2 7 图2 2 摄像机图像坐标系 摄像机坐标系与世界坐标系 在对透视模型进行建模前必须了解世界坐标系 摄像机坐标系 图像坐标系 计算 机图像坐标系等几种坐标系之间的关系 双目视觉系统通过摄像机获取三维目标物体的二维图像 这个投影过程经历了不同 坐标系之间的变换 这些坐标系在投影模型建立过程中非常重要 这些坐标系包括世界 坐标系 摄像机坐标系 图像坐标系 计算机图像坐标系 如图2 2 所示 物体从空间 坐标变换到计算机图像坐标经历了四次变换 首先从世界坐标系变换为摄像机坐标系 然后由摄像机坐标系变换为无失真的图像坐标系 再由无失真的图像坐标系变换为带有 切向畸变实际图像坐标系 最后由图像坐标系变换为计算机图像坐标系 图像中的每一个元素的数值即是图像点的灰度 在图像上定义直角坐标系 1 l v 是 以象素为单位的图像坐标系的坐标 由于 uv 只表示象素位于数组中的列数与行数 并 没有用物理单位表示出该象素在图像中的位置 因而 需要转换为实际中的图像坐标系 在x y 坐标系中 原点 定义在摄像机光轴与图像平面的交点 该点 般位于图像中心 8 2 系统分析与设计 处 坐标系中的坐标为 u o v o 每一个象素在x 轴与y 轴方向上的物理寸为d x d y 则图像中任意一个象素在两个坐标系下的坐标关系可表示为公式 2 8 x 2 i 材 出 车 y o 砂 2 8 世界坐标系用来描述描述环境中任何物体的位置 摄像机坐标系与世界坐标系之间 的关系可以用旋转矩阵r 与平移向量t 来描述 因此 空间中某一点p 在世界坐标系与 摄像机坐标系下的齐次坐标如果分别是 x y z 1 t 与 c y c z c 1 t 于是存在如下关系 x c 匕 z c 1 x 删巨 2 9 其中r 为3 3 的正交矩阵 t 为三维平移向量 2 针孔成像模型 针孑l 成像模型又称为线性摄像机模型 空间任何一点p 在图像上的投影位置p 为光 心0 与p 点的连线o p 与图像平面的交点 这种关系也称为中心摄影或透视投影 由比 例关系有如下关系式 fx 盟 之 ly 盟 z c 2 1 0 其中 x y 为p 点的图像坐标 x c y c z c 为空间点p 在摄像机下的坐标 我们用 齐次坐标与矩阵表示上述透视投影关系 h o 乙 吕否 2 1 1 将公式 2 11 代入上式 我们可得到以世界坐标系表示的p 点坐标与其投影点p 的坐 标沁v 之间的关系 1 3 9 邑圪乙 l 1 j 0 0 0 0 o 1 西安科技大学硕士学位论文 料 l u d x 1 o 万 oo1 雕 x z 1 m m 2 x y z 1 m x z 1 2 1 2 其中 石可概 驴f d y m 为3 4 矩阵 称为投影矩阵 m l 完全由五 石 u o v 0 决定 只与摄像 机内部结构有关 称为摄像机内部参数 m 2 完全由摄像机相对世界坐标系的方位决定 称为摄像机 外部参数 由公式 2 1 2 可见 如果一直摄像机内外参数 就已知投影矩阵m 这时对任何空间 点p 如果已知它的坐标x w 就可以求出他的象点p 的位置 反过来 如果已知某空间点 p 的象点p 即使已知图像内外参 x w 也不是唯一确定的 我们会发现有无穷多的m 和 p 能够满足公式 2 1 2 这就是投影重建的二义性 2 1 3 双目立体视觉数学模型 图2 3 平视双目立体成像原理 双目立体视觉三维测量是基于视差原理 如图所示为平视双目立体成像原理图 两 摄像机的投影中心连线的距离 两摄像机在同一时刻观看空间物体的同一特征点p 分 别为 左眼 和 右眼 上获取了点p 的图像 它们的图像坐标分别为p l 萨 x l f t y 蛐 m 咖 x r i 出 y r i 曲 假定两摄像机的图像在同一平面上 则特征点p 的图像坐标的y 坐标 相同 根据三角集合关系得到 x l 啦 f 蔓 z c x n 如 f 譬旦 c y f 鉴 2 1 3 1 0 1 j r l 足矿 l 1 j 0 0 0 o 0 1 2 系统分析与设计 则视差为d i s p 撕t r x l e r x r i 曲t 由此可计算出特征点p 在摄像机坐标系下的三维坐 标为 b x i 镳 d i s p d r i 艿 d i s p 甜姆 b f z 二 一 d 枷砂 2 1 4 因此 左摄像机像面上的任意一点只要能在右摄像机像面上找到对应的匹配点 就 可以确定出该点的三维坐标 将其扩展到一般情况下 根据公式 2 1 0 可推导出一般情况下的空间点三维重建的数 学模型 这里直接给出方程 相关文献 1 2 1 已经给出了推导过程 必tq t z e 五 z 1 2 1 5 其中 i y i 是物体点在图片上的投影坐标 力 乃是两个相机的焦距 薹薹 t 篆 是两个摄像机之问的旋转矩阵和原点间的平移变换矢量 因此 已知焦距和空间点在左右摄像机的投影坐标 只要求出旋转矩阵r 和平移矢量t 就可以 得到被测物体点的三维空间坐标 2 1 4 基于序列图像的三维测量技术 通过被广泛研究的图像处理及模式识别理论 我们能够得到被测物体上的某一 些 点在每幅图像中所在的位置 二维图像坐标 然而 相机成像模型满足透视投影 其空 间变换满足射影空间变换 在该变换下 点的距离 线的平行关系等都不能保持 通过 摄像机 我们只能直接得到射影空间下物体的三维信息 对于三维测量领域来说 这些 信息显然是不够的 我们需要获得被测物体在欧式空间下的准确表达 因此 需要从图 像中获得额外的信息 将射影空间升级到欧式空间才能达到我们的目的 通过公式 2 1 1 可知 由于具有二义性 仅依靠单张图片是无法得到点的三维信息的 气 加加巧 l l i 1 j 墨x l p 西安科技大学硕士学位论文 f a u g e r a 1 4 指出 由一组图像坐标可以获得图像间的基础矩阵并能够得到特征的射影 重建 而把射影变换矩阵耶有1 5 个自然有度 欧式变换矩阵t e 有6 个自由度 因此 为得到欧式变换矩阵 我们至少要提供9 个约束 根据f a u g e r a 在文献 1 5 l 中所描述将三维欧式重建分为三步 第一步首先根据图像对 应点进行射影重建 得到射影空间下的投影矩阵 实现射影重建的方法可参阅文献 婚1 9 第二步在射影重建所恢复的射影空间下确定无穷远平面的位置 将射影空间升级到仿射 空间 第三步在仿射重建的基础上 附加进一步的约束 确定绝对二次曲线 面 像的方 程并计算出摄像机的内参数 从而完成度量重建 在度量重建的基础上确定尺度变换因 子 完成整个物体的欧式空间重建 通过分析文献可知 依赖完全由图像信息我们只能获得度量空间下的三维重建 将 射影重建升级到度量重建就是得到无穷远平面法向量及摄像机内参数矩阵的8 个未知数 的问题 为此许多学者对此进行了广泛深入的研究并取得了丰硕的成果1 2 0 琊j 证明了由 图像序列恢复物体三维欧式信息是完全可行的 2 1 5 技术可行性分析 通过上面的小节 我们可以确认并分析大型工件特征点三维测量系统涉及的主要技 术的可行性 1 数字图像处理 主要为图片边缘提取 这一块已经有很成熟可靠的技术理论 如c a n n y 边缘提取 s o b e l 算子边缘提取等 2 特征点识别 主要为特征点中心的提取 可用的理论有几何中心发 能量中心 法 曲线拟合法等 这些理论也都是可靠的 3 特征点的匹配 本论文将特征点分为编码特征点和非编码特征点 特征点的匹 配分为非编码特征点的匹配和编码特征点的匹配 编码特征点的匹配目前学术论文相对 比较丰富 匹配的方法也较多 可以比较容易的实现 而非编码特征点的匹配目前学术 了论文较少 需要一定的创新 就目前掌握的现有理论可以利用的算法为极线匹配 可 以实现 4 摄像机标定 在近景摄影测量学里面对这一块有非常详细的论述 理论成熟 5 空间三维点重建 利用双目立体视觉原理 理论方面成熟可靠 过上面分析可以看出 特征点三维测量系统理论充足 在技术上是可行的 2 2 系统需求分析 需求分析是软件定义的最后一个阶段 它的基本任务是准确的回答 系统要做什么 这个问题 系统分析的任务是确定系统必须完成哪些工作 1 2 2 系统分析与设计 2 2 1 背景与目的 在很多零件设计场合下没有c a d 模型或设计蓝图 有的只是各种形式的物理模型 或实物样件 要对其进行仿制或再设计 就必须对实物进行三维数字化处理并在c a d 软件中对获得的数据建模 利用序列图像三维测量技术 通过对三维物体拍摄的一系列 的照片 便可以实现实物的三维几何数据的获取 2 2 2 应用系统范围 序列图像三维测量技术处理问题的顺序可以分为以下几个步骤 1 图像获取 立体图像的获取是立体视觉的基础 也就是用摄像机获取三维物体 的二维图像 光照条件 相机的几何特性 底片的分辨率是很复杂的综合影响因素 另 外 摄取自然景物时要尽量避免平滑无特征区域以及重复结构景物的影响 2 特征抽取 几乎是同一灰度的没有特征的区域是难以找到可靠匹配的 因而 绝大部分计算机视觉中的工作都包括某种形式的特征抽取过程 而且特征抽取的具体形 式与匹配策略紧密相关 在立体视觉的研究中 特征抽取过程就是提取匹配基元的过程 特征抽取的具体算法在第三章作详细介绍 3 特征点匹配 立体匹配是指根据所选特征的计算 建立特征间的对应关系 将 同一空间物理点在不同图像中的成像点对应起来 并由此得到相应的视差图像 立 体匹配是立体视觉中最困难的步骤 当空间三维场景被投影为二维图像时 同一场景在 不同视点下的图像会有很大的不同 而且场景中的诸多变化因素 如光照条件 噪声干 扰 景物几何形状畸变 表面物理特性以及摄像机机特性等 都被综合到单一的图像灰 度值中 特征点匹配算法在第四章作详细介绍 4 摄像机标定 两幅图像中对应点相应的位置差异是由景物中点的位置以及双目 视觉系统中摄像机的相对位置 方向和物理特性决定的 一旦摄像机的属性一致 则图 像对中对应点的三维空间坐标就可以确定 摄像机标定的目的就是建立有效的成像模型 并确定摄像机的内外部参数 以便正确地建立空间坐标系中物点和它在图像平面上像点 之间的对应关系 摄像机模型除了提供图像上对应点空间与实际场景空间之间的映射关 系外 还可以用于约束寻找对应点时的搜索空间 从而降低匹配算法的复杂性 减小误 匹配率 5 特征点三维点重建 一旦有了准确的匹配 根据成像几何的关系很容易求出深 度图像 并恢复场景3 d 信息 影响距离测量精度的因素主要有数字量化效应 摄像机 标定误差 特征检测与匹配定位精度等 一般来说 距离测量精度与匹配定位精度成正 比 增大基线长度可以改善深度测量精度 但同时会增大图像间的差异 增加匹配的困 1 3 西安科技大学硕士学位论文 难程度 因此 要设计一个精确的立体视觉系统 必须综合考虑各个方面的因素 保证 各个环节都具有较高的精度 软件处理过程如下图 图2 4 软件处理过程 特征点提取模块包括有数字图像处理 圆形特征标记识别与信息提取 特征点匹配 模块是利用特征点提取所得到的信息将多张图片的相同特征点一一对应 摄像机定标模 块是利用匹配好的特征点信息运用双目立体视觉的方法进行相机标定运算 在相机定标 完成后即可得到特征点的三维坐标 2 2 3 系统功能需求 大型工件特征点三维测量系统是基于序列图像上的特征点来进行测量的系统 经过 分析可知 本系统应该具有的功能有 1 照片的增加删除功能 可以人工选择参与测量的照片 对照片进行添加和删除 2 人工特征点提取及编辑功能 能够查看提取出来的人工特征点并对结果进行人工干预 删除不需要的或错误提取 的噪点 添加人工控制点等 3 人工特征点匹配功能 对确定好的人工特征点进行区分和匹配 并能把结果显示出来 4 三维重建功能 根据双目视觉的基础原理对匹配好的特征点进行三维重建 能够将所得的结果显示 出来 此外 特征点的三维匹配结果要求能输出 具体按什么格式输出可以按要求做改 变 目前是以t x t 格式文件输出 2 3 系统结构设计 通过小节2 2 对序列图像三维测量技术的分析 可以将特征点三维测量系统分为图 片的获取特征点提取 特征点匹配 摄像机定标及三维重建三个模块 可以得到系统组 成如下 1 4 2 系统分析与设计 数 字 图 像 处 理 模 块 三维特征点 测量系统 特 征 点 匹 配 模 块 空 间 点 1 一 维 重 建 模 块 图2 5 特征点三维测量系统构成 对于软件系统而言 系统结构具有关键的作用 它不仅会影响系统设计和开发的进 度 还可能直接影响到系统的后续发展潜力 甚至会决定系统的成败 下面将分析三维 测量软件系统的结构 根据用户界面与后台数据库之间层次数目的不同 可以把应用结构分成单层 两层 三层或多层软件结构 目前使用较多的为三层结构 即把整个应用系统分为客户层 业 务层和数据层 其中客户层提供应用的用户界面 它根据用户的操作调用相应的业务逻 辑 业务逻辑层是应用系统的关键所在 它负责处理所有用户的请求 并把处理结果返 回给客户层 数据层又称服务器层 用于提供数据库支持 在本三维测量软件系统中 由于不需要数据库的支持 所有数据的处理结果均以文 件的形式存储在磁盘中 因此 可将三层应用结构中的业务层和数据层合并为一层 称 为服务器层 即采用两层应用结构 整个系统可大体分为三个部分 每个模块有各自的功能 序列图像处理包括了图像 边缘的提取 图像边缘的追踪以及特征点轮廓的提取 特征点匹配部分包括人工特征点 的区分 人工特征点的匹配 而人工特征点的匹配又可以分为编码特征点的匹配与非编 码特征点的匹配两个子模块 特征点的匹配部分包括摄像机定标和空间三维点重建 图像预处理模块li 特征点匹配模块 图 像 边 缘 化 图 像 边 缘 追 踪 特 征 点 轮 廓 提 取 特 征 点 的 区 分 编 码 特 征 点 匹 配 非 编 码 特 征 点 匹 配 图2 6 三大模块的功能 1 5 西安科技大学硕士学位论文 由于本软件涉及方面较多 空间点三维重建模块由他人完成 本文其后只介绍数字 图像处理模块和特征点匹配模块的设计与实现 2 4 支撑软件及开发工具 本软件系统是在w i n d o w s 平台上的应用 适用于w i n d o w 9 x w i n d o w s 2 0 0 0 及 w i n d o w sx p 操作系统 开发工具采用m a t l a b 7 1 2 5 小结 本章介绍了序列图像三维测量的理论基础 说明了利用序列图像恢复物体欧式信息 的可能性系统开发可行性 分析了大型工件特征点三维测量系统的系统构成并设计了系 统的结构 介绍了开发工具及应用平台 下一章将详细讨论和分析三大模块之一的图像 预处理模块 1 6 3 图像预处理方法 3 图像预处理方法 本文所用三维测量方法的第一步是对所拍摄的序列图像进行处理 获得被测物体的 二维信息 对每一幅图像而言 就是将每个特征点从整幅图像中提取出来 只有完成这 步 才能进行下一步工作 图像的预处理是三维测量的第一步 在对图像的研究和应用中 人们往往仅对图像中的某些部分感兴趣 这些部分常称 为目标或前景 其它部分称为背景 它们一般对应图像中特定的 具有独特性质的区域 为了辨识和分析目标 需要将它们分离提取出来 在此基础上才有可能对目标进一步利 用 我们把这种提取出感兴趣内容和区域的方法称为图像分割 为了提取出这些区域 减少提取后续运算的强度 边缘提取是一个行之有效的方法 将感兴趣的内容的边缘提 取出来后再根据一定的几何性质做出判断是图像预处理模块的主要工作 数字图像处理模块流程图如下 hc 落h 燃h 一 根据灰度判断是 否足特征点 根据圆度寻找可 能曲线 图3 1 序列图像预处理基本流程图 3 1 人工特征点介绍 计算封闭曲线圆 度 基于视觉的测量方法是基于图像的测量方法 一般都是通过处理被测物体中的特征 点的图像 得到特征点的二维图像坐标 然后进行测量 传统的依靠物体本身的信息 角 点 边缘等 来寻求匹配点 准确度不高 算法复杂 为了有效的避免这一难题 有关研 究者提出利用人工特征标志来作为图像的基准匹配点 2 3 1 这种人工设计的特征点具有特 征明显 易于提取 易于区分特点 这种特征点有多种设计方式 鉴于圆形具有成像简 单 几何特征对外界不敏感的几何体 本文采用的人工特征点以圆形做为主体 本文使用的人工特征点可分为两种 编码特征点与非编码特征点 编码特征点具有 唯一编码特征 根据其编码便可极容易的确定匹配关系 然后计算出图片的内参和外参 非编码点用来形成测量点云 可以根据需要选择贴敷的数量 编码点的形状为圆形块周 围围绕一圈扇环 将其等分为1 5 等分 为了能够表现出物体的轮廓和深度 特征点的大 小不宜太大 而在这么小的面积上设计编码是很困难的 因此我们引入了非编码特征点 非编码特征点形状就是一个黑底的白色圆形 编码特征点与非编码特征点形状见图3 2 1 7 西安科技大学硕士学位论文 a 编码特征点 b 非编码特征点 图3 2 人工特征点 3 2 图像边缘检测 图像最基本的特征是边缘 所谓边缘是指图像灰度发生空间突变或者在梯度方向上 发生突变的像素的集合 它广泛存在于目标与背景 目标与目标 区域与区域之间例 图像边缘可以划分为阶跃状 s t e pe d g e 边缘和屋顶状 r o o fe d g e 边缘 其中 阶跃状边缘 两边的灰度值有明显的变化 而屋顶状边缘在灰度增加和减小的交界处 边缘有方向和幅 度两个特性 鉴于阶跃边缘两边灰度变化非常剧烈 可以使用一阶导数和二阶导数来描 述两种不同的边缘 3 2 1 边缘检测技术基础 1 卷积运算 图像处理某一像素时 利用与该像素相邻的一组像素 经过某种变换得到处理后图 像中某点处的像素值 目标像素的领域一般是由像素组成的二维矩阵 该矩阵的大小为 奇数 目标像素位于该矩阵的中央 即目标像素就是区域的中心像素 经过处理后 目 标像素的值为经过特定算法计算后所得的结果 卷积可以简单看成加权求和的过程 2 引 卷积使用的权用一个很小的矩阵表示 矩阵 大小为奇数 而且与使用的区域大小相同 这种权矩阵叫做卷积核 区域中的每个像素 分别与卷积核中的每个元素相乘 所有乘积之和即区域中心像素的新值 微分边缘算子 来描述边缘 根据这个特性 有关研究者提出了用梯度