（光学专业优秀论文）投影数字散斑双目视觉系统的立体匹配.pdf

州川人学坝i j 学位论文 摘要 投影数字散斑双目视觉系统的立体匹配 光学专业 研究生李美菊指导教师苏显渝 三维场景信息的获取在诸多领域都有重要应用 光学三维传感根据照明方 式不同可以分为主动传感和被动传感 双目视觉是被动传感中应用最广的传感 方式 可以在多种条件下灵活的测量景物的立体信息 立体匹配是立体视觉中 一个最重要也是最困难的问题 对于特殊结构的景物 如缺乏纹理细节等 容 易产生假匹配 限制了双目视觉的应用场合 考虑到主动光学系统中结构光可 以增加物体表面的特征 决定求助于主动光学系统 研究了一种结合主被动传 感的投影数字散斑的双目立体视觉系统 论文围绕投影数字散斑的双目视觉系统 详细的阐述了位置随机数字散斑 的概念 双目视觉原理及灰度相关的立体匹配算法 研究了一种快速相关算法 提高传统相关计算速度 采用了一种多窗口算法以提高该系统对高度突变物体 的匹配能力 论文最后将该系统应用到各种典型的面型测量中 均取得了浓密 而精确的视差图 本文的内容和研究成果如下 1 在分析主动传感和被动传感两种方式优势基础上 提出了投影位置随机 数字散斑的双目视觉系统 这种系统特别适用于弱纹理和无纹理的表面的三维 重建 2 相关是匹配中最为核心的部分 论文详细分析了区域灰度相关匹配算法 根据系统的特点 引入了一种快速相关算法以撮高计算速度 采用了多窗口算 法有效的解决了高度突变区域的匹配问题 提高了匹酩精度 p u 川i 大学硕t 学位论文 摘要 3 以投影数字散斑的双目视觉系统和相关算法为基础 完成了几种典型的 缺乏纹理特征的物体的双目视觉测量 得到了浓密而精确的视差图 证实了这 种方法的有效性 关键词 三维传感 双目视觉 立体匹配 数字散斑 i l 知识水坝 pologoogle为您整理 口q 川人学颂1 学位论文 摘爱 s t e r e om a t c h i n gb a s e do nas p e c k l e p r o j e c t e d s t e r e o v i s i o ns y s t e m m a j o r o p t i c s g r a d u a t e l im e i j v s u p e r v i s o r s ux i a n y u t oo b t a i nt h r e e d i m e n s i o n a l 3 d i n f o r m a t i o na b o u tt h eg i v e ns u r f a c eh a sb e e n i n c r e a s i n gb yi m p o r t a n c ef o rv a r i o u sp u r p o s e s o p t i c a l3 ds e n s i n gt e c h n o l o g yc a r l b ed i v i d e di n t oa c t i v ea n dp a s s i v ea p p r o a c h e sa c c o r d i n gt ow h e t h e ru s i n gs t r u c t u r e l i g h t t h ew i d e l yk n o w np a s s i v es c h e m ei ss t e r e o v i s i o n w h i c hi su s e f u lt om e a s u r e s u r f a c ew i t hv a r i o u se n v i r o n m e n t s s t e r e om a t c h i n gi so n eo ft h em o s ti m p o r t a n t a n dd i f f i c u l tp r o b l e mi ns t e r e o v i s i o nt e c h n o l o g y i th a ss e v e r a lp r o b l e m st om e a s u r e s o m es p e c i a ls u r f a c e sw h e r et h e r ea r en o tm a n yr e f e r e n c ep o i n t s u n d e rs u c ha n e n v i r o n m e n t t h ea b u n d a n c eo fr e f e r e n c ep o i n t sc a d p r o d u c em a t c h i n gm i s t a k e s t h u sa na c t i v es y s t e mb a s e do nas t r u c t u r e dl i g h tc o n c e p tw i l lb eu s e f u la n das t e r e o s y s t e mb a s e d o ns p e c k l ep r o j e c t i o nh a sb e e n p r o p o s e d i td i s c u s s e si nd e t a i lo ft h ec o n c e p to ft h ep o s i t i o nr a n d o md i g i t a ls p e c k l e t h e p r i n c i p l eo f t h es t e r e o v i s i o na n dt h em a t c h i n gm e t h o db a s e do nl o c a lc o r r e l a t i o n a f a s tc o r r e l a t i o nm a t c h i n gm e t h o da n dam u l t i w i n d o wm e t h o da r es t u d i e dt o i m p r o v et h ee f f i c i e n c ya n da c c u r a c yr e s p e c t i v e l y s e v e r a lt y p i c a ls u r f a c e sa r e m e a s u r e da n dt h ed e n s ea n da c c u r a t ed i s p a r i t ym a p sh a v eb e e na c q u i r e d t h em a i n r e s u l to b t a i n e dc a nb es u m m a r i z e da sf o l l o w i n g t h ea d v a n t a g e so fb o t hp a s s i v ea n da c t i v e o p f i c ms e n s i n gt e c h n o l o g i e sa r e r e v i e w e d as t e r e o s y s t e mw i t hd i g i t a ls p e c k l ep r o j e c t i o n i s p r e s e n t e d i ti s i i i 知识水坝 pologoogle为您整理 四川火学硕七学位论文 p a r t i c u l a r l yh e l p f u lf o rt h er e c o n s t r u c t i o no ft h es u r f a c el a c ko fr e f e r e n c ep o i n t so r t e x t u r e c o r r e l m i o n p l a y sak e yr o l e i nt h es t e r e o m a t c h i n g t h el o c a lc o r r e l a t i o n c o r r e s p o n d i n gm e t h o di sa n a l y z e di nd e t a i l t oi m p r o v et h ee f f i c i e n c ya n da c c u r a c y o ft h em a t c h i n g af a s tc o r r e l a t i o nm a t c h i n gm e t h o da n dam u l t i w i n d o wm e t h o da r e s t u d i e d w i t ht h es p e c k l ep r o j e c t e ds t e r e os y s t e m s e v e r a lt y p i c a ls u r f a c e sa b u n d a n c eo f r e f e r e n c ep o i n t sa r ec o m p u t e d a c c u r a t ea n dd e n s ed i s p a r i t ym a p sa r ea c h i e v e d t h e e f f i c i e n c yo f o u rm e t h o di ss h o w n k e yw o r d s 3 ds e n s i n g s t e r e ov i s i o n s t e r e om a t c h i n g d i g i t a ls p e c k l e 洲川人学坝 l j 学位论文 第一章绪论 1 绪论 获取空间三维场景的距离信息在诸多领域都是一个亟待解决的难题 近几 年 随着电子 光学 计算机技术日趋完善以及人们在图像处理 模式识别 人工智能技术等领域取得了巨大成就 以工业化c c d c h a r g ec o u p l e dd e v i c e 摄像机 半导体激光器为基础的三维外形轮廓非接触 快速测量技术成为国内 外研究发展的热点和重点 由于具有检测速度快 测量精度高 数据处理易于 自动化等优点 光学传感已广泛应用于诸如虚拟现实 逆向工程 4 6 产品检 测m 影视娱乐m 叭 模具设计制作d l l 2 等领域 1 1 光学三维传感 己得到充分研究的光学传感方法可以根据场景光源的不同分为主动视觉 a c t i v ev i s i o n 绷 p a s s i v e v i s i o n 13 1 前者是利用辅助光源来提供结 构信息以获取深度信息 而后者是在自然光的条件下实现深度信息的获得 1 1 1 主动测距法 由于主动测距法具有测距精度高 抗干扰性能好和实时性强等特点 应用 领域非常广泛 目前在主动测距法成像系统中主要有以下几种技术 m o i r e 技 术 全息干涉测量 成像雷达法 几何光学聚焦法 主动三角测距法等 1 m o i r e 技术 光线通过一光栅投射到被测物体表面 受到被测物体形状表面调制后的反 射光回到光栅处与新的发射光产生干涉 形成了由两块具有高空间频率的规则 光栅相重叠而产生的低 高空间频率的干涉条纹 称m o i r e 条纹 由于m o i r e 条 纹本身就是物体表面形貌的一种编码信息 因而通过对m o i r e 条纹的分析和检测 可获得物体表面的深度信息 1 9 7 0 年 d m m e a d o w s 1 4 提出了m o i r e 轮廓法 r p k h e t a r t i 提出了 投影m o i r e 方法 m i d e s a w a 等 1 6 1 7 i 提出了带参考图像的单帧m o i r e 方法 v s r i n v a s a n 掣1 8 介绍了一种与单帧m o i r e 类似的 多帧相移m o i r e 条纹 法 m o i r e 技术的测量精度与主动三角法相似 但其应用领域受限于被测表面 的斜率 其深度场依赖于摄像机的分辨率和接受光栅的重复周期 旧川人学硕1 学位论文第一章绪论 2 全息干涉测量 全息干涉测量是利用全息技术产生干涉条纹并用干涉条纹实现物体表面深 度的测量 目前 有许多种全息干涉测量法 如传统的全息干涉钡十量法f t 9 外 差全息干涉法 2 0 和准外差 相移 全息干涉法 2 其测量精度在o 1 o 5ui t i 左 右 且不受物体漫射的干扰 在对三维物体测量时 灵敏度达到干涉条纹间距 的10 一 但是它对景物表面的斜率和表面平滑性有一定的限制 3 成像雷达法 成像雷达法又称为飞行时间法 t i m e o f f l i g h t 这种方法是基于三维面 形对单光束产生的时间调制 例如 一个激光脉冲信号从激光器发出 经物体 表面漫反射后 其中一部分漫反射光沿相反的路径回到接收器 检测光脉冲从 发射到接收之间的时间延迟 就可以计算距离z 用附加的扫描装置使光束扫描 整个物面 就可以形成深度数据 这种方法原理简单 测距速度高 又可避免 阴影和遮挡等问题 但对信号处理系统的时间分辨有较高要求 2 2 2 3 为了提高 测量精度 实际的飞行时间测量系统往往采用时间调制光束 2 4 2 5 例如采用正 弦调制的激光束 然后比较发射光束和接收光束之间的位相 计算出距离 4 几何光学聚焦法 r a j a r r i s 2 酗 e k r o t k o v 等 2 7 t a k u t a 等 论述了基于几何光学聚焦 原理进行距离测量的方法和应用 对薄透镜来说 己知焦距和像距即可求得物 距 在焦距是可调的情况下 焦距在变化过程中 图像的菜一部分处于最清晰 位置 就可以很容易计算出这部分的距离 物距 这种方法要求使焦距连续变 化 因此需要昂贵 复杂的硬件 同时处理速度也很慢 因为在每个焦距位置 都需要获取图像并对图像的各部分都进行分析 5 主动三角测距法 主动三角测距法主要是利用能量发射器 接收器以及被测物体表面之间的 三角关系来获得被测物体表面的三维信息 如图1 1 所示 目前常用的主动三角 测距法有光束扫描法和编码光投射法 1 光束扫描法 光束扫描法利用光源扩束形成光条并扫描被测物体表面 然后通过接收器 返回信息得到物体形面轮廓 光束扫描法根据实际应用又可分为双轴激光扫描 测2 9 1 远心扫描法 和光条扫描法等 6 3 1 3 2 这种方法的最大缺点图像获取和处 四川大学硕士学位论文 第一章绪论 图1 1 主动三角法测量原理示意图 理时间长 不利于实时作业 2 编码光投射法 编码光投射法主要是向被测物体表面投射特殊编码光 如光条 光栅或其 它光图样 然后通过采集编码图样信息并进行分析计算得到物体的表面轮廓 信息 与光束扫描法的主要区别是系统中无运动部件 编码光与接收器 如摄 像机等 的相对位置不变 a 光条结构光法 光条结构光法也称为光切法 l i g h ts e c t i o n i n g 通过将一激光线结构光投 射到三维物体上 利用c c d 摄取物面上二维变形线图像 解算出相应的三维坐 标 如图1 2 所示 近年来 还发展了一种双结构光法 即系统中采用两台摄像 机 标定好两摄像机与光平面之间的位置关系 就可求解光平面上的空间点坐 标 如图1 3 所示 光 图1 2 结构光测量法示意图 摄 图1 3 双结构光测量法 p u 川大学颂 j 学位论文第一章绪论 结构光传感器结构简单 测量精度较高 因此得到了广泛的应用 3 3 3 4 1 缺 点是为了测量3 d 面型需要移动精密装置控制光刀扫描 b 灰度编码光或彩色编码光法 广泛应用的有网格编码 3 5 l 彩色编码 3 6 空间编i i s t 1 及数字散斑编码1 3 8 4 1 等 网格编码中 提取网格点 算法比较复杂且不能重建密集三维信息 对于 投影彩色条纹的测量方式 适用于颜色较为单一的物体 当物体颜色复杂的时 候 由于颜色混叠 可能导致错误匹配 而对于空间编码 需要投影系列编码 图案 实时l 生较差 数字散斑编码算法简单 且可以获取浓密的三维信息 应 用范围较为广泛 1 1 2 被动视觉检测法 被动视觉检测利用自然光源 不需特殊的照明 通过摄像机从不同的位置 摄取被测物图像 利用图像中的某些特征建立它们的关系 从而获取实际物体 的位置或尺寸信息 被动视觉检测也是基于三 角法测量原理 典型的被动视觉检测有 单目摄像机移动 法 双目立体视觉法和多目体视法 1 单目摄像机移动法 4 2 4 4 如图1 4 所示 被测物不动 移动摄像机在 不同位置摄取物体图像 利用己知的不同位置 摄像机间的关系 求取被测物的位置或尺寸信 息 或者 摄像机不动 移动被测物 通过摄图1 4 单目摄像机移动测量示意 取的运动图像序列分析求取相关信息 这种方法广泛应用于机器人和机械臂自移动方向导引系统中 系统的测量 精度主要受摄像机或物体移动位移精度的影响 2 双目立体视觉法 4 7 j 如图1 5 所示 摄像机1 和摄像机2 相对位置固定 与被测物构成三角形 被 测物在两像面上形成立体像对 根据匹配的像点 依据立体视差 s t e r e o d i s p a r i t y 原理来获取被测物体的三维轮廓 双目立体视觉直观 传感器结构简 单 测量精度较高 主要问题是多幅图像上同名点的搜索及自动匹配较为困难 4 叫川人学顾j j 学位论文 第一章绪论 可被广泛应用于飞机导航 机器人 无人驾驶器 立体显微术 自动制图和工 业自动化等领域中 摄像 机2 图1 5 双目立体视觉测量原理示意图图1 6 多目立体视觉测量原理示意图 3 多目体视法 4 8 5 0 1 如图1 6 f i f i 示 为减少图像特征匹配的多义性 在双目立体视觉的基础上 增加一台或多台辅助摄像机构成多目体视法 摄像机的增加 减少了因目标特 征模糊而产生的误匹配现象 但计算最也相应地增加 工作距为6 3 0 1 m 时测量精 度优于2 5 m m 工作距为1 7 0 0 m m 时测量精度优于3 m m 1 1 3 主动 被动综合视觉检测法i s 对于一些表面特征不明显的物体 仅仅依靠普通的照明是不行的 这种情 况下 就需要在系统中增加投射器 投射出特殊光图样到被测物体表面 摄像 机摄取图像 根据图像匹配信息获取物体的形状特征 投射器仅提供一些便于 测量的特征 它与摄像机之间的关系并不要求已知 所以 从根本上讲 这种 系统还属于被动视觉检测 如图1 7 所示的被动式结构光测量法中 摄像机1 和 摄像机2 的相互关系需要标定 而光平面与摄像机之间的关系并不需要知道 在 主动法中的双光条法 投射器与两摄像机之间的关系都要求己知 通过它们的 关系解决匹配问题 而不是仅仅依靠两摄像机的图像进行匹配 图1 8 所示为投 影光栅法 德国g o m 公司的a t o s 流动光学三坐标测量系统 采用了矩形光栅分 时投影技术实现 叫j i l 大学颂 j 学位论文第一章绪论 近年来 结合上述两种或多种测量方法的应用研究也日益广泛和深入 如 英国雷尼绍公司的c y c l o ns e r i es 2 采用激光扫描头和非接触扫描头结合 对易碎 易变形的形体及内夹角 精细花纹等进行激光扫描 结构光投射器 图1 7 被动式结构光测量 2 o 局r z t 光栅投影 图i 8 投影光棚法 如前所述 3 d 外形轮廓测量方法很多 依据各种方法设计的传感器类型也 很多 目前市场上已经开发了多种类型的结构光传感器和双目立体视觉传感器 但是 它们结构各异 标定方法也不尽相同 给应用带来了诸多的不便 综合 立体视觉传感器结构设计简单 标定过程容易实现 结构光使被测特征明显 易于识别等优点 对过去传统的视觉传感器进行结构统一 双摄像机加结构 光投射布局 在统一传感器结构的基础上 考虑到双目立体视觉匹配存在的问 题 本论文提出了被动式双目立体视差技术和主动式数字散斑编码技术相结合 的视觉传感器 该系统的算法以双目视觉为基础 下面我们便针对双目立体视 觉的一些关键技术进行讨论 1 2 双目立体视觉系统关键技术 立体视觉的基本原理是从两个 或多个 视点观察同一景物 以获取在不同 视角下的感知图像 通过三角测量原理计算图像象素间的位置偏差 即视差 来获 取景物的三维信息 这一过程与人类视觉的立体感知过程是类似的 一个完整的 立体视觉系统通常可分为图像获取 摄像机定标 特征提取 立体匹配 深度 确定及内插等6 个大部分 5 2 5 3 立体图像获取的方式很多 主要取决于应用的场合和目的 例如 为了研究 u u 川人学坝十学位论文 笫一章绪论 人类视觉的立体融合机制 一般采用由计算机产生的随机点立体图像对 5 4 t 在显 微立体分析中 通过旋转扫描电镜的样品台 同样可获得物体的立体图像对口 在 获取立体图像时不但要满足应用要求 而且要考虑视点差异 光照条件 摄像机 性能以及景物特点等因素的影响 以便于立体计算 摄像机标定是为了确定摄像机的位置 属性参数和建立成像模型 以便确 定空间坐标系中物体点同它在图像平面上像点之间的对应关系 摄像机标定方 法可分为三大类 第一类是传统摄像机参数标定 5 6 1 需要使用精密加工的标定 参照物 第二类是基于特定运动的标定方法口 需要控制摄像机做某些特殊运 动 第三类是自标定方法f 5 即在场景未知和摄像机运动任意的一般情形下标 定摄像机参数 建立一个有效的摄像机模型 除了能够精确地恢复出空间景物 的三维信息外 还有利于解决立体匹配问题 特征提取是为了得到匹配赖以进行的图像特征 由于目前尚没有一种普遍 适用的理论可运用于图像特征的提取 从而导致了立体视觉研究中匹配特征的 多样性 目前 常用的匹配特征主要有点状特征陋9 1 线状特征1 6 0 1 和区域特征 6 1 等 一般来讲 大尺度特征含有较丰富的图像信息 在图像中的数目较少 易于 得到快速的匹配 但它们的定位精度差 特征提取与描述困难 而小尺度特征数 目较多 其所含信息较少 因而在匹配时需要较强的约束准则和匹配策略 以克 服歧义匹配和提高运算效率 立体匹配是指寻求同 空间景物在不同视点下投影图像的象素间的一一 对应关系 是立体视觉中最重要也是最困难的问题 当空间三维场景被投影为 二维图像时 同一景物在不同视点下的图像会有很大不同 而且场景中的诸多 因素 如光照条件 景物几何形状和物理特性 噪声干扰和畸变以及摄像机特性 等 都被综合成单一的图像中的灰度值 因此 要准确地对包含了如此之多不利 因素的图像进行无歧义的匹配 显然是十分困难的 已知立体成像模型和匹配视差后 三维距离的恢复是很容易的 影响距离 测量精度的因素主要有摄像机标定误差 数字量化效应 特征检测与匹配定位 精度等 一般来讲 距离的测量精度与匹配定位精度成正比 与摄像机基线长度 成反比 增大基线长度可改善距离测量精度 但同时会增大图像间的差异 增加 匹配的困难 因此 要设计一个精确的立视系统 必须综合考虑各方面的因素 保证各个环节都具有较高的精度 6 2 6 3 u q 川人学琐f 学位论文第一章绪论 立体视觉的最终目的是为了恢复景物可视表面的完整信息 目前 无论 是哪种匹配方法都不可能恢复出所有图像点的视差 对于一个完整的立视系统 来讲 都必须进行最终的表面内插重建 在内插过程中 最重要的问题就是如何 有效地保护景物面的不连续信息 针对不同应用情况已提出了几种解决方法 6 4 6 6 以上6 个部分构成了立体视觉的完整体系 其中立体匹配是最重要也是最 困难的部分 其存在的主要问题是 对存在特殊结构的景物 如平坦 缺乏纹理 细节 周期性的重复特征等易产生假匹配 虽然有些系统采用给且标预先喷涂 粉术材料等方法为其加上纹理 也就是人为的给图像加上特征 然后进行匹配 扣 但限制了双目视觉的应用场合 针对立体匹配的在双目视觉中的重要位置 在我们的投影数字散斑的双目 视觉传感方式中 我们重点研究了立体匹配的问题 1 3 课题主要研究内容 第一章回顾了光学传感方法 评论了这些方法的优缺点 并简要介绍了双 目视觉的关键技术 第二章讨论立体传感器的基本原理 包括摄像机的针孔模型 理想透视模 型 双目传感器三维测量的数学模型 第三章分析了投影数字散斑的立体视觉系统和位置随机数字散斑 弗详细 介绍了区域灰度相关匹配算法 第四章结合系统的特点 研究了一种快速相关算法以提高计算速度 采用 了多窗口算法以改善高度突变区域的匹配精度 第五章应用投影数字散斑的双日视觉系统测量了一些典型的缺乏特征的物 体 给出了试验结果 p q 川人学坝i 学位论文第一二章立体视觉传感器 2 立体视觉传感器 视觉传感器是三维形貌数字化测量系统的重要组成部分 是系统获取数据 信息的最直接来源 第一章中提出了综合立体视觉法和结构光法的统一结构视 觉传感器 测量原理与立体视觉法相同 立体视觉是被动视觉中最重要的距离 感知技术 它直接模拟了人类视觉处理景物的方式 可以在多种条件下灵活的 测量景物的立体信息 其作用是其它计算机视觉方法所不能取代的 对于它的 研究 无论是从视觉生理的角度还是在工程应用中都具有十分重要的意义 本 章讨论了双目立体视觉传感器的数学模型 2 1 立体视觉传感器结构及工作原理 立体视觉传感器依据工作原理可分为双目体视法f 46 4 和主动 被动综 合检测法1 5 双目体视法和人类视觉成像的原理是一样的 如图1 5 所示 两 台相对位黄固定的摄像机与被测物体构成三角形 被测物体在两相机像面上形 成立体图像对 然后进行相关特征点匹配 最后通过计算左右两幅图像中相关 点的 视差 来获取被测物体的三维空间尺寸 主动 被动综合检测法应用于表 面特征不明显的物体测量 仅仅依靠摄像机和普通光源照明不能获得理想表面 特征信息 这种情况下就需要增加投射器 投射特殊光图样到被测物体表面以 便较容易地提取物体形状特征 如图1 7 和图1 8 所示 投影结构光仅提供一 些便于测量的特征 上述两种方法都是基于双摄像机结构 由于结构简单 其 基线距和光轴夹角等结构参数可以精确标定 配以精确的图像特征点提取算法 和立体视觉匹配算法可以得到较高的测量精度 目前已得到广泛的应用 主要 应用领域包括自动制图 飞机导航 机器人 无人驾驶行走器 工业自动化和 立体显微术等 2 2 双目视觉的数学模型 双且立体视觉系统主要是基于三角法原理进行测量的 即两个摄像机的图 像平面和被测物体之间构成一个三角形 己知两摄像机之间的位置关系 便可 以测量两摄像机公共视场内物体的三维尺寸及空间物体特征点的三维坐标 双 目立体视觉传感器由两个摄像机或者由一个运动的摄像机构成 9 u q 川人学硕 学位论文第二章立体视觉传感器 2 2 1 针孔模型和透视变换 图2 2 1 1 针孔相机 针孔模型视计算机视觉中广泛应用的模型之一 如图2 2 1 1 所示 三维空 间物体通过一个小孔 针孔 成像在胶片或者图像传感器的图像平面上 很多 视觉测量技术都是建立在针孔成像模型的基础之上 针孔模型的核心思想是 物点通过透镜成像后 在像平面上可以找到与之对应的理想像点 这种模型在 假设摄像机的镜头没有畸变的情况下 能够较好的与客观实际相吻合 因此可 以将摄像机通过透镜成像近似的看成理想的针孔成像 如图2 2 1 2 所示 焦距深度z 二 x 十p p 光螽 相机中心 面 圈2 2 1 2 针孔相机模型 实际应用中 为了方便 将像面置于前焦点上 即与图2 2 1 2 像面关于相 机中心对称的位置上 如图2 2 1 3 所示 1 0 叫川大学颁 l 学位论文 第二章立体视觉传感 i 相机中心 r f x k 1 暖r 像平面 图2 2 1 3 理想针孔相机模型 摄像机的理想透视成像模型如图2 2 1 4 所示 坐标系0 i x m y 是中心在 o i 点 光轴z 与图像平面的交点 也称为主点 的图像坐标系 p 点的坐标为 x y f 为理想成像系统的焦距 设 x y z 是空间点p 在摄像机坐标系o x y y 投影 中心 o 图2 2 1 4 理想的透视变换模型 下的三维坐标 摄像机坐标系定义为 中心在0 点 投影中心 z 轴与摄像 机的光轴重合 空间上任何一点p 在图像上的成像位置可以用针孔模型近似表 示 即任何点p 在图像上的投影位置p 为投影中心0 与p 的连线与图像平面的 交点 这种关系称为中心射影或透视投影 由比例关系有如下关系式 四川大学硕士学位论文第二章立体视觉传感槲 i x 等 y 胪芎 采用齐次坐标与矩阵表示上述透视投影关系 料 o o o o l 享 2 1 2 2 2 2 2 双目视觉传惑器的三维测量原理 典型的双目传感器基于立体视差原理进行测量 以正交平行摆放方式为例 如图2 2 2 l 所示 假设c l 与c 2 摄像机的焦距相等 各内部参数也相等 而且 两摄像机的光轴相互平行 x 轴互相重合 由于光轴与图像平面垂直 故两个 o e x y z 图2 2 2 1 双目视觉三维测量原理图 z 2 摄像机的图像坐标系的x 轴重合 y 轴互相平行 因此将第一个摄像机沿其x 轴平移一段距离后与第二个摄像机完全重合 设投影中心连线的距离 即基线 u u 川1 人学f j 1 学位论文 第二章立体视觉传感器 距为b 两摄像机在同一时刻观看空间物体的同一特征点 分别在左右相机上获 取了点p 的图像 它们的图像坐标分别为p j x j y 3 p r x 妨 在正交平行摆放 方式下 两摄像机的图像在同一个平面上 且特征点p 的图像坐标y 坐标相同 即y 尸y j y 由透视变换原理得 铲f 等x r f x j b y f 毛 2 3 贝0 视差为 d l x 一x l 工f x 由此可以计算出物体特征点在摄像机坐标系下的三维坐标为 对于一般存在旋转和位移的成像系统 都可通过投影变换等手段得到理想模型 6 9 i 因此 左摄像机像面上的任意一点只要能够在右摄像机像面上找到对应点 就可以根据传感器的固有几何约束确定出该点的三维坐标 这种方法是点对点 的运算 像面上所有点只要存在相应的匹配点 就可以参与上述运算 从而获 取对应的三维坐标 因而测量效率较高 嘲一d 7一d了一d 了坐d 吖丁 r r z 叫川人学硕j 学位论文 第三章投影数字散斑的双目视觉系统 3 投影数字散斑的双目视觉系统 由于传统的双目视觉对于特征缺乏的物体的检测无能为力 人们逐渐把求 解思路转向主动光学中的结构光 结构光使被测特征明显 易于识别 由于数 字散斑算法简便 我们考虑将数字散斑技术引入双目立体视觉系统 构成了 个双摄像机加数字散斑投射的系统 这也是数字散斑在双目视觉领域里的一个 重要应用 那么该技术与主动视觉中散斑技术有什么区别 主动视觉中 也可利用数字散斑进行三维重建1 4 0 4 但是存在一个不可忽 略的缺陷 必须获取散斑的先验知识 亦即参考平面的散斑分布 在某些现场 测量场合 此条件无法满足 将数字散斑应用于双c c d 摄像机构成的双目立体视觉系统 可避免这个 问题 并且由于左右两个c c d 同时获取被待测物体高度调制的散斑信息 匹 配精度可以进一步提高 在立体视觉系统中投影数字散斑方面的工作 国外一些学者已经做了相应 部分研究 j p a u ls i e b e r t 和s t e p h e nj m a r s h a l l t 7 0 将该系统应用于人体三维测 量 其匹配算法中采用了 由粗到精 的金字塔算法 用于图像分层的空间滤波 器设计复杂 y u n g s h e n gc h e n 和b o r t o wc h e n 7 1 将该系统应用人脸重建工作 中 其匹配过程是基于匹配窗口的灰度二值化 灰度域值的选取较为困难 这 一章中 介绍了我们采用的投影数字散斑的双目视觉系统结构构成和匹配算法 3 1 系统结构 系统的结构示意图如图3 1 1 所示 我们采用了典型的正交平行摆放的双 c c d 视觉系统 对于理想的平行视点模型 其核线与图像扫描线重合 这一特 点可大大降低立体匹配的复杂性 对于一般存在旋转和位移的成像系统 都可 通过投影变换等手段得到理想模型 随机数字散斑投影到待测物体上 使特征 缺乏的待测物体获取了足够的特征 提高了匹配精度和浓度 c c d l 和c c d r 分别从不同角度记录下被测物平面被数字随机散斑编码后的信息 p l p 2 是物 空间某点p 分别在两c c d 像面上的像点 由于数字散斑的随机性 使得物体 表面上任意一点的高度信息可由该处散斑图像的微小邻域唯一标定 所以p p 2 周围的小邻域应该具有高度的相似性 我们的匹配工作就是基于这种局域相 1 4 u g 川1 人学坝i j 学位论文 第三章投影数字散斑的双目视觉系统 似性进行的 图3 1 1 投影数字散斑的双目立体视觉系统示意图 该系统具有以下几个基本优点 1 弥补了主动视觉和被动视觉的缺陷 既避免了传统主动结构光照明中相 位展开困难 也摆脱了双目立体视觉对物体纹理特征过分倚赖的缺陷 3 测量原理非常简单 基本原理是传统的双目立体视觉成像 投影数字散 斑只是为了增加被测物体特征 3 投影非周期性的散斑图像 可以方便测量突变和空间离散表面 由于测量原理的限制 该系统也有如下不足 1 无法完全克服阴影的影响 这是三角测量法固有缺陷 2 测量精度与散斑质量有密切关系 散斑质量受到投影系统的稳定性 c c d 的分辨率 动态范围 图像采集卡的质量等因素的限制 3 2 数字随机散斑的计算机生成 数字随机散斑的质量将直接影响到匹配的精度和密度 因此 有必要对数 字随机散斑的生成过程进行讨论 测量中 空间任意物点的高度信息需要特定的散斑形态唯一标识 因此 要求数字散斑具有良好的随机性 并且 为了得到较高的横向分辨率 在c c d p u 川人学硕i 学位论文第三章投影数字散斑的双目视觉系统 分辨率足够稿的前提下 数字散斑的平均直径越小约好 故生成散斑时以象素 为最基本的生成单位 以将散斑的随机性用象素的某一特性体现出来 另外 由于依靠散斑的灰度分布形态来标识物面高度信息 还要求散斑的灰度值具有 较宽的动态范围 即散斑图像具有较高的对比度 根据数字随机散斑的体现方式不同 将其分为两类 位置随机数字散斑和 灰度随机数字散斑 前者是指散斑灰度图像中只有0 和2 5 5 两个灰度级 其中 灰度为2 5 5 的散斑在散斑图像中的位置是随机分布的 所以又被称为位置随机 散斑 进一步 位置随机散斑又可分为全域位置随机散斑和局域位置随机散斑 两类 全域位置随机散斑是指灰度值为2 5 5 的象素的位置在整个图像中随机分 布 这种随机散斑不能保证散斑的均匀分布 局域位置随机散斑是指灰度值为 2 5 5 的象素的位置在一个局域内是随机的 整个散斑由这些局域拼合而成 灰 度随机散斑指的是散斑图像中的每一个象素的灰度值是0 2 5 5 之间的一个随机 值 即灰度分布是随机的 由于测量系统中投影仪和c c d 可分辨的灰度登记或动态范围的限制 灰 度随机散斑抗阴影干扰和抗噪声的能力比较差 位置随机散斑具有更强的抗干 扰能力 考虑到散斑分布的均匀性 选择使用局域位置随机散斑 图3 2 1 是 局域位置随机散斑及其统计直方图 圈3 2 1 局域位置随机散斑及其统计赢方图 叫川人学倾l 一学位论文第三章投影数孚散斑的双目视觉系统 3 3 匹配算法 由于数字散斑的随机性 使得物体表面上任意一点的高度信息可由该处散 斑图像的微小邻域唯一标定 基于数字散斑的此种特征 在匹配算法的选取上 我们采用了技术比较成熟的灰度区域相关算法 灰度区域相关的基本思想是以 统计的观点将图像看成是二维信号 进而采用统计相关的方法寻找信号间的相 关匹配 正因如此 相关匹配又被称为信号匹配 它是图像统计相关理论直接 在立体匹配中的拓展 并不涉及很多视觉生理上的解释 由于相关算法是直接 对图像象素进行匹配 匹配结果不受特征检验精度和密度的影响 因而可得到 很高的定位精度和密集的视差表面 由第二章讨论知 两c c d 为正交平行摆放方式下 空间某物点在两个像 面上的投影点的纵坐标相同 所以 我们的匹配过程只需要沿x 轴方向进行即 可 两c c d 获取的图分别为图像l 和图像2 如图3 3 1 所示 在图像1 中有 一特征点m 1 奶 在图像2 中寻找对应点m 2 使用大小为 2 1 x 2 l 1 的相 关窗口 窗口中心位图像1 中的特征点m 1 处 在图像2 中沿m 1 的同一水平扫 i i d 步关窗口 搜寻范围 i 2 1 1 削1 一l 2 l l 卜r i n 图像1图像2 图3 3 1 区域相关算法 描线 在一定的视差范围内 d d 搜寻特征点m 2 特征点m i m 2 相似程度用 其邻域像素的归一化协方差相关系数来衡量 设i i i g 1 2 f 力表示图像l 2 中像素点 i j 3 处邻域内的灰度值 归一化协方 1 7 删川大学坝j 学位论文 第三章投影数字散斑的双日视觉系统 差相关定义为 c 地 鸭 量觌协 n 力一硎 k r 西肘力一硎 m k 刊 厅圭娅b 门 力 硎2 圭扯妇 r 正甩 力一习i 珊 vb 扫 作一jb p t p j 3 1 其中d 为视差 一般情况下 对于某一特定的待测曲面 d 的取值位于某 一区间 出 d 内 匹配时只需在此区间范围内搜索即可 而不必全程搜索 根据系统结构 参考平面的位置和被测物体的初始估计高度 可以确定一个视 差搜索范围d 这样大大减少了相关计算量 提高了匹配效率 c 的取值范围为f o 1 1 取值越趋近于1 表 示1 1 和1 2 相关程度越高 两个中心点的正确匹配性 也越高 反之亦然 搜索 区间 d d 内的相关 数据为一维数组 画出其 视差一相关值 图为一条 曲线 典型的相关曲线如 图3 3 2 所示 为一狭窄 单峰曲线 在d 0 处 相关 o d o d 图3 3 2 相关曲线 取值最大 所以图像1 中1 1 1 i 位置的点在图像2 中对应点m 2 的位置是m 1 d o 为了保证匹配精度 视差的搜索区间内进行相关运算时 需设置一个 相关阈值g 仅当点对m l m 2 的相关值c m l m 2 g 时 则认为点对m l m 2 为可能的匹配点 将该点的相关值记录进相关数组 当点对m 1 m 2 的相关值 c m l m 2 g 时 认为两点的相关性太差 不可能是对应点对 不记录进相关数 组 四川人学硕士学位论文 第四章相关算 去的改善 4 相关算法的改善 相关是匹配中最为核心的部分 其算法的选择直接决定匹配速度和精度 基于区域相关的匹配方法可以得到较为浓密的视差图和深度图 但由于要对所 有像素点进行相关运算 这种方法的运算时间稍长 且该匹配算法基于相关窗 口内的象素都具有相同的视差的假设 测量局部存在高度跳变物体时 精度下 降 本章针对立体匹配中存在的这两个问题进行了讨论 研究了一种快速相关 算法和 1 多窗口算法 4 1 提高相关速度 为了提高运算速度 借鉴一种基于b o xf i l t e r 的快速相关算法i 7 2 7 3 1 进行相关 处理 现仅给出部分结论 由归一化协方差相关定义式 3 一i 设 c d 壹2 1 1 m 咖 力一百瓦劫 k 似 f d n 一i 硎 月l 一k n z i v a r i 力一硒硝 v a f d 工l 圭圭k 妇 f d 疗 一习耳瓦了 1 2 m k 则c m m 2 v a r 眠 f 问 圭圭砰 一 2 k 1 2 l 1 7 翮2 m p 4 一1 4 2 v a r 嘭 d 劫 k 壹 f d 一 2 k 1 2 1 1 万再巧刁2 4 3 m 一k p l 式中币刁可用b o xf i l t e r 方法计算 一 十 口 k q 一 力 r 船 以 k 卜阼 l l 力 d 孵力慨 四川人学坝j 学位论文 第四章相关算法的改善 在一维情况下 设窗口宽度 3 宅斛1 羽2 壶至 f 由于 丽一丽 吉 主坤m z 一毫呻训h 砸m 叫h 所以i t z t 羽 专p f 川 一1 i 一瑚 4 4 硼2 去互丕 m 州 上式中a 2 k 1 2 1 1 令 圭呻 n j 则呻 坤 专 l m i 0 1 由f 4 4 式得图4 1 1b o x f i l t e r i n g 方法 碉 硐 去嘶十七 1 一 f 一 j 4 5 a b o x f i l t e r i n g 方法的实质是根据算法的特点大量利用中问计算的结果 例 如 4 4 4 5 都是递推公式 第 i 1 次运算可应用第 i 次运算的结果 如 陲q 4 1 所示 只需对第 i k 1 列像素与第 i k 列像素进行加减运算而不必重 复对中间数列像素的运算 实际上不仅 巧 可以采用b o x f i l t e r i n g 方法加速计算 而且式 4 2 4 3 女fi1 中的 和 也可以采用b o x f i l t e r i n g 方法加速计算 4 2 提高匹配精度 4 2 1 多窗口算法 区域灰度相关基于如下一个假设 相关窗口内的象素都具有相同的视差 这对于包含有深度不连续的区域来讲 是不成立的 如图4 2 1 一l a 所示 这些 区域需要对相关窗口进行特殊考虑 以减少匹配误差 参考文献 7 4 中提出了一 u u 川人学硕l 学位论文 第四章相关算法的改善 种多窗口算法 可以比较系统的解决这个问题 下砸我们对多窗口算法进行简 单的讨论 蔺 誉 o d 图4 2 卜1 多窗口算法 图 b 给出了一种使用四个辅助窗口的算法 中间c o 是普通的 相关窗口 在 其四个角上 分别部分重叠了四个辅助窗口c 选取四个相关结果中前两个最 大的c 川和c 目 与中间的相关结果相加 作为新的相关结果 这种方法可以理 解为通过周边四个辅助窗口的相关值 提高中间一个小窗口的相关精度 此时 有 c 白 c 儿1 c m 4 6 图 c 给出了一种使用9 个窗口的结构 这种情况下 选取四个最大相关值与 中间相关值相加 c 白 c 1 1 c m c 1 e c 4 7 图 d 给出了另外一种扩展方式 使用了2 5 个窗口 选取第一外层中的4 个最大相关值及第二外层中8 个最大相关值与中间窗口相关值相加 作为相关 结果 c c o c m c 1 4 c 2 c 2 k 8 4 8 使用多个小窗口 可比避免使用大窗口带来的模糊效应 中央小窗口c o 总是参加运算 可能覆盖不连续区域 使定位准确 而周边辅助窗口则尽可 能少的覆盖不连续区域 震 邋 叫 i l 大学硕小学位论文第四章相关算法的改善 多窗口算法需要计算辅助窗口的相关值并选取最大相关窗口与中央窗口 相加 选取最大窗口的计算需要额外的时间开销 且需要算法中缓存中间相关 数据 多窗口算法中 使用5 个窗口 需要从4 个辅助窗口中选出两个最大相关 窗口 需要四次比较和两次相加运算 使用9 个窗口 需要进行1 6 次比较和4 次 相加运算 使用2 5 个窗口 需要8 0 次比较和1 2 次相加运算 由此可见 使