（机械电子工程专业论文）机器视觉中二维图像的三维重建.pdf

北方工业大学硕士学位论文 摘要 智能机器随着人类社会的发展在丁业生产和人类生活中得到了越来越广泛的使用。 为使智能机器能更好的服务于人类，使机器具备类似于人眼的感知能力和大脑的决策能 力是科研工作者正在不懈努力的方向。机器视觉研究的目的就是让机器具备类似于人类 视觉的感知能力。 机器视觉三维重建实现的关键内容是物体特征点的三维重建，在获取的物体特征点 的基础上通过一定的构造方法就可以得到物体的三维形貌。本课题研究的重点是基于机 器视觉中的双目立体视觉的方法构造双目视觉系统得到目标物体的特征点的空间三维坐 标，实现空间点的重建。 采用图像采集卡控制摄像机的方法，课题中基于p c 机建立了一块图像采集卡同时 控制两个摄像机的双目视觉硬件系统，以完成从不同空问点获得同一物体的图像对。然 后用v c + + 编程，将图像采集卡采集的彩色图像转换为坎度图像，并对图像进行锐化处 理，之后采用h a r r i s 角点检测法检测角点，作为后续匹配的特征点。 摄像机的标定采用t s a i 两步法，用方格模板作为标定板对左右摄像机分别进行标 定，得到摄像机的内外参数。在用两个摄像机对一工件进行图像采集得到图像对后，对 两个图像进行预处理后分别进行h a r r i 角点检测得到特征点，然后基于极线约束的方法 对左右图像特征点进行初始匹配后，以特征点的灰度相关性作为判据完成左右图像的特 征点匹配。 在已获得两摄像机的内外参数和完成左右图像的特征点匹配的基础上，根据空间点 的三维坐标计算的数学模型实现了对特征点的三维重建，给出了特征点的空间坐标。并 在最后对三维重建的其他方法做了一定的介绍。 关键词：机器视觉，双目视觉，摄像机标定，立体匹配 一1 一 ! ! 查三些奎塑主堂焦墼 3 dr e c o n s t r u c t i o na b o u t2 d i m a g e s i nm a c h i n ev i s i o n a b s t r a c t w i t ht h ed e v e l o p m e n to fh u m a n s o c i e t y t h ei n t e l l i g e n tm a c h i n ei su s e dm o r ea n dm o r ei n i n d u s t r yp r o d u c t i o na n dh u m a nl i f e t oe n a b l et h ei n t e l f i g e n tm a c h i n es e r v e rh u m a n i t yb e t t e r , r e s e a r c hw o r k e r sa r es t r i v i n gt o w a r dm a k i n gt h em a c h i n eh a v es i m i l a ra b i l i t i e sa st h eh u m a n e y es e n s a t i o na b i l i t ya n dt h eb r a i nd e c i s i o np o w e r 。t h et a s ko fm a c h i n ev i s i o nr e s e a r c hi st o e n a b l et h em a c h i n eo b s e r v e o b j e c t sa sh u m a nv i s i o ns e n s a t i o n 。 t h ec r u c i a lc o n t e n to ft h em a c h i n ev i s i o n s3 dr e c o n s t r u c t i o ni st og e tt h e3 d i n f o r m a t i o n o ft h eo b j e c t sc h a r a c t e rp o i n t s ，a n dt h eo b j e c t s3 d s h a p ec a nb eg a i n e db yc e r t a i nc o n s t r u c t i o n m e t h o d sw i t ht h eg a i n e dc h a r a c t e rp o i n t s 。t h er e s e a r c he m p h a s i so ft h i ss u b j e c ti sc o n s t r u c t i n g b i n o c u l a rv i s i o ns y s t e mb a s e do nt h em e t h o do fb i n o c u l a rs t e r e ov i s i o no ft h em a c h i n ev i s i o nt o g e tt h e3 dc o o r d i n a t eo f t h eg o a lo b j e c t sc h a r a c t e r p o i n t s 。 w ec o n s t r u c t e dab i n o c u l a rv i s i o nh a r d w a r es y s t e mw i t ho n ei m a g ec o l l e c t i o nc a r dt o c o n t r o lt w oc a m e r a sb a s e do np e r s o n a lc o m p u t e rt oc a p t u r et h eg o a lo b j e c t si m a g e sf r o mt w o d i f f e r e n ts p a c ep o i n t s a n dt h e n ，w ec o n v e r t e dc o l o ri m a g et og r a y i m a g ew i t hp r o g r a m st h o s e p r o g r a m m e db yv c + + l a n g u a g e ，a n df i l t e r e da n ds h a r p e di tt o o a f t e rt h a t , w ed e t e c t e dc o l l i e r p o i n t sw i t h h a r r i sc o m e rd e t e c t i o nm e t h o da sc h a r a c t e r p o i n t sf o rf o l l o w i n gm a t c h i n g w ec a l i b r a t e dc a m e r a sb yt s a it w o s t e p sm e t h o da n du s e dt h e 础t e m p l a t ea sc a l i b r a t i o n p a i n ，a n dt h e ng o tt h ei n n e ra n de x t e m a lp a r a m e t e r so ft h ec a m e r a s a f t e rw ec o l l e c t e dt w o i m a g e so fas a m ew o r k p i e c ew i t ht w oc a m e r a s ，w ep r e - p r o c e s s e dt h ei m a g e sa n dd e t e c t e dt h e c h a r a c t e rp o i n t sw i t hh a r r i sc o m e rd e t e c t i o nm e t h o d , a n dt h e nw em a t c h e dt h o s ec h a r a c t e r p o i n t sf i r s tt i m eb a s e d0 1 1e p i p o l a rl i n er e s t r i c t i o n a f t e rt h a t ，w em a t c h e dt h ec h a r a c t e rp o i n t s a g a i nw i t hg r a ys i m i l a r i t yt h e o r y b a s e do nt h er e s u l t so ft h ec a m e r a sc a l i b r a t i o na n dc h a r a c t e rp o i n t s m a t c h i n g , w e r e c o n s t r u c t e dt h ec h a r a c t e rp o i n t sa c c o r d i n gt ot h em a t h e m a t i c a lm o d e lo ft h es p a c ep o i n t , a n d g o tt h e3 dc o o r d i n a t e so ft h ec h a r a c t e rp o i n t s a tl a s t ，w ei n t r o d u c e dt h eo t h e r sm e t h o d sw h i c h u s e di n3 dr e c o n s t r u c t i o nt o o k e yw o r d s ：m a c h i n ev i s i o n ，b i n o c u l a rv i s i o n ，c a m e r ac a l i b r a t i o n ，s t e r e om a t c h i n g 一3 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研 究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得j e 虚王些盍堂或其他教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示谢意。 学位论文作者签名：毙度签字日期：排譬月三旧 学位论文版权使用授权书 本学位论文作者完全了解j e 直王些太堂有关保留、使用学位论文的规定，有 权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借 阅。本人授权j e 友王些太堂可以将学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：；长危 签字日期：辨r 月厶1 日 学位论文作者毕业后去向： 工作单位： 通讯地址： 导师签名： 挝辱 签字日期加缸年f 月占1 日 电话： 邮编： 北方工业大学硕士学位论文 1 引言 1 1 机器视觉研究目的和意义 人类在生产实践的过程中，面临自身能力的局限性，因而发明和创造了许多智能机 器来辅助或代替人类完成任务。而在现代化工业大生产中，传统的人工检测方法已经不 能适应生产自动化和高外观质量的要求，因而人们开始考虑把计算机的快速性、可靠 性、结果的可重复性，与人类视觉的高度智能化和抽象能力相结合，由此产生了一种新 的检测技术机器视觉技术【“。 美国制造工程师协会( s m es o c i e t yo fm a n u f a c t u r i n ge n g i n e e r s ) 机器视觉分会和 美国机器人工业协会( r i ar o b o t i ci n d u s t r i e sa s s o c i a t i o n ) 的自动化视觉分会对机器 视觉下的定义为：“机器视觉是通过光学的装置和非接触的传感器自动地接收和处理一 个真实物体的图像，以获得所需信息或用于控制机器人运动的装置”1 2 】。 机器视觉系统是实现仪器设备精密控制、智能化、自动化有效途径，堪称现代工业 生产的“机器眼睛”【3 j 。其最大优点为： ( 1 ) 实现非接触测量。对观测与被观测者都不会产生任何损伤，丽提高了系统的 可靠性； ( 2 ) 具有较宽的光谱响应范围。机器视觉则可以利用专用的光敏元件，可以观察 到人类无法看到的世界，从而扩展了人类的视觉范围。 ( 3 ) 长时间工作。人类难以长时问地对同一对象进行观察。机器视觉系统则可以 长时间地执行观测、分析与识别任务，并可应用于恶劣的工作环境。 因为具备这些优点，且随着机器视觉技术自身的成熟和发展，机器视觉在各个行业 得到了广+ 泛运用。据不完全统计，目前全球整个视觉市场规模总量大概为7 0 亿美元， 并且每年按8 8 的速度递增【4 j o 而在我国，由于工业自动化程度还没有达到国外的先进 水平，机器视觉系统的运用也还处于起步阶段。但随着生产自动化程度以及生产质量和 管理水平的不断提高，中国对机器视觉的需求规模也会不断扩大，所以在国内研制发展 机器视觉具有巨大的市场潜力。 北方工业大学硕士学位论文 机器视觉在现代社会中在质量检测、金属板表面自动控伤系统、汽车车身检测系 统、纸币印刷质量检测系统、智能交通管理系统、金相分析、医疗图像分析、瓶装啤酒 生产流水线检测系统等领域得到了广泛的运用嘲。 1 2 机器视觉的发展及其难点 机器视觉这门学科是建立在计算机视觉理论基础之上的，它侧重于计算机视觉技术 工程化。机器视觉与计算机视觉两者之间既有区别又有联系。 1 2 i 计算机视觉的发展 从2 0 世纪5 0 年代末开始，计算机开始被作为实现人工智能和人类感知的工具，借 助计算机，人类第一次可以像借助机械实现对体力的延伸一样实现对脑力和感知能力的 延伸。当时的工作主要集中于二维图像分析、识别和理解上。2 0 世纪6 0 年代，r o b e r t s 将环境限制在所谓的“积木世界”，即周围的物体都是由多面体组成的，需要识别的物 体可以用简单的点、直线、平面的组合表示。r o b e r t s 的研究工作开创了以理解三维场 景为目的的三维机器视觉的研究。n 7 7 0 年代。已经出现一些视觉应用系统。 2 0 世纪8 0 年代，m a r r 教授( 1 9 8 2 年) 从视觉计算理论出发，将计算机视觉系统分 为自上而下的三个阶段，即将视觉信息从最初的原始数据( 二维图像数据) 到最终对环 境的表达经历了三个阶段的处理。第一阶段构成所谓“要素图”或“基元图”，基元图 由二维图像中的边缘点、直线段、曲线、顶点、纹理等基本几何元素或特征组成；第二 阶段，为对环境的2 5 维描述，意即部分的，不完整的，用“计算”的语言来讲，就是 重建三维物体在观察者为中心的坐标系下的三维形状与位置；由于2 5 维描述得到的是 部分的不完整的三维信息，所以必须对其进行进一步处理己得到物体的完整三维描述， 而且必须是物体本身某一固定坐标系下的描述，这一阶段称为第三阶段，即三维阶段。 该理论在2 0 世纪8 0 年代成为计算机视觉研究领域中的一个十分重要的理论框架，为以 后的计算机视觉发展做出了重大贡献”。 从2 0 世纪8 0 年代至今，研究者们按照m a r r 所提出的基本理论框架，对以上所诉 的各个研究层次与视觉系统的各个阶段中的各种功能模块进行了大量的研究。随着移动 式机器人等的研究，视觉研究与之密切结合，大量引入了空间几何的方法以及物理知 2 北方工业大学硕士学位论文 识，以实现对道路和障碍的识别处理。并引入了主动视觉的研究方法，使用距离传感 器，采取多种传感器融合的技术。这使得很多以前的病态问题成为良态的得到解决。 国际上每年也有大量的探讨计算机视觉发展的会议和收录发行与计算机视觉研究相 关的文章的杂志刊物。现在，国际上以计算机视觉为主体的国际会议主要有：国际计算 机视觉会议，国际模式识别会议，国际计算机视觉与模式识别会议，欧洲计算机视觉会 议以及亚洲计算机视觉会议。而已将计算机视觉作为收录的主要内容之一的国际刊物则 有：i n t e r n a t i o n a lj o u r n a lo fc o m p u t e rv i s i o n 、i e e et r a n s o n p a m i 、i e e et r a n s o n r o b o t i ca n da u t o m a t i o n 、v i s u a li m a g ec o m p u t i n g 、i j p r a i 等。每年的研究论文也都有数 百篇发表。计算机视觉正处于蓬勃发展的时期之中。 1 2 2 机器视觉与计算机视觉的差别 计算机视觉是采用图像处理、模式识别、人工智能技术相结合的手段，着重于一幅 或者多幅图像的计算机分析。它所用到的图像可以由单个或者多个传感器获取，也可以 是单个传感器在不同时刻获取的图像序列。分析是对目标物体的识别，确定目标物体 的位置和姿态，对三维景物进行符号描述和解释。计算机视觉中经常使用几何模型、复 杂的知识表达，采用基于模型的匹配和收缩技术，搜索的策略常使用自底向上、自顶向 下、分层和启发式控制策略。而机器视觉偏重于计算机视觉工程化，能够自动获取和分 析特定的图像，以控制相应的行为。因此可以说，计算机视觉为机器视觉提供图像和景 物分析的理论及算法基础，机器视觉为计算机视觉的实现提供传感器模型、系统构造和 实现手段。机器视觉系统事实上就是一个能自动获取一幅或多幅目标物体i 訇像，并对获 取到的图像的各种特征量进行处理、分析和测量，并对测量结果给出定性分析和定量解 释，从而得到有关目标物体的某种认识并作出相应决策的系统”。这个系统所包含的功 能有：物体定位、特征检测、缺陷判断、目标识别、计数和运动跟踪等。 1 2 3 机器视觉系统的分类及关键技术 根据机器视觉系统所采用的硬件的不同，可以将机器视觉系统分为基于嵌入式和基 于p c 的采用板卡和s d k ( 软件开发工具包) 的两种解决方案。嵌入式的机器视觉系统相 对便宜，适用于被测产品具有比较规则的形状、被测物体简单的常规应用。它一般定位 于中低端产品。而基于p c 的采用板卡和s d k 的机器视觉系统要求用户有比较好的编程 3 北方工业大学硕士学位论文 基础和对现场有比较丰富的经验，而且开发费用一般都比较昂贵。但这类产品能够灵活 地适应多种需求，因此在中高端产品的生产中得到应用。在本课题中所用到的机器视觉 系统是基于p c 的采用板卡和s d k 的解决方案的双目视觉系统。 基于p c 的采用板卡和s d k 的解决方案的机器视觉系统又根据其使用的传感器的种 类及传感器数目不同可分为使用一个摄像机的单目视觉系统、使用两个摄像机的双目视 觉系统、以及使用三个或三个以上传感器的多传感器三维视觉系统“。在本课题中，为 更好的模拟人眼的功能恢复出空间图像，我们利用两个摄像机构建了双目视觉系统。在 以后的章节中我们将探讨双目视觉系统的构建和借用该系统获取目标物体特征点空间三 维坐标的方法。 一个典型的工业机器视觉系统一般以计算机为中心，主要由视觉传感器、高速图像 采集系统及专用图像处理系统等模块组成，其基本组成模块如图1 1 所示9 | 。 该系统的关键实用技术有1 0 1 l 、光源照明技术 在目前的机器视觉应用系统中，好的光源与照明方案往往是整个系统成败的关键， 起着非常重要的作用，并不是简单的照亮物体而已。光源与照明方案的配合应尽可能地 突出物体特征量，在物体需要检测的部分与那些不重要部份之间应尽可能地产生明显的 区别，增加对比度。同时还应保证足够的整体亮度，物体位置的变化不应该影响成像的 质量。 图1 1 典型的工业机器视觉系统 2 、图像采集技术 图像采集系统是机器人视觉系统工作的第一步也是对后续处理效果有重要影响 的一步，采集到的图像质量好坏直接影响虽后的图像处理和三维重建的结果的正确 一d 一 北方工业大学硕士学位论文 性。它由摄像机、摄像头、图像采集卡、计算机和图像采集软件组成。它的主要功 能是实时地将视觉传感器获取的模拟视频信号转换成数字图像信号，并将图像直接 传送给计算机进行显示和处理，或者将数字图像传送给专用图像处理系统进行视觉 信号的实时前端处理。 3 、图像处理技术 由摄像机获取的图像必须经过进一步的处理后刁能获取我们进行三维重建有用的信 息。由摄像机本身的精密问题以及物体表面反射光线的畸变造成的误差必须要在处理过 程中考虑进去。图像处理涉及到图像的噪声的去除，匹配特征的选取，图像区域的分割 及图像边缘的检测等算法问题。常用到图像位图之间的转换、图像的平滑、锐化、中值 滤波去噪、以及图像的边缘检测、边缘提取等处理方法“。 1 - 3 机器视觉国内外研究现状及发展方向 1 3 1 机器视觉国外研究现状 国外对机器视觉的研究相当活跃，其应用面也很广。 r 1 日本大阪大学自适应机械系统研究院研制了一种自适应双目视觉伺服系统“。利 用双目视觉的原理，以每幅图像中相对静止的三个标志为参考，实时计算目标图像的雅 可比矩阵，从而预测出目标下一步运动方向，实现了对运动方式未知的目标的自适应跟 踪。该系统仅要求两幅图像中都有静止的参考标志，无需摄像机参数。 华盛顿大学与微软公司合作为火星卫星“探测者”号研制了宽基线立体视觉系统， 使“探测者”号能够在火星上对其即将跨越的几千米内的地形进行精确的定位和导航。 系统使用同一个摄像机在“探测者”的不同位置上拍摄图像对，拍摄间距越大，基线越 宽，能观测到越远的地貌。相比传统的体视系统，能够更精确地绘制“探测者”号周围 的地貌和以更高的精度观测到更远的地形“。 n i h o n 大学将双目视觉系统用于人体身高的测量。人体身高在交通售票系统、公园 中游客使用娱乐设施甚至在发现犯罪嫌疑人方面都是重要的特征。他们在各种入口处安 装两台摄像机，通过两台摄像机获取的图像的处理和匹配，利用成像的三角法则对人体 的身高做出了判断。该系统同时考虑了系统构件的成本、图像处理的实时陛及身高检测 的准确性“。 一5 北方工业大学硕士学位论文 法国的r o u e n 大学的a b e n s r h m r 等人基于机器视觉系统就车辆检测提出新的算 法。与传统的算法相比较，该算法并不是完整的三维重建，而是提取出属于车辆的垂直 边缘的形状特征。相比于传统的检测方式，该方法的检测效果的可靠性更高，同时对摄 像机获取的车辆之间的距离的计算更为准确“。 韩国p o h a n g 科技大学在炼钢厂的无人驾驶的起重机上安装视觉系统，运用成卷钢 卷的圆形特点，对获得的图片提出新的表面分割方法，获得钢卷的位置和重心，为起重 机吊运钢卷提供目标物体的具体空间信息“。 1 3 2 机器视觉国内研究现状 在国内院校科研领域，机器视觉的研究也相当活跃。浙江大学机械系完全利用透视 成像原理，采用双目视觉方法实现了对多自由度机械装置的动态精确位姿检测，仅需从 两幅对应图像中抽取必要的特征点的三维坐标，信息量少，处理速度快，尤其适于动态 情况。与手眼系统相比，被测物的运动对摄像机没有影响，且不需知道被测物的运动先 验知识和限制条件，有利于提高检测精度，东南大学电子工程系基于双目立体视觉，提 出了一种灰度相关多峰值视差绝对值极小化立体匹配新方法，可对三维不规则物体偏转 线圈的三维空间坐标进行非接触精密测量。哈工大采用异构双目活动视觉系统实现了全 自主足球机器人导航“。将一个固定摄像机和一个可以水平旋转的摄像机分别安装在 机器人的顶部和中下部，可以同时监视不同方位视点，体现出比人类视觉优越的一面。 通过合理的资源分配及协调机制，使机器人在视野范围。测距精度及处理速度方面达到 最佳匹配。双目协调技术可使机器人同时捕捉多个有效目标，观测相同目标时通过数据 融合，也可提高测量精度。在实际比赛中其他传感器失效的情况下，仅仅依靠双目协调 仍然可以实现全自主足球机器人导航。 中国科学院自动化研究所研究的三维重建技术，采用自动关键点匹配、双目重建、 表面三角化和三维点拼接技术，经过图像对提取，图像对关键点匹配，图像关键点的重 建，三角化以及数据融合生成物体完整的三维结构。在完成重建后，可以从任意视点观 察物体，具有立体视觉效果1 。 同时，在国内，也有大量的公司致力于机器视觉的开发研究。他们主要有北京大恒 图像、北京时利和、北京微视凌志、北京微视新纪元、深圳市视觉龙科技、香港盈基科 技、深圳科瑞自动化、深圳步进科技等公司“。 6 北方工业大学硕士学位论文 1 3 3 机器视觉的发展方向 经过近几十年的发展，机器视觉的研究和应用取得了巨大成功，在人类的生产和生 活领域发挥着越来越大的作用。但是总的来说，无论是从视觉生理的角度，还是实际运 用的角度，现有的机器视觉还是处于不成熟的阶段，其原因包括技术手段不够及人类对 自身视觉机理了解不够等多方面。立体匹配作为机器视觉的核心，在理论和技术层面都 存在很多问题。例如：如何合理地选择匹配特征，以克服匹配准确性和恢复视差全面陛 问的矛盾；如何选择有效的匹配准则和算法结构，以解决存在严重灰度失真、几何畸变 ( 透视、旋转、缩放) 、噪声干扰、特殊结构( 平坦区域、重复相似机构等) 即遮挡景 物的匹配问题；如何建立更有效的图像表达形式和立体视觉模型，以便更充分地反映景 物的本质属性，为匹配提供更多的约束信息，降低立体匹配的难度。 r q n 从当前的发展来看，其发展方向可归纳如下“： ( 1 ) 以全面的观点将立体视觉系统的各个模块联系起来，充分挖掘内在信息。 ( 2 ) 综合利用各种技术，多传感器信息融合，包括综合使用不同的匹配方法和主动式、 被动式单目视觉技术等，提高系统的性能。 ( 3 ) 由传统的双目视觉向多目视觉、完全静态的视觉向动态视觉发展，通过增加信息输 入降低视觉计算的难度。 ( 4 ) 向智能化发展，建立基于知识的，模型的和规则的立体视觉方法。 ( 5 ) 算法向并行化发展，采用并行流水线机制和专用的信号处理器件、增强系统的实 用性。 机器视觉作为一门多学科的交叉科学，正吸引着大批包括视觉生理、心理、物理、 数学以及计算视觉等多种学科的研究人员运用不同的技术手段对之进行深入的研究。它 不但具有重要的实用价值，而且对促进人类视觉机理的研究，彻底揭开人类视神经系统 的奥秘具有非常重要的意义。可以相信，随着众多研究工作者的努力，机器视觉的研究 和应用必将会取得丰硕的成果。 7 一 北方工业大学硕士学位论文 1 4 课题主要研究内容及论文组织结构 基于二维图像的物体的三维重建所要完成的工作主要是在获取物体特征点的基础上 实现物体特征的三维重建。其中最主要的内容就是获取目标物体特征点的空间三维坐 标。本课题的内容将主要围绕获取目标物体特征点的空间三维坐标展开，并最终实现目 标物体的特征点的三维重建。 1 4 1 课题主要研究内容 本课题要求实现为六自由度机器人教学平台演示教学用机器人末端执行机构提供目 标物体空间点信息。这涉及到目标物体的图像采集、图像处理、特征匹配、空间点三维 信息的恢复等内容。 要实现的目标决定了本课题的主要研究内容有： ( 1 ) 搭建机器视觉的硬件平台以获得含有欲获取的目标的图像。本课题采用一块 图像采集卡同时控制两个摄像机的方法获得同一物体不同空间位置的图像，从而利用视 差原理获取目标物体的空间信息。 ( 2 ) 对用到的两个摄像机进行内外参数的标定。本课题的目的是从摄像机获取的 图像信息出发计算三维空间中物体的几何信息。而空间物体表面某点的三维几何位置与 其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参 数就是摄像机参数在大多数条件下这些参数必须通过实验与计算才能得到，这个过程 被称为是摄像机标定本课题中将采用t s a i 两步标定法进行摄像机的标定。 ( 3 ) 对获取的图像进行图像预处理。图像预处理的目的是为后续的立体图像对的 特征点的提取、特征点间的匹配等工作做准备。图像在采集的过程中因为光照条件、硬 件本身的问题等原因使得获取到的图像发生畸变，这会严重影响特征点的提取、匹配等 工作。通过图像预处理可以降低这些不利因素的影响。课题中用到的主要图像预处理方 法有图像位图之间的转换、图像的平滑、锐化、中值滤波去噪等。 ( 4 ) 在h a r r i s 角点检测的基础上获得立体图像对的特征点，然后基于极线约束给 出特征点间的初始匹配，再根据灰度相关法得出特征点之间的正确匹配。特征点匹配的 正确与否直接决定实验结果是否正确，是本实验中最重要的内容之一。 8 北方工业大学硕士学位论文 ( 5 ) 实现特征点三维重建。课题的最终目标就是获取物体的空间信息，从而为机 器人的运动提供有用的信息。在完成摄像机标定和特征点之间的匹配的基础上，根据空 间点三维模型，计算出空间点的三维坐标。 1 4 _ 2 论文组织结构 论文共由七个章节组成。 第一章为引言，主要介绍了本文研究的目的意义，对机器视觉系统的构成和国内外 的机器视觉系统的研究现状进行了阐述，同时介绍了本课题所主要研究的内容。第二章 中主要介绍了本课题研究的双目视觉系统的原理和课题中的软硬件系统的搭建。第三章 主要介绍了摄像机的标定方法，并用t s a i 两步法对课题中用到的摄像机进行了标定。第 四章对图像进行了预处理，提取了两台摄像机采集到的图像中的特征点并完成了特征点 的匹配。第五章中给出了特征点空间坐标恢复的方法，并用特征点匹配的结果和计算机 标定的结果求解了特征点的三维坐标。第六章对其它的物体重建的方法进行了介绍。最 后在第七章中对前面的工作进行了总结。 北方工业大学硕士学位论文 2 双日视觉系统构成 双目视觉是最接近于人类视觉的三维数据恢复方式，也是计算机被动测距方法中最 重要的距离感知技术。双目视觉系统的工作原理是基于人眼视差的原理，它的构成包括 硬件系统和软件系统两方面。 2 1 双目视党基本原理 双目视觉一般采用的方法是两个摄像机从不同角度同时获取目标物体及其周围景物 的两幅数字图像，或者用单摄像机在不同时刻从不同角度获取周围景物的两幅数字图 像，基于视差原理，在已知两摄像机之间的位置关系的基础上，恢复出目标物体的三维 空间信息，并进步重建目标物体的三维形状与空间位置。 图2 1 为简单的平视双目立体成像原理图。假定左右摄像机已完成标定，两摄像机 光心都在图像正中，两摄像机水平和垂直方向伸缩因子一致，其中一个摄像机坐标系与 世界坐标系相重合，两个摄像机内外参数相同，且两者坐标系同各对应轴精确平行。图 中所示两摄像机投影中心连线距离为基线距b ，为摄像机焦距。 两摄像机在同一时刻拍摄空间物体的同一特征点p ，该点在世界坐标系下的坐标为 左图像 ( o ly 1 ) 右图像 ( x 。y 。) j l f b 一p ( x ，y ，z ) 、 一 j 、 图2 1 双目立体成像原理图 一1 0 一 北方工业大学硕士学位论文 ( x ，y ，z ) ，在两摄像机坐标系下的坐标分别为( x ，v ，z ，) ，( x ，r ，z ，) ，在图像平面为 ，y ，) ，0 ，y ，) 。根据假定条件有z ，= z ，= z ，k = 一。 假定左摄像机坐标系与世界坐标系相重合，此时p 点有 x ，= 等( 厂一z ) ( 2 1 ) j 同样，当右摄像机坐标系与世界坐标系相重合时，此时尸点有 x ，寺( 一) x ，与x ，之间相差距离为基线距口，即 x ，= x f + b 由( 2 1 ) ，( 2 2 ) ，( 2 3 ) 式有： 等( 一) 寺( ，_ z m 由( 2 1 ) ，( 2 4 ) 式有 令视差d = 一x ，则有 z ：，一卫生 x ，一x i z ：，一生堡 。 d ( 2 2 ) ( 2 3 ) ( 2 4 ) ( 2 5 ) ( 2 6 ) 左摄像机上的任意一点只要能在右摄像机像平面上找到对应的匹配点，就可以 确定视差d ，在摄像机焦距，和基线距b 己知的情况下就可以求出空间坐标z 。 根据小孔成像原理，当摄像机坐标系与实际坐标系相重合时有： 小等( 扣) ( 27 ) y ：尝( ，一z ) r 1 1 一 ( 2 8 ) 北方工业大学硕士学位论文 由( 2 6 ) ，( 2 7 ) ， ( 2 8 ) 式就可以确定出获取的空间点尸的坐标值。这种 方法是点对点的运算，像平面上的点只要存在相应的匹配点，就可以通过这种运算 r 1 获取其对应的三维坐标“。 2 2 双目视觉系统硬件组成 双目视觉系统在很多领域中都有应用，根据不同的使用对象，视觉系统的软硬件都 会有所不同。通常的双目视觉系统主要由七个部分组成，主要是：摄像机和光学部件、 灯光、部件传感器、图像采集卡、p c 平台、检测软件以及数字i 0 和网络连接。其 中，摄像机和光学部件主要用于拍摄目标物体；灯光用于照亮部件，以便从摄像机拍摄 到更好的图像；部件传感器在被检测物体靠近时给出一个触发信号，告诉视觉系统去采 集图像；图像采集卡将摄像机与p c 连接起来。它从摄像头中获得数据( 模拟信号或 数字信号) ，然后转换成p c 能处理的信息；p c 平台为检测软件以及数字i 0 和网络连 接提供硬件支持，完成图像数据处理和传输，以及获得目标物体的三维信息。 本课题的主要任务是用双目视觉系统模拟人眼功能，从获取的图像中得到目标物体 的三维信息。设计同时使用两个摄像头，在不同位置对同一物体进行摄像，根据两张图 像之间物体成像视差原理获取物体的空间信息，为机器人实现抓取等动作提供诸如空间 位置、物体重心等有用信息。为完成这一任务，实验中构建的双目视觉系统主要由摄像 机和光学部件、灯光、摄像机架、图像采集卡、p c 平台、检测软件等六部分组成。系 统构成如图2 2 所示。 图2 2 双目视觉系统构成 实验中所选图像采集卡为大恒图像公司的d h q p 3 0 0 ，该卡利用p c i 桥路技术，能 够对四路视频四路音频同时进行采集、四路图像全动态显示。图像分辨率最高：n 址： 1 2 北方工业大学硕士学位论文 7 6 8x5 7 6x3 2 b i t ；n t s c6 4 0x4 8 0x3 2 b i t ，支持单场、单帧、连续场、连续帧的采 集方式，完全可以实现本实验预定的两路图像同时采集的要求。同时选用的摄像机j v c 公司生产的t k - c 1 4 8 1 b e c ，该摄像机分辨率为4 8 0 线，其性能参数为1 2 ”，2 2 0 伏， 内置菜单设定参数，可调颜色、快门、图象均衡、字符。摄像头为a v e n l re t o k u 公 司生产的焦距为1 2 0 m m 的摄像头。同时设计用于固定两摄像机的相对位置的摄像机架 一个，灯光配置为可伸展台灯一个。所选用p c 平台配置为：处理器为主频7 3 3 m h z 的 1 1 1 t e lp e n t i u mi b ，内存为d d r1 2 8 m ，图像显示卡为n v i d i ap w at n t 2 t n t 2p r o ，显示 器采用s a m s u n g 公司的s y n c m a t e r7 8 8 d e 该款显示器最高分辨率为1 2 8 0 x 1 0 2 4 像素， 颜色质量为3 2 位真彩色，都能达到预获取并予以显示的图像的要求。实物图如图2 3 所示。 图2 3 实验装置实物图 一1 3 北方工业大学硕士学位论文 2 3 双目视觉系统软件实现 2 3 1 系统软件流程图 一个完整的双目视觉系统在软件实现上应该包括两大部分内容，即摄像机标定部分 以及物体特征点三维信息恢复两部分。而特征点三维信息恢复是在已完成对摄像机的标 定的基础上进行的。两部分内容的实现的主要流程如图2 4 、图2 - 5 所示： 固定两撮像机及标定板，l 确定各坐标系及标定板 上各顶点的真实坐标 j + 图2 4 双目视觉摄像机标定流程图2 5 物体特征点三维重建流程 2 3 2 系统软件的结构 根据该系统软件要实现的功能将系统分为六个模块。这些模块包括：图像采集 模块、图像预处理模块、图像特征提取模块、图像特征匹配模块、摄像机标定模 块、空间三维坐标特征参数获取模块。各模块所实现的功能为： ( 1 ) 图像采集模块：利用d i - i q p 3 0 0 图像采集卡和两个t k t k l 4 8 1 b e c 摄像机，同 时采集两路含有目标物体空间信息的r g l 3 数字图像数据到内存。通过软件控制可设置图 像卡输出i 訇像数据格式、设置视频制式、设置视频源路、调节图像的亮度、对比度、色 调和饱和度。 一1 4 北方工业大学硕士学位论文 图像采集卡的主要工作流程如图2 6 所示，其图像采集样例如图2 7 及图2 8 所 示。图2 7 、图2 8 为左右两摄像机所摄图像分别保存所得。 l 开始( 初始化指定设备，申请资源) i 参数设置( 视频采集窗口， 源路、制式、数据格式等) + 采集图像到屏幕或内存 ( 采集、停滞、读取、存储) i 结柬( 释放资源) 图2 6 采集卡工作流程图 图2 7 左摄像机采集的图像图2 8 右摄像机采集的图像 1 5 北方工业大学硕士学位论文 图像采集卡应用接口库划分为应用功能模块和扩充功能模块。其中，应用功能模块 又包含文件c g v i d e o h 、动态链接库c g v i d e o d l l 、静态链接库c g v i d e o 1 i b 三部分，扩 充功能模块又包含文件c g v i d e x h 、动态链接库c g v i d e x d l l 、静态链接库 c g v i d e x 1 i b 三部分在编程时应在程序中调用相关的包含文件，并将静态链接库文件 添加到工程中，供编译程序在链接时使用。 利用这些功能模块提供的b e g i n c g c a r d 、e n d c g c a r d 、c g s e t l n p u t w i n d o w 、 c g s e t o u t p u t w i n d o w 、c g a d j u s t v i d e o 等函数，编写了图像卡控制及图像卡参数设置等 菜单。其中图向卡设置菜单具有设置图像卡输出图像数据格式、设置视频制式、设置视 频源路、调节图像的亮度、对比度、色调和饱和度以及分配静态内存等功能。而图像卡 控制菜单则具有采集单帧图像到屏幕或内存，抓取序列图像到内存以及存储等功能。 ( 2 ) 图像预处理模块：对采集到的图像进行不同位数的位图之间的转换、图像的 平滑、锐化、中值滤波去噪、图像的分割、以及图像的边缘检测等操作，在进一步处理 之前获取效果比较理想的图像。 v c + + 专用于图像处理的函数很少，且用起来极其不便。编程时首先用v c 编写了自 己的图像处理类c d i b ，该类包含有c r e a t e d l b ，l o a d d m ，s a v e d i b ，r e a d d i b f i l e ， h i l d d m b i t s 等处理函数，分别用于创建d i b 对象、装载、保存d i b 数据、读入d i b 文 件、获取d i b 数据块的地址等。同时编写了e d g e e n h a n c e 、m e d i a n f i l t e r 、e r o s i o n 、 t h i n n i n g 、f f f 等处理函数，实现对图像的边缘检测、中值滤波、腐蚀、细化、付里叶 变换等变换。 ( 3 ) 图像特征提取模块：图像特征匹配的正确实现在很大程度上取决于匹配特征 的合理选择。实验中所识别的工件是规则形状物体，经过图像预处理后，用l l a r r i s 角 点检测法检测出左右图像中的特征点，同时用l a p l a c e 、r o b e r t s 算子提取出物体边缘 等。 ( 4 ) 图像特征匹配模块：在图像特征提取的基础上，根据极线约束进行了初始的匹 配，后根据灰度相关法对匹配点进行进一步的判断，找到正确对应的立体匹配点。 ( 5 ) 摄像机标定模块：采用t s a i 两步标定方法分别得到两个摄像机的内外参数， 后通过两摄像机的外部参数来建立两个摄像机之间的位置关系。 1 6 北方工业大学硕士学位论文 ( 6 ) 特征点三维重建模块：在实现左右图像对中特征点间的正确匹配和两摄像机 内外参数矩阵已标定的基础上，通过空间点的三维模型获得目标物体特征点的空间三维 坐标值。软件图形界面如图2 9 所示。 图2 9 软件界面图 1 7 北方工业大学硕士学位论文 3 摄像机标定 双目视觉的基本任务就是从摄像机获取的图像信息出发识别并计算出目标物体的几 何信息，并由此重建目标物体，而目标物体表面某点的三维几何位置与其在图像中对应 点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参 数在大多数条件下这些参数必须通过实验与计算才能得到，这个过程被称为摄像机标 定哆 3 1 摄像机标定的基本思路 摄像机的标定是基于摄像机透视投影模型进行的，而在对透视模型进行建模前必须 了解世界坐标系、摄像机坐标系、图像坐标系、计算机图像坐标系等几种坐标系之间的 关系。 3 1 1 摄像机标定中的各种坐标系 双目视觉系统通过摄像机获取三维目标物体的二维图像，这个投影过程经历了不同 坐标系之间的变换，这些坐标系在投影模型建立过程中非常重要。这些坐标系包括世界 坐标系、摄像机坐标系、图像坐标系、计算机图像坐标系，如图3 1 所示。物体从空间 坐标变换到计算机图像坐标经历了四次变换，首先从世界坐标系变换为摄像机坐标系， 然后由摄像机坐标系变换为无失真的图像坐标系，再由无失真的图像坐标系变换为带有 切向畸变实际图像坐标系，最后由图像坐标系变换为计算机图像坐标系“。 ( 1 ) 世界坐标系o 。x 。l z 。：摄像机可安放于任意位置，然后在环境中选择一个 基准坐标系来描述摄像机的位置，并用它来描述环境中一点己的位置为峭。，k ，z 。) ， 该坐标系称为世界坐标系。 ( 2 ) 摄像机坐标系o 。x 。l z 。：三维空间的点在摄像机坐标系中表示为 只( x 。，z