（检测技术与自动化装置专业论文）机器视觉系统研究.pdf

摘要 摘要 随着计算机技术、电子技术、图像处理、模式识别的迅速发展，机器视觉的实际研 究与应用同益得到重视，并在许多领域取得了骄人的成果，这就增加了机器视觉技术应 八】予机器人的可能性。 本文足以机器人视觉伺服为最终研究目标，利用神经网络技术和图像处理技术，完 成了机器视觉研究中的三项内容： 1 ) 根据神经网络和摄像机标定的特点，使用b p 神经网络完成不需要预先建立成像 系统的结构模型的平面摄像机标定，它利用网络的自学习和自适应能力，通过 与外界信息的交互作用，形成一种非线性映射，以表示图像和空浏坐标之问的 映射关系，山于其快速的并行计算能力及良好的泛化和局部逼近能力，此方法 具有了较强的标定实时性； 2 ) 在图像处理部分，描述了融合像素点的梯度、柏角和方向特征多种信息，利用 简薄的比较、加减等模糊逻辑运算来完成含有强噪声的图像的边缘检测，这种 方法尤其适合对实际工作中含有强噪声的图像进行边缘检测； ： ) 最后，使用7 个不变矩作为模式识别的特征值，利用b p 网络取代原始的统计分 类器，简单、快速、有效地完成物体的模式识别工作。 本文利j | j 简单物体进行了模式识别实验，验证了研究工作的正确性。神经网络的采 月j 理论上可以有效解决视觉伺服系统中速度问题这一瓶颈；图像处理中各种抑制噪声的 手段可以提高系统的精度，有利于整个机器人系统速度的提高。 关键词：机器视觉摄像机标定图像处理边缘检测模式识别 a b s t r a c t a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fc o m p m e rs c i e n c e ，e l e c t r o n i ct e c h n o l o g y ，i m a g e p r o c e s s 、p a t t e r nr e c o g n i t i o n ，p e o p l ea r ep a y i n gm o r ea n dm o r ea t t e n t i o no nt h er o b o tv i s i o n s r e s e a r c ha n da p p l i c a t i o nw h i c hh a sr e s u l t e di ne x c e l l e n tr e s u l t si nm a n yf i e l d ，a n dt h i sc a u s e m o r ep r o b a b i l i t yt h a tp e o p l ec a nu s et h em a c h i n ev i s i o no nr o b o t i nt h i sp a p e rw es t u d yt h ek e yt e c h n o l o g yf o rr o b o tv i s i o ns y s t e mb a s e do nt h er o b o t v i s i o ns e r v o i n gs y s t e mm o d e l u s i n gn e u r a ln e t w o r ka n dt h ei m a g ep r o c e s st e c h n i q u e ，t h r e e p a r t sw e r ec o m p l e t e d ： 1 ) b a s e do nt h ec h a r a c t e r so fn e u r a ln e t w o r ka n dc a m e r ac e l e b r a t i o n ，u s i n gb p n e t w o r kt o c o m p l e t et h ec a m e r ac e l e b r a t i o nw h i c hd o e s n t n e e dt ob u i l dt h e s t r u c t u r em o d e lo fc a m e r as y s t e m u s i n gt h e c a p a b i l i t y o fs e l f - s t u d ya n d g e n e r a l i z a t i o no fn e u t r a ln e t w o r kt ob u i l dt h er e l a t i o n s h i pb e t w e e nt h ei m a g ep o i n t a n dt h ed i m e n s i o n a lp o i n t t h et e c h n o l o g yo fc a m e r ac a l i b r a t i o nb a s e do nt h e n e u r a ln e t w o r kc a nc a u s et h ea c c u r a c yo ft h ec e l e b r a t i o na n dt h es p e e dish i g h e r t h a nf o r m e r 2 ) i nt h ep a r to fi m a g ep r o c e s s i n g ，a na l g o r i t h mw h i c hc a nd e t e c tt h ee d g ei nt h eh i g h n o i s yi m a g ew a si m p r o v e d i nt h i sa l g o r i t h m ，s e v e r a lk i n d so fi n f o r m a t i o na r eu s e d a st h ec h a r a c t e r i s t i c so fe d g ed e t e c t i o n ，a n df u z z yl o g i ci su s e dt of u s et h e i n f o r m a t i o nt o g e t h e r s ot h ee d g ed e t e c t i n gp r o c e s si sm o r ee f f e c t i v ea n dg i v e s m u c hb e t t e re d g ei n f o r m a t i o ne s p e c i a l l yf o rt h eh i g hn o i s yi m a g e 3 ) f i n a l l yw es e l e c t e ds e v e nf e a t u r e s f o rp a t t e r nr e c o g n i t i o nu s i n gt h em o m e n t i n v a r i a n tf e a t u r e s ，a n dt h e nt h e s ef e a t u r e sa r eu s e da st h ei n p u to ft h eb pn e t w o r k t oc o m p l e t et h er e c o g n i t i o n t h ea p p l i c a t i o no fn e u r a ln e t w o r kc a ns p e e du pt h ep r o c e s so fr o b o tv i s i o ns e r v o i n g s y s t e me f f e c t i v e l ya n dt h em e t h o do nh o w t or e d u c et h en o i s ei nt h ei m a g ec a ni m p r o v et h e p r e c i s i o r ro ft h es y s t e m k e yw o r d s ：m a c h i n ev i s i o n ，c a m e r ac a l i b r a t i o n ，i m a g ep r o c e s s i n g ，e d g ed e t e c t i o n ， p a t t e r nr e c o g n i t i o n 河北大学 学位论文独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文【1 j 不包含其他 人已经发表或撰写的研究成果，也不包含为获得河北大学或其他教育机构的学位或证：| 5 所使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确 的说明并表示了致谢。 作者签名：鳢日期：塑年互月旦二 学位论文使用授权声明 本人完全了解河北大学有关保留、使用学位论文的规定，即：学校有权保留并向吲 家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。学校可以公自， 论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。 本学位论文属于 1 、保密口，在年月同解密后适用本授权声叨。 2 、不保密口。 ( 请在以上相应方格内打“”) 作者签名：维拖 日期： 导师签名：日期： 垃年月盟r | 垃年一月监r 第一章绪论 1 1 机器视觉概述 第1 章绪论 “r o b o t ”一词最初起源于k a r e lc a p e k 的科幻小说，人们幻想机器人能够逐渐成 为现代工业的主人，让它们在恶劣的工作环境中进行各种操作，既可以提高生产效率， 又可以把人从许多危险作业中解放出来。 1 9 5 4 年，美国c e o r g eg d o v o l 设计制作了世界上第一台机器人实验装置可控 制机械于并申请了美国专利。1 9 6 0 年，美国u n i m a t i o n 公司根据d o v e l 的技术专利研制 第一台机器人样机，并定型生产u n i m a t a ( 意为万能自动) 机器人。1 9 6 2 年u n i m a t a 首次在美国通用汽车公司( g m ) 投入使用。1 9 6 8 年，美国s t a n f o r d 人工智能实验室( s a i l ) 的j m ec a r t h y 等人研制了带有手、眼、耳的计算机系统。1 9 7 3 年，b o l l e s 和p a o l o 在 s t a n t b r d 使刚视觉和力的反馈，表演了与p d p 1 0 计算机相连的机械手，用于自动装配 水泵。 8 0 年代以来，随着计算机技术、超大规模集成电路技术、人工智能技术以及知识 - 丁：程等学科的飞速发展，各国投入了大量的人力和物力积极开展智能机器人的研究工 作。智能机器人的智能特征在于它具有与外部世界一一对象、环境和人相互m 调地工作 的能力。视觉给人类提供了7 0 以上的所需信息、为人类的正常生活和工作提供了必要 保障，计算机视觉( c o m p u t e rv i s i o n ) g , j 智能机器人来说同样至关重要，因此机器人视觉 技术已经成为高技术领域的个重要研究课题并引起了广泛关注。 随着信号处理理论和计算机技术的发展，人们试图用摄像机获取环境图像并将其转 换成数字信号，用计算机实现对视觉信息处理的全过程，这就是计算机视觉( c o m p u t e r v i s i o n ) 。i t 。算机视觉的研究目标是使汁算机具有通过一幅或多幅图像认知周围环境信息 的能力，这使计算机不仅能模拟人眼的助能，而且更重要的是使计算机完成人眼所不能 胜任的工作。计算机视觉是采用图像处理、模式识别、人工智能技术相结合的手段，着 重于一幅图像或多幅图像的计算机分析。图像可以由单个或者多个传感器获取，也可以 足币个传感器在不同时刻获取的图像序列：分析是对目标物体的识别，确定目标物体的 位置和姿态，对三维景物进行符号描述和解释。 河北人学i ：学硕十学何论文 i i i 罡皇 机器视觉则是建立在计算机视觉理论的基础上，偏重于计算机视觉技术工程化，与 计算机视觉研究的视觉模式识别、视觉理解等内容不同，机器视觉重点在于感知环境1 1 1 物体的形状、位置、姿态、运动等几何信息【1 1 。机器视觉能够自动获取和分析特定的图 像，以控制相应的行为。 具体的说，计算机视觉为机器视觉提供图像和景物分析的理论及算法基础，机器视 觉为计算机视觉的实现提供传感器模型、系统构造和实现手段。因此可以认为，一个机 器视觉系统就是一个能自动获取一幅或多幅目标物体图像，对所获图像的各种特征量进 行处理、分析和测量，并对测量结果做出定性分析和定量解释，从而获得有关目标物体 的某种认识并做出相应决策的系统。 本文正是将机器视觉和计算机视觉结合起来，通过图像来提取我们所需要的物体的 特征，并最终完成机器人的任务。 机器视觉主要研究用计算机来模拟人的视觉功能从客观事物的图像中提取信息，进 行处理并加以理解，最终用于实际检测、测量和控制。一个典型的机器视觉应用系统包 括光源、光学系统、图像捕捉系统、图像数字化模块、数字图像处理模块、智能判断决 策模块和机械控制执行模块，如图1 1 所示。 图1 1 典型机器视觉应用系统 光学成像系统和图像捕捉系统的任务可以由视觉传感器来完成，它也是整个机器视 觉系统信息的直接来源，主要功能是获取足够的机器视觉系统要处理的原始图像。视觉 传感器可以使用激光扫描器、线阵或面阵c c d 摄像机或者t v 摄像机，也可以是最新 出现的数字摄像机等。图像的采集和数字化一般由数据采集卡来完成，主要功能是实时 地将视觉传感器获取的模拟图像信号转换成数字图像信号，并将图像直接传送至计算机 2 第一章绪论 曼! 曼曼! 曼蔓曼曼曼曼曼皇i m - - i _ i _ i , 曼 进行显示和处理，或者将数字图像传送给专用图像处理系统进行视觉信号的实时前端处 理。智能处理与决策模块山计算机完成，主要是根据像素分布、亮度和颜色等信息对图 像进行分析处理，通过进行各种运算来抽取目标的特征，根据预设的容许度和其他条件 制定棚应的决策。智能处理与决策模块输出的信号传给控制执行模块从而最终完成对目 标物体的控制。 1 2 机器视觉的发展 1 2 1 机器视觉系统的发展历程 8 0 年代仞期，英国的m a r t 教授首次从信息处理的角度综合了图象处理、心理物理 学、_ 1 1 i 经生理学及临床精神病学的研究成果，提出了第一个较为完善的视觉系统框架1 2 j ， m a l t 首先解决了研究视觉理论的策略问题：要完整的理解视觉，就要在三个不同的层 次上对它进行解释，即：计算理论、算法和硬件实现。从计算理论这个层次来看，视觉 信息处理必须用三级内部表达来加以描述。所谓表达( r e p r e s e n t a t i o n ) ，是指一种能把 某些实体或几类信息描述清楚的形式化系统，以及说明该系统如何行使其职能的若干舰 则。这三级表达是：要素图( 图像的表达) 、2 5 维图( 可见表面的表达) 和三维模型表 达( j 于谚! 别的三维物体形状表达) 。即：视觉信息从最初的原始数据( 二维图像数据) 到最终对三维月：境的表达经历了三个阶段的处理( 如图1 2 所示) 。 恻象 图! - 2m a w 框架的视觉二阶段 国蒜 i 觉处理l 五磊 il ”一 进入8 0 年代中期，随着机器人研究的深入和计算机技术的发展，机器视觉的研究 与机器人学的结合更j j l l 紧密，出现了专门的图象处理设备，人们开始系统的研究机器人 视觉技术。在此期问，c o u l o n 和n o u g a r e t ( 19 8 3 ) 提出了一个详细的摄像机成像模型， 同时提供了可以确定目标位置的数字视频处理系统，并将其应用于机器人位置闭环控制 p j 。g i l b e r t ( 1 9 8 3 ) 也描述了个能够完成自动跟踪的视觉系统，系统采用视频处理硬 什来谚l 咒0f j 标和更新摄像机的位姿，以使目标处于摄像机图像平面的中心位置 4 j 。 河北人学l ：孚：硕十学何论文 随着计算机的存储及计算能力的增强以及图象处理硬件和c c d 摄像机的快速发 展，视觉伺服控制逐步成为机器人研究领域的热门课题。特别是机器视觉技术与神经网 络技术、信息融合技术、智能控制等相结合，使其从系统结构形式、图像处理及图象识 别方法、视觉控制器的设计等方面都有了长足的发展。如：w e l l s l 5j 分别用4 个特征点、 傅立叶描述子和几何矩作为神经网络的输入，对6 d o f 机器人进行定位实验，其结果是 当采用全局图像特征时，可扩大其应用范围，但定位精度比较低； s t a n l e y 6 j 应用神经 网络进行特征抽取和求逆雅可比矩阵；他们从不同程度上简化了标定机器人及视觉系统 的复杂计算过程。m i l l e r i ”等人将视觉、力和触觉传感器集成到机器人上，通过视觉和 触觉等传感信息的融合实现了机器人实时抓取任务。k r a g i c 和h e n r i k i8 l 应用颜色、边缘 和图像的运动等视觉特征采用模糊逻辑和加权的信息融合方法，加强图像特征的鲁棒 性。 机器人视觉系统是最有效的传感器之一。提供了关于环境足够的信息，用于定位、 识别等，是一种非接触测量方法。机器人视觉系统也是最复杂的传感器之一。人们刈。于 生物视觉系统了解仍然甚少，采用机器人视觉的应用系统性能有时不能令人满意。但在 工业应用中近年来有很多成功的示例，主要在视觉环境简单、针对某一环境定制应用的 情况下，如传送带上工件的定位。所以机器视觉是一个研究非常活跃、变化很快的领域， 但是缺乏通用的方法。 1 2 2 国外机器人视觉系统的发展 在国外，机器人视觉系统按其发展可分为三代【9 】： 第一代机器人视觉系统的功能一般是按规定流程对图像进行处理并输出结果。工作 原理是：将图像输入系统，并与在图像存储器中的标准图像相减、比较，当差值图像在 一定值以下就认为合格。较典型的系统如英国v i n t t e r 科学系统股份有限公司生产的 c o m p a r a t r o n i c5 1 2 4 。 第二代机器人视觉系统一般由一台计算机，一个图像输入设备和结果输出设备构 成。视觉信息在机内以串行方式流动，机内部有多种软件可供选择，有一定学习能力以 适应各种新情况、这种系统结构简单，通用性较强，并可以通过硬化公用软件使处理速 度加快。由美国斯坦福大学和s r i 国际研究中心共同开发的s r iv i s i o nm o d u l e 就是一 4 第章绪论 个典型例子。 第三代机器人视觉系统正处在研发阶段。采用高速图像处理芯片，并行算法，具有 高度的智能和j 。泛的适应性，以模拟人的高层视觉功能为目标。典型的如美国 a u t o m a t r i x 公司生产的a u t o v i s i o n4 和美国斯坦福大学研制的a c r o n y m 系统以及美国 麻省理工学院研制的v i s i o n 系统。 此外固外目日订较先进v , j j l 器人视觉系统还有：美国o h 0s t a t eu n iv e r s it y 建立的 g p s v a n 系统；德围u a r m e df o r c e s 建立的k i s s 系统；德国t e c h s c h o o la a c h e n 建 立的s u r v e y i n gv e h i c l e 系统；加拿大的g e o f i ti n c 建立的v i s a 系统；美国c m u 建 立的a r a b l e r 和n a v l a b 系统；加拿大a p p l i e da is y s t e m 公司的g a i a 机器人视觉系统 等。 1 2 3 国内机器人视觉系统的发展 虽然我国在机器人视觉方面的发展与世界先进水平相比还有一定差距，但机器视觉 系统的研制工作也取得了一定的成剁1 0 】： 中国纺织大学自动化系李允明等人开发了能进行实时识别的二维视觉系统。此系统 i j 】u 时问小于1 秒，分辨率为2 5 6 x2 5 6p i x e l 。对于识别时问的确定是根据斯坦福视 觉系统的研究者g e r a l dj a g i n 的观点，他认为如识别叫+ 间大于1 秒，视觉系统将被 认为 ：作太慢而影1 1 匈机器人或自动生产线的效率。其摄像机安放为固定式。此系统实测 输入图像分辨率为2 5 6 x 2 5 6 ， 士i 此决定的定位精度小于l m m ( 当视野尺寸为1 4 0 1 8 0 毫 米时) ，对每个零件进行谚 别并确定其坐标和方位角的时间小于等于0 2 秒，对于一般 零件的正确识别率为1 0 0 ，对于其几何形状与其他零件很接近，且其边缘较粗造的零 件，j f 确识别率为9 9 1 。 中科院沈阳自动化所的赵经伦等研制了基于实时检出边缘图像的机器人视觉系统， 此系统基于i n t e l 8 0 8 6 ( 8 0 8 7 ) 多总线系统，用流水线局部并行处理模块定时检出具有方 向特征的边缘点图像。图像是以坐标位置数组形式，分区( 按方向特征) 实时进入多总线 上的内存区，提供快速实现参数变换的条件。该装置是以焊接机器人的焊缝检出，焊接 起始位置确定，移动式作, 3 k j t 器人视觉导航为应用目标而设计的。 r 1 1 科院沈阳自动化所利用视觉伺服实现水下机器人悬停，以7 0 0 0 米载人潜水器的 河北人学i ：学硕十学位论文 悬停定位为应用背景，完成了基于模型的定位、基于特征点的视觉伺服、基于纹理的伺 服等研究内容并于0 5 年底通过验收，目前只有美国、r 本等少数几个发达国家能够对 这么深的海底热液喷口进行观测，这也说明我国的视觉伺服研究证在迅速发展，其中的 一些研究已经能够跻身世界前列。 中国科学院自动化研究所模式识别国家重点实验室课题组目前也f 在研制视觉机 器人导航、视觉监控、图像处理等科研项目。 1 3 机器人视觉技术的应用以及目前的难题 目前，机器人视觉技术主要应用于以下两个方面： 1 。基于视觉技术的机械手装配，它使得机械手可以识别传送带上所要装配的机械 零件并确定该零件的空i 、日j 位置，据此信息控制机械手的动作，做到准确抓取，还可以刖 于机械零件的质量检查。 p u m a n s 1 0 0 机器人系统通过训练能在工件加工或装配过程中对工件进行检测。 1 9 7 3 年，s h i r a i 和l n o u e 的视觉反馈机器人可用于完成装配任务【1 1 1 。8 0 年代术，清华大 学研制的e y e i n h a n d ( 手一眼协调系统) 能够完成多种精密的装配任务。由同本川崎公 司制造的p u m a 2 6 0 机械手和c r e a t i v es y s t e m 公司制造的b l o b i 视觉系统组成的视 觉演示系统可通过视觉处理装置b l o b 1 识别出4 种样品，并且测出它们的重心位置及 倾角。此外，机械手还可根据视觉的反馈信息，进行轨线跟踪【1 2 】、邮件分检”、仿形 加工【1 4 i 和图纸自动输入等。 2 基于视觉技术的移动机器人导航，它可使移动机器人能够识别室内或室外的景 物，进行道路跟踪和自主导航。用它可完成危险材料的搬运、野外敌后侦察和敌区的扫 雷等任务【”j 。 近年来，许多国家有计划地开展了移动机器人视觉导航技术的研究，如美国斯坦福 研究所早期研制的机器人s h a k e y 可以穿行房间，搜索识别指定对象，并进行智能操作； v a m o r s p 自主车用四个小型c c d 摄像机，构成两组主动式双目视觉系统；s h i m a u c h i 等人研制的打曲棍球机器人系统利用计算机视觉观测曲棍球的运动情况等。 虽然国内外学者在机器人视觉伺服控制系统的理论研究及实现方面已经进行了大 量深入的研究工作，并取得了令人瞩目的成果，机器人视觉在产品检验、机器人装配、 6 第一牵绪论 搬运、焊接以及为移动机器人导航等技术萨逐步走向应用，某些带有视觉的智能机器人 系统也接近实用化。但是，山于实际问题的复杂性，具体实现过程中仍存在视觉信息处 删瓶颈、适月】范围窄等实际问题。 ；in ，j ，视觉伺服关键问题及研究的热点主要包括以下几个方面： l 、摄像机标定 机器视觉的中心任务是利用计算机实现对空问景物的描述、识别和理解。所谓描述 即通过视觉传感器( c c d c m o s 摄像机) 采集实际环境巾的视觉目标成为二维图像， 而i 别和理解是利刖图像处理技术识别环境中的物体，并对其做出正确反应。无论哪一 j ! j i i 1 5 务，首要解决的都足空问物点与二维像点问的对应问题。这利对应关系是山摄像机 成像儿何模型决定的，确定这种对应关系的过程称为摄像机标定【l j 【6 1 。 目d i ，摄像机标定存在的主要问题是标定的精度( 畸变造成的非线性) 与实时性之 f n j 的矛盾以及- ! 【1 1 , , - i 提高标定的鲁棒性。 2 、图像处理及图像理解 视觉伺服的根本任务是应用视觉信息实现机器人对目标的抓取，这就需要从摄像机 荻取的二维图像中提取目标的信息特征。根据具体的视觉伺服系统的特点，可选取不同 的信息特征，现有的图像特征检测可分为基于目标轮廓的特征和基于目标区域的特征， 大部分方法采用同标物体的几何特征( 如点、直线、圆等) 1 1 7 j l l8 1 ，根据所选取的信息特 抓的不同，图像处理的过程及侧重点也有所不同。一般讲，图象处理及理解主要包括图 像滤波、边缘锐化、角点检测、图像模式识别、特征提取等内容。 目前，针对图像滤波、边缘锐化、目标识别等图像处理问题的算法非常多，如：邻 域j f 均滤波、空域低通滤波、q ，值滤波、s u s a n 角点检测| 1 9 j ，基于矩不变量的形状识 别等，同时还包括基于小波变换、神经网络、模糊理论和遗传算法的滤波、边缘锐化 和图像分割等现代方法。 当前图像处理所面临的主要问题是如何提高图像处理的速度及提高图像特征选择 的鲁棒性【3 】【2 1 1 。 1 4 主要研究内容 本论文主要针对当6 ，j 机器人视觉伺服控制系统中存在的问题，从摄像机的标定、图 7 河北人学。f ：学硕十学何论文 像处理、图像目标的识别等方面进行探讨。论文的主要研究工作包括以下几个方面( 如 图1 3 ) ： 目标一圈圈一圈 幽1 - 3 视觉部分处理框图 1 图像的获取：利用人工神经网络的学习能力、自适应能力以及非线性函数的逼 近能力，建立空问点与图像点的映射关系，完成摄像机的精确标定。与传统的标定方法 相比提高了标定的精度及标定的鲁棒性。 2 图像处理： 1 ) 由于实际环境的影响，图像中总是必不可免的有噪声的存在，这些噪声会 直接影响我们的处理结果，所以图像的预处理是不可或缺的准备工作。 2 ) 图像分割：将信息融合和模糊边缘检测相结合，针对机器人视觉伺服大部 分工作于复杂的工作环境，提出了一种处理实际工作环境中的高噪图像的 有效的模糊边缘检测算法，与传统的边缘检测算法相比，此算法采用像素 点的多种信息作为边缘检测的特征信息，利用模糊逻辑对这些信息进行综 合，使边缘检测器输出的边缘信息更加完善且有效。 3 特征提取及模式识别：基于不变矩特征及b p 神经网络，实现了图像的模式识别。 与传统的模式识别方法相比较，神经网络模式识别具有较强的容错性及自适应能力，能 够识别带有噪声或变形的输入模式，且采用并行工作方式，识别速度快。 8 第2 章基丁神经网络的摄像机标定 。 第2 章基于神经网络的摄像机标定 2 1 摄像机标定概述 计算机视觉系统应能从视觉传感器( 如摄像机) 获取的图像计算出实际工作环境中 物体的位置、形状等几何信息，并山此识别环境中的物体，才能做出正确反应。因此计 算机视觉的中一心任务就是利用汁算机实现对空问景物的描述和识别。无论哪一项任 务，首要解决的都足空问中物点与图像中像点问的对应问题。这种对应关系是由摄像机 成像儿何模型决定的，确定这种对应关系的过程就称为摄像机标定。具体地讲，就是通 过建立摄像机图像像素位置与场景点位置之问的关系，其途径是根据摄像机模型，由已 知特征点的图像坐标和世界坐标求解摄像机的模型参数，这些摄像机需要标定的模型参 数分为内部参数和外部参数1 1 1 1 2 2 1 ( 如表2 1 ) ，一旦参数确定下来，就可以通过图像中 的像点坐标推出空间物点坐标，或相反的，通过己知的空问巾物点的位置推出图像中的 像点信息。 表2 i 摄像机模型参数 参数表达式自l h 度 f 吼) ，1 1 00 透视变换 肚l o qv o 0 l 5 l - 0 0 1 0 j 径向畸变、切向畸变 ki ，k2 ，i ，p 2 4 外部参数 尺= 兰蔓荟 ，7 = 乏 6 表2 1 中，a ”口z ，o 、y 是线性模型n , j i n 部参数。其中口l 、订，分别是u 轴和v 轴的尺度冈子，或称为有效焦距( q = 乡么，口i = 多磊，这里出、砂分别为水平方向与币直方 | i j 的像元间距) ，、v o 是光学中心，y 是z ，轴j r iv 轴的不币直冈：了二，在很多情况卜令y = 0 ：r 利t 姓旋矩i 筠：和平移矩阵，成为外部参数：对丁一m 线性模型的内部参数，除了线性模要! 的内部参 9 河北人学i ：学硕十学付论文 j | i l l 曼曼曼曼曼皇曼曼曼曼曼曼曼曼曼曼曼曼舅舅皇曼曼鼍曼皇曼曼曼曼皇蔓 数q ，、a u o 、v o 和y 以外，还包括释向畸变参数ki ，k2 和切向畸变参数p i ，p 2 。 摄像机标定在以下应用中起着重要的作用： 1 从计算机图像坐标推导空间三维几何信息。由摄像机标定所确定的摄像机模型 和参数能够提供一种给定目标点的图像坐标，并能确定一条含有实际目标点的空间直 线。利用两幅这样的图像就可由两条直线的交点确定这一目标的空问位置。这种信息可 以应用于包括工件在线测量、机电元件的自动装配、机器人标定或轨迹分析等重要应用 中。 2 利用摄像机标定来确定移动摄像机( 安装在手一眼机器人或自动行驶车辆上) 的空间位置。在这类应用中，已知目标点的图像坐标和空间坐标，利用摄像机外部参数 标定技术就可解出摄像机的空问坐标和方向信息。 3 由己知的物体三维信息导出二维计算机图像坐标。在模型驱动( m o d e l d r i v e n ) f ( , j 机器视觉的检测和装配中，关于物体三维空日j 位置和方向的假设可以利用摄像机模型和 参数转化为对其所成图像的一个假设。将假设图像和实际拍摄的图像进行匹配比较即可 拒绝或确认对物体及其空问位置的假设。这就是基于模型驱动的机器视觉的基本方法。 在这类计算机视觉系统中，摄像机参数的标定起着关键的作用。 针对以上应用，对摄像机标定技术有如下要求： 1 自治性：不需要操作者太多的参与。 2 精确性：在许多应用巾都有精度要求，如机械零件的检测，装配或机器人手臂 标定，这需要建立精确的理论模型。 3 合理的效率：整个摄像机标定过程不应该包括高维非线性搜索。 4 通用性：标定技术应适用于不同的应用场合，不同的光学装置以及不同的精度 要求。 摄像机标定技术最早应用在摄影测量学中2 3 1 ，摄影测量学中所使用的方法是数学解 析分析的方法，在标定过程中利用数学方法对从数字图像中获得的数据进行处理，建立 专业测量摄像机和非测量摄像机的联系，从而得到摄像机参数。所谓的非测量摄像机就 是内部参数完全未知、部分未知或者原则上不稳定的摄像机。 对于计算机视觉研究而言，在利用计算机技术实现对三维景物的描述、识别和理解 1 0 第2 章基丁种经网络的摄像机 = 示定 这一任务时，c c d 摄像机是对物理上界进行三维重建的一种基本测量工具，这时摄像 十i c h , 定被认为是实现三维空1 1 = i j 立体视觉的基本而又关键的步。总体来说，其计算方法 与摄影测量学中所使用基本相同。但是，这些问题在计算机视觉中得到了进一步研究， 幽为计算机视觉中的问题与摄影测量学中的问题相比，有着显著不同的特点： ( 1 ) 汁算机视觉系统中使用c c d 摄像机作为价格低廉的非测量工具，摄像机参数 未知或者不稳定，从而导致成像过程不稳定，并且c c d 摄像机数字化图像分辨率低， 存在量化误差，存在较大的非线性镜头畸变。 ( 2 ) 在计算机视觉i ，进行三维重建需要大量的图像点，有时要求实时处理数据并 给f l 结果。 不同的应用背景对摄像机标定技术提出了不同的要求。如果系统的任务是物体定 位，棚对于某一参考坐标系的绝对定位精度就特别重要。如在自主车辆导航系统中，自 二j i 式移动机器人必须准确地知道其自身的位置、工作空问中障碍物的位置以及障碍物的 运动情况，爿能有效安全地进行导航【1 7 】。如果系统的任务是物体识别，则物体相对于 某一个参考坐标系的绝对定位就显得并不特别重要，更重要的是物体特征点间棚对位置 的精度。例如，在一个基于c a d 模型的物体识别系统中，所研究物体上的特征的相对 位置必须有足够高的精度，才能进行有效的匹配和识别。c c d 摄像机的上述特点和应 川问题的要求使得对标定技术、精度和实时性等问题的研究显得特别重要，同时也导致 了研究成果的多样性。学术界最近十多年束进行了广泛的研究，对于不同的应用背景， 基于不同的思路取得了一系列成果。列现有各种方法进行总结、比较和分类，是一项很 有意义的工作f 2 4 】。 摄像机模型是光学成像几何关系的简化，最简单的模型是针孔摄像机模型( p i n h o l e m o d e l ) ，它是摄像机标定研究的基本模型。然而当计算精度要求较高，或者在近距、广 角的情形时，这种线性模型不能准确地描述摄像机的成像几何关系，须引入线性或非线 性畸变补偿，利刚校正后的模型进行三维重建才能得到更高的精度。因此成像模型和畸 变补偿成为计算机视觉中摄像机标定研究的重点。2 2 节中介绍小孔模型以及摄像机的 非线性畸变描述。 河北人学l ：学硕十学伉论文 2 2 透视变换和摄像机模型 摄像机通过成像透镜将三维场景投影到二维像平面上，其投影由成像变换摄像 机成像模型描述。 2 2 1 坐标系及坐标变换 摄像机采集的图像经高速图像采集系统变换为数字图象，并输入计算机。每幅数字 图象在计算机内为m n 数组，图像数组中的每一个元素( 称为像素p i x e l ) 的数值即 是图像点的亮度( 或称为灰度) 。 _ ，0 o - ( u o ，v o ) ，1 r 7 y x 图2 1 幽像坐物i 系 定义2 1 图像坐标系= 沁v ) 在图像平面上定义直角坐标系甜，1 ，每一像素的坐标”，v 分别是该像素在数组中的 列数和行数，( 珉v ) 为像素点的坐标值。 定义2 2 图像坐标系。= 协，y ) 以摄像机光轴与图像平面的交点o i 为原点，分别平行于址v 轴定义x 轴和y 轴， ( x ，y ) 表示以毫米为单位的图像坐标系坐标。 若o i 在地1 ，坐标系中的坐标为( u o ，v o ) ，每一个像素在x 轴与y 轴方向上的物理尺 寸为d x 、d y ，则图像中任意一个象素在两个坐标系下的坐标变换为 用齐次坐标与矩阵形式将上式表示为 2 蛳 怕 + + 一册y一 = j j “ v 第2 帝基丁神经网络的摄像机标定 。 东旧 亿2 ， 如图2 2 所示，o 点为摄像机镜头中心且在光轴上，x 轴和y 轴与图像平面x 轴和 y 轴平行，z 轴为摄像机光轴，且与图像平面垂直，光轴与图像平面的交点即为图像坐 标系的原点0 l 。 y 图2 - 2 搬像 j | l 坐标系与世界坐车j i 系 定义2 3 摄像机坐标系。= 扛，少，z ) 点0 和x ，) ，z 轴组成的直角坐标系称为摄像机坐标系。o o i 为摄像机的焦距。 l l 于摄像机可安放在环境中的任意位置，在环境中选择一个基准坐标系来描述摄像 机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系。 定义2 4 世界坐标系。= x 。，匕，z 。 在三维空间定义x w 、y w 、z w 轴组成直角坐标系，称其为世界坐标系。( x 】，z 。) 为空l 几j 点在1 址界坐标系中的坐标。 摄像机坐标系与i 丛界坐标系之f h j 的关系可以用旋转矩阵r 和平移向量t 束描述，这 j f f 空i n j 一点p 的世界坐标与摄像机坐标的对应关系可以用式( 2 3 ) 来拙述。 1 3 河北人学l j 学硕十学位论文 = ( 参 x “ 匕， z l i ， 1 = m l x n 晶， 乙 1 ( 2 3 ) 其中，r ( 3 3 f 交矩阵) 和t ( 三维向量) 为旋转矩阵和平移矩阵，m l 为4 4 矩阵， 均为外部参数矩阵。 2 2 2 摄像机针孔模型 空i 日j 任意一点p 在图像中的成像位置可以用针孔成像模型近似表示( 图2 3 ) 。 0 。( x ，y ，z ) 为摄像机坐标系，0 ( x ，y ) 为成像平面坐标系，瓯( x ，y 。z 。) 为世界坐 y 。 o 、v 悟蹦司 悟珊0 f - 以门，oo 2 i o q1 奄 o l l 0 0 10l lj ( 2 - 4 ) 其中( 虮v ) 是以像素为单位的图像坐标系坐标，( x ，) 是p 点在成像平面坐标系坐标。 s = 彤为比例因子，为摄像机焦距，) ，为倾斜因子， 吼= 么，玎i = 夕刍分别为u 轴和v 轴的尺度因子。) ，、口，、均为模型的内部参数。 由式( 2 - 3 ) 和式( 2 - 4 ) 得： 1 4 、 ，1 l 第2 章基丁神经网f 笄f l , q 摄像机标定 肌0 l i jlo y q o 2 2 3 非线性镜头畸变 瓣 x k z 1 = m , m l x 。= 慨( 2 5 ) 钏孔成像模型足一理想的摄像机线性模型。由于摄像机光学系统并不是精确地按理 想化的小孔成像原理工作，c c d 摄像机的参数未知或者不稳定，从而导致成像过程不稳 定1 2 m ，并且c c d 摄像机数字化图像分辨率低，存在量化误差，尤其是在视觉伺服系统中， 舣为近距观测，视场范围较大，因而会导致较大的非线性镜头畸变，线性模型不能准确 挑选摄像机成像的几何关系【2 6 】f 2 7 j 。山物体点在摄像机成像面上实际所成的像与理想成像 之i f j j 存存有光学畸变误差，主要的畸变误差分为三类：径向畸变，偏心畸变和薄棱镜畸变。 第一类只产生径向位置的偏差，后两类则既产生径向偏差，又产生切向偏差。图2 4 所示 理想幽 点位置 像厂淤 。 7 7 d r d t 实际图像 点位置 变 变 幽2 4 理想图像点与实际图像点 为无畸变理想图像点位置与有畸变实际图像点位置之问的关系。 1 径向畸变( r a d i a ld i s t o r t i o n ) 光学镜头径向曲率的变化是引起径向变形的主要原因，这种变形会引起图像点沿径 向移动，离中心点越远，其变形量越大。j 下的径向变形量( 枕形畸变) 会引起点向远离 l 矧像一i 心的方向移动，其比例系数增大；负的径向变形量( 桶形畸变) 会引起点向靠近 l 矧像l l l 心的方向移动，其比例系数减小1 2 8 l 。如图2 5 所示。 i s 河北人学i ：学硕十学位论文 枕形畸变止常图像桶形畸变 图2 5 径向畸变 2 偏心畸变( d e c e n t e r i n gd i s t o r t i o n ) 偏心畸变主要是由光学系统光心与几何中心不一致造成的，即镜头器件的光学中心 不能严格共线，从而引起偏心变形，这种变形是由径向畸变和切向畸变共同构成。 3 薄棱镜畸变 薄棱镜畸变是由于镜头设计缺陷和加工安装误差所造成的，如镜头与摄像机像而有 很小的倾角等。这类畸变相当于在光学系统中附加了一个薄棱镜，不仅会引起径向偏差， 而且引起切向偏差。 总的非线性畸变值可由下述公式表示： f6 y = x k i ( x 2 + y 2 ) + 露2 ( x 2 + y - ) 2 】+ ( p i ( 3 x 2 + ，2 ) + 2 p 2 x y ) + s l ( x 2 + y 2 ) 【6 i ，= x k 3 ( x 2 + 】，2 ) + 也( x 2 + y 2 ) 2 】+ ( p 2 ( x 2 + 3 y 2 ) + 2 n x y ) + s 2 ( 2 + 】，2 ) 其中，6 6 ，中第一项为径向畸变( 由镜头的形状引起) ，k ，k ：，屯，k 。为径向畸变 因子。第二项为薄棱镜畸变( 由镜头设计缺陷和加工安装误差造成，相当于在光学系统 中附加一个薄棱镜) ，p j p 2 为薄棱镜畸变因子。第三项为偏心畸变( 山光学系统的光学 中心不能严格共线造成) ，s i 和s 2 为偏心畸变因子。 一般情况下，薄棱镜畸变很小，可以忽略。在图像边缘处存在较大的畸变误差，采 用普通c c d 摄像机捕获大d , 为5 0 0 x5 0 0 像素的图像时，其边缘的畸变大约为5 个像素1 2 8 1 。 径向畸变关于摄像机镜头的主光轴对称，是对边缘处存在较大畸变的一种模型化。在工 业视觉中，一般只需要考虑径向畸变，因为引入过多的非线性参数，往往不仅不能提高 解的精度，反而会引起解的不稳定性。 1 6 第2 章基丁神经网络的摄像机标定 -_m 2 3 摄像机标定技术 同i ，摄像机标定技术主要划分为两类：第一类为传统的摄像机标定技术，根据标 定参照物已知物点的三维坐标和色t f j c h 应的图像点坐标计算摄像机的内外参数。从计算 方法上讲，传统的摄像机标定又可以分为四种：利用最优化算法的标定方法、利用摄像 机透视变换矩阵的标定方法、考虑畸变补偿的两步法和双平面标定方法。这些方法概念 清晰，易于理解，但标定过程复杂，需要高精度的标定物，且其鲁棒性较差，这对于视 觉伺服机器人系统是很难应用的，尤其在危险和恶劣环