（机械电子工程专业论文）视觉标定技术在工件自动化识别与分类中应用的研究.pdf

长春工业大学大硕士学位论文 摘要 智能机器人装备有某些类似人的感觉装置，具有感觉、识别、判断功能，能根据 周围环境的变化，按规则调整自己动作。机器人视觉定位、视觉导引、视觉伺服是智 能机器人领域的研究热点之一，摄像机的标定是视觉系统能否获得高精度的反馈信息 的一个基本的、重要的问题。现有的摄像机标定技术大致归结为两类：传统的摄像机 标定方法和摄像机自标定方法。小孔透视模型是一种理想状态的摄像机标定模型，由 于摄像机光学系统不是理想的小孔透视模型，存在加工误差和装配误差，使得物体点 在摄像机图像平面上实际成的像与理想成像之间存在光学畸变。 考虑镜头畸变的摄像机标定算法大致分为两类，一类采用直接非线性优化的技术， 这类方法的优点是建立了精确的摄像机成像模型，涵盖多种畸变类型，求解精度高， 但是模型复杂、计算量大。另一类是在线性摄像机模型中引入畸变模型，利用成像几 何性质将需要标定的参数分解，然后分别计算，不使用优化技术，只求解线性方程组。 在课题的研究中，建立了视觉检测系统，实验系统主要由a b b 六自由度机器人、 机器人控制柜、智能图像传感器、通信i o 接口板、计算机、工件传送装置组成。由 于一般工业应用中的摄像机标定技术，通常采用基于一阶径向畸变的小孔摄像机模型， 标定中只考虑镜头的径向畸变，合理分解摄像机参数，全部求解过程均采用线性算法， 可避免非线性优化的不稳定性。故在本文的摄像机的标定过程中，采用了一阶径向畸 变的小孔摄像机模型，通过开发的基于斜率的摄像机畸变校正方法对摄像机进行了标 定和对图像进行了校正，将标定后的数据应用到了系统的工作中，取得了较好的实验 结果。 本论文的题目是“视觉标定技术在工件自动化识别与分类中应用的研究”，该研究 是结合科研项目基于计算机视觉技术的活塞识别系统研究( 吉教科合字( 2 0 0 4 ) 第2 2 号) 展开的。在论文中针对计算机视觉检测技术、检测系统的组成和视觉检测系统的标 定等方面进行了研究。本文将基于一阶径向畸变模型的摄像机线性标定方法应用在机 器人视觉静态标定中，通过对摄像机的标定，进一步实现了视觉伺服机器人对活塞的 识别与分选工作。 关键词：计算机视觉，摄像机标定，针孔摄像机模型，一阶径向畸变。 长春工业大学大硕士学位论文 a b s t r a c t i n t e l l i g e n tr o b o t sh a v es o m es e n s i n ge q u i p m e n t sl i k eh u m a nb e i n g s ，t h e yh a v et h e a b i l i t yo fs e n s i n g , r e c o g n i t i o n , j u d g m e n t , t l l e y 啪a d j u s tt h e m s e l v e sa c c o r d i n gt o e n v i r o n m e n t sc h a n g e t h er o b o tv i s u a ll o c a t i o n ，v i s u a lg u i d i n g ，v i s u a ls e r v o i n ga r es e v e r a l m a i n 懈船r c hd i r e c t i o n si ni n t e l l i g e n tr o b o t s 丘e l dt h ec a m e r ac a l i b r a t i o ni sv e r yi m p o r t a n t t ot h ev i s i o ns y s t e mt oo b t a i nh i g hp r e c i s ef e e d b a e km e s s a g e s 1 1 1 cc a m e r ac a l i b r a t i o n m e t h o d sc a nb ed i v i d e di n t ot w op a r t s ：t h et r a d i t i o n a lc a m c l ac a l i b r a t i o nm e t h o d sa n dt h e c a m c l as e l f - e a l i b r a t i o nm e t h o d s n 比p i n - h o l e - m o d e li sap e r f e c tc a m e r ac a l i b r a t i o nm o d e l w h i l et h ec a m 豇 ao p t i c a ls y s t e mi sn o tt h ep e r f e c tp i n - h o l e - m o d e l t h e r ea r em a c h i n i n ge r r o r a n da s s e m b l y 髓r o r , t h e yb r i n go p t i c a ld i s t o r t i o n sb e t w e e nr e a li m a g e sa n dp e r f e c ti m a g e s d u r i n gt h ei m a g ef o r m a t i o np r o c e s s 1 1 1 ca l g o r i t h mo f c a l n e r ac a l i b r a t i o nw i t hr a d i a ld i s t o r t i o nc a nb ed i v i d e di n t ot w ok i n d s ： t h en o n l i n e a ro p t i m i z a t i o nm e t h o da n dt h el i n e a ro p t i m i z a t i o nm e t h o d p r e c i s ec a m e r a m o d e lh a sb e e nc r e a t e di nt h en o n l i n e a ro p t i m i z a t i o nm e t h o d , m a n yd i s t o r t i o u sh a v eb e e n i n c l u d e di nt h em o d e l i th a sh i g hp r e c i s i o n m a s sa l g o r i t h ma n dc o m p l e x i t ym o d e l i nt h e l i n e a rc a m 朗dm o d e l ，t h ed i s t o r t i o u sh a v eb e e nc o n s i d e r e d , p a r 锄e t e r sw h i c hn e e dt ob e c a l i b r a t e dh a v e b e e na n a l y z e da c c o r d i n gt ot h e i rc h a n k ：t c r s c a l c u l a t e ds e p a r a t e l y , o n l ys o l v e l i n e a re q u a t i o n s i nt h er e s e a r c hw o r k , t h ev i s u a li n s p e c ts y s t e mh a sb e e ne s t a b l i s h e d t h ee x p e r i m e n t s y s t e mi sc o m p o s e do f aa b b 6 - d o fr o b o t , ar o b o tc o n t r o l l e r , ai n t e l l i g e n ti m a g es e n s o r , a n i oc o m m u n i c a t i o ni n t e r f a c eb o a r d , ac o m p u t e ra n daw o r k p i e c et r a n s f e r s t h ep i n - h o l e c a m e mm o d e lw i t ho n eo r d e rr a d i a ll e n s d i s t o r t i o ni s c o m m o n l yu s e di ni n d u s t r yc a m e r a e a l i b r a t i o n t h er a d i a ll e md i s t o r t i o ni so n l yc o n s i d e r e di nt h ec a l i b r a t i o n , t h ec a l n 自f a sp a l m n e t e r sa l e a n a l y z e dr e a s o n a b l y , l i n e a ra l g o f i t h m sa l eu s e di nt h ec a l c u l a t i o np r o c e s s ，t h eu n s t a b l e n e s s o ft h en o n l i n e a ro p t i m i z a t i o nc a l lb ea v o i d e d i nt h er e s e a r c hw o r k , t h ep i n - h o l ec 瓣mm o d e l w i t ho n eo r d e rr a d i a ll e n sd i s t o r t i o nh a sb e e nu s e di nt h ec a l i b r a t i o n , t h ec a m e r ah a sb e e n c a l i b r a t e da n dt h ei m a g e sh a v e b e e nc o r r e c t e dw i t ht h em e t h o do fc a m e t ad i s t o r t i o n c o r r e c t i o nb a s e do nl i n e a rs l o p e t h ee x p e r i m e n tg o ta c c u r a t er e s u l t sw h e nt h ec a l i b r a t e d d a t ah a v eb e e nu s e di nt h es y s t e m 皿ea r t i c l e st i t l ei s “t h ea p p l i c a t i o nr e s e a r c h 踟i o nc a l i b r a a o nt e c h n i co n a u t o m a t i o nr e c o g n i t i o na n ds e l e c t i o no fw o r k p e c e s t h er e s e a r c hw o r ki sd e v e l o p e d 丽t l l “刀圮r e s e a r c hd ，p 扭t o nr e c o g n i t i o ns y s t e mb a s e do nc o m p u t e rv i s i o n ”1 1 kc o m p u t e r v i s i o ni n s p e c t i o nt e c h n i c ，t h ec o m p o s eo ft h ei n s p e c t i o ns y s t e ma n dt h ec a l i b r a t i o no ft h e i n s p e c t i o ns y s t e mh a v eb e e ns t u d i e d i nt h ea r t i c l e t h ep i n - h o l ec a n l e mm o d e lw i t ho n eo r d e r r a d i a ll e n sd i s t o r t i o ni su s e di nt h er o b o tv i s i o ns t a t i cc a l i b r a t i o n , t h er e c o g n i t i o na n ds e l e c t i o n o f p i s t o n sh a v e b e e nr e a l i z e db yr o b o tw i t ht h eh e l po f c a m e r ac a l i b r a t i o n k e y w o r d s ：c o m p u t e rv i s i o n ；c a n l c t ac a l i b r a t i o n t ；p i n - h o l ee a l n e r am o d e l ；o n eo r d e r 长春工业大学大硕士学位论文 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作 所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经 发表或撰写过的作品或成果。对本文的研究做出重要贡献的个人和集体，均己在文中 以明确方式标明。本声明的法律结果由本人承担。 敝储魏冱碚 。 日期：7 年歹月2 年日 长春工业大学大硕士学位论文 1 1 计算机视觉 第一章绪论 i i 1 计算机视觉概述 视觉使人类得以感知和理解周边的世界，是人类从大自然中获取知识的最主要的 手段。据统计，在人类获取的信息中，视觉信息约占8 0 ，其它的如听觉信息、味觉 信息、触觉信息等加起来约占2 0 【1 io 图像正是人类获取视觉信息的主要途径，三维 的客观世界投影到人类的视网膜上形成二维图像，人类通过双目的视觉功能从二维的 图像中提取出有关三维世界的信息。计算机视觉是指利用计算机和一些辅助设备来实 现人的视觉功能，从而实现对外界事物和客观三维世界的感知晗jj 。计算机视觉的研 究目标是使计算机具有通过二维图像认知三维环境信息的能力，这种能力将不仅使机 器能感知三维物体的几何信息，包括它的形状、位置、姿态、运动等，而且能对他们 进行描述、存储、识别与理解。伴随着人类对视觉认识和计算机技术的快速发展，利 用计算机模拟人类的视觉系统成为科学技术发展的必然趋势，计算机视觉已成为令人 感兴趣的前沿研究领域之一1 4 j 。 i i 2 计算机视觉理论研究及其技术应用 计算机视觉始于2 0 世纪5 0 年代，主要工作集中在二维图像分析和识别上，6 0 年 代中期，r r o b e r t s 的研究工作开创了以理解三维场景为目的的三维计算机视觉的研 究。而计算机视觉( c o m p u t e rv i s i o n c v ) 一词最早出现于1 9 7 5 年，p h w i n s t o n 在 他编辑的论文集中给出了c v 最初的定义。计算机视觉最初将二维视觉图像作为研究对 象，这也是对人类视觉系统模拟研究的开始1 5 j 。7 0 年代，d m a r r 教授在麻省理工学 院( m i t ) a i 实验室领导一个以博士生为主体的研究小组从事视觉理论方面的研究工 作，逐步形成了关于视觉的计算理论【6j 。抛r r 的视觉理论模型分为传统的通用视觉模 型和主动视觉模型。 1 传统的通用视觉模型 传统的通用视觉模型是以m a r r 视觉理论为框架的，其特点如下： 1 ) m a r r 理论认为视觉任务是由2 维图像恢复3 维场景，而成像过程中存在投影、 遮挡、畸变和噪声等影响，并且真实世界极为复杂，要想通过高度结构化的表示获得 3 维模型的客观描述是很困难的。此外，近年来很多人认为视觉任务并不总以恢复3 维场景为目标，很多情况下并不需要建立3 维模型。 2 ) m a r r 框架立足于建立通用视觉模型，尤其在视觉处理早期，基本不针对具体 问题，为保证通用性而采用一些简单的假设和基本的约束，而过分简单不现实的模型 假设对计算机视觉的发展有很大影响。 长春工业大学大硕士学位论文 3 ) m a r r 框架强调表示而不是过程，其理论框架对视觉处理是静态的。它对信息 处理是一种单向串行的自低向上的3 级加工过程，前一级处理结果的好坏直接影响后 一级处理，而高层信息不对低层反馈。没有高层次的知识参与使l “a r r 框架缺乏灵活性 和自适应性。 4 ) m a r r 框架将视觉处理的早期看成是被动接受信号的过程，这与生物视觉系统 不相符，事实上，生物对外界刺激不是简单的被动反应，而是通过身体移动或眼动等 方式改变视场，有选择地感知感兴趣的信息。 2 主动视觉模型 与传统的通用视觉不同，主动视觉强调两点：一是认为视觉系统应具有主动感知 的能力，二是认为视觉系统应基于一定的任务或目的。生物视觉系统的研究成果表明， 感知不仅是对外界刺激的被动反映，而更应是有目的、有选择地主动搜索感兴趣信息 的过程。主动视觉认为在视觉信息获取过程中，应更主动地调整摄像机的参数，如方 向、焦距、孔径等并能使摄像机迅速对准感兴趣的物体。它强调注视机制，强调对分 布于不同空间范围和时间段上的信号采用不同的分辨率有选择性地感知，这种主动感 知既可在硬件层上通过摄像机物理参数的调整实现，也可以在基于被动摄像机的前提 下，在算法和表示层上通过对已获得的数据有选择性地处理实现。同时，主动视觉认 为不基于任何目的的视觉过程是毫无意义的，必须将视觉系统与具有的目的( 如导航、 识别、操作等) 相联系，从而形成感知作用环。 。3 计算机视觉技术应用 计算机视觉被称为自动化的眼睛，在国民经济、科学研究及国防建设等领域都有 着广泛的应用。视觉的最大优点是与被观测的对象无接触，因此对观测与被观测者都 不会产生任何损伤，十分安全可靠。计算机视觉的应用很广泛，工业生产中如：生产 线上部件安装，自动焊接，切割加工，大规模集成电路生产线上自动连接引线、对准 芯片和封装，石油、煤矿等地钻探中数据流自动监测和滤波。在纺织、印染业进行自 动分色、配色。在各类检验、监视中的应用如：检查印刷底板的裂痕、短路及不合格 的连接部，检查标签文字标记，玻璃产品的裂痕和气泡等。商业上的应用如：自动巡 视商店或其他重要场所门廊，自动跟踪可疑的人并及时报警。在遥感方面：自动制图、 卫星图像与地形图对准，自动测绘地图、国土资源管理，对环境、火警自动监测。医 学方面：对染色体切片、癌细胞切片、x 射线图像、超声波图像的自动检查，进而自 动诊断等。军事方面：自动监视军事目标，自动发现、跟踪运动目标，自动巡航捕获 目标和确定距离等。 1 2 摄像机标定技术 2 长春工业大学大硕士学位论文 1 2 1 摄像机标定技术概述 计算机视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物体 的几何信息，并由此重建和识别物体【7 j 。而空间物体表面某点的三维几何位置与其在 图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数 就是摄像机参数。在大多数条件下，这些参数必须通过实验与计算才能得到，这个过 程被称为摄像机定标( 或称为标定) 。摄像机参数分为内部参数和外部参数，摄像机的 内部参数指的是摄像机成像的基本参数，如主点( 理论上是图像帧存的中心点，但在 实际上，由于摄像机制作等原因，图像中心与帧存中心并不重合) ，实际焦距( 与标称 焦距有一定差距) 、镜头畸变系数( 镜头的径向、切向以及其它系统误差) 等参数；而 摄像机的外部参数是指摄像机相对于外部世界坐标系的方位。摄像机参数总是相对于 某种几何成像模型的，这个模型是对光学成像过程的简化，目前最常用的针孔模型， 是摄像机定标研究的基本模型。然而很多情况下这种线性模型不能准确描述摄像机成 像的几何关系，如在近距、广角时的情形，因此还需要考虑线性或非线性的畸变补偿， 才能更合理地看作针孔模型成像过程。 现有的摄像机标定技术大致归结为两类：传统的摄像机标定方法和摄像机自标定 方法媚j 。传统的摄像机标定是在一定的摄像机模型下，基于特定的实验条件，如形状、 尺寸已知的标定物，经过对其进行图像处理，利用一系列数学变换和计算方法，求取 摄像机模型的内部参数和外部参数。从计算思路的角度上来看，传统的摄像机标定可 以分为四类：利用最优化算法的标定方法、利用摄像机透视变换矩阵的标定方法、进 一步考虑畸变补偿的两步法和采用更为合理的摄像机成像模型的双平面标定法。按照 求解算法的特点还可以分为直接非线性最小化方法( 迭代法) 、闭式求解法和两步法。 在上述方法的处理中，还有引入神经网络的算法等。不依赖于标定参照物的摄像机标 定，仅利用摄像机在运动过程中周围环境的图像与图像之间的对应关系对摄像机进行 标定，称为摄像机自标定方法，它又分为基于主动视觉的摄像机自标定技术( 基于平 移运动的自标定技术和基于旋转运动的自标定技术) 、利用本质矩阵和基本矩阵的自标 定技术、利用多幅图像之间的直线对应关系的摄像机自标定以及利用灭点和通过弱透 视投影或平行透视投影进行摄像机标定等。自标定方法非常地灵活，但是其标定过程 复杂，不宜用于实时性要求较高的场合，并且其最大的不足是鲁棒性不足旧j 。一般来 说，当应用场合所要求的精度很高且摄像机的参数不经常变化时，传统标定方法为首 选。而自标定方法主要应用于精度要求不高的场合。 1 2 2 机器人视觉标定 智能机器人是装备有某些类似人的感觉装置具有感觉识别、判断功能，能根据周 围环境的变化，按规则调整自己动作的机器人。在人的众多感觉中，视觉是人最重要 的感官之一。因而，机器人视觉定位、视觉导引、视觉伺服也是智能机器人领域的研 长春工业大学大硕士学位论文 究热点之一。视觉反馈机器人可以广泛地应用在工业中的焊接、装配、搬运；工件表 面质量、几何形状的测量；微电子器件的自动检测；空间技术中的交会对接；卫星回 收等多种场合【10 j 。这些应用能否准确实现，视觉系统能否获得高精度的反馈信息，都 涉及到一个基本的、重要的问题，即视觉系统的标定。 视觉系统的标定问题包括摄像机模型的建立及模型中各参数精确值的获得。确定 这一参数值的过程可以分为两部分：摄像机内部参数标定、摄像机坐标系与机器人坐 标系之间转换关系( 即“手一眼”关系) 的标定。标定方法针对视觉系统标定时采用的 方式不同，按照标定过程是否与机器人控制相结合、是否为动态过程将视觉反馈机器 人的标定方法分为离线标定和在线标定两类，也分别称做静态标定和动态标定j 。、 1 离线标定法 离线标定是最基本的标定方法，典型的方式是在一平面模板上分布有尺寸及排列 规律已知的参照物，如圆形、正方形或正六边形，通过图像处理获取需要的一组特征 点的像素坐标，对应成像模型中各参数的关系，建立方程组，通过数学方法求解标定 参数。这一过程比较繁琐，而且求取过程对数学计算要求比较高。在离线标定时机器 人不进行伺服控制，所以又称做静态标定。该方法可以分为3 类：线性标定、非线性 标定以及分步标定法。线性标定技术指通过直接求解线性公式来确定变换参数，也称 作直接线性变换法。这种算法简捷，因而被广泛使用，但未考虑透镜的畸变，通常未 知数的数目大于实际自由度，这使得求解未知参数的约束难以得到满足，结果的准确 性也对噪声比较敏感。非线性标定技术考虑了镜头畸变所引入的非线性方程，为求解 数目众多的未知数而采用了非线性优化方法。如z h u a a g 1 2 提出的一步法，将机器人 手眼关系与机器人执行器作为一个整体来建模，利用复杂的非线性优化方法同时计算 摄像机参数和转换矩阵。这种方法建立的模型精确，但计算复杂，并且要求初始条件 适当，否则，非线性搜索优化计算容易陷入局部最小。综合考虑上述两种方法的优劣， t s a i 【1 副提出的两步法首先用线性变换的方法来求解“手一眼”坐标系变换关系等外部 参数，通过施加不同的运动约束( 如纯平移或纯旋转) 来避免旋转和平移的耦合，第 2 步用迭代算法来估计畸变系数等参数。h a k 蛆1 1 4 j 将这一方法加以改进：1 ) 用线性最 小二乘法估算标定参数；2 ) 用优化方法从上一步的结果中确定旋转变换矩阵，进而确 定平移变换及投影变换关系；3 ) 用非线性优化方法确定透镜畸变系数。分步法综合了 前两种方法的特点，算法简单、快速，非常适合摄像机经常变动的场合，但会出现累 积误差的问题。 离线标定方法只考虑参考目标在视觉系统中的定位，没有充分利用机器人系统的 定位功能。苏剑波别、朱振友1 1 63 对机器人视觉系统手眼关系的快速标定问题展开了 研究。这类方法大多采用机器人的本体坐标系作为世界坐标系，通过安装在机器人上 的高精度传感器，获得摄像时刻机器人末端执行器在世界坐标系中的三维位置，同时， 末端执行器的位置在图像中也能得到，通过坐标变换，即可推导出机器人的“手一眼” 4 长春工业大学大硕士学位论文 关系。该标定方法只在一个位置对标定点取像，不需要借助其他的坐标测量仪器，就 可以一次标定出摄像机的内外参数及机器人的“手一眼”关系。其优点是算法简单、 过程方便，但前提假设是不考虑透镜畸变而且还要依赖于机器人本体参数的精确标定。 2 在线标定法 在线标定方法是一种动态标定，指在估计摄像机内部参数及“手一眼”变换关系 的同时，还实现机器人的伺服控制，通过机器人理想轨迹与实际轨迹、速度等信息的 误差，不断校正待标定的参数，在这一动态过程中同时完成标定及伺服控制等任务。 对于动态标定的基于图像伺服控制方法，关键思路是设计一算法在线计算逆图像雅可 比矩阵。l i a n g p 咄建立了一固定摄像机的视觉系统，机器人对运动目标实现轨迹 跟踪。采用准牛顿法动态估计图像雅可比矩阵，h o s o d a l l 驯采用递归最小二乘法( r l s ) 更新图像雅可比矩阵，将这一方法的应用扩展到机器人跟踪运动目标的应用中。另外， 毛剑飞【1 9j 、e l 锄s u m g a 【2 刚采用k a l m a n 滤波器技术实现视觉机器人系统的动态标定， 对视觉机器人系统的控制，由于模型参数的不确定及摄像机标定误差导致控制精度的 下降；另一方面，由于机器人系统的非线性及动力学模型的不准确，系统的动态特性 不佳。针对这两方面问题，有学者提出综合考虑机器人非线性动力学、摄像机动态标 定的自适应控制器，它通常是根据机器人的动力学方程设计机器人的计算力矩控制律， 结合自适应控制理论设计待标定参数的更新律，通过稳定性分析，能在保证末端执行 器位置误差收敛的同时进行摄像机的自标定。这类方法在一些文献中又称做自标定、 无标定或者自适应标定控制。k e l l y 等旧1 ，2 2 1 提出了一个典型的视觉机器人系统，设计 了一个定点控制器以补偿摄像机内部参数以及手眼关系转换矩阵的不确定性，并且获 得了局部收敛的稳定的结果，但要求已知机器人重力项参数；b i s h o p 2 3 , 2 4 建立了一逆 动力学控制器，也称做计算力矩控制，在控制过程中，图像平面与机器人基坐标系问 的变换关系等参数能够根据设计的更新律在线调整，最终完成标定与控制两方面的工 作，但该方法要求已知机器人系统准确的动力学模型。z e r g e r o g l u l 2 5 西。设计了未知模 型参数不同的两个自适应控制器，在假设机器人本体动力学参数已知的情况下，设计 的控制器能够实现全局渐进的轨迹跟踪，可以补偿摄像机标定参数的不确定性，同时， 能够保证位置跟踪误差收敛到零。进一步，在对整个“机器人一视觉”系统建模的情 况下，将其变换关系矩阵转化成正定对称结构，实现了自标定“机器人一视觉”伺服 控制。l i uhs u 等 2 7 , 2 8 建立参数化的动力学方程，同时根据摄像机的投影关系，得到 目标特征点的变化与其关节速度的关系。这个关系中隐含着标定的参数，最终建立一 模型参考自适应控制器，并通过递阶控制或非线性p i 控制器求解，使得参考模型与系 统模型的误差趋于零。y a n t a os h c n 2 9 , 3 0 通过对图像雅可比矩阵的分析，将其表示成机 器人运动学雅可比矩阵与“机器人一视觉”之间旋转矩阵的积，由此，提出一种在线 估计旋转矩阵的自适应算法，在提出的控制算法中，相对于视觉坐标系测量得到的末 端执行器的位置误差是通过估计的旋转矩阵被反馈到机器人控制器的。当所设计的末 长春工业大学大硕士学位论文 端执行器的理想速度满足持续激励的条件时，估计的旋转矩阵将会收敛到真值，进一 步将这一思想推广基于图像的控制算法中，同样实现了自适应标定与控制。 1 3 机器人视觉研究趋势 计算机视觉与机器人视觉研究的最终目的不同：前者主要研究视觉检验，精度要 求高，速度不是主要问题；而机器人视觉主要研究在视觉引导下机器人对环境的作用， 有实时性的要求。因此机器人视觉研究存在更多的困难，根据目前情况，机器人视觉进 一步加强研究的方向有几方面： 1 ) 图像特征的选择问题。视觉伺服的性能密切依赖于所用的图像特征，特征的选 择不仅要考虑识别的指标，还要考虑控制指标。从控制的观点看，用冗余特征可抑制 噪声的影响，提高视觉伺服的性能1 3 ，但又会给图像处理增加难度。因此如何选择性 能最优的特征，如何处理特征以及如何评价特征，都是需要进一步研究的问题。 2 ) 结合计算机视觉及图像处理的研究成果，建立机器人视觉系统的专用软件库。 在视觉伺服中，需要进行图像采集、图像处理、特征抽取及由二维信息重构三维信息 等，要处理的数据量较大，算法复杂多样。如果建立了这样的专用软件库，那么完成 视觉对机器人的伺服就容易得多。 3 ) 加强系统的动态性能研究。目前的研究多集中于根据图像信息确定期望的机器 人运动这一环节上，而对整个视觉伺服系统的动态性能缺乏研究。 4 ) 利用智能技术的成果。虽然神经网络在机器人视觉伺服中已得到应用，但多数 都是针对具体物体的具体特征或只进行了仿真实验，可以考虑用模糊神经技术解决机 器人视觉伺服问题。 5 ) 利用主动视觉的成果。主动视觉是当今计算机视觉和机器视觉研究领域中的一 个热门课题【3 引。它强调的是视觉系统与其所处环境之间的交互作用能力，因而有可 能使被动感知方式下的一些病态问题转化为良态问题，使非线性问题转化为线性问题。 6 ) 多传感器融合问题。视觉传感器具有一定的使用范围，如能有效地结合其它传 感器，利用它们之间性能互补的优势，便可以消除不确定性，取得更加可靠、准确的 结果。 1 4 课题来源及主要研究内容 1 课题的选题来源 计算机视觉检测技术是随着计算机视觉技术和光电技术的发展而出现的。视觉检 测就是对目标进行检测时，把图像当作检测和传递信息的手段或载体的检测方法。视 觉检测技术具备在线检测、实时分析、实时控制的能力，在大批量工业生产过程中， 用视觉检测方法比用人工视觉检测方法可以获得更高的精度和效率。视觉检测具有视 6 长春工业大学大硕士学位论文 场宽，量程大，非接触及较高精度等优点，其应用正逐渐取代一些传统的传感器。 智能机器人装备有某些类似人的感觉装置，它具有感觉识别、判断功能，能根据 周围环境的变化，按规则调整自己动作。机器人视觉定位、视觉导引、视觉伺服是智 能机器人领域的研究热点之一。视觉反馈机器人可以广泛地应用在工业中的焊接、装 配、搬运；工件表面质量、几何形状的测量；微电子器件的自动检测；空间技术中的 交会对接；卫星回收等多种场合。 本论文是结合科研项目基于计算机视觉技术的活塞识别系统研究( 吉教科合字 ( 2 0 0 4 ) 第2 2 号) 展开的，该项目是计算机视觉检测技术、机器人视觉伺服技术与生产 实际相结合的一个应用范例，对于研究计算机视觉检测及机器人视觉伺服技术具有一 定的理论意义和工程应用价值。 2 论文的主要研究内容 本文的研究是围绕计算机视觉检测及机器人视觉伺服技术展开的，着重对计算机 视觉中的摄像机标定技术进行了研究，将智能图像检测技术应用到了摄像机标定中， 利用智能图像传感器的检测数据，初步实现了机器人对活塞的分选工作。本论文的主 要研究内容有以下几个方面： 第一章分析了机器视觉的内容及应用，对机器视觉的研究现状进行了综述，对机 器人视觉伺服关键技术之一的机器人视觉标定技术进行了概述及分类，分析了机器人 视觉的研究趋势，阐述了本文的研究背景和研究意义。 第二章分析了机器视觉检测技术的特点及优越性，讨论了机器视觉检测系统的构 成，概述了机器视觉检测的关键技术及机器视觉检测的发展趋势。 第三章从摄像机参数模型出发，对计算机视觉中的各种摄像机标定方法进行了分 类，详细介绍了这些方法的基本原理和特点，对各种方法进行了分析、比较。 第四章采用基于径向畸变的摄像机模型，提出了基于斜率的摄像机畸变校正算 法，通过逐步分解对摄像机进行线性标定，其结果能够满足实验的需求。 第五章利用基于斜率的摄像机畸变校正算法对摄像机进行了标定，建立了以智能 图像传感器作为图像检测器件的检测系统，通过视觉对机器人的伺服完成了机器人对 活塞的分选工作，并对实验结果进行了分析。 第六章结论与展望，对全文工作进行总结，并对于下一步的研究工作进行了展望。 长春工业大学大硕士学位论文 第二章机器视觉检测系统 2 1 机器视觉检测技术 随着计算机视觉技术和光电技术得到飞速的发展，出现了一种新的检测技术一计 算机视觉检测技术。视觉检测就是对目标进行检测时，把图像当作检测和传递信息的 手段或载体的检测方法，它是以现代光学为基础，融光电子学、计算机图像学、信息 处理、计算机视觉等科学技术为一体的现代检测技术。由于计算机视觉系统可以快速 获取大量信息，而且易于与设计信息及加工控制信息集成，基于视觉检测技术的仪器 设备能够实现智能化、数字化、小型化、网络化和多功能化，具备在线检测、实时分 析、实时控制的能力，在工业、商业、医学、军事等领域 3 3 , 3 4 得到广泛关注和应用。 计算机视觉作为一种非接触检测手段已经越来越引起人们的重视，视觉检测是计 算机视觉众多应用中最为重要的领域之一，它是质量检验、定量检验和非接触测量的 重要手段之一【3 5 ，3 引。在一些特定的应用场合或人工视觉难以满足要求的场合，常常用 计算机视觉来替代人工视觉。实验表明，在大批量工业生产过程中，用视觉检测方法 比用人工视觉检测方法可以获得更高的精度和效率，原因在于人工视觉检测者的疲劳 和非一致性，而且很多检测任务对于人工来说费时和费工，对于一些精密零件的几何 参数的检测，还需借助于昂贵的精密仪器，使检测成本大为提高。在一些需要机器完 成质量保证的场合，可以将生产任务与生产过程或制造周期集成起来，使整个生产过 程完全由计算机控制，这在c i m s 环境中已经得到应用1 3 。视觉检测不仅可以节约劳 动力成本，而且还能够在一些不适合人工作业的危险环境工作，达到非接触检测的目 的。 视觉检测技术主要依赖图像处理和模式识别技术，对于字符、图形和片状物体的 理解、检测属于二维视觉方法，对于三维物体的识别、重建和测量属于三维视觉方 法 3 s 】。视觉信息处理方法包括：图像的增强、复原、重建、体征提取、分割、几何处 理、识别等。根据原理的不同又可分为基于区域的视觉方法、基于特征的视觉方法、 基于模型的视觉方法和基于规则的视觉方法等n 。 2 2 机器视觉检测系统的组成 视觉检测系统针对不同的应用有着不同的具体形式，一般由以下结构组成，如图 2 1 所示。以机械系统为基础，线阵、面阵电荷耦合器件c c d 或全息照相系统构成摄 像系统；信息的转换由视频处理器件完成电荷信号到数字信号的转换；计算机及计算 技术实现信息的处理和显示；反馈系统包括温度误差补偿，摄像系统的自动调焦等功 能；载物工作台具有三坐标或多坐标自由度，可以精确控制位移。 8 长春工业大学大硕士学位论文 图2 1 图像测量系统结构 1 摄像机 目前c c d 摄像机以其小巧、可靠、清晰度高等特点在商用与工业领域都得到了广 泛地使用。摄像机是整个视觉检测系统的感觉部分，任务是将光学信号转换成电信号， 一般采用摄像机作为视觉传感器。摄像机根据其信号传输格式有模拟摄像机和数字摄 像机，数字摄像机在降噪、速度等方面优于模拟摄像机。由于数字摄像机减少了模拟 信号传输和a d 转换所造成的信息损失，可以实现更高精度的测量。根据其传感器扫 描格式有线阵c c d 摄像机和面阵c c d 摄像机，线阵c c d 摄像机一次只能获得图像的 一行信息，被拍摄的物体必须以直线形式从摄像机前移过，才能获得完整的图像；面 阵摄像机可以一次获得整幅图像的信息。它具有二维特性、高灵敏度、可靠性好、几 何畸变小、无图像滞后和图像漂移等优点。 2 光学成像系统 光学成像系统任务是将真实物体的景象完整地投影到摄像机的焦平面上。光学镜 头参数主要有成像面尺寸、焦距、视角、工作范围、倍率、景深和接口等。在实际的 视觉检测系统中，常常选用畸变小的物方远心镜头。按照照明方式的不同，视觉方法 的图像获取方式可以分为两大类：主动式和被动式。前者可分为结构光方法和激光自 动聚焦法，后者可分为单目视觉、双目视觉和三日视觉等方法。 3 照明系统 视觉检测系统与其它传感器的工作情况不同，它对光线的依赖性很大，往往需要 很好的照明条件，使物体形成的图像最为清晰，复杂程度最低，得到最多的有用信息， 消除不必要的阴影、低反差和镜面反射等。在目前的机器视觉应用系统中，好的光源 与照明方案往往是整个系统成败的关键，起着非常重要的作用，并不是简单的照亮物 体而已。光源与照明方案的配合应尽可能地突出物体特征量，在物体需要检测的部分 与那些不重要部份之间应尽可能地产生明显的区别，增加对比度，同时还应保证足够 的整体亮度，物体位置的变化不应该影响成像的质量。在视觉检测应用系统中一般使 用透射光和反射光。对于反射光情况应充分考虑光源和光学镜头的相对位置、物体表 面的纹理，物体的几何形状等要素。光源设备的选择必须符合所需的几何形状，照明 亮度、均匀度、发光的光谱特性也必须符合实际的要求，同时还要考虑光源的发光效 率和使用寿命。总之，应该根据实际的任务，选择和设计不同的光源形式，以达到物 体成像的最佳状态。表2 1 列出了主要几种光源的相关特性。 9 长春工业大学大硕士学位论文 表2 1 几种光源对比 光源颜色 寿命( h )发光强度特点 卤光灯白色偏黄5 0 0 0 - 7 0 0 0 很亮发热多，较便宜 荧光灯白色，偏绿5 0 0 0 - 7 0 0 0 亮较便宜 l e d 灯红，黄，绿， 6 0 0 0 0 - 1 0 0 0 0 0 较亮发热少，固体， 白，蓝 能做成很多形状 氙灯白色，偏蓝3 0 0 0 - 7 0 0 0 亮发热少，持续光 电致发光管由发光频率决定5 0 0 0 7 0 0 0较亮发热少，较便宜 其中l e d 光源凭借其诸多的优点在现代视觉系统中得到越来越多的应用。 4 图像获取装置 图像获取装置的任务是将摄像机生成的视频信号转换成便于计算机处理的数字图 像信号。图像采集卡要与摄像机的类型一致，在基于p c 机的视觉检测系统中，是控 制摄像机拍照，完成图像采集与数字化，协调整个系统的重要设备。主要性能参数包 括采样速度、图像卡分辨率等。它一般具有以下功能模块： 1 ) 图像信号的接收与a d 转换模块，负责图像信号的放大与数字化。有用于彩 色或黑白图像的采集卡，彩色输入信号可分为复合信号或r g b 分量信号。同时，不同 的采集卡有不同的采集精度，一般有8 b i t 和l o b i t 两种。 2 ) 摄像机控制输入输出接口，主要负责协调摄像机进行同步或实现异步重置拍照、 定时拍照等。 3 ) 总线接口，负责通过p c 机内部总线高速输出数字数据，一般是p c i 接口，传 输速率可高达1 3 0 m b p s ，完全能胜任高精度图像的实时传输，且占用较少的c p u 时间。 有的图像采集卡同时还包括显示模块，负责高质量的图像实时显示，通讯接口负责通 讯。一些高档图像采集卡还带有d s p 数字处理模块，能进行高速图像预处理。 5 图像分析用计算机 计算机是整个视觉检测系统的核心，软件系统负责完成图像特征的提取、数据的 分析与综合等功能，软件系统是整个检测系统的灵魂，其处理精度和速度直接影响着 整个检测系统的精度和实时性能。 2 3 视觉检测系统分类 计算机视觉在工业中的应用分为两大类：视觉检测和视觉控制机器人导航系统。 视觉检测系统是利用视觉手段获取被测物体图像与预先已知标准进行比较，从而确定 被测物体的质量状况。它已经在机械零件、汽车、纺织品、农产品、木材和玻璃加工 中得到应用。视觉控制机器人是一种基于视觉测量并进行制导和控制的系统，它包含 道路规划、避免碰撞、自适应位置控制和机器人相对于特定目标在三维空间精确方位 定位。它们的应用例子包括机械产品的装配、印刷电路板、机械装置的装载或卸载和 1 0 长春工业大学大硕士学位论文 焊接等。根据计算机视觉检测系统的性质和应用范围，可分为定量检测和定性检测两 大类。每大类又分为不同的子类，如图2 2 所示。 图2 2 计算机视觉检测技术的应用 视觉检测按其所处理的数据类型可分为二值图像、灰度图像、彩色图像和深度图 像的视觉检测。另外，还有x 射线检测、超声波检测和红外线检测。大部分商业视觉 检测系统采用二值图像数据格式，其图像精度要求不高，可减少检测所需的数据量， 有助于满足系统速度和成本要求。一般地，二值图像视觉检测系统仅采用简单的检测 算法，如计算像素点、边缘检测和模板匹配等。二值图像对于检测那些没有表面特征 的平面物体或仅用边缘轮廓就可表示出来的物体是足够的。灰度图像视觉检测通常用 于检测物体的表面缺陷，如裂缝、磨损等，对光照条件要求较高。在工业环境中，由 于光照条件差，用灰度图像进行视觉检测的系统很少。彩色图像视觉检测主要用于家 具、食品等部门，一般根据阴影或色彩的变化来判断是否存在缺陷。若要检测物体的 3 d 特征通常采用深度图像。深度图像最显著的特征是清晰描述了物体的表面信息。 2 4 视觉检测系统的关键技术 视觉检测系统的关键技术主要包括：图像采集、高精度系统标定，图像的特征提 取，亚像素边缘定位技术等。 1 图像获取