（电路与系统专业论文）无人机单目机器视觉着降定位的算法研究及DSP实现[电路与系统专业优秀论文].pdf

摘要 摘要 机器视觉主要用计算机来模拟人的视觉功能。它从客体的图像中提取信息，并 对这些信息进行处理，最终用于实际检测、测量和控制。 机器视觉的研究目标是使计算机具有通过二维图像认知三维环境信息的能 力。这种能力不仅使机器能感知三维环境中物体的几何信息，包括它的形状、位 置、姿态、运动等，而且能对它们进行描述、存储、识别与理解。 本文的研究工作源于一个无人机自主着降的项目，主要研究了在无人机着陆 过程中，利用机载照相设备获取图像，在做一些必要的处理之后获取所需的客体 信息最终检测得出无人机着陆姿态及其位置的技术。 无人机的飞速发展和广泛运用是在海湾战争后。以美国为首的西方国家充分 认识到无人机在战争中的作用，竞相把高新技术应用到无人机的研制与发展上， 比如先进的信号处理与通信技术能提高无人机的图像数字化传输速度。其他一些 更先进的技术装备，比如高级窃听装置、穿透树叶的雷达等也将被安装到无人机 上。无人机的回收在无人机飞行安全中占有很重要的位置，因此无人机的回收技 术在不断得到发展，其全自动降落技术是无人机研究的一个重点。 无人机的姿态角和对跑道的相对位置是它稳定飞行和安全着陆必备的导航参 数。本文研究的通过视觉方法获取无人机姿态角和位置的方法对无人机实现自主 着陆具有重要意义。囿于试验条件和器材所限，本人以飞机三维飞行模拟软件产 生的图像作为研究材料。本文对地平线和跑道的边界直线与无人机姿态角和位置 之间的关系做了详细深入的分析，学习并最终确定了从地平线直线参数中求解无 人机滚转角和俯仰角的方法，以及从跑道边界直线参数中求解无人机偏航角的方 法。在得到无人机的姿态角之后，分析了无人机姿态角与相对飞机跑道位置参数 之间的关系，最终确定求解无人机位置参数的方法。这样可以得到无人机的六个 空间自由度( 即无人机在着降区坐标系中的x ，y , z 坐标，俯仰角曰、偏航角、壬，、滚转 角) 。最后在基于d m 6 4 2 的硬件平台上实现了该算法，并做了深入优化。 该方案成本低，简单实用，为研制实际的自主着降系统提供了理论基础和解 决方案，对无人机导航定位技术的发展具有参考价值。 关键字：无人机，机器视觉，姿态检测，位置估计，d m 6 4 2 ，d s p 优化 a b s t r a c t a b s t r a c t m a c h i n ev i s i o nm a i n l ys i m u l a t e sh u m a nv i s u a lf u n c t i o nw i t ht h ec o m p u t e r i t a c q u i r e si n f o r m a t i o nf r o mt h eo b j e c ti m a g e s ，a n dp r o c e s s e st h ei n f o r m a t i o n ，a n di su s e d i nd e t e c t i o n , m e a s u r e m e n ta n dc o n t r o lf i n a l l y m a c h i n ev i s i o nr e s e a r c h e sh o wt oe n a b l et h ec o m p u t e r sa b i l i t yo fc o g n i z i n gt h e 3 di n f o r m a t i o nt h r o u g hat w o - d i m e n s i o n a li m a g e t h em a c h i n e sn o to n l yc a ns e n s et h e 3 dg e o m e t r i ci n f o r m a t i o n ，i n c l u d i n gi t ss h a p e ，l o c a t i o n ，p o s t u r e ，m o v e m e n t ，b u ta l s oo n m e i rd e s c r i p t i o n , c o l l e c t i o n , i d e n t i f i c a t i o na n du n d e r s t a n d i n g i nt h i sp a p e r , im a i n l yr e s e a r c hh o wt oo b t a i nt h ea t t r i b u t eo ft h eu n m a n n e da e r i a l v e h i c l ec o a x oi n c l u d i n gi t sp o s t u r ea n g l e sa n dl o c a t i o np a r a m e t e r sw i mt h ev i s i o n t e c h n o l o g y f o ro b t a i n i n gt h ea t t r i b u t e ，ih a v et og e ts o m en e c e s s a r yi n f o r m a t i o no ft h e o b j e c ti m a g e sw h i c h a r eg a i n e db yt h ec a l t l e r ao nu a v u a v d e v e l o p sr a p i d l ya n du s e sw i d e l ya f t e rt h eg u l fw a r t h ew e s t e r nc o u n t r i e s r e c o g n i z et h eu a v sf u n c t i o ni nw a r t h e ya p p l yt h eh i g ht e c h n o l o g yt ou a v s d e v e l o p m e n t , f o re x a m p l et h e a d v a n c e d s i g n a lp r o c e s s i n g a n dc o m m u n i c a t i o n t e c h n o l o g yc a l lr a i s ei m a g e s d i g i t a lt r a n s m i s s i o ns p e e d o t h e ra d v a n c e dt e c h n i c a l e q u i p m e n t ，s u c ha st h ea d v a n c e dw i r e t a p p i n g , t h er a d a rt h a tc a np e n e t r a t e st h el e a v e s a n ds oo nw i l la l s ob ei n s t a l l e do nt h eu a v u a v sr e c l a i m i n gi sv e r yi m p o r t a n tf o rt h e u a v sf l i g h ts a f e t y t h e r e f o r eu a v sc o m p l e t e l ya u t o m a t i cl a n d i n gt e c h n o l o g yi sa l l r e s e a r c hf o c u s u a v sp o s t u r ea n g l e sa n dl o c a t i o np a r a m e t e r sa r en e c e s s a r yf o ri t ss t a b i l i z e df l i g h t a n dt h es a f el a n d i n g t h em e t h o do fa c q u i r i n gu a v sp o s t u r ea n g l e sa n dl o c a t i o nb y m a c h i n ev i s i o nf o rt h er e a l i z a t i o no fu a v si n d e p e n d e n tl a n d i n gi so fg r e a ts i g n i f i c a n c e b e c a u s eo fd e f i c i e n tt e s tc o n d i t i o na n de q u i p m e n t s ，ir e s e a r c ht h ei m a g e sg a t h e r i n gb y s i m u l a t i o ns o f t w a r e im a k ed e t a i l e da n a l y s i st ot h ec o n n e c t i o nb e t w e e nu a v sa t t r i b u t e a n dt h eh o r i z o na n dr u n w a y j sb o u n d a r ys t r a i g h tl i n e a n dig e tt h es o l u t i o no fo b t a i n i n g t h eu a v sr o l la n g l ea n dp i t c ha n g l ef r o mt h eh o r i z o ns t r a i g h tl i n ep a r a m e t e r s ，a sw e l l 勰t h ey a wa n g l ef r o mt h er u n w a yb o u n d a r ys t r a i g h tl i n ep a r a m e t e r s a f t e ro b t a i n i n g u a v sp o s t u r ea n g l e sic a l c u l a t et h eu a v sl o c a t i o np a r a m e t e r sr e l a t i v et ot h ea i r p l a n e a b s t r a c t m a i n r u n w a y f i n a l l yir e a l i z et h ea l g o r i t h mb a s e do nt h ed m 6 4 2h a r d w a r ep l a t f o r m t h i ss o l u t i o ni sl o w c o s t , s i m p l ea n dp r a c t i c a l i ti sv e r yv a l u a b l ef o rt h eu a v s n a v i g a t i o na n dl o c a l i z a t i o nt e c h n o l o g y sd e v e l o p m e n t k e y w o r d s ：u a v , m a c h i n ev i s i o n ，p o s t u r ea n g l e sd e t e c t i o n , l o c a t i o nc a l c u l a t i o n ，d m 6 4 2 ， d s p o p t i m i z a t i o n i i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：趟日期：弘。牌争肌日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：塾l ! 叠茎导师签名：垒垩塾壹 日期：如口孑年9 月舻日 第一章引言 第一章引言帚一早ji 目 无人机是“无人驾驶飞行器 ( u n m a n n e da e r i a lv e h i c l e ，u a v ) 的简称，它是 由航模无人机发展而成的，是一种靠无线电遥控或按输入程序自主控制飞行，有 动力、可控制，能携带多种任务设备，执行多种任务，并能重复使用的无人驾驶 航空器【1 】【2 】，主要由机体、动力系统、机内制导与控制系统、起飞和回收装置以及 侦察、电子设备等组成。 2 1 世纪前十年世界各国都在大力发展各种用途的无人飞行器，目前，世界上 3 0 多个国家已研制出了5 0 多种无人机，有5 0 多个国家装备了无人机。无人机成 为本世纪武器装备发展中的最大亮点。 在科索沃战争中，北约国家大量使用无人机，总共出动不同类型无人机约2 0 0 多架，使科索沃战争成为世界局部战争中使用无人机数量最多、作用最引入注目 的战争【3 1 。 无人机昼夜可用，结构简单，使用方便，成本低，效费比高，并且不必担心 人员伤亡，因此在高技术武器装备日趋昂贵的情况下，价廉物美的无人机日益受 到各国军方的青睐，许多国家都把无人机置于优先发展的地位，竞相研制和装备 无人机，世界范围内已掀起无人机发展热潮【4 】。目前，中国有数家无人机研制和发 展中心，包括成都飞机工业公司，沈阳飞机工业公司，西北工业大学、北京航空 航天大学和南京航空航天大学。 现在，无人机的应用也从军事领域逐渐延伸至民用场合。在民用上，无人机 也大有可为，它可应用于场区监控、气象侦察、公路巡视、勘探测绘、水灾监控、 航空摄影、交通管理、森林火灾救防等。由此可见，无人机无论在军事还是在民 用方面都有极为广阔的应用前景。 无人机在执行任务过程中，回收过程是一个非常重要且容易出现故障的阶段， 研究资料表明，世界航空史上有三分之一以上的飞行事故发生在回收过程。因此， 无人机回收技术已经成为影响无人机技术发展的关键技术之一，能否安全可靠实 现自动回收也成为评价无人机性能好坏的重要指标。 2 0 世纪8 0 年代末，我国科技工作者开始进行无人机自动回收技术研究，但目 前国内还没有一种有效可行的全自动回收系统。国外对无人机自动回收问题已有 较成熟的研究成果，并且已在实战中有所应用【5 】。可以预见，随着飞机制造技术、 电子科技大学硕+ 学位论文 导航技术和控制技术的发展，安全、快速、简单易行的回收技术必将推动无人机 技术的发展。 1 1 课题的提出 无人机虽然发展迅速，但是还存在许多问题需要解决。比如，对无人机的最 基本要求就是它能够安全可靠的发射出去，完成任务后能够安全可靠的回收。现 在发射方式基本可以满足要求但是在回收上还存在不少问题1 6 1 。目前无人机有五种 主要的回收方式： 1 拦网回收：无人机在地面无线电遥控下，降低高度，减小速度，对着拦截网 飞去。拦截网由弹性材料编织而成，网的两端还连接有能量吸收器。无人机撞入 网中后，速度很快减为零。图1 1 即为一种拦截网回收的示意图。 图1 - l 。苍鹰”拦截网回收 2 降落伞回收：无人机上带有降落伞，它按照预定程序或遥控指挥下到达回收 区上空，然后自动打开降落伞或根据遥控指令开伞，降落在陆地上或水面上。 3 空中回收：其开伞的程序与降落伞回收相同，当无人机打开降落伞在空中飘 落时，用直升机等回收母机在空中将无人机回收，然后携带回场着陆。 4 缓冲火箭回收：采用缓冲火箭降低落地速度，最早应用于航天返回式卫星和 航天飞机返回地面。此方案在1 9 7 0 年底做过投放货物试验，效果较好，可大幅度 降低飞行器着陆速度。图1 2 即为缓冲火箭与阻力伞并用回收方案示意图。 2 第一章引言 一 览。瓢 嘻 】 。f 篇。黧。嚣焉荔缮i 蚕r么 图l - 2 缓冲火箭回收简图 5 着陆回收：地面操纵人员一面目视远方逐渐下降高度的无人机，一面通过遥 控装置控制无人机的飞行姿态，直至无人机着地。 对以上五种无人机回收方式的描述中，我们可以看出它们都有这样或那样的 缺点：拦网回收需要专门的拦阻装置和复杂的导引设备；降落伞回收容易受到风 的影响，且落点分散不易于控制；空中回收需要母机，显然不方便，不经济；缓 冲火箭回收太过复杂；着陆回收对操作手的依赖性很大，它要求操作手要有熟练 的技术。上述分析表明了无人机回收的自动化程度还有待提高，也正是由于这个 原因，人们对无人机自主着降产生了很大的研究兴趣，并形成了无人机研究领域 里的一个热点 7 - 1 1 。 无人机自主着降是指无人机依靠机载的导航设备和飞行控制系统来进行定位 导航并最终控制无人机降落在着陆场地的过程。要想实现自主着降，无人机必须 具备自主导航的能力，因此高精度的自主导航技术是无人机自主着降的关键技术。 目前国内外研究的用于无人机自主着降的导航技术包括：惯性导航系统( i n s ) ， g p s 导航，玳s g p s 组合导航系统和视觉导航系统。其中，惯性导航是最早研究， 最为成熟的导航技术；g p s 是近十年兴起的，应用最为广泛，技术也相对成熟的 电子科技人学硕十学位论文 导航技术。伴随着多种导航技术的出现，人们自然想到了将不同导航技术组合， 发挥各自的优势以达到最好的导航效果，i n s g p s 组合导航是最为理想，研究最 多的一种导航技术。但是上述几种导航技术都有它们各自的缺点：惯性导航系统 是利用陀螺、加速度计等惯性元件感受运载器在运动过程中的加速度，然后通过 积分计算，得到载体的位置与速度等导航参数的，它的最大缺点是误差随着时间 的推移而发散，因此惯性导航不能独立使用，而需和其它导航方法组合使用；g p s 全球定位系统是利用导航卫星来进行导航定位的，具有精确度高、使用简单等优 点。由于它完全依靠导航卫星，在和平时期是一种很好的自主导航方法，但是如 果在战争时期，该种导航方式将完全作废，因此它并不是一种完全的自主导航技 术。 视觉导航【卧2 1 【1 4 】是人们早就关注的一个问题。根据统计，人类接受的信息大部 分来自视觉，视觉为人类提供了关于周围环境最详细可靠的信息。那么机器视觉 导航能否做到这一点呢? 以前因为图像处理占用内存大，处理时间长等缺点而使 视觉系统很难做到实时处理，随着计算机技术的极大发展，上述问题迎刃而解， 使得图像处理用于实时场合成为可能，视觉导航技术也在此种情况下受到广泛的 关注和研究。如图1 3 所示，是一个典型的视觉导航定位系统的框图。 鬻鬻产 _ 一图像滤波h 图像分割h 边缘检测? - q 特征提取h 位姿检测 图l - 3 视觉导航定位系统 视觉导航技术是通过对视觉传感器获得的图像进行各种几何参数和其它参数 的测量从而得到无人机导航定位参数的一种技术，它具有设备简单便宜、获得信 息量大、完全自主和无源性等优点。目前视觉导航技术有许多应用场合，例如智 能机器人、公路交通管理、汽车安全行驶和无人机自主着降。 对于无人机自主着降过程中视觉导航的研究国内外已经有许多学校和机构在 做，并取得了一些较好的成果，而我们的研究工作也是在探讨无人机自主着降技 术前提下进行的。下面一节将简要介绍国内外相关研究工作和我们的研究工作。 1 2 国内外相关研究工作 1 加州大学伯克力分校的研究工作 他们研究了无人机着降在着降平台过程中的几个部分：图像处理、状态估计 4 第一章引言 和着降控制，并给出了实际飞行的试验结果【l5 1 。 图像处理包括了图像二值化、图像分割和特征点提取等。图像二值化是将图 像由灰度图转换为二值图，减少处理量；图像分割是将感兴趣的图像区域提取出 来。在状态估计中用到的原理是：在透视投影中，已知平面目标中的几个点和它 们之间的几何尺寸，通过对应的像点位置及它们在图像中的几何尺寸可以得出摄 相机坐标系和着陆平台坐标系之间的位置和姿态【1 6 】【1 7 】，这其中涉及到求解非线性 方程的问题。最后该校研究了无人机控制的一些问题，并给出了实际的飞行试验 结果。 2 南加j 、i i 大学的研究工作【1 8 】 图1 4 所示为南加州大学研究工作的一些图片资料，其中( a ) 是试验用的无人 直升机，( b ) 是人造着降平台的灰度图，( c ) 是( b ) 的二值图。与加州大学伯克力分校 类似，他们也选择了有特殊形状的着陆平台，且在无人机着陆过程中，也需要研 究图像处理，状态估计和着陆控制三部分内容。 图1 _ 4 南加州大学研究工作的图片资料 在图像处理的特征提取过程中，他们选择的透视投影不变特征是着陆平台上h 形目标的区域矩，由各阶区域矩构造的一些函数式具有平移、旋转、尺度缩放不 变性，由此可以反映目标内在属性的一些仿射不变特征。在具体实施过程中，首 先对大量图像上h 形目标的区域矩进行统计得到一个统计量作为该目标区域矩的 正确值，实际飞行过程中，将计算的矩值与正确值相比较，如果在误差范围外， 则认为目标错误，如果在误差范围内，则认为目标已被识别。 当目标被正确识别后，就可根据该目标进行状态估计，得到无人机的定位参 数，最后送入控制系统中去。在该大学的研究工作中，他们还提出了一种分层的， 基于行为的控制结构。总体来说，这种基于行为的控制结构将控制问题分解成一 系列相关性很小的子行为，每一种行为负责一项任务，各个行为之间平行工作来 电子科技人学硕十学位论文 完成整个任务。 3 佛罗里达大学的研究工作引 上述两个大学的研究工作都是研究无人机着降过程中的视觉导航问题，并且 为了降低图像处理的复杂度，都采用了人为设计着降区域特征图案的方法。佛罗 里达大学的研究工作有所不同，他们的研究对象是微型飞行器，研究目标不是着 降问题而是自主控制问题。 由于微型飞行器体积小，现有大型飞行器中的速度、加速度传感器不能简单 的缩小尺寸就用到微型飞行器上，而m e m s ( m i c r oe l e c t r o 。m e c h a n i c a ls y s t e m s ， 微机电系统) 技术也还不成熟，这就决定了微型飞行器上不可能有过多的传感器。 由于微型飞行器的主要任务是侦察监视，所以一般携带有图像传感器，图像中包 含了大量信息，如果能从图像中获得必要的信息，那将是一件很好的事，因此如 何从图像中获得必要的信息就成为他们的研究重点。对微型飞行器来说，滚转角 和俯仰角是它稳定飞行的必要条件，佛罗里达大学的研究工作者们研究了一套通 过图像获得这两个角度的方法。 在微型飞行器的飞行过程中，当它飞行到一定高度时，图像中会有很清晰的 地平线，通过分析研究，发现根据这条地平线，可以获得较为准确的滚转角和俯 仰角从而达到微型飞行器稳定飞行的目的。因此他们提出了一个建立在分类概念 基础上的地平线检测算法，该算法能较好的找出图像中的地平线。从地平线中解 算出两个姿态角，微型飞行器可以稳定的在空中飞行。 4 一匕京航空航天大学的研究工作【2 0 ( 魏) “，。 一 ，。_ _ m 。 、7 ( e ) 图1 - 5 北京航空航天大学研究工作的图片资料 该校研究工作的一些图片资料如图1 5 所示，其中( a ) 是他们设计的着降区的 特征图案，( b ) 是对特征图案进行边缘检测的结果，( c ) 是双目机器视觉定位的原理 图。他们同样也研究了如何设计着降区图案以简化图像处理，他们提出了利用梯 第一章引言 度的h o u g h 变换方法来检测图像中的直线以加强抗噪能力，在提取图像特征信息 之后，利用了双目机器视觉定位的方法来进行无人机着降控制。 1 3 本文研究工作 以上简要叙述了几个大学的研究工作，他们的研究取得了较好的成果，也推 动了视觉导航技术的发展。我们的课题主要是讨论无人机着陆过程中，视觉技术 的应用，他们的研究成果给了我们很大的启迪和帮助。本论文中着重讨论了无人 机末段飞行机器视觉导航的理论基础和算法设计，在此基础上，做了利用机器视 觉导航的无人机着降系统计算机半实物仿真试验，并根据试验结果进行了定位误 差分析和姿态角误差分析，最后在以d s p 为核心的硬件电路上实现了本算法。 主要内容和各章安排如下： 第一章引言，概要分析了本文研究工作的内容和意义，介绍了国内外无人机 自动回收技术研究现状和进展，并介绍了全文安排。 第二章介绍机器视觉的发展、应用和前景展望。 第三章详细讲述本论文要用到的相关几何和物理基础知识，并且完成了有关 推导。 第四章详细介绍无人机姿态估计的算法和相关推导，以及无人机位置估计的 算法研究和推导。 第五章介绍系统软件设计和硬件架构，对结果进行了分析。 第六章对本文进行总结与展望，在总结已完成工作量的基础上，提出了对系 统的改进的一些想法。 7 电子科技人学硕十学位论文 2 1 引言 第二章机器视觉 人类通过视觉感知外界信息的效率很高，人类感知外界信息，8 0 以上是通过 视觉得到的1 2 。 人类通过眼睛与大脑来获取、处理与理解视觉信息。周围环境中的物体在可 见光的照射下，在人眼的视网膜上形成图像，由感光细胞转换成神经脉冲信号， 经神经纤维传入大脑皮层进行处理与理解。视觉，不仅是对光信号的感受，它包 括了对视觉信息的获取、传输、处理、存储与理解的全过程。信号处理理论与计 算机出现以后，人们试图用摄像机获取环境图像并将其转换成数字信号，用计算 机实现对视觉信息处理的全过程，这样就形成了一门新兴的学科机器视觉。 机器视觉发展得益于神经生物学、心理学与认知科学对动物视觉系统的研究， 但是机器视觉已经发展成为一套独立的计算理论与算法，涉及人工智能、神经生 物学、心理物理学、计算机科学、图像处理、模式识别等诸多领域的交叉学科。 机器视觉主要用计算机来模拟人的视觉功能，但并不仅仅是人眼的简单延伸，更 重要的是从客观事物的图像中提取信息，进行处理并加以理解。近年来，随着计 算机技术尤其是多媒体技术以及数字图像处理与分析理论的不断发展完善，加之 大规模集成电路的飞速发展与应用，机器视觉技术得到了广泛的应用研究。 2 2 机器视觉关键技术及发展现状 图2 1 典型的工业机器视觉应用系统 第二章机器视觉 图2 1 显示了一个典型的工业机器视觉应用系统【2 2 】。从中我们能够深刻的体 会到机器视觉是一项综合技术，其中包括数字图像处理技术、机械工程技术、控 制技术、光源照明技术、光学成像技术、传感器技术、模拟与数字视频技术、计 算机软硬件技术、人机接口技术等。 以下就光源照明技术、光学镜头、摄像机、图像采集卡、图像信号处理以及 执行机构等机器视觉关键技术的发展现状进行阐述。 2 2 1 光源照明技术 优良的光源和照明方案是目前机器视觉应用系统成败的关键之一。一个好的 光源与照明方案应当具有如下特点：尽可能突出物体的特征量，在物体需要检测 的部分与那些不重要部份之间尽可能产生明显的区别，增加对比度；保证足够的 整体亮度；物体位置的变化不应该影响成像的质量。 在机器视觉应用系统中一般使用透射光和反射光。对于反射光情况，应充分 考虑光源和光学镜头的相对位置、物体表面的纹理、物体的几何形状等要素。 表2 - 1 各种光源对比 光源颜色 寿命( 小时) 发光亮度特点 卤素灯白色，偏黄 5 0 0 0 , - , 7 0 0 0很亮 发热多，较便宜 荧光灯 白色，偏绿5 0 0 0 - - - 7 0 0 0 古 较便宜冗 l e d 灯红、黄、绿、白、蓝 6 0 0 0 0 , - , 10 0 0 0 0较亮 发热少，固态， 能做成很多形 状 氙灯白色，偏蓝3 0 0 m 刁0 0 0 亮发热多，持续光 电致发光由发光频率决定 5 0 0 0 , - 7 0 0 0较亮发热少，便宜 答 目 光源设备的选择必须符合所需的几何形状。同时，照明亮度、均匀度、发光 的光谱特性也必须符合实际的要求，同时还要考虑光源的发光效率和使用寿命。 表2 1 列出了几种主要光源的相关特性。 其中，l e d 光源具有显色性好、光谱范围宽( 可覆盖整个可见光范围) 、发光强 度高、稳定时间长等特点近年来随着l e d 制造工艺和技术的不断发展成熟，价格 逐步降低，其在机器视觉领域正得到越来越广泛的应用。选用l e d 作为光源是一 种趋势。 9 电子科技大学硕士学位论文 另外，高频荧光灯因具有发光强度高、性价比高的优点，仍不失为某些应用 场合的很好选择。 2 2 2 光学镜头 光学镜头成像质量的优劣直接关系到机器视觉系统的应用。其优劣程度可用 像差的大小来衡量，常见的像差有球差、彗差、像散、场曲、畸变、色差等六种。 通常，光学镜头可分为定焦和变焦两类。在档次相同的情况下，定焦镜头比变焦 镜头的像差要小。因为对变焦镜头必须折衷考虑以使各种不同焦距下的成像质量 都相对较好。因此，在机器视觉应用系统中，通常优先考虑使用定焦光学镜头。 此外还要考虑镜头的焦距、光圈系数、倍率、接口等问题。 2 2 3 摄像机 视觉图像获取有两种方式：主动视觉和被动视觉。主动视觉是指通过器件本 身发光来产生视觉图像。被动视觉则指由传感器被动接收目标环境反射光来产生 视觉图像。摄像机是常用的被动视觉传感器，其核心部件是电子藕合器件( c c d ) 。 c c d 是近几年发展起来的新技术，以其体积小、重量轻、寿命长且抗冲击、清晰 度高等特点在机器视觉系统中得到广泛应用。 c c d 摄像机按照其使用的c c d 器件可以分为线阵式和面阵式两大类。线阵 c c d 摄像机一次只能获得图像的一行信息，被拍摄的物体必须以直线形式从摄像 机前移过，才能获得完整的图像。它主要用于检测条状、筒状产品，例如布匹、 钢板、纸张等。面阵摄像机可以一次获得整幅图像的信息。目前在机器视觉系统 中，以面阵c c d 的应用居多。 2 2 4 图像采集卡 图像采集卡是图像采集部分和图像处理部分的接口。由于图像信号的传输需 要很高的传输速度，通用的传输接口不能满足要求，这是需要图像采集卡的主要 原因。 图像采集卡一般具有如下功能： ( 1 ) 图像信号的接收和a i d 转换模块，负责将图像信号数字化： ( 2 ) 摄像机控制输入输出接1 ：3 ，主要负责协调摄像机进行同步和实现异步重置 拍照、定时拍照等； 1 0 第二章机器视觉 ( 3 ) 总线接1 3 ，负责通过p c 机内部总线高速传输出数字数据，一般采用p c i 接口，完全能胜任高精度图像的实时传输，且占用较少的c p u 时间； ( 4 ) 显示模块，负责高质量的图像实时显示； ( 5 ) 通讯接口，负责通讯。 其中( 4 ) ，( 5 ) 是某些图像采集卡的附加增强功能。现在图像采集卡还普遍有d s p 数字处理模块，能进行高速图像的预处理。 2 2 5 图像信号处理 正如人的视觉系统那样，要将眼睛所获得的视觉信息送到大脑进行综合处理， 机器视觉系统中，也要对采集到的图像信号作进一步处理，这是机器视觉系统的 关键之处。很多成熟的图像处理技术、算法都可以直接应用于机器视觉系统。 在机器视觉系统中，如何处理采集到的视觉信息是其核心所在。视觉信息的 处理技术主要依赖于图像处理方法，它包括图像增强、数据编码和传输、平滑、 边缘锐化、分割、特征抽取、图像识别与理解等内容。经过这些处理后，输出图 像的质量得到相当程度的改善，既优化了图像的视觉效果，又便于计算机对图像 进行分析、处理和识别。考虑到机器视觉系统多数应用场合具有实时、稳定的要 求，采用的处理算法一般不应太复杂。在图像信号的处理过程中，不论选用哪些 算法，都要注意处理的速度必须大于或等于图像的采集速度。 目前，随着计算机技术、微电子技术以及大规模集成电路技术的发展，为了 提高系统的实时性，对图像处理的很多工作都可以借助硬件完成，如d s p 芯片、 专用图像信号处理卡等。t i 公司推出的d s p 产品t m s 3 2 0 c 6 4 x x 系列大多可以应 用于图像信号的处理，且具有良好的实用性能。 2 2 。6 执行机构 机器视觉系统在功能上的最终实现，需要通过执行机构来完成。对于不同的 应用场合，执行机构可以是机电系统、液压系统、气动系统中的一种。无论哪一 种，除了要严格保证其加工制造和装配的精度外，在设计时还需要对动态特性， 尤其是快速性和稳定性给予充分重视。 电子科技人学硕+ 学位论文 2 3 机器视觉技术的工业应用 机器视觉技术的最大优点是与被观测的对象无接触，因此对观测与被观测者 都不会产生任何损伤，十分安全可靠。另外，视觉方式所能检测的对象十分广泛。 理论上，人眼观察不到的范围机器视觉也可以观察，例如红外线、微波、超声波 等，机器视觉可以利用传感器件形成红外线、微波、超声波等图像。另外，人无 法长时间在某些恶劣环境下观察对象，机器视觉则不知疲劳，对环境的适应性强， 所以机器视觉可以广泛地和长时间地用于恶劣的工作环境。正因为具有上述特点， 机器视觉才得以在工业应用中大显身手，被广泛应用于汽车、电子、电气、机械、 制药、玻璃、包装、印刷、运输、纺织等各个行业。工业视觉系统的应用大致分 为三个方向【2 3 】：自动检测、智能装配以及视觉伺服系统。以下就从这三个方面介 绍机器视觉的工业应用状况。 2 3 1 自动检测中的机器视党 自动检测是生产自动化的重要环节。机器视觉在自动检测中的应用极为广泛， 它包括几何量计量测试和自动视觉识别检测。 几何量计量测试技术是制造技术中不可缺少的环节。通用的光学仪器几何量 测量技术读数过程繁琐，测量时间长，人员主观误差较大，自动化程度低。机器 视觉测量技术是测试领域中的新兴一族。得益于机器视觉技术的发展，目前有结 构光测量、层析三维数字化测量、工业c t 法、立体视觉、激光扫描测量和激光雷 达等方法，它们各有优缺点。其中立体视觉属于三维测量，是人工智能与测量技 术交叉而形成的智能测量。基本过程是用摄像机从不同位置对物体摄像，在两个 摄像机的图像平面上提取和匹配需要检测的特征点，求出特征点在两个图像平面 的坐标，再利用成像公式计算出测量点的三维空间坐标。该方法具有测量速度快、 系统成本低、安装方便等优点，充分体现了机器视觉在几何量计量测试中的应用 价值和前景。 c c d 摄像机 - 一 图像采集卡 卜一 工业计算机 图2 - 2 基于机器视觉的铸件表面缺陷人工神经网络检测系统硬件结构 自动视觉识别检测基本流程是用一个摄像机获取图像，对所获取的图像进行 1 2 第二章机器视觉 处理及模式识别，检测出所需的内容。机器视觉系统用于工业自动检测的一个较 为典型的例子是基于机器视觉的铸件表面缺陷人工神经网络检测系统。该系统包 括一台c c d 摄像机、一块图像采集卡和一台工业计算机，如图2 2 。 2 3 2 智能装配中的机器视觉 机器视觉技术不仅可以用于完成一些看起来很简单( 如汽车零件装配等) 的任 务，更可在恶劣或有害的工作环境下实现装配。 目前，在工业领域中，已经有很多以机械手、视觉系统为主体的机器人系统 进入实用阶段。例如晶体管自动焊接系统、管子凸缘焊接机器人、有视觉的装配 机器人、汽车车轮装入作业的自动系统等等。机器人应用视觉的方式有很多种， 如对机械手定位以及跟踪目标提供反馈控制信息；确定和辨别零件的位置方位以 拾取零件；控制对零件的装配：引导焊缝机器人等。 智能装配中的机器视觉的难点在于对三维物体的定位和识别，主要研究重点 是立体匹配和三维重建。 2 3 3 视觉伺服系统 视觉的非接触测量特性使它对视觉伺服系统极为有用。一种典型的应用是将 视觉传感和操作集成在一个开环系统中，系统的精度直接依赖于视觉传感和执行 机构的精度。其控制采用开环视觉方法，即从图像中抽取检测物体的特征信息后 驱动相应的执行机构运动，视觉信息仅作为指令依据。 在基于图像的伺服系统中，误差信号由图像特征参数直接定义，主要涉及两 方面问题：( 1 ) 图像的特征选择和提取；( 2 ) 控制系统的分析和综合。同基于位置的 伺服系统不同，在基于图像的伺服系统中，图像特征的选择将直接决定控制率和 最终系统的稳定性和鲁棒性等性能，因而所选择的特征往往因系统而异，目的是 使整个系统便于分析和设计。 在上述机器视觉应用中，图像的获取大多是采用摄像机( 如c c d ) 作为主要手 段的。事实上，成像的方式除了可见光成像外，还有红外成像、x 光成像、超声 成像、微波成像等等。随着传感器技术以及相应成像技术的不断发展和完善，机 器视觉的可应用领域必将不断扩展。而且目前机器视觉技术也已经冲破传统视觉 理念，有了在新领域应用的成功案例。 电子科技大学硕士学位论文 2 4 机器视觉的发展方向探讨 机器视觉作为一种应用系统，其功能特点是随着工业自动化的发展而逐渐完 善和发展的。 据不完全统计，目前全球整个视觉市场总量大概在7 0 亿美元这个规模，并且 按照每年8 8 的速度在增长【2 4 1 。而在中国，由于工业自动化程度还没有达到国外 的先进水平，所以机器视觉在中国的应用还处于起步阶段，但是随着制造业对自 动化的需求以及对生产质量和管理水平的不断提高，中国对于机器视觉的需求将 会不断上升。 在国内，有大量的公司致力于机器视觉的开发研究。他们主要有北京大恒图 像、北京时利和、北京微视凌志、北京微视新纪元、深圳市视觉龙科技、香港盈 基科技、深圳科瑞自动化、深圳步进科技等公司【2 5 】。 目前机器视觉朝着两个大方向在发展，一个是嵌入式，如传感器和智能相机， 另一个是基于p c 的采用板卡和s d k 的解决方案。两者不能说孰优孰劣，它们都 有各自的适用场合和适用时期。随着终端客户对产品从外观、内部结构、产品质 量到功能的多样化等需求的不断增长，客户需要更多的灵活应用的产品，嵌入式 系统以及基于p c 的系统都在往前发展。随着工业自动化应用在中国各行各业的纵 深发展，按照未来产业的发展趋势，嵌入式的产品与基于p c 的产品会在市场上长 期并存，嵌入式的产品会集成更多的功能和更加灵活的应用，市场分额会越来越 大，而基于p c 的产品其开发难度也会随着软件包的易用性的不断增强而减少，其 应用会在一些高速和高精度的场合得到保留。 未来，中国机器视觉发展主要表现为以下一些特性： 1 、随着产业化的发展对机器视觉的需求将呈上升趋势； 2 、统一开放的标准是机器视觉发展的原动力； 3 、基于嵌入式的产品将取代板卡式产品； 4 、标准化、一体化解决方案也将是机器视觉的必经之路； 在未来的几年内，随着中国力i t * t 造业的发展，对于机器视觉的需求也逐渐 增多；随着机器视觉产品的增多，技术的提高，国内机器视觉的应用状况将由初 期的低端转向高端。机器视觉的应用也将进一步促进自动化技术向智能化发展。 及时跟踪国际发展趋势，结合我国各行各业( 不仅仅是工业，也包括农业、军 事、交通、安全等各领域) 的实际，大力发展机器视觉技术，开发实用的机器视觉 应用系统是广大科研工作者应当重视的问题。我们应当积极推动机器视觉在中国 1 4 第二章机器视觉 的发展，提高其应用技术水平，从而为我国的现代化建设做出贡献。 2 5 本章小结 本章主要介绍了机器视觉系统的构成。本章对机器视觉的几种关键技术进行 了详细的阐述。介绍了机器视觉的典型工业应用，并列举了一些实际用例。而且， 对机器视觉的发展进行了研讨，总结了中国机器视觉行业的发展特性和重要意义。 电子科技人学硕十学位论文 3 1 引言 第三章空间几何变换和摄像机模型 三维计算机视觉系统应该能从摄像机获取的图像信息出发，计算三维环境物 体的位置、形状等几何信息，并由此识别环境中的物体。图像上每一点在图像上 的位置与空间物体表面相应点的几何位置有关。这些位置的相互关系则是由摄像 机成像几何模型所决定的。 3 2 欧式空间的刚体变换 在机器视觉中，刚体变换【2 6 】经常用于两个方面：一是计算一个刚体经过旋转 和平移后的新坐标；另一是计算同一个刚体在不同坐标系中的坐标。 3 2 1 刚体变换过程 在欧式空间当物体被看作理想的刚体时，不论是该物体的位置和方向发生变 化，还是在不同的坐标系观察同一物体，物体的长度、角度都保持不变，因此， 其形状和大小保持不变，并且都可看成是刚体坐标的变换。 假设在欧式空间有一点p ，其在两个坐标系中的坐标分别是p = ( x ，y ，z ) r 和 p i - ( f ，y ，z ) r ，如图3 - 1 所示， ， y 那么有变换公式 图3 1 欧式空间坐标变换过程 1 6 第二章空间儿何变换和摄像机模型 p t _ r p + t( 3 一1 ) 此式表明p 点在第二个坐标系中的坐标p 是由其在第一个坐标系中的坐标p 通过 旋转和平移变换而得到。其中t = ( f ，t ，t ：) 7 是一个三维向量，称为平移向量，表示 第一个坐标系原点在第二个坐标系上的坐标。r 是一个3 * 3 的正交矩阵且它的行列 式值等于1 ，表示旋转变换，即 t 2 吒3 尺2 l l 眨2 吃3 l ( 3 2 ) l r 3 。r 3 ：吩，j 旋转矩阵r 有9 个参数，但并不是互相独立的，具有以下特性： ( 1 ) r r r = r r r = i ，因此r = r r ( 2 ) r u i = l u l ( 3 ) r u r v = u v ( 4 ) r u r v = r ( u x 功 其中，i 是3 * 3 单位矩阵，u 和v 为两个任意的三维向量， il 为向量的模。表示点乘， 点乘也叫向量的内积、数量积，顾名思义，求得的结果是一个数。表示叉乘，叉 乘，也叫向量的外积、向量积，顾名思义，求得的结果是一个向量。 可见，r 只有三个独立参数，即r 的9 个元素满足以下6 个约束条件： j + ；+ 吒；= 1 乞+ 唛+ 绣= l 瑶+ 暖+ 穗= 1 吒l 吒l + 1 2 饧+ 吒3 r 3 32 0 吃i 吩l + r u t s 2 + 仫吩3 = 0 吩l 吒l + 吩2 2 + 吩3 3 = 0 实际上，式( 3 1 ) 描述了第一个