机器人视觉传感器的应用-庞浜.doc

机器人视觉传感器应用庞浜学号19920141152889（厦门大学 物理与机电工程学院，福建 厦门 361005）摘要：传感器是自动控制特别是机器人技术中一个很重要的部分。它类似人的五感(眼、耳、鼻、舌、身)对对象物，周围环境，系统内部状态进行快速、准确的感觉、检测、识别。本译文介绍了几种类似人视觉功能的传感器(红外线传感器，视觉位置传感器，色识别传感器)，及其原理、特点、应用及主要技术指标。在机器人发展日益成熟的今天，视觉传感器的重要作用日益显现。关键词：视觉传感器，图像处理，机器人Abstract:Sensor is a very important part of automatically controlled in particular robotics. It is similar to one of the five senses (eyes,ears,nose, tongue,body) to the object, the surroundings, the internal state of the system for fast, accurate feeling, detection, identification.The translation introduces several features similar to human vision sensors (infrared sensors, vision - position sensors,color recognition sensor),and its principles， characteristics,applications and main technical indicators.In todays increasingly sophisticated robot development, the important role of the visual sensor becomes increasingly obvious.81引言目前，在全世界的制造业中，工业机器人已经在生产中起到了越来越重要的作用。为了使机器人能够胜任更复杂的工作，机器人不但要有更好的控制系统，还需要更多地感知环境的变化。其中机器人视觉以其信息量大、信息完整成为最重要的机器人感知功能。机器人视觉伺服系统是机器视觉和机器人控制的有机结合，是一个非线性、强藕合的复杂系统，其内容涉及图象处理、机器人运动学和动力学、控制理论等研究领域。随着摄像设备性能价格比和计算机信息处理速度的提高，以及有关理论的日益完善，视觉伺服已具备实际应用的技术条件，相关的技术问题也成为当前研究的热点。机器人视觉是使机器人具有视觉感知功能的系统。机器人视觉可以通过视觉传感器获取环境的一维、二维和三维图像，并通过视觉处理器进行分析和解释，进而转换为符号，让机器人能够辨识物体，并确定其位置及各种状态。机器人视觉视觉侧重于研究以应用为背景的专用视觉系统，只提供对执行某一特定任务相关的景物描述。机器人视觉硬件主要包括图像获取和视觉处理两部分，而图像获取由照明系统、视觉传感器、模拟数字转换器和帧存储器等组成。根据功能不同，机器人视觉可分为视觉检验和视觉引导两种，广泛应用于电子、汽车、机械等工业部门和医学、军事领域。计算机视觉应用多采用光电传感器、视觉传感器或者视觉系统来实现。光电传感器结构简单，价格便宜，但是功能十分单一；基于PC机的视觉系统具有灵活的配置，并且具有优秀的处理性能和扩展能力，适合于各种视觉应用，但是系统相对比较复杂，开发周期长，价格也昂贵。视觉传感器则具有价格适中、开发简单、体积小巧、可扩展性强等优点。视觉传感器通常是指综合了光学设备功能和图像处理功能的独立传感器，它在保持灵活性的同时提供准确的决策结果。视觉传感的工作原理如图1所示，其工作流程分为三步。采集：摄像头捕获对象或者对象上某一部分的图像；分析：图像传输到存储器中进行处理、分析并和预设的参数进行比较；决策：传感器基于用户设定的容错参数进行决策，最后输出结果。视觉传感器与光电传感器的传感模式相同，只是前者需要外置的光源。但是光电传感器只能产生一束光，即只能检测某一个点；而视觉传感器可以检测某一个区域并产生数以千计的像素，而且通过调节传感器镜头可以改变检测区域的大小，在多点检测应用场合下只能使用视觉传感器。视觉传感器还拥有很强的分析能力。它可以分析图像的形状、大小和位置，能广泛应用于测量应用、模式匹配和视觉运动导向。视觉传感器也具备强大的通讯功能，它不仅能够输出数字信号和模拟信号，也可以通过串口VGA(Video Graphics Array)接口或以太网口等标准通讯口传输大量数据，包括被检测部件的特征信息和数字图像等等。当然，完善的视觉系统具有性能更高的硬件和通用性更好的软件。 PC架构的图像处理系统的优势主要体现在其通用性、可扩充性、灵活性上。在一些高速(100帧以上)、高分辨率(百万像素以上)或检测算法复杂、需要大存储器的应用场合，视觉传感器有时就难以胜任。但是，视觉系统价格昂贵，软件需要定制，其开发工作复杂，开发周期长，从而限制了它的应用场合。 图1 视觉传感器工作流程 Fig. 1 Work flow of vision sensors视觉传感器并非为特定应用而设计，它易于从一个应用移植到另一个应用，而且视觉传感器的设置、组态和支持都非常简单，生产线上的人就可以完成这些工作。随着微处理器、DSP、FPGA运算能力的增强，存储器集成度增加和成本的降低，视觉传感器检测软件的功能不断丰富，视觉传感器的应用领域不断扩展，已经逐渐进入了原PC架构的图像检测领域，如精密测量、质量检测、零件分类及定位等。我们实验室的自动焊接机器人系统1， 2、CASIA-I移动机器人平台3， 4和巡线机器人平台5， 6都使用了基于PC104的视觉控制系统，其控制结构框图如图2所示。PC104计算机通过图像采集卡采集图像到内存中，首先进行图像预处理(如滤波、增强等)，然后根据控制器结构执行高级决策算法，得到最后结果后通过运动控制卡输出到机器人控制器执行。同时，采集到的图像通过无线网卡传输到实时监控中心进行监控。整个系统的运算负担全部集中在PC104计算机上，图像数据需要通过高速通道传输到内存单元，执行结果也需要通过外围运动控制卡输出，整个数据传输通道比较耗时。另外， PC104计算机运行的是功能复杂的Windows操作系统，较多的系统资源消耗在系统服务中，从而影响控制系统的整体性能，而且其较大的体积和重量对移动平台而言也是一个负担。因此，我们希望开发一个集成度高、结构灵活、图像处理软件功能丰富的视觉传感器，通过集成的微处理器和微系统内核减少数据传输的通道，在保证视觉信息处理性能的同时减小系统的体积，增加系统平台的移动能力。本文开发的视觉传感器主要基于机器人平台的基本应用需求来设计和实现。在设计过程中，充分考虑了结构的灵活性和可扩展性，以便向其它的应用平台上移植。图2 基于PC104的视觉控制系统Fig. 2 Vision control system based on PC1042视觉机器人分类目前，视觉机器人伺服控制系统有以下几种分类方式:（1）按照摄像机的数目的不同，可分为单目视觉伺服系统、双目视觉伺服系统以及多目视觉伺服系统单目视觉系统只能得到二维平面图像，无法直接得到目标的深度信息；多目视觉伺服系统可以获取目标多方向的图像，得到的信息丰富，但图像的信息处理量大，且摄像机越多越难以保证系统的稳定性。当前的视觉伺服系统主要采用双目视觉。（2）按照摄像机放置位置的不同，可以分为手眼系统(eye in hand)和固定摄像机系统(eye to hand或stand alone)在理论上手眼系统能够实现精确控制，但对系统的标定误差和机器人运动误差敏感；固定摄像机系统对机器人的运动学误差不敏感，但同等情况下得到的目标位姿信息的精度不如手眼系统，所以控制精度相对也低。（3）按婿机器人的空间位置或图像特征，视觉伺服系统分为基于位置的视觉伺服系统和基于图像的视觉伺服系统在基于位置的视觉伺服系统(如图1所示)中，对图像进行处理后计算出目标相对于摄像机和机器人的位姿，所以这就要求对摄像机、目标和机器人的模型进行校准，校准精度影响控制精度，这是这种方法的难点。控制时将需要变化的位姿转化成机器人关节转动的角度，由关节控制器来控制机器人关节转动。在基于图像的视觉伺服系统中，控制误差信息来自于目标图像特征与期望图像特征之间的差异。对于这种控制方法，关键的问题是如何建立反映图像差异变化与机器手位姿速度变化之间关系的图像雅可比矩阵；另外一个问题是，图像是二维的，计算图像雅可比矩阵需要沽计目标深度(三维信息)，而深度佑计一直是计算机视觉中的难点。雅可比矩阵的计算方法有公式推导法、标定法、沽计方法以及学习方法等，前者可以根据模型推导戴标定得到，后者可以在线沽计，学习方法主要利用神经网络方法。（4）按照采用闭环关节控制器的机器人，视觉伺服系统分为动态观察一移动系统和直接视觉伺服前者采用机器人关节反馈内环稳定机械臂，由图像处理模块计算出摄像机应具有的速度或位置增量，反馈至机器人关节控制器；后者则由图像处理模块直接计算机器人手臂各关节运动的控制量。视觉伺服所面临的主要问题视觉伺服的研究到目前已有近20年的历史，但是由于视觉伺服所涉及的学科众多，所以其发展有赖于这些学科的发展，目前在视觉伺服的研究中仍然有很多问题没有很好地解决。（5）图像处理的方法在理论和实际计算处理速度上都是图像伺服最大的难点；（6）在图像处理完成后，图像特征与机器人关节运动之间模型的建立是图像伺服的另一难点；（7）目前的许多控制方法都不能保证系统在工作时是大范围稳定的，所以对有关控制方法的研究也是必要的。3 几种视觉传感器简介3.1红外线传感器红外线是比可见光波长长的电磁波，其波长在0。72-1000m。的范围内。所有作热振动的物体都发射红外线，但是人眼感觉不出来。人的体温为36-37，发射出g10件，波长的远红外线。把物体加热到400-700时发射出35林阴的中间红外线。红外线传感器是检测这些波长的光传感器。红外线传感器大致可以分为量子型和热型两种。热型高性能的焦电式红外线传感器价格便宜，使用广泛。例如人民生活中使用的防盗报警装置，自动门，火灾预感器电子量程等。在生产过程控制和自动化方面用来作非接触温度测定，薄膜厚度测定和检知物体等。本文主要论述视觉和近接觉的焦电式红外线传感器的功能以及使用时的注意事项。3.1.1特性用焦电性陶瓷作检测元件的焦电式红外线传感器，具有对不同波长的红外线的检测灵敏度不变和可以在常温下使用等特点。塑料式的和TO-5管式的焦电型红外传感器已大量投产。作隔窗用的材料是聚乙烯和硅。分别使用对红外线有不同穿透特性的窗材，可以设计出各种波长特性的红外传感器。加入干扰膜滤波器后可作为检测人休的专用传感器，附加带通滤波器可以作为检测火焰用传感器。检测元件具有自动极化的作用，在元件两端有0和e两种电极性，极化的大小取决于温度。通常元件表面的电荷由于吸附空气而被中和，不表现于外表。如果红外线通过隔窗照射到该检测元件，则由于对红外线的吸收使元件表面温度发生变化。随着温度的变化，自动极化的大小也发生变化，又产生由于吸附空气引起的外表电荷的中和。但是由于自动极化的变化快，所以能够取出对应于温度变化的电荷变化脉冲。该电荷可以用高阻抗回路作为电压检出。红外线传感器中包含有这样的阻抗变换线路。从上述检测原理知道，要检出从静止物体发出的红外线，必须把从对象物体发出的红外线作断续切断，使之成为断续光射入传感器。对于移动着的对象物，当对象物的移动方向横切红外线传感器的视域时就可以得到检测输出信号而不需要切断入射光。在切断入射光的情况下，传感器的输出随切断频率而变化。使用的切断频率通常最高是10HZ，因为在10HZ以上时检出感度同频率成反比。检出感度随着温度而改变，在-20+80范围内由大变小，但是在实用上其温度的影响可以忽略。3.1.2 红外线传感器的选定红外线传感器的检知感度在0。220m的范围内是平坦的不依赖于波长。为了使红外线传感器具有波长特性，要使用具有各种不同透光特性的滤波材料作隔窗。因此必须根据使用目的来选用红外线传感器。检知人体，可以做成检测910m的红外线，为了遮隔太阳光等的外来光，使用附加有7m的导通滤波器作隔窗。对于检测火焰，使用3-5m的带通滤波器作隔窗。测定温度则使用对红外线的吸收少的硅作隔窗。红外线感知部分由2个检测元件构成，有人体检测用的双元件方式。这种方式具有受外界坏境的影响极小和能判别人的移动方向等特性。考虑外磁场和外电场的影响时，选用To一5管壳式的比塑料式的好。选择合适的传感器就能够实现高精度的检测。3.1.3使用时的注意点由于从传感器输出的信号很小，所以通常需要增幅6080dB。其次依靠设计滤波回路可以除去噪音和纹波。如果用反射镜和透镜把红外线聚焦，则能得到信/噪(S/N)比高的信号。此时不仅提高了检测感度，而且还可以延长检测距离，得到尖锐的方向性。采用反光镜能得到规定区域的检测，是使用上最大的优点。因为从目标物来的红外线放射能的密度同距离平方成反比例而减小，所以受光面积很小的传感器上的入射能量是非常小的。检测人体时依靠反光镜来作光学增幅特别有效，例如使用球面曲率一定的、受光面直径40mm、曲率半径54mm的单一反光镜和60dB的增幅器，可以探测出10-15米外的，以0。3米/秒的速度移动的人。红外线传感器要设置在没有大的温度变化和剧烈振动的场所。不要设置在靠近太阳光和强的外来光以及有热源的地方。因为是接收微弱的信号，所以为了不受外界噪音、外电场、外磁场的影响，采用屏蔽也是很重要的。3.1.4用途红外线传感器是检测目标物放射出来的红外线，所以不像一般的光传感器那样需要发光元件，这一点类似人的视觉。人手有近接觉，即只要靠近目标物而不接触就能感觉出目标物的温度来。如果在机器未上使用红外线传感器，则也能使之具有像人一样的视觉和近接觉。红外线传感器还被有效地用于工业生产过程的自动化。根据对红外线吸收量的测定，实现对聚乙烯和尼龙等薄膜厚度的自动监视，其精度可达1协卿。用来监视向容器注入食品和搬送东西计数等也是很方便的。通过红外线取出窗监视反应槽内的温度和监视不灼热的低温物体的表面温度，测定加热滚筒和车轴等旋转物体的温度等方面，更能充分发挥红外线传感器非接触测定的特点。3.2视觉-位置传感器在机器人视觉用的光传感器中，测量位移量和位置的传感器同摄象管和半导体图象传感器一样，有根据画面象素扫描进行读出的扫描式传感器和非扫描式的半导体位置检测元件PSD(position Sensitive Device)。这里叙述PSD位置传感器的特点和应用。3.2.1 PSD的种类和动作原理在PSD的断面和等效电路中，在其两侧具有电极A、B的尸层是均匀的阻抗层。光线入射在尸点产左的光电流在电极A、B间的分配与从P尤到电极A、B间的距离(阻抗值)成反比，并且可以从电极A、B分别取出。对于入射光的中心片位置P，若用如图2的来定义，则光的入射位置，用输出电流之比表示而不依赖于入射光强度。PSD有一维位置检测阳二维位置检测二种。对于二准PSD，在同一面上具有直交电极的单面分纪式和为了消除直交电极干扰分两面配置的高精度的两面分配式两种。3.2.2 PSD位置传感器的特点因为是非分配式的元件，所以位置分辨率高。因为是非扫描式元件，所以位置检测的响应快。同入射光射横截面大小无关，一般能得到光点的中心位置。可以同时得到入射光强度和位置。波长感度范围宽。按照分时驱动光源，能够进行多点测量。3.2.3 PSD的特性表2中列出了PSD的典型特性。FSD对光波波长的感度在3001100nm的范围内，特别是在800900nm的近红外区域感度最大。因此同PSD组合的光源，用LED或激光二极管等最合适。因为PSD是按照阻抗分配来取出输出电流，所以在接合电容相等的情况下，PSD光电变换的响应速度比同一尺寸的硅光敏二极管慢一些。但是在检测位置的响应速度上，由于非扫描式元件的特点，能够以光电转换相同的速度响应。PSD的位置分辨率，用可能检测的PSD受光面上的入射点的位移量表示，同PSD的长度和运算电路系统的噪音成正比，同入射光强度成反比。由于非扫描式元件的特点，能够以光电转换相同的速度响应。PSD的位置分辨率，用可能检测的PSD受光面上的入射点的位移量表示，同PSD的长度和运算电路系统的噪音成正比，同入射光强度成反比。当背景光和信号光混合存在时，PSD根据信号光输出的电流同由背景光产生的电流相迭加，产生位置检测误差。为了分离出信号成分，同时使用光学的和电气的分离方法。 在光学上为了减少背景光，利用了波长的差别，仅仅选择信号光通过光学滤波器。在电气上使用调制光源，采用通过调制频率的带通滤波器，当背景光的变化滞后于信号光时也可以用记录光源发光的前锋值来矫正。当背景光是萤光灯光的情况下，利用可见光阻塞(Cut)滤波器是有效的。接受PSD输出的运算电路时，由子PSD的输出信号是根据阻抗分配比率而得出的，为了不影响其阻抗比率，必须使用比PSD的电极间的阻抗小得多的输入阻抗回路。通常使用根据运算放大器原理的电流电压变换回路。给定PSD的偏压V，要以提高响应速度和抑制回路系统的噪音为目的，在合格的范围内给定较高的电压。3.2.4 PSD位置传感器的应用实例根据检测PSD受光面上的光点位置而实现检测的传感器，有根据光学系统组合，光源使用方法而制成的距离传感器和一维、二维位置的测量传感器。此外，由于PSD能同时检出光强度的特点，将它同测量距离的光学系统组合，也能作为不受测量距离影响的反射率传感器。一维、二维位置测量传感器，是在要检测的地方(如机器人操纵杆的前端等)安装LED等光源检测LED的发光状态而实现的。在传感器视野内有多个测量点的场合，根据对各光源分时点灯的办法进行分离检测。使用PSD的测距传感器，是用三角测量的原理，把测量对象的距离变成PSD上反射光点的位移量来测定的。由于PSD位置分辨率高响应速度快，光强度和位置能同时检测，能检出入射光的中心点位置等特点，所以利用这些特点作成的PSD位置传感器，得到了广泛的应用。这种测距方式，由于射向对象物体的光束可以作到很细，所以位置分辨率高，也可以用于三维立体形状的测量。不使用透镜等光学系统测量位移量时，若利用入射光的中心点进行PSD位置测量的特点，则可以用简单的缝隙来测量位移量。3.3色识别传感器这里介绍色彩色差计CR一100。在需要判定并控制物品色彩的场合，可以代替人眼实现色彩管理。3.3.1颜色识别基础所谓颜色是来自物体的光投入人眼，刺激视神经、脑细胞所引起的感觉量。为了把这个感觉量化，以前进行过种种实验。而且CIE(国际照明委员会)于1931年定义人眼具有三种感度。也就是说如果用具有像这样的三种感度的传感器观察物体，就应该能得到与人眼的感觉相同的刺激量。这个刺激量(X，Y，Z)为基础，可以用下面公式定义的色度座标(x，y)来表示颜色。 （1） （2）为了提高重复精度，本机采用双射线系统。这就是一方面对照明光源直接测光，得出对照明光源的直接测定值()，另一方面让光源照射被测物体，得出被测物体的反射光测定值()，以消除光源变化对测量的影响。这是一种常用的稳定测量的方式。测定照明光直接照射的传感器和测定被测物体反射光的传感器都具有相同的分光感度，以便消除分光的变化。从6个传感器的测定值经A/刀变换后，在运算器中按(1)式(2)式进行计算，然后在LED上显示出来。通过操作使数据从输出端子输出。此外本机还具有色差计的功能，把基准色的数据记忆在数据存贮器中，计算出基准色同测定值的偏差(Y，X，y，L，a，b)。4 视觉伺服的发展前景未来视觉伺服的研究方向主要有以下几方面:（1）在实际环境下快速、兽棒地获取图像特征是视觉伺服系统的关键问题。由于图像处理的信息量大和可编程器件技术的发展，近期把通用算法硬件化，以加快信息处理的速度的方法可能会使这一问题的研究取得进展。（2）建立适合机器人视觉系统的有关理论和软件目前的许多机器人视觉伺服系统的图像处理方法都不是针对机器人视觉系统的，如果有这样的专用的软件平台，在完成视觉伺服任务时，就可以减少工作量，甚至可以通过视觉信息处理硬件化来提高视觉伺服系统的性能。（3）将各种人工智能方法应用于机器人视觉伺服系统。虽然神经网络在机器人视觉伺服中已得到应用，但许多智能方法在机器人视觉伺服系统中还没有得到充分地应用，而且，目前研究有过于依赖数学建模和数学计算的倾向，这使得机器人视觉伺服系统在工作时计算量太大，目前计算机的处理速度很难满足系统快速性的要求，但是人类在实现有关的功能时并不是通过大量的计算来完成的，这就启发大家是否可以用人工智能的方法降低数学计算量，以满足系统快速性的要求。（4）将主动视觉技术应用于机器人视觉伺服系统主动视觉是当今计算机视觉和机器视觉研究领域中的一个热点，在这里视觉系统能主动地感知环境，按一定规则主动地提取需要的图像特征，这使得在一般情况下难以解决的问题得以解决。（5）将视觉传感器与其它外部传感器结合起来为了使机器人能够更全面地感知环境，特别是对机器人视觉系统起信息补充，可以将多种传感器加入机器人视觉系统，这样做可以克服机器人视觉系统的一些困难，但多传感器的引入，就需要解决机器人视觉系统的信息融合和信息冗余问题。4 结语近年来，机器人视觉伺服技术有了很大发展，国内、外机器人视觉系统的实际应用也越来越多，许多技术难题都有希望在近期的研究中取得进展。在未来一段时间内，视觉机器人将在机器人技术中占有突出的地位，视觉机器人将会越来越多地应用于工业生产中。我们期望在未来视频传感器能够更加地走进民众生活，为现代社会提供更多的便利。参考文献 1李原,徐德,李涛,等。一种基于激光结构光的焊缝跟踪视觉传感器J。传感技术学报, 2005, 18(3): 488 -492。2王麟琨,徐德,韩加强,等。基于工业焊接小车的视觉伺服控制算法研究J。高技术通讯, 2005, 15(11)