计算机视觉在工业机器人上的应用

1、计算技术与自动化Computing Technology and Automation第25卷第1期2 0 0 6年3月Vol 125 ,No11Mar. 2 0 0 6文章编号:1003 - 6199(2006)01 - 0114 - 03计算机视觉在工业机器人上的应用钱新恩，夏朝猛(湖北汽车工业学院电气工程系，湖北十堰442002)摘要：介绍工业机器人计算机视觉系统的工作原理和系统组成。该系统具有对摄像机视场中特征点自动定位和跟踪功能。结合工业机器人控制软件，该系统使工业机器人能实时地调整运动轨迹，提高其适应性和灵活性。| j jLfFl ¥lj *» .J "

2、;is关键词：视觉;工业机器人；自动定位中图分类号:TP242. 2文献标识码:A仔艺逑Tv，懿卑"C 'll勺*Applicatio n of ComputerVisi on on In dustrial RobotQ IAN Xi2nen ,XIA Cha(2meng(Department of Electrical Engineering ,Hubei Automotive Industries Institute ,Shiyan 442002 ,China)Abstract : This paper introduces the principle and compo

3、sition of a industrial robot computer vision system. With the function of auto - orientation following track and control ware ,the Robot can acjust its locus on time and can im prove adaptive and clever2 ness in itself.Key words :computer vision ; industrial robot ; auto - orientation1引言“计算机视觉在工业机器人

4、上的应用”主要是为工业机器人研究开发一套具有对摄像机视场中 特征点自动定位和跟踪功能的计算机视觉系统。虽然目前机器人已经广泛的应用于工业的各 个领域，但是这些工业机器人大部分都是以“示教再现”方式工作的。即机器人在工作时，先由操 作员引导机器人运行示教内容 ，或通过计算机编程 的方式来进行示教，然后再由机器人再现先前的示 教内容。示教内容包括机器人操作机构的空间轨 迹、作业条件、作业顺序等。由于机器人进行再现 运动时，处于开环的工作方式，缺乏对外部变化信 息的了解，譬如作业对像发生了偏移或变形导致位 置发生变化，或者在其再现轨迹上有障碍物出现 时，机器人就不能根据这些变化实时地调整其运动 轨迹

5、，从而影响加工的精度甚至会造成事故。而在工厂实际应用中，由于工作环境比较恶劣，这些情况难以避免。因此，为了提高工业机器人灵活性和 适应性，使其能对外部环境的变化实时做出了调整 其运动轨迹，使其能够更好的发挥起作用，我们在原有的工业机器人系统中引进了计算机视觉系统 通过计算机视觉图像采集装置获取外部环境的图 像信息，应用图像处理技术对这些图像信号进行分 析处理，通过三维重建，实时计算出图像中作业对 像的特征点的三维位置信息。然后根据计算出的结果，利用Motocom32软件与机器人控制柜通讯 通过计算机对工业机器人进行决策控制，实现工业机器人对空间特征点的自动定位和跟踪。2系统的构成及其原理本课题

6、是基于Motoman U P6工业机器人系统 上的二次开发。在原有工业机器人基础上，添加了 一套视觉系统，使其成为一个具有视觉的工业机器收稿日期:2005 - 08 - 04作者简介:钱新恩(1948 ，男，安徽怀宁人，硕士，教授，研究方向:计算机控制(E - mail:qianxinn dongfeng. net)©China At-adtzTiic Jonima ESltelrDnic PuhliTiirt吕 E Lous匕 All rights tciuzveiL hl(p w w iki .net第25卷第1期钱新恩等：计算机视觉在工业机器人上的应用115第25卷第1期钱新恩

7、等：计算机视觉在工业机器人上的应用115人系统。整个系统包括：Motoman U P6工业机器人系统、PanasonicCCD摄像机、O K C - 50图像采 集卡、工控机以及相应的外部设备。具有视觉的工业机器人系统的构成如下图1 。盛有工艸机峑人系址if#机桃W 皿图1具有视觉的工业机器人系统构成图整个系统由两个子系统组成，一个为原有的工 业机器人系统，另一个系统为计算机视觉系统。原 有的工业机器人系统包括有 Motoman U P6工业机 器人本体，丫ASNAC - XRC - U P6机器人控制柜 , 示教编程器和相关的外部设备（机器人供电系统、 同步双轴变位机、末端执行器等）以及与计

8、算机进 行数据通信的软件 Motocom32。计算机视觉系统 主要设备有 AV ENIR TV 镜头，PanasonicCCTV 摄像机，O K系列C- 50图像采集卡以及工控机。其中，AV ENIR TV镜头、Pa naso nicCCD摄像机和 O K系列C - 50图像采集卡构成视频采集系统，主要完成目标物体的图像捕获。图像信息的三个层次的处理、控制算法、坐标变换、与机器人的通信则 都由工控机实现。工控机与机器人控制柜通过RS-232C串口相连，利用机器人远程控制程序Mo2tocom32软件实现两者之间的通信。直）。其工作电压为交流 220 - 240V，外形尺寸为 67（宽）X55（高

9、）"23（长）mm,重量为 0. 635 Kg。 镜头为日本精工的 SSL06036M，镜头的焦距可变。 虽然在视野边缘会有效的畸变，但在一定的测距范 围内，对精度的影响不大。2）图像采集卡图像采集卡选用的是北京嘉恒中自图像技术 有限公司的OK - C50型PCI图像采集卡。卡上 有2M - 32M的缓冲内存由于图像序列的存储，通过高速PCI总线可实现直接采集图像到VGA显存或主机系统的内存，使图像和菜单同屏显示，单 屏工作，还可以利用 PC机内存的可扩展性，实现 所需数量的序列图像逐帧连续采集，进行序列图像处理分析。该采集卡还提供标准的OKCard接口驱动程序及动态链接的库函数。在

10、视频采集中，采 用Plug &Play方式，可接S- Video输入，支持模拟 式解码器和 RGB分量输入，支持PAL、NTSC制 式，可采集标准彩色复合视频和RGB分量，或三个同步的独立视频。3）工控机及相应的外设工控机为奔4系列。软件组成：1）图像获取及处理软件2）图像匹配软件3）视觉系统中摄像机定标与定位算法软件。系统软件功能模块的划分如图2 所示。图傑快取与处理|期偉匹配賀像机定标与空何定世."T1L1密博机卑标空间览鱼图躍帝牡理特征提凰图3计算机视觉系统的软硬件计算机视觉系统平台如上所述。现将软硬件 组成进一步介绍如下。硬件组成：1） PanasonicCCD摄像机

11、及镜头选用的 CCD摄像机是 Panasonic公司的 WV-BP330/ G CCTV摄像机。摄像机的水平分辨率为570线，其CCD阵列的尺寸为 4. 9 （水平）X3. 7 （垂直）mm，摄像的像素为 752 （水平）心82 （垂图2计算机视觉系统软件功能模块图4计算机视觉系统的软件实现原理及流 程图本计算机视觉系统软件主要有三部分组成：图像获取与图像处理，图像匹配和图像图像间的摄像 机的定标与空间定位。整个软件都是通过 VisualC + + 6. 0语言实现的。软件实现基本流程如下图3 :£81扫已 AcAdfzriiL- JoEirriijPuhliTiin岂All riu

12、ktsww.irnkii.TLet116计算技术与自动化2006年3月程序开始图像中作业对像的特征点的三维位置信息。根据计算出的结果，利用Motocom32软件与机器人控 制柜通讯，通过计算机对工业机器人进行决策控 制，实现工业机器人对空间特征点的自动定位。使工业机器人具备视觉功能，提高了其适应性和灵活性。116计算技术与自动化2006年3月116计算技术与自动化2006年3月寸宵qi图3计算机视觉系统软件实现流程图在本视觉系统进行视觉反馈前，必须对摄像机 进行定标，以建立摄像机与实际空间点的对应关 系。进行定标时，我们需要在空间中标记一些基准 点，让摄像机摄取图像时都将这些基准点投影到对 应

13、的图像坐标上。通过采集卡获取的图像然后，对图像进行一系列处理，计算出这些基准点在图像坐 标系中的图像坐标，然利用定标算法，求出摄像机 的内外参数。在计算机视觉系统进行视觉反馈时，计算机用C语言调用图像采集卡的动态链接库函数 OKAPI. DLL中相应的控制函数，来控制图像采集 卡对摄像机摄取的全视频信号进行数据采集，形成数字化图像数据，以BMP格式存储在计算内，同时以活动视频显示在计算机上。然后计算机对获 取的两幅图像进行进行一系列的处理，包括图像的平滑和去除噪声等图像预处理，选定灰度阀值对图 像进行二值化处理，运用特征检测算子提取图像中 的特征量，计算图像中的特征量等。在完成对两幅 图像处理后，需要确定两幅图像中的共轭匹配特征 量，对两幅图像进行匹配。然后，进行三维重建，实 现空间定位。机器人视觉定位实现流程图如图4所示。5结束语通过图像采集装置获取外部环境的图像信息 对这些信号进行分析处理和三维重建，实时计算出图犠嵌馭与处理机羁人在另咆置播臨目标盘图It扳取目标点用掠图图AO与处理L两商做中特证戚进打匹ie1产生对阪的机器人 指睜井馆达给控制柜机藝人执疔远丑廉制图4机器