视觉伺服系统课程论文

1、视觉伺服系统摘要：木文首先视觉伺服的发展进行了综合了解，简单介绍了其几种分类方式，主要介绍了基于位置和图 像的两种视觉伺服系统，并对两者进行比较，然后详细介绍了视觉伺服系统屮的两个关键任务：目标物体 的图像获取与处理，他是视觉伺服系统运动规划的前提；采用bp神经网络的控制方法设计视觉伺服控制器, 最后简述了视觉伺服系统的儿种发展趋势。关键词：视觉伺服 图像处理 bp神经网络 视觉控制器visual servo systemabstract: this paper first presents comprehensive information of the development of vis

2、ual servo, and introduces different classification methods, mainly introduce image-based and position-based visual servo system, and compare the difference between this two system, then introduce two key tasks of visual servo system: image acquisition and processing, it is the peomise of the motion

3、planning principle to the robot visual servo system； design the visual servo controller using bp neural network. finally，sketch several development tendency about visual servo system.key words: visual servo image processing bp neural network visual servo controller1视觉伺服系统综述1.1视觉伺服的发展历程视觉作为人类最主要的信息器官

4、，为人类提供了多达80%以上的外部信息，视觉也被 认为是机器人最主要的感知能力。视觉传感器为机器人提供了十分丰富的外界信息，在不需 要传感器的运动及物休无任何接触的情况卜就对以达到对环境和h标的识别，这是其他传 感器难以做到的，因此机器人视觉是机器人智能化的一个上要研究方向，对他进行研究具有 重人意义。机器人视觉是上个世纪60年代末随着计算机及电子技术的快速发展而产生的。1968年, 美国斯坦福人工智能实验室的麦卡锡等人研制了带有眼、耳等“感知器官”的机械手系统，他 们给机械手装上摄像头和拾音器，在主控计算机的控制f，表演了一套能够“看见"散放在桌 而上的方块、识别语音命令以及按计算

5、机指令进行操作的系统山。到了 7()年代，图像处理 技术有了飞速的发展，并且能初步获取目标物体的深度信息，使得识别物体的精度更高。当 吋的研究工作虽然进展很快，但却只停留在理论研究，无法用于实际。这是因为视觉系统的 信息量巨大，川來处理这些信息的破件系统也相当庞大，h处理速度较低，图像处理时间过 长。1973年,shirai和inoue捉出了利用视觉反馈估算机器人位置来提高任务精度的观点， 他们釆用的方法是：首先获得目标物体的实际位置和期望位置的误差量，然后再驱动机械臂 运动,缩小误差量。这是一种开环控制模式。之后,hill和park提出了“视觉伺服(visual servoing)"

6、;的概念，他们在系统中完全采川视觉反馈闭环控制方案來捉高系统的整体精度。 为了使现代工业机器人能适用于更为复杂的工作，如焊缝跟踪、物体的精确放置，这种基于 视觉信息的机器人控制方法吸引了众人的关注。到了 80年代后期，计算机处理速度以级数状态飞快发展，图像处理软硬件和ccd摄 像头也随z迅速发展，为机器人视觉伺服研究提供了坚实的基础。在过去的十几年里，机器 人视觉控制无论是在理论方血还是在应用方血都有了很大进步，其研究工作也转向为视觉伺 服系统结构、快速有效的图像处理算法以及视觉伺服控制器的设计等儿个主要方面。1.2视觉伺服系统的分类根据摄像机放置的位置、使用的摄像机数码以及系统反馈信息类型的

7、不同，视觉伺 服系统通常可以分为以下几类：根据摄像机放置位置的不同，可分为眼在手上系统和 eye-to-hand系统；根据使用的摄像机数目的不同，可分为单目、双目和多目视觉伺服 系统；根据系统反馈信号类型的不同，可分为基于位置的视觉伺服系统、基于图像的视 觉伺服系统以及混合视觉伺服系统。1.2. 1基于位置的视觉伺服系统基于图像的视觉伺服系统，其伺服误差直接定义在图像特征空间，即摄像机观察到的特 征信息直接用于反馈，不需耍对三维姿态进行佔计。该方案的结构框图如图2所示。图2.1基于位置的视觉伺服系统结构图该方法的主要优点是直接在笛卡尔空间控制机械手的运动，另外它把视觉重构问题从机 器人控制中分

8、离出來，这样可以分别对二者进行研究。但这种方法一般需要对视觉系统和机 器人进行标定，要对图像进行解释，因而增加了计算虽。1.2.2基于图像的视觉伺服系统基于图像的视觉伺服系统，其伺服误差直接定义在图像特征空间,即摄像机观察到的特 征信息直接用于反馈，不筋耍对三维姿态进行佔计。该方案的结构框图如图2.2所示。图2. 2基于图像的视觉伺服系统的结构1.2.3基于位迸与基于图像的视觉伺服系统的比较在基于位置的控制结构中，视觉处理输出的是运动目标的朋标，并山此估计目标与 机器人之间的相对位姿，以控制机器人在直角坐标空间中的运动，它将视觉处理与机器 人运动控制分开，可以肓观地在宜角坐标系屮描述期望的相对

9、轨迹。尤其当运动日标的 轨迹易于用直角处标表达时，多采用这种结构。但基于位置的控制系统由于需要求解逆 运动学方程，计算量比较大，同时它对机器人及摄像机等的标定误差比鮫敏感，其控制 的精度肓接依赖于系统模型、标定谋差等方血，因此，不少研究致力于开发未标定视觉 情况下对运动目标的操作。一般，在基于位置的视觉伺服系统中，对运动h标操作主要 完成以下几方面的工作：1）快速进行图像处理，获得运动口标相对于末端执行器的位置; 2）分析预测其位置、速度、加速度等信息；3）建立视觉控制算法，控制机器人的运动。与基于位置的视觉控制不同，基于图像的控制系统将当前图像特征的集合与理想图像特征集合对比，不需要对三维姿

10、态估计，因而对摄像机标定的耍求不高，具有较强的 鲁棒性。但基于图像的控制结构需在线计算图像雅可比矩阵及其逆阵，计算量也比较大, 而图像雅可比矩阵直接依赖于实时变化的摄像机与口标间的距离，加人了计算的难度。 基于图像的视觉伺服系统中的核心任务就是视觉图像的处理问题。图像处理的首要任务 是如何选取图像特征，对图像进行相应处理后如何找到与机器人末端位姿建立联系的方 法,即构造图像雅可比矩阵。2目标物体的图像获取与处理目标识别是机器人视觉伺服系统运动规划的前捉，从学科研究内容上可以分为图像数字 化、图像变换、图像增强、图像分割、图像分析五个方而，其实现步骤如图：图像获取 一 图像预处理 一图像分割一

11、特征提取图2.1目标识别步骤2.1图像获取2. 1. 1图像的纶成图像的生成是物体识别过程的重要环节z-,是机器获取外界信息的重要方面。目前各 种图像获取设备均以ccd (charge coupled devices)为核心技术。2.1.2图像的数字化从ccd摄像机输出的视频信号是标准的模拟信号，为便于计算机处理，需耍把连续图 像信号转换成计算机能够接受的数字图像形式。为此需要经过一个数字化过程，数字化过程 一般包括采样、量化两个步骤。分别是：像素一!采样间隔1、采样是图像在空间上的离散化，如图2.2表示模拟图像的空间坐标离散化过程。jl行间隔t图2. 2米样zf意图2、量化是把采样后所得的各

12、像素的灰度值从模拟量到离散最的转换，即对每个离散点 的灰度值样本进行数字化处理，即在样本幅度的动态范围内进行分层、収整，以正整数表示 灰度。在计算机中,灰度级用2的整数幕表示,通常为:0,2,4.,12&256。2.2图像的预处理通常情况下，视觉系统获取的图像由于受到种种条件限制和随机t扰，往往包含着各种 各样的噪声和畸变，因而不能在视觉系统小直接使用，必须在进行图像分析和识別前进行灰 度校正、噪声过滤等图像预处理，从而去掉这些使图像质量劣化的因素，并对信息微弱的图 像进行增强，使图像变得更容易观看或使图像屮的有用信息更容易捉取。图像预处理主要包 括对比度增强和图像平滑。2.2. 1对

13、比度增强图像增强是指图像的某些特征，如边缘、轮廓、对比度等进行强调或锐化，以便于进一 步分析与处理。这种处理是输入像素点的灰度值决定输出像素点的灰度值，图像中各像素的 位置并不改变，是-种一对一的运算。2.2.2图像平滑图像平滑的主要u的是消除或尽最减少噪声的影响，改善图像质最去噪方法有空域法和 频域法，在物体识别中图像的预处理常采用空域法。通常有领域平均法、模板法、中值滤波、 多图像平均法，其中中值滤波是应用最为广泛的。2. 3图像分割2.3.1图像分割的数学描述图像分割是图像处理与机器视觉的基本问题z，其要点是把图像划分成若干互不交迭 区域的集合，这些区域要么対当前的任务有意义，要么有助于

14、说明它们与实际物体或物体的 某些部分之间的对应关系。分割的准确性直接影响后续任务的有效性，因此具有重要的应用。阈值分割是利用图像屮要提取的目标物体与背景在灰度上的差异,把图像分为具有不同 灰度级的冃标区域和背景区域组合的方法，它的实质是对图像进行二值化。阈值分割的基木 思想是确定一个阈值，然后将每个像素点的灰度值跟这个阈值相比较，根据比较的结果来确 定该点是背景还是冃标，然后将背景和冃标的像素点的灰度值分别置为255和0。 2.3.2图像分割方法旳。】一般图像阈值分割可以分成以下三步：(1) 确定阈值；(2) 将阈值与图像屮所有像素比较；(3) 根据笔记结果，将像素归类。要从复朵的景物中分辨出

15、冃标并将其形状完整地提取出来,上而的三个步骤中第一步最 为关键，如果能确定一个合适的阈值，就可以对图像进行正确有效的分割。最佳全局阈值的 确定冇以下儿种：久实验法b.直方图法c.最小误差法等。2.4特征提取从视觉传感器得到的数字图像中含有大量的数据，需要有一个合适的描述方式來给出与 期望给定同空间的图像反馈值，以便可以与期望给定进行比较，产牛控制误差。因此，我们 引入图像特征的概念。图像的特征指图像场屮可用作标志的属性，它可以分为图像的统计特 征和图像的视觉特征两类。图像的统计特征是指一些人为定义的特征，需要通过变换才能得 到，如图像的直方图、频谱、矩等。图像的视觉特征是指人的视觉可直接感受到

16、的口然特征， 不需要变换，如区域的亮度、轮廓和纹理等。图像特征的选取与检测是决定机械臂视觉伺服 系统性能指标的关键因素。图像特征的选取依赖于具体的应川场合，通常是选川物体的儿何 特征，如拐点、边(直线、圆弧)、区域而积等山】。3视觉伺服控制器3.1设计方案视觉伺服控制器是在以冃标物体的图像获取与处理时获得h标位置和姿态为给定或者 反馈，输出控制信号，对机器人的位置和姿态进行控制。基于图像的视觉伺服是根据提取出 的特征点的图像处标，利用雅可比矩阵计算出各个关节的运动量，控制机器人的运动。基于 图像雅可比矩阵的控制方法是当前无标定视觉伺服的主要研究方向。图像雅可比矩阵的概念 最初由sanderso

17、n和weiss等提出问。近年来，人丄神经网络的出现为解决机器人控制住存在的一些问题提供了新的途径。在 视觉伺服控制器设计中可以采用bp神经网络学习图像特征变化率与机械臂关节角度变化量 z间的非线性关系，实现复合图像雅可比矩阵的功能。网络输入是当前图像特征与期望图像 特征的误差值，网络输出是当前关节角度少期望的关节角度的误差值。学习阶段可通过人为 地随机移动机械臂末端，得到相应各关节角度增量，并记录相应图像特征欠量的变化值，得 到训练样本，再选择合适的算法对网络进行离线训练，建立起两者之间的关系。执行阶段根 据神经网络输入，也就是实吋图像特征欠量期望h标特征欠量的误差值，得到相应的网络 输出，也

18、就是各关节角度增量。神经网络学习过程如图3所示。图3.1神经网络学习过程3.2视觉伺服控制器的设计3.2.1 bp网络参数设置在离线训练bp网络之前，各参数的选择都影响着训练的速度和精度。为了使bp网络 能够更快、更好的训练，各参数的设置至关重要。网络的层数 层数的增加主要是为了进一步的降低误差，提高精度，但这样做的同吋也 使网络复杂化，增加了网络的训练时间。文献13课用单隐层的bp网络学习图像特征矢量 增量与机械臂关节角度增量之间的关系模型，输入为图像特征矢量变化量力/,输出为基座 和大臂关节角度增量2）。隐层的神经元数网络训练精度的提高，可以通过增加隐层神经元个数的方法來获得。 其训练效果

19、比增加网络层数更容易观察和调整。选取多少个隐含层节点在理论上并没有一个 明确的规定，需在具体的仿真过程中，通过对不同神经元数进行训练对比，选择最佳数冃。 学习率 学习率决定每次循坏训练时权值变化量大小。较大的学习率使训练加快，收敛 快，但可能导致系统的不稳定；较小的学习率使训练吋间延长，收敛慢，但能保证网络的误 差值不跳出误差表面的低谷而最终趋于最小误差值。（4）期望误差 耍想提高系统精度，设置较小的期望误差是手段z-o但是这是需要以增加 隐层节点数和训练时间为代价來获得的。因此，期望误差值也应当通过对比训练后确定一个“相对合适”的值。对于一个多关节机器人,建立的bp网络是一个多输入多输出网络

20、。训练样木数量越多、 范围越宽、数据越准确，网络的鲁棒性越好。3.2.2 bp网络训练定义神经网络的学习性能误差函数为：e =扭（碗-册卩（砒一砒）式中硝一一第k个输出单元的期望输出；硝神经网络第k个输出单元的实际输出所谓训练bp网络就是bp网络的离线学习阶段，即将样木数据重复用于学习，采川反 向传播规则來调整权值，直至获得最小误差结果。神经网络的沪习过程就是各网络权值的调 整过程。首先置所有的网络权值为较小的随机数，利用采集到的训练样木计算此吋网络的实 际输出，根据期望输出和实际输出的误差实时调整各层的网络权值，如此循环比较、调整, 直到谋差满足要求。首先进行网络训练样本的采集。将目标圆放置

21、在期望的位置上，并手动将机械悴末端正 对着口标圆，此时可通过光电码盘测得机械臂基朋关节和人臂关节期望角度值。另外，通过固定在末端的摄像头拍摄fl标圆图像,通过视觉子系统处理后得到期望图像特征欠量。此吋, 机械柠位姿向量增量40和图像特征欠量变化量4t为oo然后让机械臂运动一个任意的角度 e,可以获得相应的图像特征矢量的变化量4a按照上述方法，在目标位置附近邻域内采 集多组样本。关节角度增量&为示教信号，图像特征变量4/为输入信号，神经网络不断改 变权值，直到示教信号与神经网络输出向量之间的误差减小到0。按照上述方法，在目标位 置附近的邻域内采集多组样木。经测得期望的图像特征欠量为(13

22、8, 170, 75)，基座与人臂 关节角度最为1.404v, 0.743vo实验屮共采集50组样木，其屮部分样木数据如表2所示。表2.1神经网络的训练样本网络输入样本网络输出样本图像特征变化量4t基座与大臂关节角度増量序号aaabar1-1-6-170.1370.264?-2539-0.4330.06334-216-0.2930.25642211-46-0.431-0.269539-11 0.1030.0616355780.2020.041727247-0.2440.2018-2-4133-0.13-0.1399-2812160.152-0.21410-21241-0.3660.08 506

23、5-59710.233-0.208样本采集(50组)完后，对网络进行离线训练以得到机械臂位姿矢量变化量和图像特征矢 最变化最间的非线性关系。可以采用matlab神经网络丁具箱(neural network toolbox)屮的 bp网络训练函数对神经网络进行离线训练。文献13采用单隐含层的3层标准bp网络结构，具有3个输入、2个输出。主耍是训 练函数和隐层节点数的选取。bp网络的网络权值通过离线训练方式获取，然后用于在线控 制。通过上述比较确定本课题的网络权值的修止算法采用赋予h适应lr的动量梯度卞降法。 隐层节点数设置为20,因此，网络为3x20x2的结构，隐层传递函数为双曲正切函数，输 出

24、层传递函数为线性传函，迭代运算的终止条件采用误差终止法。创建一个新的bp网络 的命令代码为：net = newff(pr,20,2, ansig*, 'purelin*/traingdx*)利用赋予自适应 lr 的动 量梯度下降法进行网络训练的训练参数如表3.2所示。表3. 2 bp网络训练参数参数名称默认值设定值属性net.trainparam.epochs10100000最大训练次数net.trainpciram.goal00.001训练要求精度net. train param0.010.05学习率nct.trainparamr_inc1.051.05学习率lr增长比net.tra

25、inpiiram.lr_dec0.70.7学习率lr下降比net.trainpara munax perf inc1.041.04最大误差率nct.trainparam.mc0.90.9动量因子net.trainparam.show2550显示训练迭代过程net.trainparam.limeinfinf最大训练时间net.trainpara m.m in_gradle-10le-10最小性能梯度net.trainpara m.m ax_fail55最人确认失败次数之麻调用训练函数train()对网络进行训练，其训练过程如图3. 2所示。100501001 50200250300350400s

26、toptg 410 epochs图3.2自适应lr的动量梯度下降法训练过程因为newff()函数的随机性，所以基木上每一次的训练结果都是不同的。最示应用sim() 函数仿真验证。训练前后输出值如表3.3所示。表3.3 bp网络训练结果训练厉网络的实际输出值期望输出值序号a0!'妙a0“2i0.12260.25150.1370.2642-0.43240.0593-0.4330.0633-0.30030.2510.2930.2564-0.429-0.2683-0.431-0.2695-0.10280.0639-0.1030.06160.18670.02650.2020.0417-0.248

27、20.2014-0.2440.2018-0.1393 0.1346-0.13 0.1399(11492 0.21470.152-0.21410-0.3680.0827-0.3660.08 50().219-0.02510.233-0.028网络输出值与期望值很接近，证明训练麻的bp网络是可行的。4视觉伺服的研究趋势自从将视觉集成到机器人控制上以來，经过三十多年來理论算法上的发展以及硬件运算 能力的不断提高，机器人视觉伺服控制这一领域取得了十分显著的成就。然血，机器人视觉 伺服系统在工业上的应用仍是卜分有限的，而且人部分的应用系统仍只具有简单的视觉功能。 根据目前的发展水平及应用屮所遇的困难，今后需在以下儿个方面做进一步的研究|： 改进图像处理算法，有效、快速、准确地提取日标的位置信息(2) 无标定的视觉伺服的研究(3) 视觉伺服系统动态性能研究(4) 智能控制算法的应用(5) 主动视觉的应用(6) 将视觉传感器为其他传感器融合致谢：本课程论文是在李老师的悉心指导下完成的，在此向李老师衣示诚挚的感谢。课堂上老师精彩的讲 解和同学2间热烈的讨论让我对机电一体化专题有了较为深入的了解，在平时的学习生活中同学z间的相 互讨论也使得我的课程论文能够顺利的完成，在此也表达我诚挚的谢意！参考文献：uj黎志刚，段锁林，赵建英,毕友明机器人