机器人视觉伺服定位控制及目标抓取

1、XIAMEN UNIVERSITY机器人视觉伺服定位控制与目标抓取机器人视觉伺服定位控制与目标抓取2017.52017.5内 容r 机器人抓取及其研究现状机器人抓取及其研究现状r 机器人抓取位姿判别机器人抓取位姿判别r 基于视觉伺服的机器人定位控制基于视觉伺服的机器人定位控制r 机器人视觉反馈控制在工业上的应用机器人视觉反馈控制在工业上的应用r 总总 结结 r机器人抓取面临着挑战机器人抓取面临着挑战 随着机器人技术的发展，机器人越来越多的融入到人的生活和工作环境中，代替人类完成各种作业，这必然要求机器人承担对比工业生产更加复杂的操作务，比如机器人端茶倒水，递送物品，自动拣握工具等等。智机器人代

2、表了机器人发展的尖端技术，在日常生活、医疗、航天等领域具有广泛的用。 一方面，一方面，我们希望机器人具备一定自主性学习和自协调能力，且能够通过学习掌握在新环境下操作的技能。 另一面，另一面，机器人对物体抓取操作是其自主作业当中经常面临的一个问题，目前传统工业机器人定式的操作方式，限制了机器人抓取的自主性。机器人抓取操作一一 机器人抓取机器人抓取 VS 人的抓取人的抓取 对人而言，手不仅能够根据不同形状和不同尺寸的物体采取不同的抓取姿态(如图所示)，而且人手抓取过程中，手的位置和方向能根据环境不断地自主调整 。这反映出人抓取过程的自主性与协调性。 然而，对于机器人，则是不同，因为目前绝大多数机器

3、人的操作行为是在定式（标定）工作环境中进行的。改变传统定式的工作方式，攻克机器人灵巧自主抓取问题是当今机器人研究领域的一个难点和热点。 r人抓取的特性：灵活自主人抓取的特性：灵活自主一般来说，抓取需要解决的两个基本问题：抓哪里，抓哪里，Where？怎？怎么去抓，么去抓，How？一一 机器人抓取机器人抓取 VS 人的抓取人的抓取r解析抓取法解析抓取法 解析法使用动力学评价准则(如: force-closure)来估算抓取的稳定性，然后寻求合适抓取方案，使得这个评价准则达到最优。该方法属于传统的抓取方法，在2000年前占主导地位。该方法的前提要求：1）精确的机械手动力学模型、目标物理模型； 2）机

4、械手相对与目标物的位势信息。二二 机器人抓取研究现状机器人抓取研究现状 首先通过观察学习人的抓取，根据任务约束、然后学习系统产生一种最佳的抓取模式，该方法的核心思想是基于模仿与学习理论该方法的核心思想是基于模仿与学习理论 。 r经验学习抓取法经验学习抓取法该方法的前提要求：1）完整的目标几何模型（2/3D）信息； 2）机器人视觉系统严格标定，已知机械臂动力学模型。二二 机器人抓取研究现状机器人抓取研究现状 实例1 3D几何匹配抓取实例2 3D位势估计抓取r抓取类型一：抓取类型一：3D目标抓取目标抓取1、一种基于局部随机采样一致性鲁棒几何描述的3D匹配与位势估计抓取方法，该方法在噪声、遮挡环境测

5、试中取得良好抓取效果2、综合双目和单目视觉信息、以及物体表面与几何模型实现深度提取、目标区域分割，以及位势估计，该抓取系统在遮挡、光照变化的室内环境中实现了机器人抓取操作缺点：缺点：依赖于物体的3D信息，3D计算复杂。二二 机器人抓取研究现状机器人抓取研究现状机器人单抓取点学习r抓取类型二抓取类型二：2D位置学习抓取位置学习抓取 直接从2D图像平面学习获取抓取位置，该方法首先采用人工标记抓取点的合成图像，提取分类图像特征向量，应用机器学习方法来训练抓点。 该方法该方法实施步骤：实施步骤：给定视觉场景 学习模型得出抓取点 计算抓取参数 机器人动力学运动规划。机器人多抓取点学习二二 机器人抓取研究

6、现状机器人抓取研究现状机器人模仿抓取人机交互抓取r抓取类型三抓取类型三：高级人工智能学习抓取高级人工智能学习抓取 模仿抓取：模仿抓取：通过观察人抓取目标的姿态，识别出人的抓取方式，进而映射到机器人抓取系统中。交互抓取：交互抓取：把人的操作嵌入到机器人的控制循环中，对机器人进行交互训练，使得机器人自动产生抓取动作，最终把人的抓取技能传授给机器人二二 机器人抓取研究现状机器人抓取研究现状q 综上抓取方法可知：综上抓取方法可知：1) 解析建模抓取法需要对目标进行2D/3D建模，在复杂环境下建模精度难以保证。2) 经验学习抓取法通过学习或模仿人的抓取，在一定程度上克服了解析抓取法建模的固有缺陷。但是，

7、现有学习算法在稀疏样本学习中，算法的学习能力有限，机器人缺乏对新物体抓取的能力。3) 基于解析法和经验法的机器人抓取过程中，手臂的协调与定位都是需要预先标定，而后求取机器人的逆动力学进行控制的。标定除了带来复杂的计算外，同时也限制了机器人应用的拓广。二二 机器人抓取研究现状机器人抓取研究现状三三 基于多模特征深度学习的机器人抓取判别基于多模特征深度学习的机器人抓取判别r深度学习深度学习 2006年多伦多大学Hinton等人在Science杂志上提出，该学习算法避免了特征抽取过程中了人为的干预，同时深度学习解决了传统多层神经网络学习过程局部收敛和过适性问题，深受业内的广泛关注，如括谷歌、百度在内

8、的众多机构成立专门的部门致力于该学习算法的研究。 目前深度学习已经成功用于图像检索，语音识别，自然语言处理等领域，而该算法在机器人视觉领域的应用还处在刚刚起步阶段。 深度学习网络深度学习简介深度学习简介（插入）（插入）r 人脑视觉机理人脑视觉机理n神经-中枢-大脑的工作过程，或许是一个不断迭代、不断抽象的过程。n人的视觉系统的信息处理是分级的。从低级的V1区提取边缘特征，再到V2区的形状或者目标的部分等，再到更高层，整个目标、目标的行为等。 深度学习简介深度学习简介（插入）（插入）r 关于特征关于特征 【通过传感器（例如CMOS）获得数据，然后经过预处理、特征提取、特征选择，再到推理、预测或者

9、识别。】 深度学习简介深度学习简介（插入）（插入）r 特征表示的粒度特征表示的粒度 n学习算法在一个什么粒度上的特征表示，才有能发挥作用？n素级特征 结构性 深度学习简介深度学习简介（插入）（插入）r 初级（浅层）特征表示初级（浅层）特征表示 n像素级的特征表示方法没有作用，那怎样的表示才有用呢？n复杂图形，往往由一些基本结构组成，比如正交的edges。 深度学习简介深度学习简介（插入）（插入）r 结构性特征表示结构性特征表示 n小块的图形可以由基本edge构成，更结构化，更复杂，具有概念性的图形如何表示呢？n更高层次的特征表示 深度学习简介深度学习简介（插入）（插入）r 需要有多少个特征需要

10、有多少个特征 n我们知道需要层次的特征构建，由浅入深，但每一层该有多少个特征呢？ 深度学习简介深度学习简介（插入）（插入）r Deep Learning的基本思想的基本思想 n假设有一个系统S，它有n层（S1,Sn），输入是I，输出是O，形象地表示为： I =S1=S2=.=Sn = O如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的信息损失。 nDeep Learning: 需要自动地学习特征，假设有一堆输入I（如一堆图像或文本），假设设计了一个系统S（有n层），我们通过调整系统中参数，使得它的输出仍然是输入I，那么我们就可以自动地获取得到输入I的一系列层次特征，即S1，, Sn

11、。 对于深度学习来说，其思想就是对堆叠多个层，也就是说这一层的输出作为下一层的输入。通过这种方式，就可以实现对输入信息进行分级表达了。 深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，因此，“深度模型深度模型”是手段，是手段，“特征学习特征学习”是目的。是目的。深度学习简介深度学习简介（插入）（插入）r Deep learning训练过程训练过程 n非监督数据上建立多层神经网络的一个有效方法：1

12、）首先逐层构建单层神经元，这样每次都是训练一个单层网络。2）当所有层训练完后，使用wake-sleep算法进行调优。【使原始表示x向上生成的高级表示r和该高级表示r向下生成的x尽可能一致】 nWake-Sleep算法分为醒（wake）和睡（sleep）两个部分：1）wake阶段：认知过程，阶段：认知过程，通过外界的特征和向上的权重（认知权重）产生每一层的抽象表示（结点状态），并且使用梯度下降修改层间的下行权重（生成权重）。【“如果现实跟我想象的不一样，改变我的权重使得我想象的东西就是这样的如果现实跟我想象的不一样，改变我的权重使得我想象的东西就是这样的”】2）sleep阶段：生成过程，阶段：生

13、成过程，通过顶层表示（醒时学得的概念）和向下权重，生成底层的状态，同时修改层间向上的权重。【“如果梦中的景象不是我脑中的相应概念，改变我的认知权重使得这种景象在我看来就是这个如果梦中的景象不是我脑中的相应概念，改变我的认知权重使得这种景象在我看来就是这个概念概念”】 深度学习简介深度学习简介（插入）（插入）r Deep learning训练过程训练过程 ndeep learning训练过程具体如下：训练过程具体如下：1）使用自下上升非监督学习）使用自下上升非监督学习（就是从底层开始，一层一层的往顶层训练）： 采用无标定数据（有标定数据也可）分层训练各层参数，这一步可以看作是一个无监督训练过程，

14、是和传统神经网络区别最大的部分（这个过程可以看作是feature learning过程）；在学习得到第n-1层后，将n-1层的输出作为第n层的输入，训练第n层，由此分别得到各层的参数。2）自顶向下的监督学习）自顶向下的监督学习（就是通过带标签的数据去训练，误差自顶向下传输，对网络进行微调）： 基于第一步得到的各层参数进一步fine-tune整个多层模型的参数，这一步是一个有监督训练过程；第一步类似神经网络的随机初始化初值过程，由于DL的第一步不是随机初始化，而是通过学习输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果。 深度学习简介深度学习简介（插入）（插入）r Dee

15、p Learning的常用模型或者方法的常用模型或者方法 nAutoEncoder自动编码器自动编码器 【自动编码器就是一种尽可能复现输入信号的神经网络】 1）给定无标签数据，用非监督学习学习特征：）给定无标签数据，用非监督学习学习特征： 因为是无标签数据，所以误差的来源就是直接重构后与原输入相比得到。 深度学习简介深度学习简介（插入）（插入）r Deep Learning的常用模型或者方法的常用模型或者方法 2）通过编码器产生特征，然后训练下一层。这样逐层训练：）通过编码器产生特征，然后训练下一层。这样逐层训练： 将第一层输出的code当成第二层的输入信号，同样最小化重构误差，就会得到第二层

16、的参数，并且得到第二层输入的code，也就是原输入信息的第二个表达了。其他层就同样的方法炮制就行。nAutoEncoder自动编码器自动编码器 【自动编码器就是一种尽可能复现输入信号的神经网络】 深度学习简介深度学习简介（插入）（插入）r Deep Learning的常用模型或者方法的常用模型或者方法 3）有监督微调：）有监督微调： 到这里，这个AutoEncoder还不能用来分类数据，可以在AutoEncoder的最顶的编码层添加一个分类器，然后通过标准的多层神经网络的监督训练方法（梯度下降法）去训练。也就是说，这时候，我们需要将最后层的特征code输入到最后的分类器，通过有标签样本，通过监

17、督学习进行微调，这也分两种，一个是只调整分类器（黑色部分）；另一种：通过有标签样本，微调整个系统 。nAutoEncoder自动编码器自动编码器 【自动编码器就是一种尽可能复现输入信号的神经网络】 深度学习简介深度学习简介（插入）（插入）r Deep Learning的常用模型或者方法的常用模型或者方法 nSparse AutoEncoder稀疏自动编码器：稀疏自动编码器： nDenoising AutoEncoders降噪自动编码器：降噪自动编码器： 深度学习简介深度学习简介（插入）（插入）r Deep Learning的常用模型或者方法的常用模型或者方法n将一个信号表示为一组基的线性组合，

18、而且要求只需要较少的几个基就可以将信号表示出来。n稀疏编码算法是一种无监督学习方法，它用来寻找一组“超完备”基向量来更高效地表示样本数据。n目标函数： Min |I O| + u*(|a1| + |a2| + + |an |)O = a1*1 + a2*2+.+ an*n， i是基，ai是系数，I表示输入，O表示输出。 nSparse Coding稀疏编码稀疏编码深度学习简介深度学习简介（插入）（插入）r Deep Learning的常用模型或者方法的常用模型或者方法比如在图像的比如在图像的Feature Extraction的最底层要做的最底层要做Edge Detector的生成，那么这里的

19、工作就是从的生成，那么这里的工作就是从Natural Images中中randomly选取一些小选取一些小patch，通过这些，通过这些patch生成能够描述他们的生成能够描述他们的“基基”，也就是右边的，也就是右边的8*8=64个个basis组成的组成的basis，然后给定一个，然后给定一个test patch, 我们可以按照上面的式子通过我们可以按照上面的式子通过basis的线性组合得到，而的线性组合得到，而sparse matrix就是就是a，下图中的，下图中的a中有中有64个维度，其中非个维度，其中非零项只有零项只有3个，故称个，故称“sparse”。 nSparse Coding稀疏

20、编码稀疏编码深度学习简介深度学习简介（插入）（插入）r Deep Learning的常用模型或者方法的常用模型或者方法Sparse coding分为两个部分：分为两个部分：1）Training阶段： 给定一系列的样本图片x1, x 2, ，我们需要学习得到一组基1, 2, ，也就是字典。 训练过程就是一个重复迭代的过程，交替更改a和使得下面这个目标函数最小。nSparse Coding稀疏编码稀疏编码深度学习简介深度学习简介（插入）（插入）r Deep Learning的常用模型或者方法的常用模型或者方法2）Coding阶段： 给定一个新的图片x，由上面得到的字典，通过解一个LASSO问题得到

21、稀疏向量a。这个稀疏向量就是这个输入向量x的一个稀疏表达了。nSparse Coding稀疏编码稀疏编码深度学习简介深度学习简介（插入）（插入）r Deep Learning的常用模型或者方法的常用模型或者方法nRestricted Boltzmann Machine (RBM)限制波尔兹曼机nDeep Belief Networks深信度网络nConvolutional Neural Networks卷积神经网络三三 基于多模特征深度学习的机器人抓取判别基于多模特征深度学习的机器人抓取判别 研究目标：给定一幅包含抓取物的场景图，以深度学习构建最优抓取判别模型，获取机器人最优的抓取位置。kG)

22、( 为k维图像特征的抽象表达。r 深度深度学习抓取位置判别问题描述学习抓取位置判别问题描述抓取模式g(t)的概率模型：最优抓取判别模型：11)(1),(1)( nkinitniwhttyPX为权重变量，21,.,nWWW为特征集。)(tX WXG),(1)(maxarg)()()(*ttyPtgittgir降噪自动编码网络权值初始化 编码输出：1bWXa sigm 解码输出：2baVzT sigm 代价函数：22121,miiixzLZX降噪自动编码深度学习过程三三 基于多模特征深度学习的机器人抓取判基于多模特征深度学习的机器人抓取判别别 编码器的输出是输入在不失信息量条件下的另一种表示形式，

23、即输出是输入数据的重建。r 多模特征深度学习多模特征深度学习2111,)(2)(112,)(1)(211,)()(1nkinjitnitnjkijititjNijititjWhhWhhWxh 第n层输出层逻辑输出为：11)(1)()(;1nkinitnittwhWxyP 隐含层输入输出为：深度网络模型三三 基于多模特征深度学习的机器人抓取判基于多模特征深度学习的机器人抓取判别别r多模特征深度学习抓取判别多模特征深度学习抓取判别 第一阶段预训练 ：使用将噪编码无监督特征学习，初始化隐含层权重W和 偏置参数b。 第二阶段微调训练：采用误差反向传播法微调整个深度参数。最优抓取判别模型三三 基于多模特

24、征深度学习的机器人抓取判别基于多模特征深度学习的机器人抓取判别 三三 基于多模特征深度学习的机器人抓取判基于多模特征深度学习的机器人抓取判别别r实验图像采集实验图像采集 采用Kinect深度摄像机采集抓取目标的RGB图像和深度图像。 RGB摄像头摄像头3D深度传感器深度传感器r抓取位置判别实验结果抓取位置判别实验结果三三 基于多模特征深度学习的机器人抓取判基于多模特征深度学习的机器人抓取判别别 针对不同形状，大小、摆放方向的测试目标，抓取判别试验结果如图所示。 判别模型参照人的抓取习惯，即矩形盒抓中间、杯子抓杯柄、盘子抓边缘、工具抓把柄，机器人在面临新的抓取目标时，同样能够实现抓取判别三三 基

25、于多模特征深度学习的机器人抓取判别基于多模特征深度学习的机器人抓取判别 r机器人抓取定位实验结果机器人抓取定位实验结果不同物体实验结果相同物体不同摆放方向实验结果r视觉伺服控制策略视觉伺服控制策略四四 基于视觉伺服的机器人定位控制基于视觉伺服的机器人定位控制视觉伺服：视觉伺服：把视觉传感信号嵌入到机器人的伺服循环中，通过对视觉特 征的控制，实现对机器人的定位闭环控制。优优 越越 性：性：简化了机器人控制系统的设计，伺服任务可灵活定义，控制器 形式多样，更能满足不同场合需求。视觉伺服控制系统之间映射关系r视觉伺服控制策略视觉伺服控制策略 机器人视觉伺服系统的初始状态：机器人工作空间中，机器人末端

26、A远离抓取目标B；在图像空间中，通过控制图像特征A与图像特征B重合，使得机器人接近目标位置。四四 基于视觉伺服的机器人定位控制基于视觉伺服的机器人定位控制r视觉伺服控制策略视觉伺服控制策略 机器人视觉伺服系统的定位状态：图像空间中，图像特征A与图像特征B已经重合；机器人工作空间中，机器人成功抓取目标。四四 基于视觉伺服的机器人定位控制基于视觉伺服的机器人定位控制r 基于位置的视觉伺服（基于位置的视觉伺服（PBVS） PBVS是指视觉反馈控制信号直接在3D任务空间中以笛卡尔坐标形式定义，其基本原理是，结合已知的目标几何模型及摄像机模型，在三维笛卡尔坐标系中对目标位姿进行估计，然后控制系统根据机械

27、手当前位姿与估计出的目标位姿之间的差分信息，进行轨迹规划并计算出控制量。五五 机器人视觉伺服研究现状机器人视觉伺服研究现状期望位姿期望位姿估估计计位姿位姿r 基于图像的视觉伺服基于图像的视觉伺服(IBVS) 基于图像的视觉伺服是指误差信号直接用图像特征来定义，无需对目标进行位姿估计，而是直接利用图像特征进行视觉信息反馈控制。基本原理是由图像误差信号计算控制量，再将此控制量变换到机器人运动空间，从而驱动机械手向目标运动。期望图像特特征提取特征提取五五 机器人视觉伺服研究现状机器人视觉伺服研究现状图像误差：)(-)()(tttegofff)()(21teteFffT)(-1)( )()()(kkk

28、kkUgogffJP控 制 律：目标函数：无标定视觉伺服控制框架r 提出卡尔曼滤波联合神经网络的状态估计方法提出卡尔曼滤波联合神经网络的状态估计方法六六 基于状态估计的机器人无标定视觉伺服基于状态估计的机器人无标定视觉伺服r 结果分析结果分析特征定位特征定位手眼实验系统手眼实验系统六六 基于状态估计的机器人无标定视觉伺服基于状态估计的机器人无标定视觉伺服01002003004005000100200300400500u / pixelsv / pixels01002003004005000100200300400500u / pixelsv / pixels-2-101-6-4-20-0.6-

29、0.4-0.200.2x / mstart poseend posey / mz / m-2-101-6-4-20-0.6-0.4-0.200.2x / mstart poseend posey / mz / m-2-101-6-4-20-0.6-0.4-0.200.2x / mstart poseCamera trajectory (m)end posey / mz / m0100200300-200-1000100200300400Iteration number / nFeatures errors / pixels u1u2u3u4v1v2v3v40100200300400500600

30、-200-1000100200300400Iteration number / nFeatures errors / pixels) u1u2u3u4v1v2v3v40100200300400500600-300-200-1000100200300400Iteration number / nFeatures errors / pixels u1u2u3u4v1v2v3v4 传统PBVS方法传统卡尔曼滤波方法改进方法特征丢失特征丢失六六 基于状态估计的机器人无标定视觉伺服基于状态估计的机器人无标定视觉伺服七七 自抗扰视觉伺服机器人定位控制自抗扰视觉伺服机器人定位控制r 研究目标：研究目标： 研

31、究一种基于粒子滤波(particle filtering, PF)的双闭环机器人无标定自抗扰视觉伺服控制方法。内循环针对动态雅可比估计问题采用PF的解决方案；外循环采用自抗扰反馈控制方案，并利用扩张状态性观测器实时估计出系统当前时刻的总扰动，在外循环控制中实施动态补偿。r自抗扰手眼协调控制器设计自抗扰手眼协调控制器设计自抗扰视觉伺服控制框架 机器人手眼协调系统是一个典型的不确定非线性系统，既包括模型的不确定性，又包括参数的不确定性，同时还受由于图像处理等而产生的位置外界干扰因数的影响，把以上不确定性当着为建模动态，可以采用自抗把以上不确定性当着为建模动态，可以采用自抗扰控制方法现实机器人定位控

32、制。扰控制方法现实机器人定位控制。七七 自抗扰视觉伺服机器人定位控制自抗扰视觉伺服机器人定位控制r 双环自抗扰手眼协调控制双环自抗扰手眼协调控制基于粒子滤波的双环自抗扰控制机器人视觉伺服内循环：内循环：针对非线性条件下动态雅可比估计问题采用基于PF的解决方案，可更 好地逼近期望“视觉空间-运动空间”非线性映射关系。外循环：外循环：采用自抗扰反馈控制方案，并利用扩张状态性观测器实时估计出系统 当前时刻的总扰动，在外循环控制中实施动态补偿。七七 自抗扰视觉伺服机器人定位控制自抗扰视觉伺服机器人定位控制r 仿真系统仿真系统机器人初始姿态机器人初始姿态机器人期望姿态机器人期望姿态七七 自抗扰视觉伺服机

33、器人定位控制自抗扰视觉伺服机器人定位控制01002003004005000100200300400500u / pixelsv / pixels-1.5-1-0.500.5-6-4-20-1-0.500.5x / mend posestart posey / mz / m0100200300400500600-300-200-1000100200300400Iteration number / nFeatures errors / pixels u1u2u3u4v1v2v3v40100200300400500600-0.0500.00.250.3Iteration num

34、ber / nVelocities (m/s,rad/s) xyzxyz (a) 图像特征运动轨迹(d) 末端运动速度r 结果分析：结果分析：机器人末端定位结果机器人末端定位结果(b) 末端定位运动轨迹(c) 图像特征误差七七 自抗扰视觉伺服机器人定位控制自抗扰视觉伺服机器人定位控制八 机器人视觉伺服基本应用r 机器人抓取中应用机器人抓取中应用r 机器人导航中的应用机器人导航中的应用r飞行器着落中的应用飞行器着落中的应用八 机器人视觉伺服基本应用r 机器人手术机器人手术 中的应用中的应用r 空间空间机器人机器人 漂浮物抓取应用漂浮物抓取应用r 机器人转配机器人转配 中的应用中的应用八 机器人视觉伺服基本应用r 机器人视觉伺服定位实例机器人视觉伺服定位实例视频视频1八 机器人视觉伺服基本应用应用行业：应用行业： 汽车 抓取及包装 材料加工 装配 难点：难点： 工件随机摆放 几何形状复杂 箱体空间较深 抓取容易造成干涉r Bin-Picking特点九机器人视觉反馈控制在九机器人视觉反馈控制在Bin-PickingBin-Picking中的应用中的应用r Bin-Picking一般实现步骤（1 1）边缘边缘提取提取（2）目）目标匹配标匹配九机器人视觉反馈控制在九机器人视觉反馈控制在Bin-PickingBin-Pick