机器人技术基础-第8章

机器人技术基础第八章机器人操作系统及路径规划第八章机器人操作系统及路径规划第二节机器人操作系统的工作原理第三节RVIZ及机器人仿真第四节机器视觉识别、定位与轨迹规划第一节概述第一节概述ROS是什么?ROS=RobotOperatingSystem一、ROS简介ROS历史2007年诞生于斯坦福人工智能实验室2013年由OSRF负责维护支持机器人种类丰富机器人编程的事实标准（Defactostandard）许多大学和公司使用ROS开发原型产品2007-2017历经十年发展（ROS1-ROS2）第一节概述ROS在机器人中的作用类似于人的中枢神经第一节概述提高机器人开发中的代码复用率传统模式：重复造轮子，效率低下现代模式：分工合理，重复利用ROS设计目标第一节概述ROS的主要特点为：点对点设计

解耦，解决进程之间的通讯。分布式

程序可以在多台计算机上运行，并通过网络进行通信。支持多种编程语言ROS支持多种语言，其中客户端库端(C++,Python,MATLAB,Java等)。第一节概述精简与集成

独立库外环绕的ROS层非常薄；

程序可以在多台计算机上运行，并通过网络进行通信。免费并且开源

大多数ROS软件都是开源的，可以免费使用(商用和非商用)。ROS的主要特点为：第一节概述（1）功能包（Package）：功能包是ROS中组织软件的主要形式，其作用相当于一个C++工程，在该“工程”中我们可以编写代码并进行编译、执行等操作。一个功能包一般包含程序文件、编译描述文件、配置文件等。（2）功能包集（stacks）：功能包集是实现某种功能的多个功能包的集合，它可以提供更高级的功能，例如“导航功能包集”。每一个功能包集都带有相关版本号，是ROS软件发布的主要形式。二、ROS中的几个概念第一节概述（3）节点（Node）：节点实际上是一个可执行文件，它位于功能包中，是实现功能的最小单位。程序文件（例如.cpp文件和.py文件等）只有转换为可执行文件，才可以在ROS中运行。一个功能包中可以有多个节点。（4）主题（Topic）和服务（Service）：单个节点能够实现的功能比较简单，而多个节点联合起来就可以实现复杂的功能。这涉及节点之间的通信，其通信方式包括主题和服务两种。主题只能实现节点之间的单向通信，而服务是双向通信，包括：请求（Request）和响应（Response）。二、ROS中的几个概念第一节概述（5）消息（Msg）：消息指的是节点之间通信的内容，每一个消息都有一个固定的数据结构，它支持标准的原始数据类型，包括：整型、浮点型、布尔型等。二、ROS中的几个概念第二节机器人操作系统的工作原理Stack：软件包集：如果你将几个具有某些功能的软件包组织在一起，那么你将会获得一个软件包集。Packages：软件包：是ROS应用程序代码的组织单元，每个软件包都可以包含程序库、可执行文件、脚本或者其它手动创建的东西。1．ROS文件系统介绍（1）快速了解ROS文件系统概念第二节机器人操作系统的工作原理package.xml：清单文件，关于'软件包'相关信息的描述，用于定义软件包相关元信息之间的依赖关系，这些信息包括版本、维护者和许可协议，编译依赖和运行依赖等。CMakeLists.txt：编译配置文件，使用cmake进行程序编译的时候，会根据CMakeLists.txt这个文件进行一步一步的处理，然后形成一个MakeFile文件，系统再通过这个文件的设置进行程序的编译。1．ROS文件系统介绍（1）快速了解ROS文件系统概念第二节机器人操作系统的工作原理1．ROS文件系统介绍（2）认识文件系统工具程序代码是分布在众多ROS软件包当中，当使用命令行工具（比如ls和cd）来浏览时会非常繁琐，因此ROS提供了专门的命令工具来简化这些操作。第二节机器人操作系统的工作原理使用rospack：获取软件包的有关信息。当ROS安装包越来越多时，该命令就会非常有用，尤其是当安装包有上百个之多时，根本无法准确记清各个软件包的路径或是否存在某软件包等。1．ROS文件系统介绍（2）认识文件系统工具第二节机器人操作系统的工作原理使用roscd：直接切换(cd)工作目录到某个软件包或者软件包集当中1．ROS文件系统介绍（2）认识文件系统工具第二节机器人操作系统的工作原理使用roscd：直接切换(cd)工作目录到某个软件包或者软件包集当中1．ROS文件系统介绍（2）认识文件系统工具第二节机器人操作系统的工作原理使用rosls：直接按软件包的名称而不是绝对路径执行ls命令（罗列目录）。1．ROS文件系统介绍（2）认识文件系统工具第二节机器人操作系统的工作原理Tab自动补全输入：当要输入一个完整的软件包名称有时会比较繁琐，可以输入前面一部分然后敲击tab键即可自动根据前半部分的输入来补全。1．ROS文件系统介绍（2）认识文件系统工具第二节机器人操作系统的工作原理使用rosed：直接编辑某个软件包中的可编辑文件1．ROS文件系统介绍（2）认识文件系统工具第二节机器人操作系统的工作原理使用roscp：直接从某个软件包中复制某个文件到指定目录下1．ROS文件系统介绍（2）认识文件系统工具第二节机器人操作系统的工作原理2．创建和编译ROS软件包创建工作空间创建软件包软件包的依赖关系删除工作空间的软件包编写代码编译软件编译软件包运行节点第二节机器人操作系统的工作原理2．创建和编译ROS软件包（1）创建工作空间我们创建的工作区其实就是一个文件夹，用于存储我们的软件包，工作区可以任意命名成自己喜欢的名字，任意选择存储在home目录下的自己喜欢的位置。第二节机器人操作系统的工作原理对于许多用户来说，没有必要使用多个ROS工作区。但是ROS的catkin编译系统，试图一次性编译同一个工作区中的所有功能包。第二节机器人操作系统的工作原理（2）创建软件包创建一个新ROS软件包的命令应该在工作区中的src目录下运行。第二节机器人操作系统的工作原理1）一级依赖：在使用catkin_create_pkg命令时提供了几个程序包作为依赖包，现在我们可以使用rospack命令工具来查看一级依赖包。（3）程序包依赖关系第二节机器人操作系统的工作原理当新创建了工作空间时，ROS知道该工作空间的环境变量才能定位到该工作空间下的软件包，因此，为了方便每次打开终端都自动配置环境变量需要在home目录下的.bashrc文件最下面添加如下信息：rospack列出了在运行catkin_create_pkg命令时作为参数的依赖包，这些依赖包随后保存在package.xml文件中。（3）程序包依赖关系第二节机器人操作系统的工作原理2）间接依赖：在很多情况中，一个依赖包还会有它自己的依赖包，比如，rospy还有其它依赖包。第二节机器人操作系统的工作原理ROS包的命名遵循一个命名规范，只允许使用小写字母、数字和下划线，且首字符必须是小写字母。一些ROS工具，包括catkin，仅支持遵循此命名规范的包。第二节机器人操作系统的工作原理删除不想要的工作空间的软件包也很简单，直接rm整个软件包目录即可，然后重新编译整个工作空间。（4）删除工作空间的软件包第二节机器人操作系统的工作原理为了演示如何正确的编译软件包，我们需要在测试软件包test_pkg中编写一个测试代码才能演示如何编译软件包。（5）编写测试代码第二节机器人操作系统的工作原理我们主要需要修改CMakeLists.txt这个编译配置文件。（6）编译软件包第二节机器人操作系统的工作原理当修改完CMakeLists.txt文件后就可以在工作空间的根目录下使用catkin_make进行编译了。第二节机器人操作系统的工作原理当编译过程没有错误时，接下来就可以使用rosrun命令来启动节点了。（7）运行节点第二节机器人操作系统的工作原理图8-2为ROS节点通过话题通信流程简图，通过该图理解话题及其命令行工具，并理解topic的发布和订阅机制。图8-2ROS节点间通过话题通信流程简图3．理解ROS话题及其发布和订阅机制第二节机器人操作系统的工作原理4．理解ROS的服务1）服务调用是双向的，一个节点给另一个节点发送信息并等待响应，因此信息流是双向的。作为对比，当消息发布后，并没有响应的概念，甚至不能保证系统内有节点订阅了这些消息。2）服务调用实现的是一对一通信。每一个服务由一个节点发起，对这个服务的响应返回同一个节点。对于消息传递来说，每一个消息都和一个话题相关，这个话题可能有很多的发布者和订阅者。第二节机器人操作系统的工作原理图8-3服务调用的基本信息流服务调用的基本信息流如图8-3所示：第三节RVIZ及机器人仿真在动手做一个真实的机器人之前有一个虚拟的机器人做仿真，会帮助我们规避不少风险。从成本上来看，学习机器人相关技术从一个虚拟的机器人开始是一个不错的选择。在本节中我们将学习如何描述一个机器人，并将其在RVIZ中三维显示，最终在gazebo中实现机器人的仿真。为什么要学习RVIZ及机器人仿真？第三节RVIZ及机器人仿真UnifiedRobotDescriptionFormat，统一机器人描述格式，简称为URDF。URDF文件使用XML格式描述机器人模型。机器人系统中存在大量数据，这些数据在计算过程中往往都处于数据形态，比如图像数据中0-255的RGB值。但是这种数据形态的值往往不利于开发者去感受数据所描述的内容，所以常常需要将数据可视化显示。1．URDF描述文件介绍第三节RVIZ及机器人仿真ROS针对机器人系统的可视化需求，为用户提供了一款显示多种数据的三维可视化平台RVIZ。它是一款三维可视化工具，很好的兼容了各种基于ROS软件框架的机器人平台。2．RVIZ简介第三节RVIZ及机器人仿真（1）安装并运行RVIZRVIZ已经集成在桌面完整版的ROS系统当中，如果已经成功安装了桌面完整版的ROS，可以直接跳过这一步骤，否则，请使用如下命令进行安装：$sudoapt-getinstallros-kinetic-rviz安装完成后，在终端中分别运行如下命令即可启动ROS系统和RVIZ平台：$roscore$rosrunrvizrviz第三节RVIZ及机器人仿真启动成功的RVIZ主界面如图8-4所示：该界面主要包含以下几个部分：0：3D视图区1：工具栏2：显示项列表3：视角设置区4：时间显示区图8-4RVIZ主界面第三节RVIZ及机器人仿真（2）数据可视化进行数据可视化的前提是要有数据。首先，需要添加显示数据的插件。点击RVIZ界面左侧下方的按键，RVIZ会将默认支持的所有数据类型的显示插件罗列出来，如图8-5所示：图8-5数据类型显示插第三节RVIZ及机器人仿真在列表中选择需要的数据类型插件，然后在列表中选择需要的数据类型里填入一个名称，用来识别显示的数据。图8-6Topic属性第三节RVIZ及机器人仿真如果显示有问题，请检查属性区域的状态是否有问题，如图8-7所示。Status有四种状态：OK、Warning、Error和Disabled，如果显示的状态不是OK，那么请查看错误信息，并详细检查数据发布是否正常。图8-7Status属性第三节RVIZ及机器人仿真3．Gazebo功能（1）构建机器人运动仿真模型在Gazebo里，提供了最基础的三个物体，球体，圆柱体，立方体，利用这三个物体以及它们的伸缩变换或者旋转变换，可以设计一个最简单的机器人三维仿真模型。第三节RVIZ及机器人仿真（2）构建现实世界各种场景的仿真模型Gazebo可以建立一个用来测试机器人的仿真场景，通过添加物体库，放入垃圾箱，雪糕桶，甚至是人偶等物体来模仿现实世界，还可以通过BuildingEditor，添加2D的房屋设计图，在设计图基础上构建出3D的房屋。3．Gazebo功能第三节RVIZ及机器人仿真（3）构建传感器仿真模型Gazebo拥有一个很强大的传感器模型库，包括camera，depthcamera，laser，imu等机器人常用的传感器，并且已经有模拟库，已经可以直接使用，也可以自己从0创建一个新的传感器，添加它的具体参数，甚至还可以添加传感器噪声模型，让传感器更加真实。3．Gazebo功能第三节RVIZ及机器人仿真（4）为机器人模型添加现实世界的物理性质Gazebo里有force，physics的选项，可以为机器人添加例如重力，阻力等，Gazebo有一个很接近真实的物理仿真引擎，要记得一般的地面是没有阻力的，和现实世界有区别。3．Gazebo功能第三节RVIZ及机器人仿真（5）RVIZ与gazebo辨析1）RVIZ是三维可视化工具，强调把已有的数据可视化显示；2）gazebo是三维物理仿真平台，强调的是创建一个虚拟的仿真环境。3）RVIZ需要已有数据。4）RVIZ提供了很多插件，这些插件可以显示图像、模型、路径等信息，3．Gazebo功能第四节机器视觉识别、定位与轨迹规划一、机器人视觉识别1．图像预处理相机采集的实际图像由于环境、设备等原因，往往跟理想情况存在较大差距，如果直接对图像进行处理分析，则定位精度和识别效果很差，所以对图像进行预处理工作十分重要。第四节机器视觉识别、定位与轨迹规划（1）色域空间变换RGB颜色空间是工业界的一种颜色标准，利用了物理学中的三原色叠加从而产生各种不同颜色的原理。在RGB颜色空间中，R、G、B三个分量的属性是独立的，三个分量中数值越小的亮度越低，数值越大的亮度越高。一、机器人视觉识别1．图像预处理第四节机器视觉识别、定位与轨迹规划（2）图像分割在图像识别前，预先将目标物与背景分离更有利于后续的识别操作。现有的图像分割方法主要包括：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。灰度阈值分割法是一种最常用的图像分割方法。阈值分割方法实施的变换如下：一、机器人视觉识别1．图像预处理第四节机器视觉识别、定位与轨迹规划（3）形态学运算形态学的主要应用是用具有一定形态的结构元素从图像提取对应形状，从而使后续的识别工作能够抓住目标最具有区分能力的形状特征。二维图像的形态变换是一种针对集合的处理过程，从集合的角度来刻画和分析图像。本节介绍几种二维图像的基本形态学运算，包括腐蚀、膨胀，以及开、闭运算。一、机器人视觉识别1．图像预处理第四节机器视觉识别、定位与轨迹规划腐蚀二值形态学中的运算对象是集合，一般设A为图像集合，B为结构元素，用B对A进行腐蚀操作，让原本位于图像原点的结构元素B在整个平面上移动，当B的原点平移到z点时，B能完全包含于A中，则所有这样的z点构成的集合即E集合是对A的腐蚀结果。腐蚀结果E的定义：腐蚀的作用：腐蚀能够消融物体的边界，具体的腐蚀结果取决于结构元素B以及其原点的选取。第四节机器视觉识别、定位与轨迹规划膨胀膨胀和腐蚀对集合的运算是彼此对偶的，和腐蚀运算类似，设定A为要处理的图像集合，B为结构元素，通过结构元素B对图像进行膨胀处理。让原本位于图像原点的结构元素B在整个平面上移动，当其自身原点平移至ｚ点时，B相对于其原点的映像和A有公共的交集，则所有这样的ｚ点构成的集合（E集合）为对A的膨胀结果。膨胀结果E的定义：膨胀的作用：和腐蚀相反，膨胀能够使物体的边界扩大，膨胀结果与图像本身和结构元素的形状有关。膨胀同时可以用来填补物体中的空洞。第四节机器视觉识别、定位与轨迹规划3）开、闭运算开运算和闭运算都由腐蚀和膨胀复合而成，先腐蚀后膨胀的过程称为开运算，先膨胀后腐蚀的过程称为闭运算。闭运算能融合狭窄的间断，填充物体内细小空洞，可以用来连接临近物体、填补轮廓上的缝隙从而平滑图像的轮廓。开运算能够平滑图像的轮廓，削弱狭窄的部分，去掉细的突出，可以用来消除背景中的小物体，在纤细点处分离物体。第四节机器视觉识别、定位与轨迹规划2．几何形态分析形状边缘长度面积圆形度位置数量方向连通性第四节机器视觉识别、定位与轨迹规划二、机器人视觉定位任意放置的双目立体视觉模型见图8-8图中，OL、OR分别为左右两个摄像头坐标系的坐标原点，I1、I2分别为左右两个摄像机的成像平面。图8-8双目立体视觉定位原理图第四节机器视觉识别、定位与轨迹规划假设已经通过摄像头标定和立体匹配确定了空间点P在左右两个摄像机成像平面上的图像坐标分别为p1（ul,vl）、p2（ur,vr），那么，根据摄像机成像模型，可得第四节机器视觉识别、定位与轨迹规划对上式消去Zl、Zr得第四节机器视觉识别、定位与轨迹规划化成矩阵形式：AP=b，其中根据最小二乘法，解得空间点P的坐标为第四节机器视觉识别、定位与轨迹规划三、轨迹规划方法1．移动机器人轨迹规划简介（1）基于模型和基于传感器的路径规划基于模型的方法有：c-空间法、自由空间法、网格法、四叉树法、矢量场流的几何表示法等。相应的搜索算法有A*、遗传算法等。第四节机器视觉识别、定位与轨迹规划（2）全局路径规划（GlobalPathPlanning）和局部路径规划（LocalPathPlanning）1）我现在何处？2）我要往何处去？3）我要如何到该处去？局部路径规划主要解决1）和3），方法主要有：人工势场法、模糊逻辑算法等。全局路径规划主要解决2），方法主要有：可视图法、环境分割法（自由空间法、栅格法）等。三、轨迹规划方法1．移动机器人轨迹规划简介第四节机器视觉识别、定位与轨迹规划（3）离线路径规划和在线路径规划离线路径规划是基于环境先验完全信息的路径规划。完整的先验信息只能适用于静态环境，这种情况下，路径是离线规划的；在线路径规划是基于传感器信息的不确定环境的路径规划。在这种情况下，路径必须是在线规划的。三、轨迹规划方法1．移动机器人轨迹规划简介第四节机器视觉识别、定位与轨迹规划2．移动机器人轨迹规划一般步骤一般的连续域范围内路径规划问题，如机器人、飞行器等的动态路径规划问题。环境建模路径搜索路径平滑第四节机器视觉识别、定位与轨迹规划2．移动机器人轨迹规划一般步骤环境建模环境建模是路径规划的重要环节，目的是建立一个便于计算机进行路径规划所使用的环境模型路径搜索路径搜索阶段是在环境模型的基础上应用相应算法寻找一条行走路径，使预定的性能函数获得最优值。路径平滑通过相应算法搜索出的路径不一定是一条可以行走的可行路径，需要作进一步处理与平滑才能使其成为一条实际可行的路径。第四节机器视觉识别、定位与轨迹规划3．常用算法编辑路径规划的方法有很多，根据其自身优缺点，其适用范围也各不相同。根据对各领域常用路径规划算法的研究，按照各种算法发现先后时序及算法基本原理。常用算法图形学的方法智能仿生学算法其他算法传统算法第四节机器视觉识别、定位与轨迹规划（1）路径规划传统算法传统的路径规划算法有：模拟退火算法、人工势场法、模糊逻辑算法、禁忌搜索算法等。模拟退火算法适用于大规模组合优化问题的有效近似算法。它模仿固体物质的退火过程，通过设定初温、初态和降温率控制温度的不断下降，结合概率突跳特性，利用解空间的邻域结构进行随机搜索。具有描述简单、使用灵活、运行效率高、初始条件限制少等优点，但存在着收敛速度慢、随机性等缺陷，参数设定是应用过程中的关键环节。第四节机器视觉识别、定位与轨迹规划（1）路径规划传统算法传统的路径规划算法有：模拟退火算法、人工势场法、模糊逻辑算法、禁忌搜索算法等。人工势场法人工势场法是一种虚拟力法。它模仿引力斥力下的物体运动，目标点和运动体间为引力，运动体和障碍物间为斥力，通过建立引力场斥力场函数进行路径寻优。优点是规划出来的路径平滑安全、描述简单等，但是存在局部最优的问题，引力场的设计是算法能否成功应用的关键。第四节机器视觉识别、定位与轨迹规划（1）路径规划传统算法传统的路径规划算法有：模拟退火算法、人工势场法、模糊逻辑算法、禁忌搜索算法等。模糊逻辑算法网模拟驾驶员的驾驶经验，将生理上的感知和动作结合起来，根据系统实时的传感器信息，通过查表得到规划信息，从而实现路径规划。算法符合人类思维习惯，免去数学建模，也便于将专家知识转换为控制信号，具有很好的一致性、稳定性和连续性。但总结模糊规则比较困难，而且一旦确定模糊规则在线调整困难，应变性差。第四节机器视觉识别、定位与轨迹规划（1）路径规划传统算法传统的路径规划算法有：模拟退火算法、人工势场法、模糊逻辑算法、禁忌搜索算法等。禁忌搜索算法一种全局逐步寻优算法，是对人类智力过程的一种模拟。通过引入一个灵活的存储结构和相应的晋级规则来避免与会搜索，并通过藐视准则来赦免一些被禁忌的优良状态，以实现全局优化。第四节机器视觉识别、定位与轨迹规划（2）路径规划图形学的方法

传统算法在解决实际问题时往往存在着建模难的问题，图形学的方法则提供了建模的基本方法，但是图形学的方法普遍存在着搜索能力的不足，往往需要结合专门的搜索算法。图形学的方法有：C空间法、栅格法、自由空间法、voronoi图法等。第四节机器视觉识别、定位与轨迹规划C空间法又称可视图空间法，即在运动空间中扩展障碍物为多边形，以起始点、终点和所有多边形顶点间的可行直线连线（不穿过障碍物的连线）为路径范围来搜索最短路径。C空间法的优点是直观，容易求得最短路径；缺点是一旦起始点和目标点发生改变，就要重新构造可视图，缺乏灵活性。（2）路径规划图形学的方法第四节机器视觉识别、定位与轨迹规划自由空间法自由空间法针对可视图法应变性差的缺陷，采用预先定义的基本形状（如广义锥形，凸多边形等）构造自由空间，并将自由空间表示为连通图，然后通过对图的搜索来进行路径规划。由于起始点和终点改变时，只相当于它们在己构造的自由空间中位置变化，只需重新定位，而不需要整个图的重绘。缺点是障碍物多时将加大算法的复杂度，算法实现困难。（2）路径规划图形学的方法第四节机器视觉识别、定位与轨迹规划栅格法用编码的栅格来表示地图，把包含障碍物的栅格标记为障碍栅格，反之则为自由栅格，以此为基础作路径搜索。栅格法一般作为路径规划的环境建模技术来用，作为路径规划的方法它很难解决复杂环境信息的问题，一般需要与其他智能算法相结合。（2）路径规划图形学的方法第四节机器视觉识别、定位与轨迹规划voronoi图自由空间法针对可视图法应变性差的缺陷，采用预先定义的基本形状（如广义锥形，凸多边形等）构造自由空间，并将自由空间表示为连通图，然后通过对图的搜索来进行路径规划。由于起始点和终点改变时，只相当于它们在己构造的自由空间中位置变化，只需重新定位，而不需要整个图的重绘。缺点是障碍物多时将加大算法的复杂度，算法实现困难。（2）路径规划图形学的方法第四节机器视觉识别、定位与轨迹规划（3）路径规划智能仿生学算法

处理复杂动态环境信息情况下的路径规划问题时，来自于自然界的启示往往能起到很好的作用。智能仿生学算法就是人们通过仿生学研究，发现的算法，常用到的有：蚁群算法、神经网络算法、粒子群算法、遗传算法等。第四节机器视觉识别、定位与轨迹规划蚁群算法蚁群算法（AntColonyAlgorithm简称ACA）的思想来自于对蚁群觅食行为的探索，每个蚂蚁觅食时都会在走过的道路上留下一定浓度的信息素，相同时间内最短的路径上由于蚂蚁遍历的次数多而信息素浓度高，加上后来的蚂蚁在选择路径时会以信息素浓度为依据，起到正反馈作用，因此信息素浓度高的最短路径很快就会被发现。算法通过迭代来模拟蚁群觅食的行为达到目的。具有良好的全局优化能力、本质上的并行性、易于用计算机实现等优点，但计算量大、易陷入局部最优解，不过可通过加入精英蚁等方法改进。（3）路径规划智能仿生学算法第四节机器视觉识别、定位与轨迹规划神经网络算法神经网络算法是人工智能领域中的一种非常优秀的算法，它主要模拟动物神经网络行为，进行分布式并行信息处理。但它在路径规划中的应用却并不成功，因为路径规划中复杂多变的环境很难用数学公式进行描述，如果用神经网络去预测学习样本分布空间以外的点，其效果必然是非常差。尽管神经网络具有优秀的学习能力，但是泛化