《鸿蒙机器人比赛》课件-08-智能机器人仓储应用场景开发

智能机器人仓储应用场景开发课程内容课程背景场景程序分析和设计机械臂与摄像头标定手动控制场景程序代码视觉处理程序启动机器人驱动程序与功能程序©NXROBO20232课程背景课程背景©NXROBO20234仓储空间利用率是仓储运营成本的重要组成部分，为了提升仓储库容率，节省空间储存成本，各行业仓库通常都会选择将货物进行逐层向上的自然堆叠处理，因此货物自然堆叠是实现内部物流自动化必须攻克的刚需场景之一。实践模拟自动化仓库货物堆叠场景，使用智能机器人spark，场地为3m*3m的平面，场地图如下所示，货物采用的是9个10cm*10cm*10cm的蓝色方块，均放置在场地中央。机器人通过手动操控的方式，从起始位置出发到场地中央，从中吸取蓝色方块回至起始位置，将所有方块吸取并放置在起始区域中，实现货物的堆叠。该场景融合了机器人移动控制、SLAM建图导航、计算机视觉、机械臂抓取等技术，通过该场景可以很好地将前几章的知识进行实践运用。场景程序分析和设计©NXROBO20236场景程序分析和设计设计键盘控制程序，通过设定键盘按键发布对应的底盘运动话题，如前进、后退、左转、右转、抓取、释放等等；设计视觉处理程序，将摄像头视野范围中的方块进行定位，识别其中抓取成功概率最高的蓝色方块，获取其中心点位置；设计机械臂抓取与释放程序，根据蓝色方块的位置，通过摄像头与机械臂标定后，确定机械臂抓取位置，根据实际放置情况，设定不同的释放高度。机械臂与摄像头标定©NXROBO20238机械臂与摄像头标定打开摄像头与机械臂标定程序。©NXROBO20239机械臂与摄像头标定此时打开了这个界面，我们需要将机械臂的末端橙色部分对着图中绿色方框，可以适当调整摄像头的拍摄角度来确定位置。©NXROBO202310机械臂与摄像头标定点击旁边的终端，按任意键确定。这时，机械臂开始与摄像头标定。机械臂与摄像头标定©NXROBO202311这个是比较好的标定过程，周围没有其他颜色干扰，所以要注意周围光线、环境的影响，同时也要注意比较相关的参数，因为使用的是一元线性回归，图像位置与机械臂位置会有相对固定的定值增减，所以在标定过程中，观察图像的x轴与y轴的变化量是否相对稳定。标定完成之后，退出即可。手动控制场景程序代码手动控制场景程序代码©NXROBO202313首先打开我们手动控制场景程序，teleop.py文件。手动控制场景程序代码©NXROBO202314首先是初始化的配置，导入相关库，创建发布者对象，定义抓取和放置的标志位。手动控制场景程序代码©NXROBO202315这里是机械臂相关的话题订阅，首先创建机械臂订阅者对象，订阅机械臂的状态，判断当时是抓取状态还是放置状态。手动控制场景程序代码©NXROBO202316这里就是键盘控制函数的相关初始化参数操作，速度的设置等等，此处衔接我们之前学的运动控制程序。手动控制场景程序代码©NXROBO202317手动控制场景程序代码跟我们之前学习的运动控制代码有一部分类似，也算是拓展，其中这里增加了机械臂抓取和机械臂放置的功能，通过键盘的g或h实现，会发送抓取或者放置信号给机器人，同学们也可以开发其他的键值。视觉处理程序视觉处理程序©NXROBO202319首先打开我们的视觉处理程序grasp_d435.py。视觉处理程序©NXROBO202320导入相关库文件，这里更多的是图像处理相关的，其中也自定义了一个消息类型，这个是跟机械臂状态相关的。视觉处理程序©NXROBO202321这里也是做一些初始化操作，初始化各个坐标点、标志位，同时也创建一些发布者、订阅者对象。视觉处理程序©NXROBO202322这里是机械臂抓取的回调函数，当机械臂发布了抓取的消息后，机器人会进入这个回调函数，机器人会转圈，摄像头会一直发布图像信息，图像处理回调函数也会运行。如果发现目标物品，停下抓取。视觉处理程序©NXROBO202323这部分主要是有机械臂抓取相关的程序，这部分，会与我们之前机械臂与摄像头标定的部分有关，根据机械臂的位置，结合视觉识别目标的位置，完成抓取。视觉处理程序©NXROBO202324通过设置机械臂相关的位置高度，实现提起物品高度，放置物品高度。©NXROBO202325视觉处理程序先将订阅到的图像格式转换成opencv能够处理的格式，使用“CvBridge().imgmsg_to_cv2”。然后通过opencv的方法，实现对物品颜色的识别，同时确定要抓取物品的位置。©NXROBO202326视觉处理程序通过主逻辑程序，完成机器人视觉抓取逻辑功能。启动机器人驱动程序与功能程序©NXROBO202328启动机器人驱动程序与功能程序结合前面课程的学习，若需要将机器人的各个驱动（底盘驱动、雷达驱动、摄像机驱动等等）一起启动的话，可以使用launch文件进行整合编写，那么接下来创建一个launch文件将所需启动的节点驱动包含其中，创建名为teleop2grasp的launch文件。©NXROBO202329启动机器人驱动程序和功能程序使用<include>标签启动driver_bringup.launch文件，该文件包含了底盘的启动节点、机器人的描述文件、摄像机驱动，机器人的描述文件，即机器人的模型文件可以在rviz上显示机器人模型。©NXROBO202330启动机器人驱动程序和功能程序启动swiftpro功能包中的pro_control_nomoveit.launch，机械臂开始订阅运动控制话题与吸盘开关话题。启动lidar_driver_transfer功能包中的雷达启动文件，具体的启动文件根据雷达的型号进行选择，雷达开始扫描并发布雷达数据。©NXROBO202331启动机器人驱动程序和功能程序使用<node>标签启动teleop.py程序，然后根据摄像头型号的不同，启动对应的视觉处理程序grasp_d435.py。启动成功后，就可以通过弹出的键盘控制终端对机器人进行控制与对货物方块的抓取©NXROBO202332启动机器人驱动程序和功能程序通过roslaunch命令启动teleop2grasp.launch文件，同时指定摄像头类型为d435，雷达类型为ydlidar_g6。©NXROBO202333启动机器人