《工业视觉》课件-实验3工业机器人运动控制

实验二工业机器人运动控制三、实验任务四、实验内容及步骤工业机器人视觉引导与控制综合设计实验二、实验目的一、知识点回顾1.1、机器人位置描述：一、知识点回顾1、机器人空间描述1.2机器人姿态描述：一、知识点回顾2连杆描述一、知识点回顾2连杆描述一、知识点回顾2连杆描述一、知识点回顾2连杆描述一、知识点回顾3正运动学求解一、知识点回顾4逆运动学求解4.1

多重解问题在求解运动学方程时可能遇到的一个问题就是多重解问题。一个具有3个旋转关节的平面机械臂，由于从任何方位均可到达工作空间内的任何位置，因此在平面中有较大的灵巧工作空间（给定适当的连杆长度和大的关节运动范围）。图5所示为在某一位姿下带有末端执行器的三连杆平面机械臂。无填充区域额表示第二个可能的位形，在这个位形下，末端操作器的可达位姿与第一个位形相同。图5三连杆机器人，无填充区域代表第二个解因为系统最终只能选择一个解，因此机械臂的多重解现象会产生一些问题。解的选择标准是变化的，然而比较合理的选择应当是取“最短行程”解，最近解就是使得每一个运动关节的移动量最小。例如图6中，在没有障碍的情况下，机械臂末端执行器从A运动到B，可选择图6中上部无填充区域所示的位形。这样，利用算法能够选择关节空间内的最短行程解。但是，“最短行程”解可能有几种确定方式。例如，典型的机器人有3个大连杆，附带3个小连杆，姿态连杆靠近末端执行器。这样，在计算“最短行程”解时需要加权，使得这种选择侧重于移动小连杆而不是移动大连杆。在存在障碍的情况下，“最短行程”解可能发生干涉，这时只能选择“较长行程”解。为此，一般我们需要计算全部可能的解。这样，在图6，障碍的存在意味着需要按照下部无填充区域所示的位形才能到达B点。图6环境中由障碍物时的多解选择一、知识点回顾4逆运动学求解4.2

数值求解法逆运动学求解是一个非线性超越方程组的求解问题，无法建立通用的解析算法，由多种方法可用来求解逆运动学问题。由于计算过程复杂，我们不做要求，此处提供UR10机器人利用数值求解法得到的各关节角度：特别重要的是，逆解的数量不是唯一的，可能会得到8组机器人的逆解，这就需要通过机器人的约束关系来选取逆解中最符合要求的一组作为机器人当前位姿的解。机器人逆运动学存在多种解法，同学们可自行查找资料，了解更多的解法。三、实验任务四、实验内容及步骤工业机器人视觉引导与控制综合设计实验二、实验目的一、知识点回顾（1）了解通用工业机器人坐标系建立、姿态描述、连杆参数建模方法和D-H表格建立方法；能结合实际的应用场景完成工业机器人的型号选型；（2）熟练运用工业机器人常见的示教编程等控制方式；（3）能熟练运用数学解析法实现机器人的正、逆运动学的求解，并能够利用软件工具实现基础的运动学算法编程实现；（4）能利用神经网络算法求解多关节串联机器人的逆运动学；（5）能自主开发视觉位置检测算法和运动学控制算法，实现基于视觉引导的机器人上料工艺功能。二、实验目的三、实验任务四、实验内容及步骤工业机器人视觉引导与控制综合设计实验二、实验目的一、知识点回顾在学习并掌握数字图像处理、目标检测、机器人视觉感知、机器人运动学基础、机器人控制的原理和方法后，利用虚拟仿真平台综合实现完整的基于视觉引导的机器人上料工艺功能。具体要求：在系统上料工位生成一个含有4个手机外壳的蓝色物料盒，要求控制UR10工业机器人按顺序把手机外壳搬运到传送带上。实验要求设计合适的若干中间点和目标点实现机器人运动轨迹规划（运动过程中间点和目标点），编写相应控制指令，或通过正逆运动学求解实现运动控制算法，将手机壳搬运到传送带的目标位置。三、实验任务三、实验任务四、实验内容及步骤工业机器人视觉引导与控制综合设计实验二、实验目的一、知识点回顾四、实验内容及步骤本实验的设置按照由易到难的顺序设置，其流程如图1所示。其中的“基础认知实验”仅利用虚拟仿真软件即可实现；此外，“基础运动学实验”中自主编程功能实现过程还需配合VisualStudio软件实现；而“基于神经网络的逆运动学求解”实验还需要结合其他合适的软件平台（如PythonIDE

/Matlab）共同实现。四、实验内容及步骤4.1机器人运动学分析4.1.1机器人指令编程运动控制

工艺流程目标1：利用工业机器人控制指令进行运动轨迹规划与控制，完成手机抓取任务。

关键知识点1：通过设计若干中间点和目标点，合理规划机械臂运动轨迹，掌握机器人指令编程控制方法。

（1）考虑空间障碍物和实际生产线的空间情况等因素，设计若干中间轨迹点（如P1、P2、P3…）和目标点，规划合

理的机器人运动轨迹，最终实现手机壳抓取，在运动轨迹的关键节点示教机器人，如图2所示。在每个关键节

点击“添加示教点”即可添加轨迹中示教点；若要修改示教点，则选中要修改的示教点调节位姿，再点击保存

示教点即可；（2）添加示教点位置后，点击输入指令按钮，利用示教编程指令编写相应的运动控制指令，如图3所示；

（相关的编程指令说明参见本文档末附录1）；（3）最后保存设置的运行控制指令并测试运行，直至机器人能准确地完成手机壳抓取移动任务。（4）最后保存设置的运行控制指令并测试运行，直至机器人能准确地完成手机壳抓取移动任务。图2

运动轨迹的示教图3

运动控制指令编程图4

机器人关节角与末端位置关系四、实验内容及步骤4.1机器人运动学分析四、实验内容及步骤思考题思考题1：如果点击了参考示教点和示例指令（如图3中），点击测试运行后机器人只完成到达P1点的运动轨迹，而并不进行抓取，为什么？应如何修改？思考题2：打开参数显示面板和示教窗口（如图4所示），改变关节轴角度，观察机器人末端位置的有什么变化？验证末端位置和机器人的转动角的关系（DH表在仿真软件中可显示）。思考题3：实现机器人抓取功能的参考点设置方法是否唯一？若不唯一，请举例说明。四、实验内容及步骤工艺流程目标2：基于机械臂正、逆运动学原理，采用数值算法编程实现机械臂控制，完成手机上料作业。关键知识点2：掌握机器人正运动学的数值算法求解方法。（该部分实验任务需要安装VisualStudio软件，并在实验主页网站下载“外部通讯程序框架”文件夹，其中包含了例程框架）启动VisualStudio2019软件，打开“C盘\:ProgramFiles(x86)\:虚拟仿真实验\:外部通讯程序框架”。在文件夹内找到Server.cs文件，并双击打开该文件，如图5所示。打开Server.cs文件后，找到HandleRequest模块下的“正解”程序块，点击“正解”旁边的“+”号或者双击“正解”打开程序块，并在上下两行“/****”、“****/”内根据运动学正解原理编写正解程序，如图6所示。图5

打开自主编程程序框架图6正解编程位置四、实验内容及步骤3、正解程序说明：

已知条件：

①当前机器人各轴角度值，存放于_newAngleArray数组中。

②待发送的数据格式及数据变量（_px,_py,_pz,_ax,_ay,_az,_ox,_oy,_oz,_nx,_ny,_nz）。

③角度值与弧度值转换函数以及Sin、Cos函数

④各轴齐次变换矩阵变量（t01,t12,t23,t34,t45,t56）和末端姿态矩阵变量（t06）

待编写程序：

根据获取的各轴角度值求出机器人末端姿态矩阵，并将求得的值赋给相应的数据变量。（_px,_py,_pz,_ax,_ay,_az,_ox,_oy,_oz,_nx,_ny,_nz）4、调试验证。如图7所示，运行外部通讯程序，并选择机器人驱动为外部程序接口，建立连接。再在示教窗口调节关节示教，观察外部通讯测试程序界面显示的末端坐标是否和仿真软件的末端坐标一致，如图8所示。图7使用外部通讯接口运行自主编写的程序四、实验内容及步骤思考题4：观察参考示教点P6，该点反映机械手臂抓取手机壳时的位姿，尝试调整不同的关节角度以到达该位姿。思考题机械臂正、拟运动学求解的定义为何机械臂逆运动学求解存在多重解的情况呢？逆运动学求解：指定机器人末端位姿，通过计算求得机器人到该位姿时的各关节转角变量，并驱动机器人移动到该位置正运动学求解：当机器人各关节的旋转角度给定时，求解机器人末端执行器在空间坐标系下的坐标四、实验内容及步骤请同学们打开实验软件，运用关节示教的方法完成如下特定实验任务：

将机器臂末端位置由pHome=(Px,Py,Pz,Rx,Ry,Rz)=(0.688,-0.164,0.647,180,0,-90)

移动至给定目标位置p1=(Px,Py,Pz,Rx,Ry,Rz)=(-0.600,-0.600,0.500,-180,0,-90)思考题如何获得最优的逆运动学解？四、实验内容及步骤思考题如何获得最优的逆运动学解？四、实验内容及步骤四、实验内容及步骤关键知识点3：掌握机器人逆运动学的数值算法求解方法并选取最优解。启动VisualStudio2019软件，打开下载的外部通讯程序框架文件夹。在文件夹内找到Server.cs文件，并双击打开该文件。打开Server.cs文件后，找到HandleRequest模块下的“逆解”程序块，点击“逆解”旁边的“+”号或者双击“逆解”打开程序块，并在上下两行“/****”、“****/”内根据运动学逆解原理编写逆解程序，如图9所示。逆解程序说明：已知条件：①当前机器人各轴角度值及目标姿态矩阵值，分别存放于subStrs1、subStrs2中。(字符型数据，使用需先转换为浮点型数据)②待发送的数据格式及数据变量（theta1,theta2,theta3,theta4,theta5,theta6,_px,_py,_pz,_ax,_ay,_az,_ox,_oy,_oz,_nx,_ny,_nz）。③DH参数值保存于DHsList列表中。(可在Form1.cs文件中查看)待编写程序：1、根据运动学逆解原理编程求出8组逆解。2、在8组逆解中，选出最优的一组解赋给相应数据变量。四、实验内容及步骤关键知识点3：掌握机器人逆运动学的数值算法求解方法并选取最优解。4、调试验证。如图7所示，运行外部通讯程序，并选择机器人驱动为外部程序接口，建立连接。再在示教窗口调节点的示教，观察末端位置是否和仿真软件一致及仿真软件中的关节角度，再换一组解回传，观察仿真软件中机器人各轴的角度变化及末端位置是否和原来一致，如图10所示。图9

逆解编程位置图10

逆解结果比较四、实验内容及步骤进阶任务3.1.2基于神经网络的逆运动学算法求解关键知识点4：自学掌握神经网络搭建方法及基于神经网络的逆运动学求解。在Server.cs文件开头导入Adam神经网络库，Adam神经网络的训练需要设置优化器、学习率、损失函数、误差精度、迭代初始值和最大迭代次数等，具体设置方法和应用软件请参见对应学习资料。导入Adam库后，需要在C#中将仿真软件的目标姿态矩阵作为参数调用train函数，train函数将会返回满足误差精度的预测关节角度数组，最终在C#中将获得的预测关节角度取出赋给相应的数据变量，完成机器人的运动控制仿真。四、实验内容及步骤3.2基于视觉引导的完整机器人上料工艺功能实现工艺流程目标3：基于前面设计的机器人视觉算法及运动学控制算法，完整实现机器人上料工艺过程。关键知识点5：掌握基于视觉引导的机器人上料工艺关键步骤及实现方法，理解仿真软件的通讯原理。要实现基于视觉引导的机器人运动控制，需要对视觉相机、末端夹具、机器人、传送带、控制器等产线设备进行联合调试，其流程框图如图11：在此处，我们提供了一个“外部通讯程序”来暂时替代PLC控制器（PLC控制器相关内容包含在实验三中）。只需在仿真软件安装路径，默认为“C盘\:ProgramFiles(x86)\虚拟仿真实验\外部程序”文件夹中找到“外部通讯程序.exe”（图12），双击打开程序后，点击“启动”按钮，即可实现多设备串联。图12启动视觉引导控制算法通讯接口图11电子产线机器人视觉引导控制流程示意图四、实验内容及步骤3.2.1利用内置算法（视觉定位+运动控制）实现机器人上料工艺按之前的实验内容，正确完成机器人的视觉算法配置、参考示教点配置（默认）及示教指令的编程。选择机器人和相机视觉算法驱动方式为内置算法（图13位置），打开上述的“外部通讯程序”，点击启动建立连接。最后在仿真软件顶部功能栏，点击“仿真设置-启动仿真”，再点击电控柜绿色按钮启动运行。运行结果如图14所示。图13设备驱动选择界面图14仿真运行结果四、实验内容及步骤3.2.2利用自主编程算法（视觉定位+运动控制）实现机器人上料工艺由于本虚拟仿真实验具有足够的开放性和灵活性，也可以利用前述完成的自主编程（C#程序）视觉定位和运动学算法来结合并实现完整的上料工艺，该过程的控制和通讯原理与上述内容一致，具体操作方法请同学们自主完成。课后任务课后自主完成本次实验的内容复习PLC可编程逻辑控制相关知识通过实验指导手册、微视频，预习实验三根据程序样例，尝试编写PLC梯形图程序附录1-UR10常用控制指令说明（1）MoveL-机器人直线插补运动基本用途：MoveL用于将工具中心点沿直线移动至给定目的。当工具中心点(TCP)保持固定时，则该指令亦可用于调整工具方位。该指令的基本范例及说明如下：格式：MoveL+空格+示教点名称+空格+速度示例：MoveLp1,20说明：工具中心点沿直线插补运动至位置p1，其速度数据为20。（2）MoveC—机器人圆弧插补运动基本用途：该指令用来让机器人TCP沿圆周运动到一个给定的目标点。在运动过程中，相对圆的方向通常保持不变。该指令的基本范例及说明如下：格式：MoveC+空格+示教点1名称+空格+示教点2名称+速度示例：

MoveCp1,p2,20说明：工具中心点沿圆弧插补运动到

p2，速度数据为20。圆由开始点、中间点

p1和目标点

p2确定。（3）MoveJ-机器人各关节以最快速度运行至指定示教点基本用途：机器人以最快捷的方式运动至目标点，其运动状态不完全可控，但运动路径保持唯一。MoveJ指令常用于机器人在空间大范围移动，该指令的基本范例及说明如下：格式：MoveJ+空格+示教点名称+空格+速度示例：MoveJp1,20说明：工具中心点沿非线性路径移动至位置p1，其速度数据为20。附录1-UR10常用控制指令说明（4）Reset-机器人将某个内部信号重置为0基本用途：Reset为重置命令，用于将某个内部数字输出信号的值重置为零，内部信号地址0-7。该指令的基本范例及说明如下：格式：Reset+空格+内部信号地址示例：Reset2说明：将