机器视觉技术与应用基础 课件 第7章 机器视觉引导应用

机器视觉技术及应用基础083D视觉技术与应用09深度学习技术与应用07机器视觉测量应用机器视觉引导应用CHAPTER章06Section节7.1PLC通讯与交互7.2手眼标定7.3标准位示教7.4移动引导抓取TASK任务7.1PLC通讯与交互一、PLC及其通讯二、PLC通讯调试工具三、PLC通讯与交互一、PLC及其通讯PLC是一种在工业环境下应用而设计的数字运算操作的电子系统。它采用了可编程的存储器,用来在其内部存储执行逻辑运算、顺序运算、计时、计数和算术运算等操作指令,并通过数字式或模拟式的输入和输出，控制各种类型的机械或生产过程一、PLC及其通讯PLC采用了多种数据类型来支持对各种输入、输出和计算任务的处理。不同的数据类型能容纳的数据范围会有所差异。一、PLC及其通讯序号数据类型说明1Bool表示存储器中位的状态为1（True）或0（False），占用1 位存储空间2Word16位二进制数据类型，用于存储无符号的整数3Int1616位二进制数据类型，用于存储带符号的整数4String可变长度的数据类型，用于存储文本数据，如图像存储路径、OK/NG等5Real32位浮点型数据6Byte8位二进制数据类型，用于存储字符、整数等数据，数据范围0~255在V+平台软件中建立PLC通讯的工具界面如下一、PLC及其通讯使用PLC进行通讯时，PLC扫描工具、读PLC工具及写PLC工具是三个重要的操作工具一、PLC及其通讯1.PLC扫描工具：该工具执行的是一个循环性的操作2.读PLC工具：从PLC的指定地址读取数据来获取控制系统的状态信息和结果数据，如传感器信号、执行器状态等，并支持输出读取结果；3.写PLC工具：向PLC的指定地址写入适当的数据来实现开关电路、调整参数等有效控制使用PLC进行通讯时，PLC扫描工具、读PLC工具及写PLC工具是三个重要的操作工具一、PLC及其通讯PLC：选择已连接的PLC设备扫描间隔：设定扫描周期，单位可选秒和毫秒地址：下拉选择已添加的地址触发条件：即地址的数据满足触发条件即触发，可选“发生变化”、“变为”和“＝”使用PLC进行通讯时，PLC扫描工具、读PLC工具及写PLC工具是三个重要的操作工具一、PLC及其通讯PLC设备：选择已连接的PLC设备地址名称：下拉选择需要读数据的地址是否匹配：一般为否，也可选择“是”并配置匹配值使用PLC进行通讯时，PLC扫描工具、读PLC工具及写PLC工具是三个重要的操作工具一、PLC及其通讯PLC：选择已连接的PLC设备地址名称：下拉选择需要写入数据的地址写入值：可输入或链接前置工具的输出结果，写入值的类型要与地址中设置的类型保持一致二、PLC通讯调试工具PLC通讯调试工具是V+平台软件为使用者提供的一种辅助工具，能够方便开发者进行通讯测试二、PLC通讯调试工具PLC通讯调试工具是V+平台软件为使用者提供的一种辅助工具，能够方便开发者进行通讯测试二、PLC通讯调试工具三、PLC通讯与交互PLC通讯过程中涉及多个设备之间复杂信号的交互。在设计PLC通讯的交互信号时需要合理安排数据转发和处理的顺序，必要时可画出方案执行的流程图作为参考三、PLC通讯与交互结果展示流程图交互顺序图PLC通讯过程中涉及多个设备之间复杂信号的交互，时序问题一直是影响PLC系统稳定性的主要因素之一锂电池有无检测的方案设计参考步骤如下：三、PLC通讯与交互单击【菜单】→“工具”→“3.CommunicationDemo”，进入“通讯调试工具”界面PLC通讯过程中涉及多个设备之间复杂信号的交互，时序问题一直是影响PLC系统稳定性的主要因素之一锂电池有无检测的方案设计参考步骤如下：三、PLC通讯与交互1.展开“Modbus”，双击①处“ModbusServer”2.在②处输入端口号，并单击【启动服务】注：（1）本参考步骤基于汇川PLC完成，故此处通讯协议为Modbus（2）端口号可自行设置，此时虚拟服务器处于打开状态PLC通讯过程中涉及多个设备之间复杂信号的交互，时序问题一直是影响PLC系统稳定性的主要因素之一锂电池有无检测的方案设计参考步骤如下：三、PLC通讯与交互1.单击“InovanceH5UTcp”配置通讯参数2.单击【连接】PLC通讯过程中涉及多个设备之间复杂信号的交互，时序问题一直是影响PLC系统稳定性的主要因素之一锂电池有无检测的方案设计参考步骤如下：三、PLC通讯与交互在“设备管理”的PLC中双击“汇川”添加到设备区2.配置参数其通讯参数：名称：汇川1型号：H5U通讯方式：TcpIP：端口号：502站号：1编码：ASCII数据格式：ABCD3.单击【连接】PLC通讯过程中涉及多个设备之间复杂信号的交互，时序问题一直是影响PLC系统稳定性的主要因素之一锂电池有无检测的方案设计参考步骤如下：三、PLC通讯与交互参照顺序图，添加所需地址并配置其相关数据区域和类型PLC通讯过程中涉及多个设备之间复杂信号的交互，时序问题一直是影响PLC系统稳定性的主要因素之一锂电池有无检测的方案设计参考步骤如下：三、PLC通讯与交互1.双击或拖出“信号”工具包中的“PLC扫描”工具2.双击或拖出“通讯”工具包中的“写PLC”工具3.复制“003_取像”工具粘贴为“061_取像”工具4.依次链接三个工具PLC通讯过程中涉及多个设备之间复杂信号的交互，时序问题一直是影响PLC系统稳定性的主要因素之一锂电池有无检测的方案设计参考步骤如下：三、PLC通讯与交互配置“060_PLC扫描”工具的参数：PLC：汇川1扫描间隔：120ms地址：下拉选择M100触发条件：发生变化PLC通讯过程中涉及多个设备之间复杂信号的交互，时序问题一直是影响PLC系统稳定性的主要因素之一锂电池有无检测的方案设计参考步骤如下：三、PLC通讯与交互配置“062_写PLC”工具参数：PLC：汇川1地址名称：D101写入值：1注：当CCDBusy时写入1，否则写为0PLC通讯过程中涉及多个设备之间复杂信号的交互，时序问题一直是影响PLC系统稳定性的主要因素之一锂电池有无检测的方案设计参考步骤如下：三、PLC通讯与交互1.①处框选工具为复制而来，操作方法与“061_取像”工具相同2.双击或拖出“通讯”工具包中的“写PLC”工具3.链接新添加的工具PLC通讯过程中涉及多个设备之间复杂信号的交互，时序问题一直是影响PLC系统稳定性的主要因素之一锂电池有无检测的方案设计参考步骤如下：三、PLC通讯与交互配置“071_写PLC”工具参数：PLC：汇川1地址名称：D102写入值：OKPLC通讯过程中涉及多个设备之间复杂信号的交互，时序问题一直是影响PLC系统稳定性的主要因素之一锂电池有无检测的方案设计参考步骤如下：三、PLC通讯与交互配置“072_写PLC”工具参数：PLC：汇川1地址名称：D103写入值：NGPLC通讯过程中涉及多个设备之间复杂信号的交互，时序问题一直是影响PLC系统稳定性的主要因素之一锂电池有无检测的方案设计参考步骤如下：三、PLC通讯与交互1.双击或拖出“流程”工具包中的“分支选择”工具，链接至“071_写PLC”和“072_写PLC”2.同理，再次添加“074_写PLC”工具并链接至“073_分支选择”工具PLC通讯过程中涉及多个设备之间复杂信号的交互，时序问题一直是影响PLC系统稳定性的主要因素之一锂电池有无检测的方案设计参考步骤如下：三、PLC通讯与交互配置“073_分支选择”工具的属性：点击【添加】，分别添加分支1和分支2PLC通讯过程中涉及多个设备之间复杂信号的交互，时序问题一直是影响PLC系统稳定性的主要因素之一锂电池有无检测的方案设计参考步骤如下：三、PLC通讯与交互配置“073_分支选择”工具的属性：添加分支1的数据项为“071_写PLC”的输出“Successfully”添加分支2的数据项为“072_写PLC”的输出“Successfully”PLC通讯过程中涉及多个设备之间复杂信号的交互，时序问题一直是影响PLC系统稳定性的主要因素之一锂电池有无检测的方案设计参考步骤如下：三、PLC通讯与交互配置“074_写PLC”工具参数：PLC：汇川1地址名称：M104写入值：TruePLC通讯过程中涉及多个设备之间复杂信号的交互，时序问题一直是影响PLC系统稳定性的主要因素之一锂电池有无检测的方案设计参考步骤如下：三、PLC通讯与交互1.保存项目9解决方案，启动方案运行2.在“通讯调试助手”的InovanceH5UTcp访问Demo页面进行触发测试：地址：M100值：true3.单击【bool写入】注：“值”满足“发生变化”条件即可触发流程执行TASK任务7.2

手眼标定一、手眼标定原理二、手眼标定工具三、光源设定工具四、手眼标定程序编写机器视觉四大应用前面已经学习了哪些相关应用？分别使用了哪些视觉工具？课前回顾一、手眼标定原理一、手眼标定原理在项目11中，讲解过相机标定和四种坐标系的定义——世界坐标系、相机坐标系、图像像素坐标系、图像物理坐标系。在尺寸测量过程中，仅涉及到图像像素坐标系与图像物理坐标系之间的转换关系。而在本项目，需要获取图像像素坐标系与世界坐标系的转换关系，以确定相机和机械手之间的转换关系，从而获取目标工件在机械手坐标系中的位置信息，进行正确抓取。1、空间坐标系转换一、手眼标定原理世界坐标系与相机坐标系转换

世界坐标系Ow-XwYwZw与相机坐标系C-xyz转换关系图，如下图所示。利用旋转矩阵R与平移向量T可以实现世界坐标系中坐标点到相机坐标系中的映射。世界坐标系与相机坐标系转换关系图如果已知相机坐标系中的一点P相对于世界坐标系的旋转矩阵R与平移向量T，则世界坐标系与相机坐标系的转换关系为：其中，R为3×3矩阵，T为3×1平移向量，0的转置矩阵为(000)，P点在相机坐标系的坐标为(x,y,z)，P点在世界坐标系的坐标为(Xw,Yw,Zw)。一、手眼标定原理1、空间坐标系转换相机坐标系与图像物理坐标系转换

世界坐标系Ow-XwYwZw与相机坐标系C-xyz转换关系图，如下图所示。利用旋转矩阵R与平移向量T可以实现世界坐标系中坐标点到相机坐标系中的映射。相机坐标系与图像物理坐标系转换关系图式中，p(x,y,z)是空间点P在相机坐标系下的坐标，对应在图像物理坐标系下的坐标为(X,Y)，f为相机的焦距，则由上式可以得到相机坐标系与图像物理坐标系间的转换关系为：空间中任意一点P在图像平面的投影p是光心C与P点的连接线与成像平面的交点，由透视投影，可知：一、手眼标定原理1、空间坐标系转换图像像素坐标系与世界坐标系转换

根据前面各坐标系间的转换可以得到世界坐标系Ow-XwYwZw与图像像素坐标系o-uv的转换关系为：式中，ax=f/dx，ay=f/dy；M为3×4矩阵，被称为投影矩阵；M1由参数决定ax、ay、uo、vo，这些参数只与相机的内部结构有关，因此称为相机的内部参数（内参）；M2被称为相机的外部参数（外参），由相机相对于世界坐标系的位置决定。确定相机内参和外参的过程即为相机的标定。2、手眼标定——相机图像坐标和机械手世界坐标系的转换相机与机械手坐标系的转换即为手眼标定，其结果的好坏直接决定了定位的准确性。手眼标定包括眼在手上（移动相机）和眼在手外（固定相机）两种相机安装方式，如下图所示。眼在手外（固定相机）眼在手上（移动相机）一、手眼标定原理2、手眼标定——相机图像坐标和机械手世界坐标系的转换相机与机械手之间的坐标系转换标定，通常使用多点标定，常见的有九点标定、四点标定等，标定转换工具可以使用标定板或是实物，本项目仅介绍基于标定板的多点标定方法。即机械手移动X轴、Y轴，分别取标定板上同一参照点对应的n组图像坐标和n组机械手世界坐标，一一对应换算得到坐标系转换关系，完成标定。“眼在手上”模式：相机安装于机械手末端，标定时标定板不移动，只需要机械手移动多点位置进行标定即可，手眼标定的结果为相机坐标系与机械手工具坐标系的关系；“眼在手外”模式：相机位置固定，机械手吸取标定板同一参照点，在相机视野范围内移动多点位置进行标定，手眼标定的结果为相机坐标系与机械手基坐标系的关系。眼在手外模式眼在手上模式一、手眼标定原理3、旋转中心获取旋转中心指物体旋转所绕的固定点。若机械手使用世界坐标系，旋转中心就是法兰中心（机械手末端旋转轴）；若使用工具坐标系，旋转中心就是工具中心。物体绕旋转中心旋转时，物体的X、Y坐标也会发生改变，若想做到一次到位，则需要通过旋转中心计算出物体旋转后X、Y坐标发生的偏移。旋转中心的计算：取圆周上的两点和夹角（或多点），通过几何公式求得与圆心坐标，即为旋转中心的坐标。已知圆周上两点P2和P3的坐标、夹角∠P2P1P3的值，即可求出P1点（旋转中心）的坐标，如下图所示。旋转中心计算一、手眼标定原理二、手眼标定工具1、手眼标定工具“手眼标定”工具用于进行多点标定和旋转中心查找，预编辑程序后，无需手动获取标定片上参照点的图像像素坐标和机械手坐标，即可通过收发指令的形式进行手眼自动标定，经过计算后获取坐标系的转换关系。“手眼标定”工具图标“手眼标定”工具界面二、手眼标定工具2、标定配置数据来源：自动手眼标定需要接收的指令，包含指令头、相机号、当前机械手坐标值等，工具可以自动分割指令，获取相关信息标定模式：相机的个数，单相机或多相机特征样式：标定方式，使用棋盘格或实物二、手眼标定工具3、“图像”页面安装方式：相机的安装方式，固定安装即眼在手外，手部安装即眼在手上移动步数：多点标定的点数和计算旋转中心旋转的次数图像来源：相机实时取像或本地加载图像选择相机：选择进行手眼标定的相机二、手眼标定工具4、“指令”页面详细信息：查看该工具需要的指令情况，以及每条指令的含义二、手眼标定工具5、“校准”页面详细手动模式：启动则可手动触发拍照和计算校准校准模式：包含Linear（默认）、PerspectiveAndRadialWarp、LinescanWarp等特征符号：包含详尽棋盘格（默认）、点网格、棋盘格等基准符号：包含StandardRectangle（默认）、DataMatrix、DotGridAxes、None等块尺寸（mm）：棋盘格单元尺寸（宽×高）高级配置：查看并设置更多高级功能选项二、手眼标定工具6、“执行”页面手动模式：启动则可手动控制主机位移动至标定点位和触发拍照指令详情：查看输入输出指令接收时间及具体信息N点详情：查看当前坐标计算结果二、手眼标定工具7、“结果”页面查看标定的结果分数。二、手眼标定工具三、光源设定工具1、光源控制器的作用和种类使用光源控制器的最主要的目的是给光源供电，控制光源的亮度及照明状态（亮和灭），还可以通过给控制器触发信号来实现光源的频闪，进而大大延长光源的寿命。光源控制器按照功能可以分为：数字控制器、模拟控制器、大功率模拟控制器、线性光源专用模拟控制器、线性光源专用数字控制器、增量模块和非标控制器等。其中，最常用的光源控制器为模拟光源控制器和数字光源控制器。三、光源设定工具2、模拟控制器模拟控制器输出没有任何脉冲成分的电压信号，且信号在其输出状态下是一种连续状态。产品特点：亮度无极模拟电压调节；提供持续稳定的电压源，可用于1/10000s的快门；外触发灵活，高低电平可选，适应不同的外部传感器；过流、短路保护功能；体积小，操作简单。适用范围：可用于驱动小功率光源；高速相机拍摄照明驱动；低成本照明方案；小尺寸线光源驱动。该控制器通常无法直接使用软件进行控制，需要手动调整相关旋钮来控制光源的亮度，如机器视觉实训基础套件使用的光源控制器。模拟光源控制器三、光源设定工具3、数字控制器模拟控制器输出的是一个有周期性变化规律的脉冲电压信号，也就是PWM信号。产品特点：PWM信号输出，改变PWM占空比来调整光源亮度；亮度控制方式灵活，可通过面板按键、串口通信调节光源亮度；外触发采用高速光耦隔离设计，提供准确、可靠的触发信号；集过流、过载、短路保护功能于一体；具有掉电保护功能，自动记忆关机前的设定值。适用范围：可用于驱动小、中功率光源；触发响应快，擅长于高速触发拍摄场合；面阵相机拍摄照明驱动；不可用于线阵相机照明驱动。该控制器可以通过串口或网口、USB等方式连接软件，在软件中输入相关指令和参数来控制光源通道及亮度，如机器视觉只能综合实训平台使用的光源控制器。数字光源控制器三、光源设定工具4、设备管理-光源V+平台软件与控制光源的设备为“设备管理”中的“德创”光源控制器。交互区：用于控制不同通道光源亮度，可拖动滑动条，也可直接输入数值参数集：可以为多通道设置多组不同的亮度，方便后续进行选择端口：选择光源控制器通过哪一端口号进行通讯波特率：根据不同产品设置，多为19200频闪模式：若勾选，则光源会频繁闪烁其他参数默认三、光源设定工具5、“光源设定”工具光源：“设备管理”中已添加的光源控制器工作模式：若勾选直接控制，可控制通道的光源为固定亮度；若勾选参数集，则通道可切换不同亮度光源控制栏：可添加和删除光源通道，并设置亮度三、光源设定工具四、手眼标定程序编写1、设备介绍任务一：了解设备非运行状态时，设备务必处于“手动状态”。任务一：了解设备1、设备介绍在锂电池生产环节中，需要对它进行拍照、定位、抓取、装配、测量、检测等多种任务，顺利通过每个环节才能得到合格的产品。该项目模拟了自动化生产线上锂电池上料入库，并进行码垛的全过程。上料入库码垛移动相机12、触摸屏介绍任务一：了解设备“主画面”：切换手动状态/自动状态同设备硬件按钮功能：启动、停止、复位2、触摸屏介绍任务一：了解设备“教学单段流程”：用于“手动模式”下切换单独程序2、触摸屏介绍任务一：了解设备“手动调试”：调速电机：控制4条流水线LED灯：设备照明上料电机：“锂电池上料码垛入库”工位电机排料电机：“锂电池外观检测”工位电机测量电机：“锂电池尺寸测量”工位电机吸气：控制机械手末端吸嘴追踪传送带反转：“锂电池抓取”工位皮带反转2、触摸屏介绍任务一：了解设备参数设置”：码垛层数：“锂电池上料码垛入库”工位锂电池堆叠层数屏蔽推料：控制“锂电池外观检测”工位是否推料追踪推料间隔时间：单位s光栅屏蔽：设备正面两侧光栅，若被遮挡，是否触发运行停止安全门屏蔽：设备侧面和背面门打开，是否触发运行停止追踪到达工位选择：“锂电池抓取”工位后，选择去“装配工位”或者去“测量工位”2、触摸屏介绍任务一：了解设备“信号监控”：监控设备传感器当前状态。2、触摸屏介绍任务一：了解设备“报警画面”：查看设备报警时间和原因。2、触摸屏介绍任务一：了解设备“机械手”：用于在“手动模式”下，进行综合程序或单独程序的标定和训练吸嘴。2、触摸屏介绍任务一：了解设备“机械手手动位置”：用于手动控制机械手位置，点击【开启手动调试点位】后，哪个按钮亮绿灯，则代表可以点击该按钮走到下一位置。任务二：软件端添加硬件设备在“设备管理”→“2D相机”→双击“德创”，即可添加1台相机到左侧设备栏中。编辑相机名称，选择相机对应的IP地址、格式、曝光、增益。如图所示：1、相机通讯上料入库码垛移动相机1任务二：软件端添加硬件设备2、光源通讯该项目使用1组光源，由光源控制器控制，这里添加一个“德创1”光源，端口号为COM2，取消勾选“频闪模式”，其他参数无需修改，点击【连接】。“通道1”即控制移动相机1对应光源，亮度可设置的范围为0-255。一共添加2个以太网，用于不同场景的通讯。以太网1基本参数进行如下设置：名称：TCP模式：服务器IP地址：23端口号：30003、以太网通讯-TCP任务二：软件端添加硬件设备以太网2基本参数进行如下设置：名称：TCP2模式：服务器IP地址：23端口号：40004、以太网通讯-TCP2任务二：软件端添加硬件设备任务三：手动调试硬件“主画面”界面上，将状态打到“手动状态”，点击【停止】，再点击【复位】按钮。1、设备复位任务三：手动调试硬件1、触摸屏点击最下面一排的【机械手手动位置】按钮，进入该界面2、查看移动相机1图像效果-①机械手走点位点击【开启手动调试点位】，“机械手原点”按钮会亮绿灯，则代表可点击该按钮走到下一位置。任务三：手动调试硬件点击【机械手原点】，“CCD1拍照位”和“CCD2拍照位”同时亮绿灯，代表可以选择走到其中一个位置。2、查看移动相机1图像效果-①机械手走点位点击【CCD1拍照位】，机械手携带移动相机1移动到拍照位置。在此位置时移动相机1可拍照，所以不需要再走到下个位置。任务三：手动调试硬件2、设备管理“德创1”光源：通道1亮度值255。3、查看移动相机1图像效果-②打开光源和相机3、设备管理“移动相机1”：点击交互区右下角【打开视频】，查看图像效果。若图像模糊，需要调节移动相机1的镜头对焦环。若图像亮度过亮或过暗，推荐调节光源亮度。结果展示四、手眼标定程序编写1.独立搭建标定程序。2.掌握引导模块工具：手眼标定。3.学会和机械手进行以太网通讯，正确发送和接收相关指令。实训目的1、“监听”工具（重命名为“标定”）任务一：程序设计设备：TCP触发条件：匹配数据头数据头：Calib数据头尾分隔符：，2、“光源设定”工具任务二：光源设定打开光源。光源：德创1添加通道：Channel1，亮度1003、“手眼标定”工具-首页数据来源：标定.ReceivedData标定模式：单相机特征样式：棋盘格配置完成点击右下角【下一步】。任务一：程序设计4、“手眼标定”工具-①图像安装方式：固定安装；移动步数：9（平移步数）+5（旋转步数）；图像来源：相机取像；机位编号1（主机位1）：移动相机1；配置完成点击右下角【下一步】。任务一：程序设计5、“手眼标定”工具-②指令此页不需要进行配置，点击右下角【下一步】。点击【详细信息】，可以了解该工具需要拿到什么指令，才可以进行正常的拍照和标定计算，以及每条指令的含义。任务一：程序设计6、“手眼标定”工具-②指令详情任务一：程序设计7、“手眼标定”工具-③校准特征符号：详尽棋盘格基准符号：StandardRectangles块尺寸(mm)：3×3其余配置默认即可，配置完成点击右下角【下一步】。任务一：程序设计8、“手眼标定”工具-④执行此步骤无需配置，点击右下角【下一步】。可以点击【指令详情】和【N点详情】，查看当前执行状态。任务一：程序设计9、“手眼标定”工具-④执行-指令详情和N点详情任务一：程序设计10、“手眼标定”工具-⑤结果此页不需要进行配置，执行完成可以查看标定的结果。任务一：程序设计11、“光源设定”工具-光源熄灭光源：德创1添加通道：Channel1亮度：0任务一：程序设计12、“写数据”工具任务一：程序设计每个标定步骤完成后，需要发送指令给机械手。通讯：TCP数据：手眼标定.Command其余参数无需配置。1、设备复位和程序运行任务二：设备操作触摸屏：“主画面”界面上，将状态打到“手动状态”，点击【停止】，再点击【复位】按钮。程序：点击菜单栏运行按钮，运行程序。2、标定片放于初始位置任务二：设备操作在“锂电池上料码垛入库”工位的传送带上，摆放厚的白色垫板，并将标定片放于图示位置。3、手动调试机械手任务二：设备操作触摸屏：1.点击【机械手】进入该界面。2.机械手调试：点击【手动调试未启用】，开启手动调试。3.机械手码垛标定：点击【码垛标定】，机械手移动，标定开始。机械手搬运标定片，并用移动相机1进行拍照，过程中严禁用手移动标定片。4、标定完成任务二：设备操作程序：运行结束后，在跳出的窗口点击【确定】，将当前结果分数进行覆盖。可在“手眼标定”工具“结果”页面中查看此次标定结果分数和相关参数。练习：请完成本实训的程序设计，并正确操作设备，完成标定。（要求时长：2课时）实训三：锂电池上料入库-标定结果展示TASK任务7.3标准位示教一、标准位示教原理二、标准位示教工具三、标准位示教程序编写手眼标定主要是什么坐标系之间的转换？课前回顾一、标准位示教原理1、标准位示教原理一、标准位示教原理在实际工业应用中，机械手或移动模组常配合吸盘、夹爪等用来抓取产品，不可避免存在抓取的点位同末端旋转轴不在同一轴中心的情况。此时就需要做标准位示教（也称为“训练吸嘴”），获取一个模板情况下的产品图像坐标和机械手实际坐标。使自动引导抓取时，都能根据此模板位置进行计算，实现正确抓取。当前产品模板产品二、标准位示教工具1、标准位示教工具V+平台软件的“标准位示教”工具如下图所示。“标准位示教”工具图标“标准位示教”工具界面二、标准位示教工具2、输入设置信号数据：指定或关联信号的数据格式。鼠标放置于“”时，可看到该工具需要的参考指令为“Train,N,TTN,C,0,X,Y,A”图像：链接外部输入图像创建Record：若勾选，则该工具可以创建结果图像二、标准位示教工具2、标定设置标定文件列表：由“手眼标定”工具自动生成，标定文件名对应“手眼标定-①图像”中的机位编号：刷新按钮，点击可刷新列表中的标定文件：打开文件夹，点击可查看本地文件夹下的手眼标定文件和标准位示教文件高级设置：点击可查看底层工具算法二、标准位示教工具3、特征抓取特征抓取：“通用”为使用简单工具获取示教点，“高级”为使用ToolBlock工具获取示教点操作：可导入或导出此示教文件X/Y/R：链接ToolBlock的“[Outputs]”输出的示教点的X/Y/RRecord：可选择ToolBlock的图像缓冲区作为结果图像二、标准位示教工具三、标准位示教程序编写三、标准位示教程序编写1.独立搭建标准示教位（也称为训练吸嘴模板位置）程序。2.掌握引导模块工具：标准位示教。3.学会和机械手进行以太网通讯，正确发送和接收相关指令。实训目的1、“监听”工具（重命名为“训练吸嘴”）任务一：程序设计设备：TCP触发条件：包含数据数据头：TTN2、“光源设定”工具打开光源。光源：德创1添加通道：Channel1，亮度210任务一：程序设计3、“取像”工具相机：移动相机1（此为标定的从相机2）输出格式：ICogImage任务一：程序设计4、“光源设定”工具关闭光源。光源：德创1添加通道：Channel1，亮度0任务一：程序设计5、“标准位示教”工具-①输入设置信号数据：训练吸嘴.

ReceivedData（点击【

】可查看需要的指令格式）图像：取像工具输出的Image勾选“创建Record”完成配置点击【下一步】。任务一：程序设计勾选标定文件“主机位1”（此含义为调用该相机的标定空间，使得接下来的图像处理在已标定的机械手坐标系下完成）。完成配置点击【下一步】。6、“标准位示教”工具-②标定设置任务一：程序设计7、“标准位示教”工具-③特征抓取用于输出锂电池中心点XYR和结果图像Record.勾选“高级”左侧搭建ToolBlock：PMAlign，Fixture建立坐标系4个FindCorner找锂电池4个标签角（A：左上角，B：左下角，C：右下角，D：右上角）2个FitLine拟合2条对角线1个IntersectLineLine将对角线相交得到标签中心XY添加到“[Outputs]”1个FitLine链接FindCorner1和FindCorner4输出的XY，添加终端Rotation，并将其链接到“[Outputs]”。右侧输出XYR，必须分别选择左侧“[Outputs]”的XYR，否则没有结果。右侧输出XYR和Record。完成配置点击【完成】。任务一：程序设计8、“写数据”工具通讯：TCP数据：分支选择.数据项1.标准位示教.Command其余参数无需配置。任务一：程序设计1、设备复位和程序运行任务二：设备操作触摸屏：“主画面”界面上，将状态打到“手动状态”，点击【停止】，再点击【复位】按钮。程序：点击菜单栏运行按钮，运行程序。2、锂电池放置在标准位置任务二：设备操作1.在“锂电池上料码垛入库”工位的传送带上，，摆放锂电池于图示位置，顶于卡槽内。2.其他位置不放任何东西，保证传送带整洁。3、手动调试机械手任务二：设备操作触摸屏：1.点击【机械手】进入该界面。2.机械手调试：点击【手动调试未启用】，开启手动调试。3.训练吸嘴：点击【训练吸嘴】，机械手移动，训练开始4、移动相机1训练吸嘴-无需手动操作任务二：设备操作机械手抓取锂电池后放置于移动相机1下，进行拍照。待训练吸嘴程序成功运行后，及时按下【停止】按钮（也可按下触摸屏主页面上【停止】键）。后续其他相机训练吸嘴不再需要，要及时停止。5、训练吸嘴结束任务二：设备操作此时训练吸嘴流程结束。触摸屏上按下【停止】，再按【复位】。结果展示TASK任务7.4移动引导抓取一、引导原理二、引导相关工具三、移动抓取程序编写标准位示教需要拿到哪些坐标？课前回顾一、引导原理1、引导类型在工业视觉引导的应用场景中，相机的安装方式可选择固定安装或随机构移动安装，亦可以选择单个或多个相机同机构进行配合。其中，与机械手或移动模组相结合的应用最为普遍。关于此类场景，视觉定位引导可大致分为4种模式：引导抓取、引导组装、位置补正、轨迹运算定位引导。引导抓取引导组装位置补正轨迹运算定位引导一、引导原理2、引导抓取相机拍照计算机械手抓取位置，机械手根据视觉运算数据抓取。如：在料盘中抓取、对流水线上产品进行抓取等。引导抓取一、引导原理3、引导组装相机拍产品的上下两部分，通过标定计算出机械手需要移动的距离，完成贴合动作。如：屏幕贴合、产品组装等。引导组装一、引导原理4、位置补正又称为“纠偏补正”。机械手抓完产品，移至相机视野下拍照，视觉计算机械手移动位置，将产品放置到固定位置。位置补正一、引导原理5、相机轨迹运算定位引导相机拍照（一次或多次），计算出产品的中心和角度，根据设定好的轨迹点，计算出产品在不同状态下的轨迹点的位置。如：点胶轨迹运算、焊接轨迹运算等。轨迹运算定位引导一、引导原理6、引导原理手眼标定是引导能否正确运行的关键因素，在标定坐标下，相机拍照获取当前图像，计算产品的当前图像坐标X、Y、R，并根据此当前图像坐标，同模板坐标等信息进行计算，获取补偿值，使机械手最终走绝对值或相对值，产品当前位置同模板位置的差如下图所示。其中C(c,d)为模板图像坐标，A(x,y)为当前图像坐标，且夹角都为已知。根据模板位置进行计算引导抓取一、引导原理二、引导相关工具1、特征定位工具特征定位工具的界面布局及配置同“标准位示教”工具类似，如下图所示，其说明不再赘述。不同之处在于二者输出的坐标合集格式不同，在后续“引导计算”工具中，可选择调用的文件不同，二者不可混用。“特征定位”工具界面二、引导相关工具2、引导计算工具V+平台软件的“引导计算”工具如下图所示，其中，“模式选择”的含义详见“1.引导原理”。“引导计算”图标“引导计算”工具界面二、引导相关工具2、引导计算工具-位移计算（通用模式）旋转轴方向：由机械手末端轴，或移动模组旋转轴的正负方向决定数据源：分为“简易模式”和“通用模式”，不同模式对应的特征数据和训练数据的选项不同特征数据：当前图像TX、TY和TR的值，可分别选择不同数据训练数据：模板的图像坐标TX、TY、TR的值和机械手坐标RX、RY、RR的值，可分别选择不同来源的数据二、引导相关工具2、引导计算工具-位移计算（简易模式）特征数据：“特征定位”工具输出的当前图像坐标，可直接选择前端程序“特征定位”工具输出的整体文件训练数据：“标准位示教”工具输出的模板图像坐标和对应的机械手坐标，需要先用“标准位数据”工具先得到标准位示教的txt坐标文件，再在此处下拉选择整体文件。并不是所有情况都可使用简易模式二、引导相关工具2、引导计算工具-补偿计算在某些情况，需要通过固定方向增加或减少X、Y和R的值，以获取更好的引导效果。二、引导相关工具2、引导计算工具-防呆保护启用并设置机械手XYR的安全值，及其该安全值允许的上下限。二、引导相关工具三、移动抓取程序编写三、锂电池移动抓取实训目的1.独立搭建锂电池上料入库的自动运行程序。2.掌握引导模块工具：特征定位、标准位数据、引导计算。3.设计HMI界面，显示每次拍照的结果图像（带Record信息）、每次结果的OKNG信息、抓取的XYR坐标、标题栏等，整体美观大方，展示关键信息。3.学会和机械手进行以太网通讯，正确发送和接收相关指令，引导机械手正确抓取锂电池，