工业视觉系统编程及基础应用-项目12-任务1 锂电池手眼标定

工业视觉系统编程及基础应用PROJECT项目090810111213项目8外围设备通讯与交互项目9锂电池检测项目10锂电池测量项目11锂电池识别项目12锂电池引导抓取项目13前沿技术基础应用TASK任务1、锂电池手眼标定任务一、手眼标定原理二、手眼标定工具三、光源设定工具四、锂电池手眼标定机器视觉四大应用前面已经学习了哪些相关应用？分别使用了哪些视觉工具？课前回顾一、手眼标定原理在项目11中，讲解过相机标定和四种坐标系的定义——世界坐标系、相机坐标系、图像像素坐标系、图像物理坐标系。在尺寸测量过程中，仅涉及到图像像素坐标系与图像物理坐标系之间的转换关系。而在本项目，需要获取图像像素坐标系与世界坐标系的转换关系，以确定相机和机械手之间的转换关系，从而获取目标工件在机械手坐标系中的位置信息，进行正确抓取。1、空间坐标系转换一、手眼标定原理世界坐标系与相机坐标系转换

世界坐标系Ow-XwYwZw与相机坐标系C-xyz转换关系图，如下图所示。利用旋转矩阵R与平移向量T可以实现世界坐标系中坐标点到相机坐标系中的映射。世界坐标系与相机坐标系转换关系图如果已知相机坐标系中的一点P相对于世界坐标系的旋转矩阵R与平移向量T，则世界坐标系与相机坐标系的转换关系为：其中，R为3×3矩阵，T为3×1平移向量，0的转置矩阵为(000)，P点在相机坐标系的坐标为(x,y,z)，P点在世界坐标系的坐标为(Xw,Yw,Zw)。一、手眼标定原理1、空间坐标系转换相机坐标系与图像物理坐标系转换

世界坐标系Ow-XwYwZw与相机坐标系C-xyz转换关系图，如下图所示。利用旋转矩阵R与平移向量T可以实现世界坐标系中坐标点到相机坐标系中的映射。相机坐标系与图像物理坐标系转换关系图式中，p(x,y,z)是空间点P在相机坐标系下的坐标，对应在图像物理坐标系下的坐标为(X,Y)，f为相机的焦距，则由上式可以得到相机坐标系与图像物理坐标系间的转换关系为：空间中任意一点P在图像平面的投影p是光心C与P点的连接线与成像平面的交点，由透视投影，可知：一、手眼标定原理1、空间坐标系转换图像像素坐标系与世界坐标系转换

根据前面各坐标系间的转换可以得到世界坐标系Ow-XwYwZw与图像像素坐标系o-uv的转换关系为：式中，ax=f/dx，ay=f/dy；M为3×4矩阵，被称为投影矩阵；M1由参数决定ax、ay、uo、vo，这些参数只与相机的内部结构有关，因此称为相机的内部参数（内参）；M2被称为相机的外部参数（外参），由相机相对于世界坐标系的位置决定。确定相机内参和外参的过程即为相机的标定。2、手眼标定——相机图像坐标和机械手世界坐标系的转换相机与机械手坐标系的转换即为手眼标定，其结果的好坏直接决定了定位的准确性。手眼标定包括眼在手上（移动相机）和眼在手外（固定相机）两种相机安装方式，如下图所示。眼在手外（固定相机）眼在手上（移动相机）一、手眼标定原理2、手眼标定——相机图像坐标和机械手世界坐标系的转换相机与机械手之间的坐标系转换标定，通常使用多点标定，常见的有九点标定、四点标定等，标定转换工具可以使用标定板或是实物，本项目仅介绍基于标定板的多点标定方法。即机械手移动X轴、Y轴，分别取标定板上同一参照点对应的n组图像坐标和n组机械手世界坐标，一一对应换算得到坐标系转换关系，完成标定。“眼在手上”模式：相机安装于机械手末端，标定时标定板不移动，只需要机械手移动多点位置进行标定即可，手眼标定的结果为相机坐标系与机械手工具坐标系的关系；“眼在手外”模式：相机位置固定，机械手吸取标定板同一参照点，在相机视野范围内移动多点位置进行标定，手眼标定的结果为相机坐标系与机械手基坐标系的关系。眼在手外模式眼在手上模式一、手眼标定原理3、旋转中心获取旋转中心指物体旋转所绕的固定点。若机械手使用世界坐标系，旋转中心就是法兰中心（机械手末端旋转轴）；若使用工具坐标系，旋转中心就是工具中心。物体绕旋转中心旋转时，物体的X、Y坐标也会发生改变，若想做到一次到位，则需要通过旋转中心计算出物体旋转后X、Y坐标发生的偏移。旋转中心的计算：取圆周上的两点和夹角（或多点），通过几何公式求得与圆心坐标，即为旋转中心的坐标。已知圆周上两点P2和P3的坐标、夹角∠P2P1P3的值，即可求出P1点（旋转中心）的坐标，如下图所示。旋转中心计算一、手眼标定原理TASK任务1、锂电池手眼标定任务一、手眼标定原理二、手眼标定工具三、光源设定工具四、锂电池手眼标定1、手眼标定工具“手眼标定”工具用于进行多点标定和旋转中心查找，预编辑程序后，无需手动获取标定片上参照点的图像像素坐标和机械手坐标，即可通过收发指令的形式进行手眼自动标定，经过计算后获取坐标系的转换关系。“手眼标定”工具图标“手眼标定”工具界面二、手眼标定工具2、标定配置数据来源：自动手眼标定需要接收的指令，包含指令头、相机号、当前机械手坐标值等，工具可以自动分割指令，获取相关信息标定模式：相机的个数，单相机或多相机特征样式：标定方式，使用棋盘格或实物二、手眼标定工具3、“图像”页面安装方式：相机的安装方式，固定安装即眼在手外，手部安装即眼在手上移动步数：多点标定的点数和计算旋转中心旋转的次数图像来源：相机实时取像或本地加载图像选择相机：选择进行手眼标定的相机二、手眼标定工具4、“指令”页面详细信息：查看该工具需要的指令情况，以及每条指令的含义二、手眼标定工具5、“校准”页面详细手动模式：启动则可手动触发拍照和计算校准校准模式：包含Linear（默认）、PerspectiveAndRadialWarp、LinescanWarp等特征符号：包含详尽棋盘格（默认）、点网格、棋盘格等基准符号：包含StandardRectangle（默认）、DataMatrix、DotGridAxes、None等块尺寸（mm）：棋盘格单元尺寸（宽×高）高级配置：查看并设置更多高级功能选项二、手眼标定工具6、“执行”页面手动模式：启动则可手动控制主机位移动至标定点位和触发拍照指令详情：查看输入输出指令接收时间及具体信息N点详情：查看当前坐标计算结果二、手眼标定工具7、“结果”页面查看标定的结果分数。二、手眼标定工具TASK任务1、锂电池手眼标定任务一、手眼标定原理三、光源设定工具四、锂电池手眼标定二、手眼标定工具1、光源控制器的作用和种类使用光源控制器的最主要的目的是给光源供电，控制光源的亮度及照明状态（亮和灭），还可以通过给控制器触发信号来实现光源的频闪，进而大大延长光源的寿命。光源控制器按照功能可以分为：数字控制器、模拟控制器、大功率模拟控制器、线性光源专用模拟控制器、线性光源专用数字控制器、增量模块和非标控制器等。其中，最常用的光源控制器为模拟光源控制器和数字光源控制器。三、光源设定工具2、模拟控制器模拟控制器输出没有任何脉冲成分的电压信号，且信号在其输出状态下是一种连续状态。产品特点：亮度无极模拟电压调节；提供持续稳定的电压源，可用于1/10000s的快门；外触发灵活，高低电平可选，适应不同的外部传感器；过流、短路保护功能；体积小，操作简单。适用范围：可用于驱动小功率光源；高速相机拍摄照明驱动；低成本照明方案；小尺寸线光源驱动。该控制器通常无法直接使用软件进行控制，需要手动调整相关旋钮来控制光源的亮度，如机器视觉实训基础套件使用的光源控制器。模拟光源控制器三、光源设定工具3、数字控制器模拟控制器输出的是一个有周期性变化规律的脉冲电压信号，也就是PWM信号。产品特点：PWM信号输出，改变PWM占空比来调整光源亮度；亮度控制方式灵活，可通过面板按键、串口通信调节光源亮度；外触发采用高速光耦隔离设计，提供准确、可靠的触发信号；集过流、过载、短路保护功能于一体；具有掉电保护功能，自动记忆关机前的设定值。适用范围：可用于驱动小、中功率光源；触发响应快，擅长于高速触发拍摄场合；面阵相机拍摄照明驱动；不可用于线阵相机照明驱动。该控制器可以通过串口或网口、USB等方式连接软件，在软件中输入相关指令和参数来控制光源通道及亮度，如机器视觉只能综合实训平台使用的光源控制器。数字光源控制器三、光源设定工具4、设备管理-光源V+平台软件与控制光源的设备为“设备管理”中的“德创”光源控制器。交互区：用于控制不同通道光源亮度，可拖动滑动条，也可直接输入数值参数集：可以为多通道设置多组不同的亮度，方便后续进行选择端口：选择光源控制器通过哪一端口号进行通讯波特率：根据不同产品设置，多为19200频闪模式：若勾选，则光源会频繁闪烁其他参数默认三、光源设定工具5、“光源设定”工具光源：“设备管理”中已添加的光源控制器工作模式：若勾选直接控制，可控制通道的光源为固定亮度；若勾选参数集，则通道可切换不同亮度光源控制栏：可添加和删除光源通道，并设置亮度三、光源设定工具TASK任务1、锂电池手眼标定任务一、手眼标定原理二、手眼标定工具三、光源设定工具四、锂电池手眼标定1、整体程序流程四、锂电池手眼标定2、“PLC扫描”工具-标定信号PLC：三菱F5U；地址：D168；触发条件：变为；目标值：1。四、锂电池手眼标定3、“读PLC”工具读取地址D120发送的指令字符串。四、锂电池手眼标定4、“字符串操作”工具“去空格”（

）：@Trim1：链接输入“读PLC”工具的“Value”，删除“所有空格”；@Trim2：下拉选择“@Trim1”，删除“不可打印字符”；输出“@Trim2”。四、锂电池手眼标定5、“写日志”工具日志：设备管理中的“用户日志”；等级：Info；域：移动相机抓取；模块：标定；内容：“字符串操作”工具输出的“@Trim2”。移动相机抓取四、锂电池手眼标定6、“光源设定”工具光源：德创1；添加通道：Channel1、2、3，设置适当亮度。四、锂电池手眼标定7、“延时”工具程序运行速度太快可能导致后续工具取像时，光源未完全亮起，设置适当延时“200”ms。四、锂电池手眼标定8、“手眼标定”工具-标定配置工具首页参数配置方法：数据来源：“字符串操作”工具输出的“@Trim2”。标定模式：单相机。特征样式：棋盘格。四、锂电池手眼标定9、“手眼标定”工具-图像安装方式：固定安装；移动步数：9（平移步数）+2（旋转步数）；图像来源：相机取像；机位编号1：移动CCD（主相机1）。四、锂电池手眼标定10、“手眼标定”工具-指令此页不需要进行配置，点击【详细信息】，可以了解使用本工具需要哪些指令，以及指令含义。四、锂电池手眼标定10、“手眼标定”工具-指令四、锂电池手眼标定11、“手眼标定”工具-校准校准模式：Linear特征符号：详尽棋盘格基准符号：StandardRectangles块尺寸(mm)：3×3四、锂电池手眼标定12、“手眼标定”工具-执行此步骤无需配置，可以点击【指令详情】和【N点详情】，查看当前执行状态。四、锂电池手眼标定13、“手眼标定”工具-结果