机器人 三维视觉引导系统 技术要求 征求意见稿

3GB/TXXXXX—XXXX机器人三维视觉引导系统通用技术要求本文件规定了机器人三维视觉引导系统的组成、功能要求和性能要求。本文件适用于指导企业、高校、科研院所等相关机构开展机器人三维视觉引导系统的研发与应用。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB11291.1-2011工业环境用机器人安全要求第1部分：机器人GB/T33863.8-2017OPC统一架构第8部分：数据访问GB/T39005-2020工业机器人视觉集成系统通用技术要求GB/T40659—2021智能制造机器视觉在线检测系统通用要求T/SAITA001—2021人工智能计算机视觉系统测评规范3术语和定义下列术语和定义适用于本文件。3.1三维视觉引导系统3Dvision-guidedsystem利用三维视觉技术引导机器人实现实时任务的系统。3.2机器人robot具有两个或两个以上可编程的轴，以及一定程度的自主能力，可在其环境内运动以执行预期任务的执行机构。[来源：GB/T12643—2013，2.6，有修改]3.3机械臂roboticarm具有模仿人类手臂功能并可完成各种作业的自动控制设备，通常具有多关节连接，可在平面或三维空间进行运动。4GB/TXXXXX—XXXX3.4末端执行器endeffector为使机器人完成其任务而专门设计并安装在机械接口处的装置。[来源：GB/T12643—2013，3.11]3.5准确率accuracy对于给定的数据集，正确识别的样本数占全部样本数的比率。3.6成功率successrate任务执行成功的次数占任务执行总次数的比率。3.7真实度trueness测试结果的预期值与真实值之间的接近程度。3.8精确度precision在规定条件下，独立测试结果之间的一致性。其取决于随机误差的分布，与真实值或指定值无关。通常使用测试结果的标准偏差来衡量。3.9精度accuracy测试结果与真实值的接近程度。精度用在一组测试中，包括随机误差，以及共同的系统误差和偏差成分。4缩略语下列缩略语适用于本文件。HS:上位系统(HostSystem)DMS:数据管理系统(DatabaseManagementSystem)PLC:可编程逻辑控制器(ProgrammableLogicController)DNN:深度神经网络(DeepNeuralNetworks)SVM:支持向量机(SupportVectorMachine)WLAN:无线局域网(WirelessLocalAreaNetworks)5三维视觉引导系统组成5.1系统组成三维视觉引导系统包括设备层、控制层和车间层，系统组成见图1。5GB/TXXXXX—XXXX图1三维视觉引导系统组成a)设备层包括接受相关控制指令并反馈三维视觉引导系统的各类执行设备等；b)控制层包括三维视觉引导系统的参数配置模块、视觉输入模块、视觉处理模块、视觉输出模块、存储模块、机器人控制模块和机器人规划模块；c)车间层包括三维视觉引导系统与HS、PLC、DMS等车间管理系统的信息通信模块。5.2任务实现流程三维视觉引导系统的任务实现流程，见图2：a)参数配置模块接收任务管理系统中的各项任务要求，并将相应参数配置到视觉输入模块、视觉处理模块、视觉输出模块、机器人规划模块和机器人控制模块中；b)视觉输入模块从执行设备中获取任务场景的三维图像信息，将其转化为一组可被计算机处理的三维图像数据；c)视觉处理模块接收三维图像数据，通过机器学习或者深度学习等方法对图像数据进行识别处理，输出识别结果；d)视觉输出模块按照特定形式和接口要求将识别结果及相关信息分别传输至执行设备；e)存储模块将识别结果和相关信息数据统一存储在本地或云端数据库中，满足识别数据管理、查询等需求，同时为视觉处理模块提供样本数据；f)机器人规划模块接收识别结果及相关信息，规划机器人运动相关信息并传输至机器人控制模块；g)机器人控制模块接收机器人运动相关信息并转化为机器人控制指令，按照特定形式和接口要求将6GB/TXXXXX—XXXX指令信息传输至执行设备；h)执行设备根据识别结果执行视觉引导任务，并反馈执行信息给车间管理系统和视觉输入模块，形成信息流闭环。图2三维视觉系统任务实现流程5.3视觉输入模块5.3.1组成三维视觉引导系统的视觉输入模块主要包括成像系统和三维图像传感器。5.3.2成像系统成像系统由三维图像传感器组成，用于将任务场景转换为三维图像信号。5.3.3三维图像传感器具备三维建模和重建能力的设备。注：三维图像传感器包括立体相机、结构光相机5.3.4基本要求视觉输入模块在采集图像数据时应包括以下要求：a)环境要求包括温度、湿度、清洁等级、照明等。7GB/TXXXXX—XXXXb)识别要求包括工作距离、生产线节拍时间、识别对象变化（尺寸、颜色、反射度等）、上位系统状态等。c)采集要求包括三维图像的质量（分辨率、精度、噪音等）和数量。5.4视觉处理模块5.4.1组成三维视觉引导系统的视觉处理模块采用机器学习或深度学习的方法实现图像检测处理，包括三维图像预处理、模型训练和结果识别。5.4.2三维图像预处理三维图像预处理是指对采集的任务场景图像以及存储模块中样本图像进行初步处理，优化和改善对识别有影响的三维图像质量指标，图像预处理中的优化和改善算法包括点云化、几何变化、归一化、平滑和去噪等。5.4.3模型训练模型训练是指将完成图像预处理的样本图像和对应识别结果标签组成训练样本集，输入到SVM、DNN等机器学习或深度学习模型中进行参数训练，生成识别数学模型。5.4.4结果识别结果识别是指将完成图像预处理的任务对象图像输入到训练好的识别数学模型中进行识别，输出识别结果。5.4.5基本要求视觉处理模块在进行图像识别处理时应满足以下要求：a)处理速度满足生产系统节拍要求，并与资源消耗和识别结果相适应；b)处理过程满足硬件负载，并与三维图像采集、输入、输出的资源占用相适应；c)处理结果满足用户设定的准确率要求。5.5视觉输出模块5.5.1输出方式三维视觉引导系统的视觉输出模块将视觉处理模块的识别结果通过外部系统接口传给机器人规划模块，输出的方式包括有线传输（以太网、现场总线等）和无线传输（WLAN、4G、5G等）。5.5.2基本要求8GB/TXXXXX—XXXX视觉输出模块应满足以下要求：a)输出数据的格式满足与机器人规划模块和存储模块设备相适应的编码和存储要求；b)输出形式满足机器人规划模块相适应的接口要求。5.6存储模块5.6.1组成三维视觉引导系统的存储模块采用数据库等技术对系统输入、中间数据、日志进行记录和存储，方便回溯查看、离线复现，包括日志系统、数据备份。5.6.2日志系统三维视觉引导系统执行任务时，会接收、处理、发送大量数据，日志系统需要将关键的交互信息进行记录、存储，提供日志查询服务。5.6.3数据备份系统处理的三维图像、外部输入等信息需要被保存下来，以满足客户再现、恢复生产状态的需求。5.6.4基本要求存储模块应满足以下要求：a)资源消耗与生产设备相适应；b)具备冷热备份和拓展能力。5.7机器人规划模块5.7.1组成三维视觉引导系统的机器人规划模块根据视觉模块的输出结果对机器人的操作进行规划，包括运动轨迹规划、碰撞检测和最优点选取。5.7.2运动轨迹规划运动轨迹规划是指在执行任务时，机械臂末端执行器行走的曲线轨迹，或是机械臂在运动过程中的位移、速度和加速度的曲线轮廓。5.7.3碰撞检测碰撞检测是指判断机械臂及末端执行器在运动过程中是否会和障碍物或自身相交，通过计算交点和预测相交时刻来避免发生碰撞。9GB/TXXXXX—XXXX5.7.4最优点选取最优点选取是指对目标点进行选取，以满足机械臂行程最短以及关节角旋转最少等优化要求。5.7.5基本要求机器人规划模块在进行机器人操作规划时应满足以下要求：a)处理速度满足生产系统节拍要求，并与资源消耗和识别结果相适应；b)处理过程满足硬件负载，并与输入、输出的资源占用相适应。5.8机器人控制模块5.8.1通信方式根据机器人规划模块的结果，机器人控制模块对机器人发送控制指令，通信方式包括主控通信和接5.8.2主控通信主控通信是指通过烧录监控程序或远程控制方式与机器人组成主从通信控制模型。5.8.3接口通信接口通信是指基于标准的通信协议(TCP/IP、EtherNet/IP等)进行通信。5.8.4基本要求机器人控制模块应满足以下要求：a)控制速度满足生产系统节拍要求，并于资源消耗和规划指令相适应；b)能控制主要的机器人品牌；c)控制过程满足硬件负载，并与输入、输出的资源占用相适应。6系统功能要求6.1外部控制三维视觉引导系统应实现以下功能的外部控制：a)开始/停止：执行系统启动或终止；b)暂停/恢复：执行系统暂停及暂停后恢复；c)自动/手动：切换系统自动和手动模式；d)关机：关闭系统。GB/TXXXXX—XXXX6.2操作模式6.2.1单机操作模式单机操作模式是指使用内置程序、控制菜单或按钮控制，根据需要更改系统的操作参数，系统可独立执行所有操作。在此模式下，其他系统或控制器不可控制三维视觉系统的在线引导过程。6.2.2在线操作模式在线操作模式是指在线远程控制。在此模式下，其他系统可远程监控和维护三维视觉引导系统。6.3系统配置三维视觉引导系统应提供配置管理菜单或编程工具，供用户按照各类用途配置系统功能或更改系统性能。以下情况应重新配置三维视觉引导系统：a)计划新建生产线时，评估三维视觉引导系统的任务执行周期与生产周期的匹配度；b)计划全新任务场景时，包括不限于更换三维传感器、变更视觉识别目标或视觉识别方法。6.4仿真功能通过配置工作流程、碰撞检测，控制仿真机器人运行，确认规划的路径是否有碰撞、位置不可达等问题。可在规划历史与日志中查看相关信息，快速定位问题。根据报错信息优化工程资源配置、工作流程和碰撞设置。6.5系统精度自校正针对视觉系统精度漂移的问题，配置系统精度自校正功能，通过部署流程，自动校正系统漂移。6.6系统集成三维视觉引导系统需直接或间接与其他现场设备、控制系统、车间管理系统等进行通信，应提供API或符合OPCUA规范，接口数据格式满足GB/T33863.8-2017标准要求。6.7系统维护6.7.1系统启动诊断系统启动诊断是指通电后，使用特定的应用程序执行全面运行诊断。系统启动诊断应自动提示错误代码或错误消息，以便进行故障定位。只有当系统启动诊断项目都正常通过后，系统才能进入正常运行准备状态。6.7.2实时状态显示GB/TXXXXX—XXXX系统正常工作时，对系统本身及外部输入/输出设备状态进行自动采集、检测，并显示有关信息和故障。6.7.3系统更新系统具备离线或远程更新版本的能力。7系统性能要求7.1感知能力三维视觉引导系统的三维感知能力应满足用户生产作业的实际要求和可靠性要求，技术指标宜满足以下要求：a)采集帧率:三维图像传感器三维成像帧率不低于1Hz;b)采集分辨率:三维图像传感器输出的三维点数不低于30万点;c)测量精度:三维图像传感器输出的三维点在工作空间的绝对精度不低于3mm。7.2视觉处理三维视觉引导系统应正确且及时完成视觉处理任务，技术指标宜满足以下要求：a)视觉运算速度:三维视觉的计算量大，视觉运行速度应符合实际生产要求，单次视觉识别不低于3s;b)重复识别精度:三维视觉引导系统覆盖的场景多样，视觉重复精度应符合实际生产要求，视觉处理模块的重复精度不低于0.2mm;c)引导定位精度:三维视觉引导系统识别到目标对象的特征值的临近度和机器人操作规划的精确度应满足用户要求。7.3安全性三维视觉引导系统应符合设备安全性和信息安全性的要求。机器人的使用应符合GB11291.1-20117.4可靠性衡量标准可包括平均失效间工作时间(MTBF)、故障平均修复时间(MTTR)、可用性和使用寿命来衡量,具体数值和测试方法由产品标准规定。7.5适应性GB/TXXXXX—XXXX系统应适应外部需求的变化，可调节参数、配置以满足用户需求。变化包括被引导对象的物体特性造成的约束，如质量、体积、温度等因素。当目标任务场景发生异常变化时，系统可自行学习并识别出异常情况。GB/TXXXXX—XXXX参考文献[1]GB/T39005-2020工业机器人视觉集成系统通用技术要求[2]GB/T40659—2021智能制造机器视觉在线检测系统通用要求[3]GB/