[机械模具数控自动化专业毕业设计外文文献及翻译]【期刊】关于焊接遥控操作遥控机器人系统的多模态人机交互界面-中文翻译

外文资料翻译 1 关于焊接遥控操作遥控机器人系统的多模态人机交互界面 李海超，高洪明，吴林，张广军 摘要 在焊接遥控操作遥控机器人系统中，人机界面是提高生产力和生产效率的一个最重要的因素，该论文提出了关于焊接遥控操作系统人机界面的设计：焊接多模态人机界面。人机界面综合几个共同控制的控制模式，电教、远程监控和地方自主控制。空间鼠标，全景摄像头和图形仿真系统还融入了焊接遥控操作的人机界面最后，焊缝跟踪和焊接实验的马蹄形焊缝都是由这些模式分别控制，结果表明，该系统在人机交互和复杂环境的焊接时具有更好的性能。 关键词：多模态界面，控制模式，遥控机器人系统，焊接遥控操作 0 绪论 远程遥控焊接吸引了很多关注的核电厂，水下工程施工焊接遥控系统由人类操作员 (HO)，人机交互界面 (HMI)，焊接遥控操作机器人系统和通信连接装置。一般来说， HMI对 HO来说是整个系统的一个界面。目前，遥控机器人的 HMI有以下问题：信息反馈的系统状态是不够的； HO的信息无法正确预计到偏远焊接环境；高级别接口如虚拟的不能提高系统效率 多模态界面利用 HO采用多通道并行互动，这是基于视觉再现，声音识别 , 手动命令输入，视觉反馈和图形仿真技术，制图仿真技术。 Zaatri 提出的概念，多式联运执行者界面，早期的遥控焊接研究在远端环境信息反馈上停留在宏观的二维视觉反馈上。如加拿大 Douglus Point核电站的核反应堆泄漏事故中进行的修补工作。此工程中使用双机械臂远程遥控焊接修补泄漏处，负责任务执行的机械臂一个装载焊枪，另一个载有 7台摄像机从不同的视角进行监控 _2 J。宏观视频监控只能反馈二维视觉信息，操作者不能获得深度信息，由于有多个视频监控系统，操作者在操作远端的机器人时，易“迷失自我” ，不易掌握摄像机、焊枪、工件三者之间的位姿关系，不易控制焊枪的移动轨迹和姿态调整，增大了操作难度，易与环境发生碰撞。 一般来说，在机器人遥操作领域发展了视觉临场感技术，其核心是立体视觉显示技术，通过两幅不同角度的图像进行交替显示的方法来获得远端环境的深度感觉，立体视觉显示技术在焊缝跟踪中具有重要作用。焊接操作中，操作者的注意力集中在电弧周围的一个小区域中，视觉空间沿着焊接方向随着焊枪一起移动，立体视觉在此过程中提供给操作者具有深度感的信息，操作者可以随时调整焊枪的运动姿态与跟踪焊缝的横向偏差，保持一定适当速度导引焊枪跟踪焊缝，控制过程更加直观有效，防止工具与环境发生碰撞。焊接机器人遥操作系统要求具有较高的轨迹跟踪精度和焊接过程中的平稳性。在开发焊接机器人遥操作系统时，合理的控制方法和控制策略能够提高操作的灵活性。 本文在焊接机器人柔性加工单元的基础上进行深层次改造，采用我们自行开发的基于页面交换模式的桌面式立体视觉系统对远端的焊接环境进行显示，空间鼠标作为手控器直接对远端的焊接机器人进行控制，提高了手动跟踪焊缝的精度，对于角焊缝、对接焊缝和空间曲线焊缝都能够满足手动调整和跟踪的要求。通过基于立体视觉的遥控示教方法进行机器人轨迹规划，最后，焊接实验和焊缝跟踪对人机界面的性能测试。 1 焊接多模态人机交互界面设计 1.1一般方案 焊接遥控系统的实施是由接口在远程站点的焊接机器人控制软件，视频显示系统，视觉传感系统，图形仿真系统，手控制器和通信连接装置组成。 在立体图像显示系统中，为了保证两幅具有视差的左右眼视图是在同一时刻，对同一场景采集到的，要求用来采集现场环境信息的一对 2D 摄像机具有外同步触发功能。具有该功能的摄像机每次采集一帧图像时，都需要外部同步电平信号的触发，否则处于等待状态。通常的做法是用一路视频信号作为外同步信号来触发另一路摄像机。在本系统中，利用左摄像机触发右摄像机。具体做法是把从左摄像机采集到的视频信号输入到视频分配器，在输出端把一路视频信号直接输入到图像采集卡，另选一路视频信号作为触发信号去触发右眼摄像机。这样，每当左摄像机采集一帧图像，就触发右摄像机同时采集，从而保证左右摄像机采集到的图像是同时刻采集的。 1.2 焊接结构的多模态人机界面 人机界面的功能结构包括以下五个模块： 参数设置，控制模式设置，手动控制输入，系统状态显示和视频显示。 根据不同的人机交互水平，焊接遥控分为手动控制、共同控制，交互控制，监督控制和自主控制在遥控焊接任务，控制策略可以看作是某种控制模式或几个相结合的互动控制模式。 在远程焊接时，有效的控制模式是手动控制，远程和监督的基础上控制图形环境和自主控制。 图 1 中显示主要界面，其中包括三个观点：查看任务、控制期和视频显示，理想的控制模式和命令都可以通过鼠标选择。 手动控制可连续生成命令，许多对话和弹出式菜单可以援引相结合并利用所有功能。 控制命令分别传送到真正的机器人和传感器系统图形仿真系统。每个选定的模式调用一个弹出式菜单，可让操作者修正参数和况人机合作，策划开发了控制模式翻译和命令解释。 当它作用时，用户操作空间鼠标遥控鼠标的图形环境。这个图形环境得到机器人状态信息和实时联合值控制虚拟机器人。 图 1 主窗口焊接多模态人机界面 2 系统的物理结构 在地方网站，物理结构由全景视频监控，立体视频显示，图形工作站，监督的计算机和空间鼠标组成。 在远程站点，这些组件的激光视觉传感器，数码变焦的摄像头，双眼立体摄影机，机器人控制器和 TIG 焊枪。通信连接装置是基于 TCP/IP 协议和客户端/服务器网络模型。 在机器人控制器工程断绝在监管系统上运行的操作系统是计算机运行系统运行 SG1 工作站的图形系统。在六自由度和氩弧焊焊接机器人的焊接动议。 3 人机界面的实现 3.1 激光视觉传感的远程协助 如果焊缝是不规则或间断。激光视觉传感不能用于自主控制。然而，提取的特征点可用于联合激光视觉传感器的远程焊接路径远程包括三个阶段：制定焊缝类型、扫描联合剖面和处理信息、教学焊接路径。在人机界面的教参数设置，如焊接速度，插值模式和弧线位置，然后传送的人机界面的联合数据信号控制器。目前的位置和构成发送到人机界面，并将它记录在一个文件中。最后，整个焊接路径是下载到远程控制器 3.2共同控制 共同控制意味着机器人自由度的自主控制系统，在该系统中，视觉传感器的工程作为自主路径规划参加的焊枪位置与空间鼠标。 人机界面进行共享控制由是自由度分区和自由度融合这两种方法 （ 1）自由度融合方法 2/)(1smt DKV和 是规模因素， 是速度的手动控制， 是驱动器载体的自主控1K2t s制。 （ 2）自由度分区方法 2/)(6(2)(1dsdmt DKV是自由度组成部分手动控制命令； )(dmV是自由度组成部分视觉传感器自主命令； )6(sD焊枪末端的驱动矩阵 T可用 得到。 tV关节角度和在下次循环的机械臂伺服可以通过逆运动学解决。因此，驱动器载体的空间鼠标 V 和驱动器载体 D 是相同的位置和焊枪的样式。 ms3.3 虚拟环境的计划和控制 图 4 显示了进程螺旋焊缝跟踪和遥控焊接现场，在虚拟环境中，各功能模块可以观察手动控制模块通信模块和虚拟环境标定模块的研制焊接环境。这些观点在焊接路径规划可以执行的研制焊接环境中也可以看到。因为这个错误的虚拟环境校准约 2 毫米。 图 2虚拟环境的计划和控制 图 3实验过程 4 试验结果 遥控焊接任务可分为若干子和不同的控制模式，用于执行特定的焊接，远程操作简便，并能弥补机械手的错误。当障碍存在，焊枪是调整共享控制。实验提出马蹄形曲线焊缝远程协助激光视觉传感器的表现，图 3 显示中工作过程，接头工件的直径是 200 毫米和 100 毫米，自动变焦数码摄像机和 2 眼立体视频被用作视觉装置，观察环境和机器人运动。 由人机界面之间的执行者，记录特征点。焊接路径文件发送到虚拟环境实时的人机