基于Internet力觉临场感遥操作机器人系统的研究.doc

基于Internet力觉临场感遥操作机器人系统的研究 制造业自动化【】第卷第期基于?觉临场感遥操作机器人系统的研究郭晓波,宋爱国（东南大学仪器科学与工程系,江苏南京210096）摘要虽然技术扩大了遥操作机器人系统的应用范围，同时也带来了新的问题时延。 针对?同性质的时延本文综述了基于?觉临场感遥操作机器人系统的国内外发展状况、系统构成以及为解决时延问题提出的遥操作系统的主要控制方法并指出了各方法的优缺点，最后展望了其发展前景。 关键词；遥操作；机器人；时延（）Research onInter-based forcereflecting telerobotsystemGUO Xiao-bo,SONG Ai-guo(Department ofInstrument Scienceand Engineering,Southeast University,Nanjing210096,China)，；基金项目国家自然科学基金（）；霍英东教育基金（）作者简介郭晓波（），男，河南安阳人，在读博士生，研究方向为基于网络遥操作机器人技术。 0引言世纪?代对智能机器人的研究表明，由于机构、控制、人工智能和传感技术水平的限制，在短时间内尚难以研制出能在或复杂环境下工作的全自主式智能机器人。 但随着诸如空间探索（卫星的修?，空间站的维护，月球、火星等?星的勘探）、海洋开发（海洋资源调查，深海打捞，水下电缆修?，海底考古等）以及国防建设（战场、防化、扫雷、救护等）等领域的发展，迫切需要大?工作在危险和危害人体健康等环境下的高级机器人。 因此将互联网通信技术引入到机器人系统中成为机器人学和控制学领域的研究热点之一。 在过去的几十?中，基于?觉临场感遥操作机器人系统受到了越来越广泛的关注和研究。 尤其是近几?来，计算机网络技术的飞跃发展给交互式远程遥操作机器人技术提供了广阔的应用空间。 遥操作?觉临场感机器人系统是在人的操纵下能在人难以接近或对人有害的环境中完成比较复杂操作的一种远距离操作系统。 它是指操作者对本地主机械手进?操作，远地从机械手跟踪主手的运动，从而完成远程复杂或危险环境下的任务。 所谓交互技术包括机器人与人的交互和机器人与环境的交互。 前者的意义在于可由人去实现机器人在或非确定环境中难以做到的规划和决策；而后者的意义在于可由机器人去完成人所?能到达的恶劣环境或远距离环境中的作业任务。 1发展状况和系统构成遥操作机器人的起源可追溯到世纪?代末，是由于核工业的需要而提出的。 随着遥操作和互联网技术的飞速发展，应用在互联网上的机器人技术也在?断的?展，网上涌现出越来越多的远程控制机器人。 ?少国家政府和研究机构，尤其是美国、日本和一些西欧等工业发达国家投入大?的人?、物?和财?竞相开发相关技术进?研究和开发，其中包括遥控作业机器人系统的稳定性分析、时延对临场感系统稳定性的影响、?觉临场感?想性能的实现等。 我国高技术计划中，智能机器人主题也已将临场感技术列为关键技术进?研究。 并于?开始陆续有许多高校院所开展了基于的遥操作机器人的研究，其主要集中在解决空间大时延、虚拟环境建模、主操作手的设计、?觉临场感、遥操作控制算法、机器人局部自主等问制造业自动化第卷第期【】题的研究上，这些方面的研究以清华、东南大学、?航、哈工大、?阳自动化所、南开、上海交大等为代表。 ?觉临场感遥控机器人系统主要通过双向?反馈遥控操作系统来实现。 ?觉临场感遥操作系统原?框图如图所示，它由操作者、主机械手、通讯环节、从机械手和环境构成。 由操作者操纵主机械手运动，通过通信环节控制从机械手并作用于环境，从而完成操作任务，此时要求从机械手跟踪主机械手的运动且环境对从机械手的作用?经过上述环节再返回到操作者手部。 操作者能够?失真地感受到从机器人与环境作用时的交互?，即要求临场感系统是透明的。 ?环境阻抗为，定义虚拟阻抗为一定时?觉临场感系统主机械手的作用?与速度之比，在?想的?觉临场感情况下，有（）（）。 当系统满足此式时，我们称临场感系统是透明的。 基于?觉临场感遥操作系统与原有的?觉临场感遥操作系统的主要区别是主、从机械手间采用了基于的网络通讯方式，因此通信方式对系统的影响及问题解决方案就自然成为整个?觉临场感系统研究的核心内容。 在?觉临场感?想状态下，从机械手工作稳定，从手的速度等于主手的速度，主手受?等于环境对从手的作用?。 即，。 然而，由于时延（假定时延时?变，且前向和反向传输时延相等）的存在，（）（），（）（）。 设离散系统采样周期为，且，则（）（），（）（）。 图?觉临场感遥操作系统原?框图由于在上传速率会随着传输数据?的大小和网络负载有很大的变动，同时也与自身工作机制及网络带宽有关，因而会导致?确定时延、大时延、数据包丢失等问题。 ?，中科院?阳自动化研究所机器人学开放实验室的一次实验揭示了这一特点?阳至香港间时延（）的平均值在毫秒左右，而局域网间时延值多数为毫秒，均值在毫秒左右；?阳至?京间的时延的变化率最大值约为；?阳至香港的一次测试中数据丢失率为，另一次为。 数据显示?阳至香港间的时延较长，其时延对?觉临场感机器人系统的稳定性和透明性都会造成较?利的影响。 ?宾夕法尼亚大学的通用机器人与主动感观知觉实验室（）与隶属于喷气推进实验室的远程机器人操作及智能控制实验室（）进?了一项穿越国土的遥操作实验，该实验表明当时时延均值秒，标准偏差为秒。 麻省?工非线性系统实验室?的一次实验表明相距的和的环?时延（）均值为秒，与人的反应时间大体相当，可获得相当高的临场感透明性。 但时延的变化非常强，可超过快速变化。 在上数据按照包传输协议通信，当数据被一个交换机接收并被转发给下一个交换机时，就产生了时延。 而数据包的?由选择能影响上包的交换和所?过节点的处?策略，致使通信时延成为一个随机变?。 由上述美国两次实验对比可以看出随着网络建设的发展，网络时延均值大为减小，但变时延的问题仍然存在。 因而变时延是网络时延的最主要的特点。 在闭环系统中，这种波动加上时延将对稳定性造成影响。 网络通信时延的波动还造成了信号的畸变，会降低?觉临场感机器人系统的透明性。 因此网络通信的时延的特点造成了基于?觉临场感机器人系统的?稳定性和透明性降低。 如果设计的控制系统能减小或消除时延对系统的影响，保证系统稳定及良好的透明性，则可以极大增强系统的实用性，提高操作性能。 2遥操作系统控制方法为了克服时延并保证在任何环境下遥控作业系统的稳定性和透明性，?少研究者在?论和实践上作了许多的探讨。 主要分为经典控制方法和虚拟现实控制方法两种控制方案。 2.1经典控制方法（）监督控制监督控制指一个或多个操作者通过间断的程序命令控制以计算机为核心的独立闭环控制系统进?作业，并连续的接收由传感器采集的被控对象或作业环境的信息。 从端机器人系统形成具有一定自主能?的独立闭环控制系统，操作者通过任务一级的命令来控制机器人系统，同时得到作业现场的反馈。 由于机器人系统自身的闭环回?存在时延环节，因而时延对系统的稳定性?构成影响。 机器人根据接收到的命令进?自己的任务规划，并自主的执?任务。 但是监督控制的系统业受到了时延须小制造业自动化【】第卷第期于执?命令的时间、每个命令应包括整个任务中足够大的一部分和干扰要低带宽等的限制。 （）基于无源性?论的方法在遥操作系统控制方法中，其中一些方法就是基于无源性?论的。 与提出了基于无源性的耗散?论，等进一步提出了波变?的方法来解决时延造成的系统?稳定性。 由无源性定?知，只要系统满足一定的无源性条件和系统初始状态及连续条件，则总存在反馈控制?使系统平衡点处渐进镇定。 其中与的无源控制系统采用了无损传输线来模拟通讯环节，从而可以保证通讯环节的无源性。 采用此算法的通讯环节可表示如下（）（）其中为传输线特征阻抗。 而基于波变?的无源控制方案如图所示。 在这种方法中，通讯环节的动态采用波变?来描述（）（）其中（）（）（）（）（）（）（）（）显然由式（）（）所描述的系统等价于由（）（）所描述的系统，即这两种无源控制是等价的。 波变?变换后系统的稳定性与时延无关，这种良好的性质非常有利于在波变?空间内采取控制措施，而?必考虑控制环节对稳定性造成的影响。 耗散?论和波变?都基于无源性?论，保证遥操作系统主从端的无源性?可克服因定时延或?定时延造成的?稳定问题。 ?总结了当时出现的控制结构并提出了通用双向?反射结构，并分析了系统的稳定性和透明性，指出临场感系统的透明性和鲁棒稳定性是两个相互抵触的指标。 对于基于无源性?论的控制方法，过高的稳定性要求同样要以牺牲系统的透明度为代价。 （）基于事件的控制方法在基于?反馈遥操作系统中，时延比较大而且随机，甚至?可预测。 传统的很多控制方法一般都以时间作为控制输入、输出信号的参考，基于遥操作系统存在的变时延打乱了系统两端的同步，因此以时间作为参考就很难保证系统的稳定性以及达到实际期望的控制效果。 基于事件的控制方法，就是为系统寻找一个与时间无依赖关系或?是时间显函数的参考变?即事件（通常是机器人的?为事件），因此这种使用系统中发生的事件来规划和设计控制的方法都是基于这个新的事件变?。 其控制过程框图如图所示。 如在新的参考变?下，如果原系统在时间参变?下是稳定的，假定非时间变?是时间的非减函数，则在下的系统仍是稳定的。 既然基于事件的控制系统?直接依赖于时间，因而可以有效的回避时延问题。 但基于事件的方法，为系统找到一个合适的非时间参考变?是一个非常艺术的问题。 遥操作系统的透明度等操作性能以及控制器设计的难?都会因?同参考变?的选取而发生较大的变化。 （）基于?论的控制方法控制?论可以?必考虑扰动的性质，将有界扰动对系统的影响降低到期望的程度。 对于遥操作系统的控制，考虑定常时延的情况即有（，），并假定从端和环境充分接触。 系统控制结构原?图如图所示。 其中，分别为主、从端操作?和扰动，为主、从端的传递函数，为主、从端的局部控制器。 设计使得保证整个系统的鲁棒稳定性，减小速度误差，减小从端?跟踪误图基于波变?的无源控制方案图基于事件的控制方法框图图系统控制结构原?图制造业自动化第卷第期【】差（），控制?矩在允许范围内。 即设计使得从到的范数最小。 所以，对于有界时延情况下的遥操作系统，利用控制?论?仅可以得到期望的稳定控制，还能将时延对系统的影响降到最小，能够满足系统一定的性能要求，同时对可能存在的系统其它方面的扰动等?确定性也具有鲁棒性。 但控制方法难以处?任意时延的情况。 （）基于滑模控制的方法对于有时延的基于遥操作系统，也可以应用滑模控制来实现。 考虑主从端动?模型可表示为（）和（）。 其中，为主从端的电机驱动?矩。 信号传输模块为（）（），（）（），（）（）。 考虑主端采取阻抗控制，设计控制?为其中，为常数。 从端采用滑膜控制，以消除时延对系统的影响。 设计滑动面（）（）（），（）（）（）。 根据滑膜控制原?设计从端滑膜控制为其中。 可验证得?（），满足滑动条件。 在具有?确定性的系统的研究和应用中，滑模控制一直是一个非常有效的控制方法。 主端采取阻抗控制，而从端采用滑模控制，以消除时延对系统的影响。 只要时延大小能够得到，滑模控制就可实现变时延情况下基于遥操作系统的稳定控制，其稳定性与时延性质无关。 但滑模控制本身所固有的问题如高频颤动等对系统操作性能将会产生影响。 从控制?来看，时变的时延必将影响主从端控制输入的连续性，并可能影响系统性能。 2.2基于虚拟现实（VR）控制方法随着计算机图形学及相关技术的快速发展，虚拟现实技术日益引起了研究者的重视，逐渐成为解决时延问题的主要手段之一，。 虚拟现实（，简称）技术，是由计算机生成的给人多种感官刺激的高保真环境。 它利用计算机产生逼真的视、听、触、?等三维感觉，形成一种虚拟世界，操作者通过交互设备，根据自身的感受，使用人的自然技能对虚拟世界中的客体进?观察和操作，参与其中的事件并得到各种感觉的实时反馈。 它通过各种传感器设备使操作者“投入”到该环境中，实现操作者和该环境的直接交互。 基于的遥操作机器人系统中，操作者根据建立在本地的从机器人及其工作环境的虚拟模型，通过交互设备操纵从端机器人，虚拟环境根据命令执?情况计算交互?，?新位置信息，并实时反馈给操作者。 由于操作者与虚拟环境间?存在时延，虚拟环境可以为操作者提供实时、稳定的视觉和?觉反馈，从而消除了时延对遥操作系统的影响。 基于的遥操作系统和传统意义上的遥操作系统存在以下?同遥操作采用真实图像，基于的遥操作采用计算机生成的综合图像；遥操作系统中，操作者直接与真实环境进?交互，而基于的遥操作中，操作者和虚拟环境进?交互；遥操作中摄像机的视点是固定的，而基于的遥操作中视点可由操作者任意改变；遥操作中摄像机获取图像的视野受到很大限制，而虚拟视野可以大于度；摄像机的图像质?依赖于能见度，虚拟模型则?依赖于能见度。 基于的遥操作机器人系统主要由两种工作方式，一是操作者的控制指令先在虚拟环境模型中“预演”，如果效果满意，再通过虚拟环境把指令发送到远地真实机器人执?；另一种是操作者的控制指令在发送给远地真实机器人的同时，也发送给中的虚拟机械手，提供实时的?觉和视觉反馈给操作者。 系统框图如图所示。 图中，和分别为操作者位置指令、主机械手位置、经通讯时延后的位置指令和从机械手的位置。 ，分别表示环境对从机械手的作用?、从机械手与环境的相互作用?、经通讯时延后的?反馈信息、虚拟?反馈和操作者感受到主机械手的?。 ?虚拟环境和虚拟从机械手等效于实际的远端环境和从机械手，即虚拟环境的几何参数和动?学参数同真实环境的几何和动?学参数一致，则操作者实时的操纵虚拟从机械手与虚拟环境接触就等同于操作者延时的操纵从机械手同真实的环境接触。 由于虚拟从手的运动?存在时延，?想情况下，采用技术图基于的遥操作机器人系统制造业自动化【】第卷第期可以完全消除时延对遥操作系统的影响，改善系统的稳定性和透明度，提高遥操作机器人的工作效率。 视觉是人类获得信息的主要渠道，而?觉可以使操作者真实直观的感受到从机器人与环境的相互作用，因此虚拟实现的视觉和?觉（触觉）显示一直是研究者们关注的主要内容。 （）视觉现实虚拟实现的视觉显示一直是人们研究的重点，它在时延遥操作系统中的重要性已得到广泛认识和较为深入的研究。 ?，在终端显示的论文中首次提出包括已经交互图形显示、?反馈设备及声音提示的虚拟实现系统的基本思想，并于?设计出了头盔式立体图形显示器（）。 ?，和设计的第一个用于遥操作的视觉显示系统，用机械手的计算机仿真线框图形叠加在经时延后反馈的机械手视频图像上，极大的提高系统的操作性能。 ?，和开发了一套逼真的图形预测显示系统“幻影机器人”。 该系统中，采用线框和实体两种机器人图形模型表示远地真实的机器人，通过摄像头的标定技术将操作者和虚拟机器人模型之间没有时延，因此虚拟机器人模型可以立即响应操作者的输入，补偿了视觉信息时延对操作者的影响。 在基于遥操作技术中，首先要解决的问题是虚拟场景建模，即虚拟世界的构造问题，而且虚拟三维空间建模的好坏是产生沉浸感和真实感的先决条件。 当前围绕虚拟环境建模问题的解决方式主要有以下两种，其一是基于计算机图形学的三维几何模型建模和绘制（，），这种虚拟环境建模方法对硬件的计算能?和图形加速性能都有很高的要求，一般适用于基于高性能图形工作站的系统；另一种建模方式是近几?发展起来的基于图像的建模和绘制技术（，），它是由待建三维虚拟空间的有限幅图形样本，在一定的图像处?算法和视觉计算算法的基础上，来直接构造三维环境。 这两种方法各有优缺点。 优点是?于用户与虚拟场景的虚拟对象的交互，以及对虚拟对象的深度信息进?直接获取，但计算?较大，而使用户与虚拟场景无法实时交互，用户对场景中虚拟对象的操作也无法得到实时反馈，这使在复杂环境进?虚拟和仿真方面的应用难以实现；而是在对环境已有图像集合处?的基础上生成的，其处?方法常用的有图像变换、图像拼合、图像变形、图像合成和裁剪等，它与几何模型场景的真实感图形生成算法相比，其计算?较小，也?受场景复杂度的限制，且对硬件的要求也?及几何建模那样高，还可以在微机上实现，但由于环境中的虚拟物体是图像中的二维对象，因而用户很难甚至?能与这些二维对象进?交互。 因此目前许多研究者着眼于基于两者的混合建模技术。 （）?觉现实上述各方法建立的虚拟现实遥操作系统中，由于只对机器人进?建模，没有与环境的交互建模，因而只能对运动进?图形预测，没有虚拟预测?反馈。 然而，在连续遥操作过程中加入?反馈可以提高系统操作性能，减少操作时间和碰撞接触?，使遥操作变得?加平稳安全。 机器的?觉是基于机器和目标物体的直接接触所产生的?的感觉，可以作为视觉的补充完成?精细的工作，或在视觉受限的情况下代替视觉，在操作过程中提供?确切的信息。 因此，在基于虚拟现实的的遥操作系统中，仅有视觉反馈是?够的，还必须提供实时的?觉反馈。 上世纪?代末?代初，虚拟预测?反馈开始引起人们的重视，提出了延时情况下将真实?和虚拟?结合的方法。 ?设计的视觉预测显示系统就用了?觉预测显示技术，通过提供给操作者预测的?和位置反馈信息使得操作者能够预测时延系统的响应。 ?针对通讯时延对空间机器人的影响设计了空间机器人环境仿真器，使操作者置身于一个实时的、交互式的、有?预测反馈、模拟的遥操作机器人现场的虚拟环境中。 ?等人基于“虚幻机器人”思想提出将远地工作环境及其构件作为整体建模虚拟模型，建立了带有?反馈的虚拟预测显示。 同?，采用“虚拟夹具”来处?时延的?反馈遥操作机器人的控制。 ?通过建立“虚拟向导”引入预测?反馈。 ?，等采用虚拟?势场的方法在手控器上产生?反馈。 目前，大多数基于的?反馈遥操作系统，虚拟交互?的求解都是基于变形计算，对交互?的建模也主要研究?与形变的关系，很少考虑环境动?学的作用，得到的虚拟?反馈会有较大误差。 随着研究的深入，研究者发现?只考虑虚拟接触?，?考虑环境的动?学因素，那么真实环境与虚拟环境之间的动?学差别会使操作者指令（速度、加速度）制造业自动化第卷第期【】和反馈?感受失去真实性，同时虚拟从手本身及其发生交互的环境物体的惯性?也?能被表示出来。 因此，在带有?反馈的遥操作系统中，虚拟环境建模?仅要反映其几何特性，而且要反映其动?学特性，对其动?学建模是极其重要的。 在虚拟环境技术中，虚拟环境的动?学模型必须能反映真实环境动?学模型，才能保证虚拟反馈的准确性。 3结论和展望通过上述对基于遥操作的综述，可以看出解决时延是其现阶段面临的主要问题，现有的各种控制方法也各有其特点和?足。 监督控制早在世纪?代就在空间作业中担任重要角色，是最早提出解决通讯时延问题的控制方法同时也是最成熟的。 它虽?能提供临场感，但对于大时延的系统如火星探测或深海作业，仍然是最好的办法。 基于无源和基于事件控制的方法都是比较有前途的方法，从?论上说这两种方法都与时延无关，实验初步证明了这两种方法的有效性。 控制虽然可以得到较好的系统性能，但需要对系统的时延有足够的了解。 而滑膜控制方法除了自身固有的缺陷如抖动外，在系统操作性能方面尚?想。 基于控制方法现在主要存在如下种?足遥操作机器人从机械手和环境的几何与动?学模型准确性?够缺少在线修正虚拟环境参数的有效手段因虚拟环境存在一定误差，只适用于小时延的情况。 但是笔者认为这种方法会随着技术的发展会愈加成熟，并将会逐渐成为解决遥操作系统时延问题的强有?的手段，具有非常广阔的应用前景。 随着网络控制或网络协议的改善，例如?断普及等，?能通过网络控制或网络协议的修改实现网络信号传输的高可靠性和实时性，时延、丢包、乱序、同步等问题也许将?再是困扰遥操作系统稳定性和操作性能的主要因素；随着传感器的精度的提高以及各种各样的传感器逐渐应用到遥操作上，也将会提高临场感技术；基于遥操作中几何误差（位置误差）和动?学误差这两种虚拟环境建模误差对系统同样产生严重的影响。 如何解决准确的虚拟现实模型并利用反馈的视觉和?觉等传感器信息在线修正虚拟环境的几何参数和动?学参数成为遥操作机器人研究中亟待解决的关键问题；同时，象数据手套、手控器等主端装置对遥操作系统的操作性能也具有很大的影响，完善主端装置也是提高遥操作性能的主要途径之一。 遥操作系统的应用和研究?仅是目前机器人学一个重要分支，在全自主的智能机器人技术尚未成熟之前，遥操作技术是机器人领域研究的热点之一。 遥操作系统可广泛应用于空间探索、海洋开发、医疗、实验、国防等方面，具有重大的应用前景。 将技术引入到?觉临场感遥操作系统中给传统遥操作系统揭示了一个新的发展领域。 迄今，目前国内外对基于的临场感机器人系统稳定性及透明性的研究已取得了一些可喜的进展但还尚未成熟，需要做的工作还比较多。 随着技术的进步，基于临场感遥操作机器人系统的研究具有重大的?论意义和实际意义，必将在生产生活中得到广泛应用。 参考文献，（）王庆鹏，谈大龙，陈宁基于的机器人控制中网络时延测试及分析机器人，（），（），（），（），（），?，（）制造业自动化【】第卷第期，（），的发展使原来?可能的集成变为可能，使原来困难的集成变得容?。 在系统集成的道?上，制造企业也走过许多的弯?。 一方面，反映在信息化孤岛现象上；另一方面，反映在对系统集成的过度追求上。 信息化孤岛现象普遍存在于制造企业信息化过程中，尤其是信息化初期最为明显。 信息化孤岛制约了信息化总体效益的发挥，为此，有必要进?信息系统的集成。 早在?代，就提出了计算机集成制造系统的设想并开始实施，对公司原有的各个信息系统