CN115115014B 远程操作系统、远程操作方法以及程序 （丰田自动车株式会社）

US2018/0373239A1,2018.12.27US2011/0288682A1,2011机音压信息接收部确立与其他用户的会话的机部及其他终端音压信息接收部确立与其他用户2移动体侧音压信息发送部，将所述移动体侧音压信息取得部取第1终端侧音压信息发送部，将所述终端侧音压信息取得部取得的所述音压信息发送第2终端侧音压信息发送部，将所述终端侧音压信息取得部取得的所述音压信息发送终端侧输出部，输出所述第1终端侧音压信息接收部或者所述会话控制部，以能够切换的方式执行使用所述第1终端侧端侧音压信息接收部确立与其他用户的会话的移动体间会话模式、和使用所述第2终端侧音压信息发送部及所述第2终端侧音压信息接收部确立与其他用户的会话的终端间会话模识别位置信息发送部，将包括所述机体识别信息及所述当前3其他机识别信息存储部，存储与和本机对应的用户有关关联移动体存在信息生成部，根据存储于所述其他机识别信息存储部的所述关联移动体存在信息发送部，将所述关联移动体存在信息发送给对应的远程操作终关联移动体存在信息接收部，从对应的远程操作移动体接收所述关联移动体存在信终端间会话要求同意部，接受从其他远程操作终端接收到的如果所述终端间会话要求被同意，则各远程操作终端的信息显示部显示的所述摄像图像信息所反映的至少1个以上的远程操作移动体选择至少1所述终端间会话要求发送部向与选择出的至少1个以上的远程操作移动体对应的远程所述动作控制部在对应的远程操作终端的所述会话控制部执行所述终端间会话模式本机当前地信息发送部，将所述本机当前地信息接收部接收到的所述4所述终端侧输出部在所述会话控制部执行所述终端间会话模式的期6.一种远程操作方法，通过处于相互远离的场所的各远程操作终端以能够切换的方式执行通过将取得的所述音压信息发送给对应的远程操作移动体并且从对应的远程操作移动体接收音压信息而确立与其他用户的会话的移操作终端接收音压信息而确立与其他用户的会话的终各远程操作移动体将包括所述机体识别信息以及所述当前地信息的识别位置信息发各远程操作移动体存储与和本机对应的用户有关系性的用户的远程操作移动体的机各远程操作移动体根据存储于所述其他机识别信息存储部的所述机体识别信息和所5各远程操作终端接受从其他远程操作终端接收如果所述终端间会话要求被同意，则各远程操作终端各远程操作终端接受从所述摄像图像信息显示部显示的所述摄像图像信息所反映的至少1个以上的远程操作移动体选择至少1个以上的远程各远程操作终端向与选择出的至少1个以上的远程操作移动体对应的远程操作终端发各远程操作移动体在对应的远程操作终端执追踪与发送了所述终端间会话要求的发送源的远程操作终端对应的远程操作移动体而移6[0002]专利文献1(日本专利第5070441号公报)公开一种能够使用操作终端远程操作的[0005]本发明的目的在于提供一种在通过处于相互远离的场所的多个用户操作各人的多个用户操作各人的远程操作终端分别远程操作处于相同的场所的多个远程操作移动体，送部，将所述移动体侧音压信息取得部取得的所述音压信息发送给对应的远程操作终端；终端侧音压信息发送部及所述第1终端侧音压信息接收部确立与其他用户的会话的移动体7个用户操作各人的远程操作终端分别远程操作处于相同的场所的多个远程操作移动体时，示与和本机对应的用户有关系性的用户的远程操作移动体处于本机的附近的关联移动体所述摄像图像信息显示部显示的所述摄像图像信息所反映的至少1个以上的远程操作移动体选择至少1个以上的远程操作移动体的选择操作，所述终端间会话要求发送部向与选择出的至少1个以上的远程操作移动体对应的远程操作终端发送所述终端间会话要求。根据8的所述当前地信息，计算与一起进行会话的各个用户对应的远程操作移动体之间的多个用户操作各人的远程操作终端分别远程操作处于相同的场所的多个远程操作移动体，克风取得音压信息，各远程操作移动体将取得的所述音压信息发送给对应的远程操作终风取得音压信息，各远程操作终端将取得的所述音压信息发送给对应的远程操作移动体，述音压信息发送给对应的远程操作移动体并且从对应的远程操作移动体接收音压信息而程操作终端并且从其他远程操作终端接收音压信息而确立与其他用户的会话的终端间会9的多个用户操作各人的远程操作终端分别远程操作处于相同的场所的多个远程操作移动[0035]在本实施方式中，多个远程操作机器人2包括远程操作机器人2A以及远程操作机[0042]用户A和用户B能够经由远程操作终端3A和远程操作终端3B、远程操作机器人2A、为中央运算处理器的CPU2a(CentralProcessingUnit，中央处理单元)、和读写自由的[0068]摄像图像信息发送部23将摄像图像信息取得部22取得的摄像图像信息发送给对将音压信息取得部30取得的音压信息发送给对应的远程块9是GNSS模块(GlobalNavigationSatelliteSystem，全球导航卫星系统)的一个具体[0075]识别位置信息发送部42将包括机体识别信息以及当前地信息的识别位置信息发其他远程操作机器人2，也可以经由远程观光服务器将识别位置信息发送给其他远程操作[0076]其他机识别信息存储部43存储与和本机对应的用户有关系性的用户的远程操作该用户远程操作的远程操作机器人2的机体识别信息关联起来[0077]识别位置信息接收部44从其他远程操作机器人2接收识别位置信息，存储到[0078]返回到图2，关联机器人存在信息生成部45根据存储于其他机识别信息存储部43信息生成部45典型地在计算的距离为预定的距离以内时，判定为对应的远程操作机器人23所示的其他机识别信息存储部43的机体识别信息，判定为与和本机对应的用户有关系性生成表示与和本机对应的用户有关系性的用户(用户B)的远程操作机器人2处于本机的附[0079]关联机器人存在信息发送部46将关联机器人存在信息生成部45生成的关联机器[0080]当前地信息发送部47将当前地信息取得部41取得的当前地信息发送给对应的远程操作终端3。当前地信息发送部47将当前地信息取得部41取得的当前地信息发送给其他[0081]当前地信息接收部48从对应的远程操作终端3接收当前地信息。当前地信息接收算处理器的CPU3a(CentralProcessingUnit，中央处理单元)、和读写自由的RAM3b[0107]返回到图5，控制指令发送部61将由用户输入的控制指令发送给对应的远程操作[0109]摄像图像信息显示部63如图6所示，将摄像图像信息接收部62接收到的摄像图像[0111]关联机器人存在信息显示部65将关联机器人存在信息接收部64接收到的关联机[0112]会话目的地选择部70接受用户从摄像图像信息显示部63显示于显示器52的信息显示区域52a的摄像图像信息所反映的至少1个以上的远程操作机器人2选择至少1个以上终端间会话要求发送部71向与用户选择的远程操作机器人2对应的远程操作终端3发送终[0115]终端间会话要求同意部73接受由用户进行的从其他远程操作终端3接收到的终端[0117]本机当前地信息发送部81将本机当前地信息接收部80接收到的当前地信息发送[0120]本机音压信息发送部84是第1终端侧音压信息发送部的一个具体例。本机音压信息发送部84将音压信息取得部83取得的音压信息发送给对应[0121]本机音压信息接收部85是第1终端侧音压信息接收部的一个具体例。本机音压信[0122]其他终端音压信息发送部86是第2终端侧音压信息发送部的一个具体例。其他终端音压信息发送部86将音压信息取得部83取得的音压信息发送给其他远程操作终端3。具体而言，其他终端音压信息发送部86将音压信息取得部83取得的音压信息经由WAN发往其[0123]其他终端音压信息接收部87是第2终端侧音压信息接收部的一个具体例。其他终收部87从其他远程操作终端3接收经由WAN发往自己的[0124]音压信息输出部88从扬声器8输出本机音压信息接收部85或者其他终端音压信息[0125]会话控制部89可切换地执行使用本机音压信息发送部84以及本机音压信息接收[0126]即，在机器人间会话模式中，各用户朝向身边的远程操作终端3的麦克风50说话从远程操作机器人2的扬声器8输出。将在空气中传播的纵波通过其他机的麦克风7拾取变骤S100至步骤S190所示的机器人间[0135]接下来，远程操作机器人2A的音压信息输出部33从扬声器8输出音压信息接收部人2B的音压信息取得部30从远程操作机器人2B的麦克[0146]接下来，远程操作机器人2B的音压信息输出部33从扬声器8输出音压信息接收部人2A的音压信息取得部30从远程操作机器人2A的麦克[0152]各远程操作终端3的会话控制部89在执行机器人间会话模式的期间，反复执行上[0158]远程操作机器人2A的识别位置信息接收部44从远程操作机器人2B以外的远程操别信息存储部43的机体识别信息(参照图3)和识别位置信息接收部44接收到的识别位置信机器人存在信息生成部45对比存储于其他机识别信息存储部43的机体识别信息(参照图3)和识别位置信息接收部44接收到的识别位置信息(图4)，从识别位置信息接收部44接收到机器人存在信息生成部45对比关联机器人存在信息生成部45提取出的与用户B对应的识别下，关联机器人存在信息生成部45生成包括与用户B对应的识别位置信息的关联机器人存息显示部65将关联机器人存在信息显示于显示器52的信息显示区域52a的情形。如图9所样的图标52c重叠到显示于显示器52的[0168]此外，例如能够如以下所述判定显示于显示器52的远程操作机器人2与远程操作两者的差是预定值以下的情况下，能够判定为显示于显示器52的远程操作机器人2与远程操作终端3A的会话目的地选择部70根据用户A的轻触操作的轻触坐标，判定为在显示于显示器52的多个远程操作机器人2中选择了远程操终端3A以及远程操作终端3B的会话控制部89将要执行的会话模式从机器人间会话模式切[0178]首先，远程操作终端3A和远程操作终端3B通过执行步骤S500[0198]接下来，远程操作终端3B的音压信息输出部88根据在步骤S[0205]接下来，远程操作终端3A的音压信息输出部88根据在步骤S[0207]各远程操作终端3的会话控制部89在执行终端间会话模式的期间，反复执行上述[0209]在远程操作终端3A以及远程操作终端3B的会话控制部89执行终端间会话模式的2A追踪与接收到终端间会话要求的远程操作终端3B对应的远程操作机行的会话模式从终端间会话模式切换到机器人3A的会话控制部89将要执行的会话模式从终端间会话模式切换到机器[0224]远程操作机器人2B的动作控制部21在从远程操作终端3B[0226]远程观光系统1(远程操作系统)是与通过处于相互远离的场所的多个用户操作各人的远程操作终端3而分别远程操作处于相同的场所的多个远程操作机器人2(远程操作移息取得部83取得的音压信息发送给对应的远程操作机器人2；本机音压信息接收部85(第1送部86(第2终端侧音压信息发送部)，将音压信息取得部83取得的音压信息发送给其他远机音压信息发送部84及本机音压信息接收部85确立与其他用户的会话的机器人间会话模的多个用户操作各人的远程操作终端3而分别远程操作处于相同的场所的多个远程操作机存储与和本机对应的用户有关系性的用户的远程操作机器人2的机体识别信息；识别位置成表示与和本机对应的用户有关系性的用户的远程操作机器人2处于本机的附近的关联移息接收部64(关联移动体存在信息接收部)，从对应的远程操作机器人2接收关联移动体存以及终端间会话要求同意部73，接受从其他远程操作终端3接收到的终端间会话要求的同[0229]各远程操作终端3还具备会话目的地选择部70，该会话目的地选择部70接受从摄像图像信息显示部63显示的摄像图像信息所反映的至少1个以上的远程操作机器人2选择至少1个以上的远程操作机器人2的选择操作。终端间会话要求发送部71向与选择的至少1个以上的远程操作机器人2对应的远程操作终端3发送终端间会话要求。根据以上的结构，[0230]动作控制部21在对应的远程操作终端3的会话控制部89执行终端间会话模式的期间，以使本机追踪与发送终端间会话要求的发送源的远程操作终端3对应的远程操作机器[0233]例如，也可以在远程观光系统1中设置评价机器人间会话模式中的声音的质量的个远程操作终端3的会话控制部89执行的会话模式从机器人间会话模式自动地切换到终端[0234]也可以在远程观光系统1中设置评价机器人间会话模式中的声音的质量的声音质[0235]也可以在构成远程观光系统1的多个远程操作机器人2位将构成远程观光系统1的多个远程操作终端3的会话控制部89执行的会话模式从机器人间[0236]也可以在构成远程观光系统1的多个远程操作机器人2位程操作终端3的会话控制部89执行的会话模式从机器人间会话模式切换到终端间会话模[0237]本申请发明能够应用于如用远程操纵完成任务的机器人在同一环境下存在多台[0263]第1终端侧音压信息发送部，将所述终端侧音压信息取得部取得的所述音压信息[0265]第2终端侧音压信息发送部，将所述终端侧音压信息取得部取得的所述音压信息音压信息接收部确立与其他用户的会话的移动体间会话模式、和使用所述第2终端侧音压信息发送部及所述第2终端侧音压信息接收部确立与其他用户的会话的图像信息显示部显示的所述摄像图像信息所反映的至少1个以上的远程操作移动体选择至[0292]所述终端间会话要求发送部向与选择的至少1个以上的远程操作移动体对应的远[0295]所述动作控制部在对应的远程操作终端的所述会话控制部执行所述终端间会话[0326]各远程操作终端可切换地执行通过将取得的所述音压信息发送给对应的远程操作移动体并且从对应的远程操作移动体接收音压信息而确立与其他用户的会话的移动体终端接收音压信息而确立与其他用户的会话的[0331]各远程操作移动体将包括所述机体识别信息以及所述当前地信息的识别位置信[0332]各远程操作移动体存储与和本机对应的用户有关系性的用户的远程操作移动体[0334]各远程操作移动体根据存储于所述其他机识别信息存储部的所述机体识别信息[0342]各远程操作终端接受从其他远程操作终端接收到的所述终端间会话要求的同意[0346]各远程操作终端接受从所述摄像图像信息显示部显示的所述摄像图像信息所反映的至少1个以上的远程操作移动体选择至少1个以上的远程操作[0347]各远程操作终端向与选择出的至少1个以上的远程操作移动体对应的远程操作终本机追踪与发送了所述