CN119422184A 远程控制装置、远程控制方法、远程控制系统以及移动体 （三菱电机株式会社）

2024.12.20PCT/JP2022/0268222022.07.06WO2024/009429JA2024.01.11网络的传送路径控制至少1个移动体，其中，具路径中的传送延迟信息以及在线地取得的传送延迟信息而推测包括所推测的传送延迟的时变根据至少1个移动体的周围的周围信息，生成至据传送延迟分布信息、目标轨道以及移动体信2传送延迟分布推测部，根据事先取得的所述传送路径中的传送延迟得的所述传送延迟信息而推测包括所推测的传送延迟的时变的概率分布的传送延迟分布轨道生成部，根据所述至少1个移动体的周围的周围信息，生成所移动体控制部，根据从所述传送延迟分布推测部取得的所述传传送延迟分布推测部，根据事先取得的所述传送路径中的传送延迟得的所述传送延迟信息而推测包括所推测的传送延迟的概率分布以及所述传送延迟的当轨道生成部，根据所述至少1个移动体的周围的周围信息，生成所移动体控制部，根据从所述传送延迟分布推测部取得的所述传所述传送延迟分布推测部根据所述传送延迟信息、和所述至少1个移动体的周围的环所述传送延迟分布推测部根据使用机器学习来学习的所述传送延所述移动体信息包括利用传感器取得的所述至少1个移动所述移动体控制部具有移动体推测部，该移动体推测部推测作为针对所述3所述传送延迟分布推测部用层级型或者非层级型的隐马尔科夫模型对所述时变的概所述传送延迟分布推测部用层级型或者非层级型的隐马尔科夫模型对所述概率分布所述移动体控制部具有可否控制判定部，该可否控制判定部根据所述可否控制判定部在所述传送延迟超过预定的值的情况下、所述轨道生成部生成针对所述多个移动体的各个移动体的所述所述传送延迟分布推测部在所述多个移动体的各个移动体的所述传送延迟信息被视在以小于预先设定的最小延迟时间的延迟时间来接收到信号在以小于所述最小延迟时间的延迟时间来接收到信号的情况根据事先取得的所述传送路径中的传送延迟信息以及在线地取得的所述传送延迟信息而推测包括所推测的传送延迟的时变的概根据基于所述传送延迟分布信息而设定的控制增益、所述目标轨道以及所述至少1个根据事先取得的所述传送路径中的传送延迟信息以及在线地取得的所述传送延迟信4息而推测包括所推测的传送延迟的概率分布以及所述传送延迟的当前的模式或者过去的根据基于所述传送延迟分布信息而设定的控制增益、所述目标轨道以及所述至少1个5[0001]本公开涉及经由网络控制1个以上的移动体的远程控制装置，涉及考虑了传送延[0002]近年来，通过与存在于远端的移动体发送接收数据，实现自动代客泊车(Valetetal."Onsecondmomentstabilityofdiscrete‑timelinearsystemswith特性的离散时间线性系统的稳定化”、第9回测量自动控制学会控制部门多专题研讨会、[0010]然而，在专利文献1中，在传送延迟的概率分布相对时间不变化即相对时间不变在数学上传送延迟相对时刻遵循独立同一分布(“Independentandidentical6[0014]本公开的目的在于提供一种即使在大规模的网络的环境下仍抑制移动体的不稳[0015]本公开提供一种远程控制装置，经由至少包括网络的传送路径控制至少1个移动延迟信息以及在线地取得的所述传送延迟信息而推测包括所推测的传送延迟的时变的概[0017]图1是示出本公开所涉及的实施方式1的远程控制装置以及远程控制系统的结构[0018]图2是示出本公开所涉及的实施方式1的远程控制装置以及远程控制系统的结构[0026]图10是示出在本公开所涉及的实施方式1的远程控制装置中生成的目标速度的一[0027]图11是示出轨道生成部中的2个以上的移动体的目标轨道生成方法的一个例子的[0028]图12是示出轨道生成部中的2个以上的移动体的目标轨道生成方法的一个例子的7[0032]图16是示出本公开所涉及的实施方式1的远程控制装置控制处于传送延迟环境下[0034]图18是示出本公开所涉及的实施方式2的远程控制装置以及远程控制系统的结构[0036]图20是示出本公开所涉及的实施方式3的远程控制装置的传送延迟分布推测部的[0041]图1是示出本公开所涉及的实施方式1的远程控制装置1000的结构的一个例子以及经由网络NW被远程控制的移动体MV的远程控制系统RCS[0042]如图1所示，远程控制系统RCS1成为对网络NW连接了移动体MV、远程控制装置端的移动体之间发送接收数据的介质则能够使用[0045]物体信息取得部200由搭载于第1移动体100的周围或者第1移动体100的1个以上8100内的未图示的时刻同步部、环境信息取得部300内的时刻同步部310以及远程控制装置[0047]上述各时刻同步部在屋外的情况下能够通过使用GNSS(GlobalNavigation[0048]环境信息取得部300与物体信息取得部200同样地由设置于第1移动体100的周围取得信号灯以及停止线等环境信息。环境信息取得部300经由网络NW将环境信息发送给远环境信息取得部300中使用的传感器还能够搭载到第1移动100内的未图示的时刻同步部、物体信息取得部200内的时刻同步部201以及远程控制装置[0052]LiDAR通过检测向周边照射激光并被周边的物体反射而返回为止的时间差来检测的GNSS传感器的情况下以及在第1移动体100上搭载有能够检测第1移动体100周围的障碍[0055]地图数据库500储存有第1移动体100的周围的地图数据。在图1中，轨道生成部9[0060]轨道生成部1002根据从地图数据库500取得的第1移动体100的周围的地图数据、[0065]发送部1004经由网络NW将来自第1移动体控制部1031的移动体1控制量发送给第1[0067]图2是示出控制2个以上的多个移动体的情况下的远程控制装置1000的结构的一个例子以及经由网络NW远程控制的移动体MV的远程控制系统RCS1A的结[0068]如图2所示，远程控制系统RCS1A成为对网络NW连接了移动体MV、远程控制装置[0070]第1移动体100以及第2移动体101分别根据从远程控制装置1000的发送部1004发搭载的由速度传感器等构成的内置传感器检测的移动体的状态量作为移动体1信息以及移[0071]物体信息取得部200由搭载于第1移动体100以及第2移动体101的周围或者第1移动体100以及第2移动体101的1个以上的传感器构成。物体信息取得部200在移动体为汽车是物体信息的一部分。物体信息取得部200将移动体信息经由网络NW发送给远程控制装置[0072]环境信息取得部300与物体信息取得部200同样地由设置于第1移动体100的周围送给远程控制装置2000内的接收部10[0075]它们具有与图1所示的远程控制装置1000相同的功能，但传送延迟测量部1013使体101的移动体2传送延迟信息输出给传送延迟移动体控制部1031根据从网络NW经由接收部1012取得的移动体1信息、和从轨道生成部的台数对应地追加地具备第3移动体控制部等[0077]传送延迟分布推测部1001使用来自传送延迟测量部1013的移动体1传送延迟信息及第2移动体101的传送延迟信息视为相同，对第1移动体100以及第2移动体101进行群组化，使用任意一方的传送延迟信息来推测共同的传送延迟分布并输出给轨道生成部1002。[0081]轨道生成部1002根据来自地图数据库500的地图数据、和来自接收部1012的周围[0082]发送部1004经由网络NW将来自第1移动体控制部1031的移动体1控制量以及来自第2移动体控制部1032的移动体2控制量分别发送给第1移动体100设定部313以及可否控制判定部314。在远程控制装置1000对2个以上的移动体进行远程控[0086]移动体推测部311能够根据来自接收部1012的移动体1信息，推测针对第1移动体[0089]增益设定部313根据来自传送延迟分布推测部1001的移动[0091]控制量运算部312根据来自接收部1012的移动体1信息和来自增益设定部313的控[0092]可否控制判定部314根据来自传送延迟分布推测部1001的移动体1传送延迟分布314以及状态量推测部315。在远程控制装置1000对2个以上的移动体进行远程控制的情况加速度以及角速度等利用传感器取得的第1状态量不同的第2状态量。第2状态量是无法用[0096]状态量推测部315根据与第1移动体100有关的状态方程式和移动体1信息应用观[0098]移动体推测部311在推测针对第1移动体100的状态量的系数分布的情况下，不仅[0099]控制量运算部312根据来自接收部1012的移动体1信息、来自状态量推测部315的息并作为移动体1信息输出并经由发送部405输入到网[0103]指令值运算部402进行经由接收部404取得由远程控制装置1000的移动体控制部[0104]时刻同步部406具有与物体信息取得部200内的时刻同步部201、环境信息取得部[0105]发送部405经由网络NW将来自内置传感器401的移动体1信息发送给远程控制装置信息取得部200在第1移动体100的周边存在其他移动体或者行人等时，取得它们的位置以部300访问地图数据库500取得第1移动体100的可移动区域[0107]图6是示出第1移动体100为车辆的情况下的结构的一个例子的图。为了驾驶员即由拉杆(tierods)5连接了前转向节臂(frontknuckles)6。前转向节臂6旋转自如地支撑旋转使齿条轴14向左右方向移动。通过齿条轴14的移动而前转向节臂6以未图示的转向主及倒退时能够通过操作方向盘1使车辆的横移[0111]指令值运算部402如使用图5说明那样，进行将移动体1控制量变换为可输入到致于控制第1移动体100的前后方向的运动的车辆驱动装置7以及刹车控制装置10等的致动移动体100的前轮15以及后轮16的各个轮子的刹车器11的刹车量。一般的刹车器使用液压[0117]上述内置传感器以及其他多个装置使用第1移动体100内的CAN(ControllerArea[0119]接下来，使用图7以及图8来说明物体信息取得部200的配置的一个例子以及在远[0120]图8是示出在第1移动体100的前方存在停止物体OB的情况下用于生成第1移动体[0122]利用图7中的外置传感器42检测第1移动体100针对外置传感器42的相对位置和相[0123]远程控制装置1000的轨道生成部1002根据这些信息而生成如图8所示的目标路径方式生成目标速度。轨道生成部1002生成将目标路径和目标速度合并起来的目标轨道(避[0125]图9是示出物体信息取得部200以及环境信息取得部300的配置的一个例子的图。的物体信息取得部200的配置的一个例子，外置传感器42配置于第1移动体100行驶的道路以及信号灯TL的发光颜色的位置。外置传感器42以及52的检测范围分别是范围R42以及[0126]利用图9中的外置传感器42检测第1移动体100针对外置传感器42的相对位置和相[0127]利用图9中的外置传感器42检测第1移动体100针对外置传感器42的相对位置和相[0128]远程控制装置1000的轨道生成部1002根据这些信息而生成如单点划线所示那样[0129]图10是示出如图9所示在前方存在停止线STL和信号灯TL的情况下在远程控制装[0130]轨道生成部1002设定在图9中如单点划线所示那样的目标速度TV。该目标速度TV[0133]图11是示出轨道生成部1002中的2个以上的移动体的目标轨道生成方法的一个例的外置传感器42以及环境信息取得部300的外置传感器52配置于第1移动体100行驶的道路[0135]利用外置传感器42检测第1移动体100和第2移动体101针对外置传感器42的相对还生成第1移动体100的目标速度。轨道生成部1002以使第1移动体100沿着目标路径TR1成停止线STL逐渐变小而在停止线STL处成为[0137]轨道生成部1002针对第1移动体100生成将目标路径TR1和目标速度合并起来的目[0139]图12是示出轨道生成部1002中的2个以上的移动体的目标轨道生成方法的一个例子的图。图12是说明第1移动体100以及第2移动体101排队行驶时的目标轨道生成方法的[0140]利用外置传感器42检测第1移动体100和第2移动体101针对外置传感器42的相对成部1002以使第1移动体100沿着目标路径TR1成为恒定速度的方式2移动体101的目标路径TR2和目标速度(未图示)。轨道生成部1002以使第2移动体101的位[0142]在该情况下，针对第2移动体101的目标速度与针对第1移动体100的目标速度相[0144]如使用图11以及图12说明那样，轨道生成部1002生成针对多个移动体的目标轨[0147]传送延迟预处理部111具有将来自传送延迟测量部1013的传送延迟信息变换为由传送延迟模型部112所参照的传送延迟特征量的功能。传送延迟特征量例如可以是预先决[0149]HMM是输出遵循离散或者连续的概率分布的序列的模式(状态)被构筑成在各模式以某种程度的时间宽度例如1小时等，周期性地例如0.01秒间隔或者非周期性地取得序列数据，将所取得的该序列数据设为1组，将这样的1组取得多个。将取得的多个数据定义为第1移动体100的远程控制时取得的传送延迟信息。通过根据事先信息制作HMM，能够缩短[0184]即，公式(2)意味着概率过程ξ的直至时刻k0的值为ξh(k0_1)―这样的条件下的期望hk0__的条件下的附条件的期望值。ξk0+1概率过程的等级中存在上述HMM以及鞅等、且视为传送延迟遵循这些等级的概率过程的情用以下的公式(9)表示的与时刻k有关的实数矢量ξk的[0211]根据非专利文献2，如公式(9)那样取概率过程ξ,在满足公式(4)的假[0214]在此，上标文字的T表示矩阵的转置，将〇和×合并起来的记号表示克罗内克n2的矩阵E[row(A(ξ(j)))Trow(A(ξ(j)))]如以下的公式(12)定义为j[0227]传送延迟如上所述可用HMM表现，所以能够使用公式(10)的评价式来评价控制对概率系加上控制输入的项而成的以下的公式(15)表示的离散时间状[0235]以下，设为公式(15)的概率系满足公式(4)和公式(16)的假设，将其称为控制对采用使用从传送延迟分布推测部1001(图1)得到的传送延迟的模式信息根据各时刻的模式i的时刻下用以下的公式(17)以及公式(18)表示控制对象的离散时间状态方[0249]根据非专利文献2，能够设计不依赖于用以下的公式(19)表示的模式的控制增益j。[0273]通过使用这样求出的控制增益F来控制控制对象，能够在HMM下使控制系统稳定[0279]如果将设计变量设为Fi并能够求出满足公式(10)的评价式的Fi[0288]接下来，依据上述的设计控制增益的方法来说明对移动体进行远程控制的方输出，虚线意味着用离散值表现的信号的输入输出，xc以及uc是连续时间中的状态以及输向发送目的地的到达滞后时间τuk以及τdk的延迟要素。分解为横向的运动和前后方向的运动而针对yyyy[0335]在与公式(29)同样地记载公式(37)时，连续时间状态方程式能够用以下的公式[0340]关于第1移动体100的前后方向的状态方程式，在将从目标加速度uα至[0343]将公式(39)作为用于设定提供了目标加速度时的期望的定部314(图3)在无法保证移动体的控制的稳定性的情况下以及传送延迟超过预定的值的[0349]图18是示出本公开所涉及的实施方式2的远程控制装置2000的结构的一个例子以及经由网络NW远程控制的移动体MV的远程控制系统RCS[0350]如图18所示，远程控制系统RCS2的远程控制装置2000成为与图1所示的远程控制的移动体，也能够通过设为与图2同样的结构而应用。在该情况下，传送延迟分布推测部等同且传送延迟的倾向被视为相同的程度的情况下，将多个移动体的传送延迟视为相同，送延迟分布推测部1001由传送延迟预处理部111、传送延迟模型部112以及环境预处理部[0355]传送延迟预处理部111具有将来自传送延迟测量部1013的传送延迟信息变换为由[0356]传送延迟模型部112使用由传送延迟预处理部111计算的传送延迟特征量被预先环境赋予特征的环境特征量的功能。此外，关于传送延迟预处理部111以及传送延迟特征[0365]图20是示出本公开所涉及的实施方式3的远程控制装置3000的传送延迟分布推测部1001的结构的一个例子的框图。在该例子中，传送延迟分布推测部1001由模型部115构[0369]图20的传送延迟分布推测部1001成为使用利用机器学习来学习的已学习模型来[0370]将传送延迟模型设为HMM模型的学习方法主要在语音辨识领域中得到广泛研究，通过使用该方法能够使HMM模型进行学习。在希望使更一般的传送延迟模型进行学习的情[0376]在实施方式1～3中说明的HMM是非层级型的隐马尔科夫模型，但作为更精密的传中说明那样一接收到信号立即将接下来的信号送到对方侧的结构为基本进行了说明。然况下移动体或远程控制装置侧等待直至经过设定的最小延迟时间量的时间之后发送信号隔始终成为50msec以上的状况。该等待能够在移动体侧和远程控制装置侧的任意一方进忽略的情况下可将该时间也包含在传送延迟而处理。在如上所述设定最小延迟的情况下，ASIC(Applicati