CN116324506B 信息处理系统、信息处理装置、计算机能读入的记录介质和信息处理方法 （三菱电机株式会社）

2023.03.16PCT/JP2020/0359822020.09.24WO2022/064588JA2022.03.31用摄像信息确定表示多个测距目标的尺寸的暂用该多个暂定区域的各个暂定区域与图像中拍计算表示摄像目标与多个测距目标的各个测距2测距处理部，其检测存在于检测范围内的多个目标即摄像处理部，其以摄像范围的至少一部分与所述检测范围重叠的方式拍一致概率计算部，其使用所述摄像信息确定表示所述多个测距目标的尺寸的暂定值，按照所述暂定值和所述测距信息确定在所述图像中投影所述多个测距目标的多个区域即所述一致概率计算部以如下方式计算所述一致概率：所述多个暂定区所述一致概率计算部以如下方式计算所述一致概率：所述多个暂定区所述一致概率计算部以如下方式计算所述一致概率：所述多个暂定区所述一致概率计算部以如下方式计算所述一致概率：所述多个暂定区所述一致概率计算部以如下方式计算所述一致概率：所述多个暂定区所述信息处理系统还具有可靠度计算部，该可靠度计算部计算由所在所述多个测距目标的全部的所述可靠度低于预定的阈所述信息处理系统还具有行驶轨道确定部，该行驶轨道确定部确定在所述摄像目标对所述行驶轨道造成影响的情况下，所3结合对象决定部，其将所述多个测距目标中的、所述一所述一致概率计算部确定与所述摄像信息中包含的类别对应的所在所述多个测距目标中的两个以上的测距目标处于相邻关在所述多个测距目标中的至少一个测距目标的距离述一致概率计算部不在所述摄像目标与所述至少一个测距目标之间计算通信接口部，其取得表示存在于检测范围内的多个目标即多一致概率计算部，其使用所述摄像信息确定表示所述多个测距目标的尺寸的暂定值，按照所述暂定值和所述测距信息确定在所述图像中投影所述多个测距目标的多个区域即检测存在于检测范围内的多个目标即多个测距目标的各个测距目标的生成表示所述多个测距目标的各个测距目标的距确定所述图像中包含的目标即摄像目标的距离、方向和类别使用所述摄像信息确定表示所述多个测距目标按照所述暂定值和所述测距信息确定在所述图像中投影所述多个测距目标的多个区使用所述多个暂定区域的各个暂定区域与在所述图像中拍摄到所述摄像目标的区域4检测存在于检测范围内的多个目标即多个测距目标的各个测距目标的生成表示所述多个测距目标的各个测距目标的距确定所述图像中包含的目标即摄像目标的距离、方向和类别使用所述摄像信息确定表示所述多个测距目标按照所述暂定值和所述测距信息确定在所述图像中投影所述多个测距目标的多个区使用所述多个暂定区域的各个暂定区域与在所述图像中拍摄到所述摄像目标的区域5[0003]例如，专利文献1公开有进行使用雷达传感器装置和摄像机传感器装置的传感器装置检测到的目标和由雷达传感器装置检测到部，其检测存在于检测范围内的多个目标即多个测距目标的各个测距目标的距离和方向，所述多个测距目标的各个测距目标一致的可能性6照所述暂定值和所述测距信息确定在所述图像中投影所述多个测距目标的多个区域即多[0014]本发明的一个方式的程序的特征在于，该程序使计像目标与所述多个测距目标的各个测距目标一致的可能性[0021]图4是用于说明在实施方式1中由测距信息表示的目标和由摄像信息表示的目标[0022]图5是示出在实施方式1中向由摄像部拍摄到的图像投影测距目标而成的图像的[0023]图6是示出在实施方式1中向由摄像部拍摄到的图像投影与测距目标对应的暂定7[0026]图9是用于说明在实施方式3中由测距信息表示的目标和由摄像信息表示的目标[0027]图10是示出在实施方式3中向由摄像部拍摄到的图像投影测距目标而成的图像的[0031]图14是用于说明在实施方式5中由测距信息表示的目标和由摄像信息表示的目标[0032]图15是示出在实施方式5中向由摄像部拍摄到的图像投影与测距目标对应的暂定[0033]图16是从上方观察实施方式1～5的第1变形例中的由摄像部拍摄到的图像的范[0035]图18是从上方观察实施方式1～5的第2变形例中的由摄像部拍摄到的图像的范[0036]图19是示出在第2变形例中向由摄像部拍摄到的图像投影与测距目标对应的暂定[0038]图1是概略地示出作为实施方式1的信息处理系统的车辆控制系统100的结构的框[0041]测距处理部101检测存在于检测范围内的多个目标即多个测距目标的各个测距目测距部102通过使用毫米波或脉冲激光等的公知方[0045]摄像处理部104以摄像范围的至少一部分与测距处理部101的检测范围重叠的方8[0049]车辆控制部107生成与搭载有车辆控制系统100的车辆的行驶有关的信息即车辆[0051]信息处理装置110进行确定在车辆控制系统100中成为检测对象的目标的距离和存储将目标的类别和表示目标的尺寸的暂定值对应由从测距处理部101提供的测距信息表示的目标和由从摄像处理部104提供的摄像信息表[0065]一致概率计算部115使用来自摄像处理部104的摄像信息确定表示多个测距目标9多个暂定区域的各个暂定区域与图像中拍摄到摄像目标的区域即目标区域的重叠的大小，计算表示摄像目标与多个测距目标的各个测距目标[0067]图4是用于说明在实施方式1中由测距信息表示的目标和由摄像信息表示的目标[0069]拍摄相对于摄像部105的镜头的位置即镜头位置P成为某个视场角的摄像范围A1~A2的图像。[0073]图5是示出在实施方式1中向由摄像部105拍摄到的图像投影测距目标R1、测距目标R2和测距目标R3而成的图像IM1的[0079]一致概率计算部115根据已确定的尺寸，以与测距目标的距离对应的尺寸向由摄[0080]图6是示出在实施方式1中向由摄像部105拍摄到的图像投影与测距目标R1对应的113a表示的尺寸的目标以各自的距离在图像中映出的情况[0084]然后，一致概率计算部115计算对象摄像目标与暂定区域的重叠的大小越大则越[0090]因此，(1)式是将拍摄到的图像中的暂定区域和对象摄像目标的重叠部分的大小出的一致概率最大的测距目标确定为与该对象摄像目标进行结合的对象即结合对象。这[0094]结合部117对由对象摄像目标的摄像信息表示的距离和方向以及由对象测距目标[0097]车辆控制系统100具有测距传感器140、测距传感器ECU(ElectronicControl[0098]信息处理装置110具有通信I/F145、CAN(ControllerAreaNetwork：控域网)I/米波的发送天线和接收毫米波的接收天线的毫米波雷达、或使用激光进行测距的Lidar[0112]一致概率计算部115从由被提供的摄像信息表示的摄像目标中确定一个摄像目标[0113]然后，一致概率计算部115参照被提供的摄像信息确定与已确定的对象摄像目标[0114]一致概率计算部115对由在步骤S10中取得的测距信息表示的测距目标应用在步信息表示的对应的方向和距离配置在步骤S14中确定的尺寸的测距目标，由此确定该图像[0116]一致概率计算部115根据图像中的对象摄像目标与测距目标的暂定区域的重叠的[0118]接着，结合部117对对象摄像目标的距离和方向与对象测距目标的距离和方向进[0119]然后，一致概率计算部115判断是否将由摄像信息表示的全部的摄像目标确定为概率计算部115将还未确定为对象摄像目标的摄像目标确定为对象[0126]实施方式2的信息处理装置210的通信I/F部111、车内NWI/F部112和存储部113与处理部101提供的测距信息表示的目标和由从摄像处理部104提供的摄像信息表示的目标[0128]如图3所示，控制部214具有一致概率计算部215、结合对象决定部116和结合部[0129]实施方式2中的控制部214的结合对象决定部116和结合部117与实施方式1中的控[0130]一致概率计算部215计算表示由测距信息表示的目标和由摄像信息表示的目标一致的可能性的一致概率。实施方式2中的一致概率计算部215与实施方式1中的一致概率计[0136]例如，使用由测距信息表示的目标和由摄像信息表示的目标如图4所示的情况进[0143]实施方式3的信息处理装置310的通信I/F部111、车内NWI/F部112和存储部113与处理部101提供的测距信息表示的目标与由从摄像处理部104提供的摄像信息表示的目标[0145]如图3所示，控制部314具有一致概率计算部315、结合对象决定部116和结合部[0146]实施方式3中的控制部314的结合对象决定部116和结合部117与实施方式1中的控[0147]一致概率计算部315计算表示由测距信息表示的目标与由摄像信息表示的目标一致的可能性的一致概率。实施方式3中的一致概率计算部315与实施方式1中的一致概率计[0149]图9是用于说明在实施方式3中由测距信息表示的目标和由摄像信息表示的目标[0151]拍摄相对于摄像部105的镜头的位置即镜头位置P成为某个视场角的摄像范围A1~A2的图像。[0156]一致概率计算部315根据已确定的尺寸，以与测距目标的距离对应的尺寸向由摄[0157]接着，一致概率计算部315计算从对象摄像目标到测距目标的各个测距目标为止标R2和测距目标R4而成的图像IM3的标C1内的预定的点即中心点PC1到测距目标R1、测距目标R2和测距目标R4的各个测距目标标C2内的预定的点即中心点PC2到测距目标R1、测距目标R2和测距目标R4的各个测距目标[0162]然后，一致概率计算部315计算对象摄像目标与暂定区域的重叠的大小越大并且[0173]实施方式4的信息处理装置410的通信I/F部111、车内NWI/F部112和存储部113与处理部101提供的测距信息表示的目标和由从摄像处理部104提供的摄像信息表示的目标[0177]实施方式4中的控制部414的结合对象决定部116和结合部117与实施方式1中的控[0178]可靠度计算部418计算由摄像信息表示的摄像目标的距离和方向、以及由测距信可靠度计算部418取得由测距信息表示的多个测距目标的各个测距目标的方向和距离作为t-1|t-1+Gtt-1t-1是时刻t-1中的平均为0且基于协方差矩阵Qt-1的正态分布的系统噪声向量。Pt|t＝Ft|t-1t|t-1T+Gt|t-1Pt|t-1是时刻t-1中的时刻t的预测误差协方差矩阵。Pt-1|t-1是时刻t-1中的平滑误差协方差t是时刻t中的残差协方差矩阵。θt是时刻t中的马氏距离。Kt是时刻t中的卡尔曼增[0206]可靠度计算部418将马氏距离θt、卡尔曼增益Kt和时刻t中的平滑向量X^t[0207]接着，可靠度计算部418计算根据测距信息得到的多个测距目标的观测值与根据[0208]可靠度计算部418在马氏距离为阈值以下的情况下，设为根据测距信息和摄像信[0210]具体而言，可靠度计算部418取得从测距信息和摄像信息得到的对象检测项目的观测值与在计算出上述的检测值的计算时使用的在对象时刻之前的时刻预测出的对象时[0211]此外，可靠度计算部418取得在如上所述计算出检测值的计算时得到的卡尔曼增[0217]一致概率计算部415在多个测距目标的全部的可靠度低于预定的阈值的情况下，[0220]一致概率计算部415在由可靠度计算部418计算出的可靠度小于作为预定的阈值[0224]一致概率计算部415从由被提供的摄像信息表示的摄像目标中确定一个对象摄像[0225]接着，可靠度计算部418将与已确定的对象摄像目标对应的方向和距离以及与由否小于成为阈值的可靠度(S24)。在至少一[0228]一致概率计算部415对由在步骤S20中取得的测距信息表示的测距目标应用在步信息表示的对应的方向和距离配置在步骤S26中确定的尺寸的测距目标，由此确定该图像[0230]一致概率计算部415根据图像中的对象摄像目标与测距目标的暂定区域的重叠的[0232]接着，结合部117对对象摄像目标的距离和方向与对象测距目标的距离和方向进致概率计算部415将还未确定为对象摄像目标的摄像目标确[0242]实施方式5的信息处理装置510的通信I/F部111、车内NWI/F部112和存储部113与处理部101提供的测距信息表示的目标与由从摄像处理部104提供的摄像信息表示的目标[0246]实施方式5中的控制部514的结合对象决定部116和结合部117与实施方式1中的控可以根据由从车辆控制部107得到的车辆信息表示的车辆的转向角或横摆角速度等确定车[0249]一致概率计算部515在摄像目标对行驶轨道造成影响的情况下，在摄像目标与多[0250]具体而言，一致概率计算部515在由来自摄像处理部104的图像数据表示的图像[0252]图14是用于说明在实施方式5中由测距信息表示的目标和由摄像信息表示的目标[0254]拍摄相对于摄像部105的镜头的位置即镜头位置P成为某个视场角的摄像范围A1~A2的图像。[0257]在图14中，设行驶轨道确定部519检测到车道的左侧的线L1和右侧的线L2作为车[0259]图15是示出在实施方式5中向由摄像部105拍摄到的图像投影与测距目标R5对应的暂定区域T5和与测距目标R6对应的暂[0262]在以上的状况下，一致概率计算部515根据被确定为影响摄像目标的摄像目标C3标处于相邻关系的情况下，确定将这两个以上的测距目标汇集成一个而成的汇集测距目[0267]图16是从上方观察实施方式1～5的第1变形例中的由摄像部105拍摄到的图像的[0268]拍摄相对于摄像部105的镜头的位置即镜头位置P成为某个视场角的摄像范围A1~A2的图像。[0271]图17是示出在第1变形例中测距目标R7的暂定区域T7、测距目标R8的暂定区域T8~R9中的任意一方例如将其他的测距目标R7和测距目标R8包含在暂定区域T9中的一个测[0275]如上所述，根据第1变形例，在从一个物品或一个人检测到多个测距目标的情况下、或例如如自行车和骑着该自行车的人那样适合作为一个测距目标进行处理的情况下成的多个测距目标的距离和方向的代表值例如平