CN119404075A 图像处理装置及图像处理方法 （日立安斯泰莫株式会社）

2024.12.18PCT/JP2022/0266982022.07.05WO2024/009386JA2024.01.11摄像机拍摄到的多个拍摄图像分别分割为多个分割区域检测到的特征点的分布变得均匀的方多个拍摄图像中检测到的特征点在多个拍摄图2特征点匹配部，其使多个所述拍摄图像中检测到的所述特相对参数计算部，其基于在多个所述拍摄图像之间建立了对应的所所述阈值设定部进行提高对所述特征点的数量比目标值多的所述分割区域设定的所所述特征点检测部利用由所述阈值设定部设定的所述阈值来检测所所述区域分割部以各所述分割区域中至少被检测到一个所述特征点的方式增加所述所述区域分割部根据所述车载摄像机的搭载位置来变更分割所述拍摄图像的区域的所述区域分割部将被预测为所述特征点多的部分的所述拍摄图像所述区域分割部基于特征点的预测结果，分别以不同的尺寸分割多个所述拍摄图像，所述特征点是从随着车辆的移动而由所述车载摄像机拍摄的多个所述拍摄图像中检测到所述特征点匹配部使多个所述拍摄图像中的位置相同的各所述分割区域的所述特征在所述车载摄像机为立体摄像机的情况下，所述相对参机的两个摄像机中的一个摄像机拍摄到所述拍摄图像时的所述一个摄像机的轴位置及轴在所述车载摄像机为单目摄像机的情况下，所述相对参数计算3将车载摄像机拍摄到的多个拍摄图像分别分割成多个分割区按所述分割区域检测超过阈值的部分作为特征点的以按所述分割区域检测到的所述特征点的分布变得均匀的方式来按所述分割区域设将在多个所述拍摄图像中检测到的所述特征点在多个所述拍摄图像之间建立对应的基于在多个所述拍摄图像之间建立了对应的所述特征点计算相对4用该图像中在与两台摄像机的使用目的对应的距离上分布的特征点和对应点的图像坐标[0007]本发明是鉴于这样的状况而完成的，其目的在于使图像处理装置的校正高精度5图3是表示本发明的一个实施方式的均匀特征点检测部进行的均匀特征点检测处图5是表示本发明的一个实施方式的增加分割数而被分割为网格状的影像的例子图6是表示本发明的一个实施方式的按照车辆状况而分割的拍摄图像的例子的图7是表示本发明的一个实施方式的将在时间序列前A拍摄的拍摄图像分割后的图8是表示本发明的一个实施方式的将在时间序列后B拍摄的拍摄图像分割后的图9是表示本发明的一个实施方式的从第一张拍摄图像中检测到的特征点的例子图10是表示本发明的一个实施方式的从第二张拍摄图像中检测到的特征点的例图11是表示应用了现有技术后的、特征点的分布有偏差的并行化影像的例子的图12是应用本发明的一个实施方式的技术使特征点的分布均匀化后的并行化影6[0013]车载摄像机101是图像处理装置100为了识别车辆的外界而搭载在车辆上的摄像周围的拍摄图像10输出到图像处理装置100的均匀特征点检测部102。车载摄像机101可以[0014]车载摄像机101向均匀特征点检测部102输出的拍摄图像10可以是两台摄像机(立体摄像机)同时拍摄的两张拍摄图像10，也可以是一台摄像[0019]均匀特征点检测部102在步骤S2所示的均匀特征点检测处理中应用独特的方法，进行操作以能够检测由之后的相对参数计算部104计算出的相对参数的精度变高的特征区域分割部(区域分割部1021)将车载摄像机(车载特征点检测部(特征点检测部1022)按分割区域检测超过阈值(个别阈值)的部分7[0021]图3是表示由均匀特征点检测部102进行的均匀特征点检测处理的一例的流程均匀特征点检测处理是图1所示的图像处理装置100的各功能部进行的图像处理方法的一[0022]首先，区域分割部1021以规定的尺寸和分割数分割从车载摄像机101接收到的拍区域分割部(区域分割部1021)增加拍摄图像10的分割数、并减小分割区域的尺寸进行分图4所示的车载摄像机101拍摄的拍摄图像10被区域分割部1021分割为2行×2列可以期待将拍摄图像10内的特征点均匀地配置在图5所示的车载摄像机101拍摄到的拍摄图像10被区域分割部1021分割为4行×4拍摄图像10的上半部分会比下半部分检测出更8移会向哪个方向移动多少等的驾驶场景，来决定拍摄图像10的分割模式(分割区域的分割[0032]通过区域分割部1021根据拍摄图像10中映出的对象物的特性来变更分割数和分图7和图8是表示车载摄像机101在不同时图8是表示将在时间序列后B拍摄到的拍摄图像分割后的样子的图。图8所示的拍分别以不同的尺寸分割多个拍摄图像10，该特征点是从伴随着车辆的移动由车载摄像机序列前A拍摄的拍摄图像10和在时间序列后B拍摄的拍摄图像10中分别检测到的与三维位侧区域的高度H1在图8所示的拍摄图像10中成为高度H2，拍摄图像10的上侧区域变宽。另9在步骤S11的处理之后，特征点检测部1022选择一个由区域分割部1021分割的分进行计数(S14)。由特征点检测部1022计数的分割区域的特征点数暂时存储在RAM53(参照假设图9所示的拍摄图像10的左上侧(里侧)是由图6所示的分割模式分割的分割检测到特征点，因此阈值设定部1023判定该分割区域中的特征点数在目标值以下(S15的[0047]在步骤S16或S17之后，均匀特征点检测部102判定是否对由区域分割部1021分割的所有分割区域执行了步骤S12之后的处理(S18)。均匀特征点检测部102在判定为存在未处理的分割区域的情况下(S18的否)，对未处理的分割区域再次实施从步骤S12开始的处个别阈值进行特征点的检测处理。这样的处理是为了在安装了图3所示的均匀特征点检测在图3所示的均匀特征点检测部102的处理之后，特征点匹配部(特征点匹配部103)使多个拍摄图像10中检测到的特征点在多个拍摄图像10之间建立对应而进行匹配配部103)使在多个拍摄图像10中位置相同的各分割区域中的特征点建立对应而进行匹配。征点匹配部103能够对在拍摄图像10整体上均匀检测到的特征点的分割区域的范围被限定，因此特征点匹配部103能够避免与在其他分割区域中检测到的数计算部104在计算相对参数时，以在两张拍摄图像10中匹配后的所有特征点的再投影误[0055]另外，在车载摄像机101为单目摄像机的情况下，使用在一台移动的车载摄像机由于微小的方向盘操作会导致车载摄像机101向左右角度变化，或者由于制动器或油门的动作会使车载摄像机101向上下角度变化，因此可以设想车载摄像机101的姿势会发生变在车辆按时间顺序移动的前后的定时拍摄外界，并且准确地知道车载摄像机101在所拍摄方面，由于与车辆一起移动的一台单目摄像机的移动前后的摄像机位置容易产生较大误[0061]图11是表示应用了现有技术的、特征点的分布有偏差的并行化影像的例子的[0062]图中所示的黑圆和虚线的网格表示从一方的摄像机拍摄到的拍摄图像10(基准图[0063]在图11所示的并行化影像的例子中，在计算使再投影误对特征点计算权重。权重是对从二维拍摄图像10检测到的特征点的误差(图中所示的白圆通过计算机50(计算机)执行程序，实现图1和图3所示的各功能块协作进行的图像处理方[0068]CPU51从ROM52读取实现本实施方式的各功能的软件的程序代码，加载到RAM53中[0069]作为非易失性存储器55例如可以使用HDD(HardDiskDrive，硬盘驱动器)、SSD[0071]在以上说明的一个实施方式的图像处理装置100中，在从拍摄图像10检测出特征够比以往更准确地识别由外界的三维距离表示的