CN114365189B 影像配准装置、图像生成系统、影像配准方法及存储介质 （株式会社电装）

2022.03.08PCT/JP2020/0339562020.09.08WO2021/049490JA2021.03.18US2012242795A1,2012.09.27影像配准装置与测距传感器(10)可通信地感器通过由受光元件感知通过光照射而从物体反射的反射光来生成包含距离信息的反射光图光来生成与反射光图像相同坐标系的背景光图像的特征点与相机图像的特征点之间的对应关2距传感器通过由受光元件感知通过光照射而从物体反射的反射光来生成包含距离信息的关系，来实施与所述背景光图像相同坐标系的所述反射光图像与所述相机图像的影像配所述图像处理部分别检测所述背景光图像的特征点和所述相机图像所述图像处理部确定检测出的所述背景光图像的特征点与所述相机图像的特征点之所述图像处理部基于所述对应关系的确定结果，使所述背景光图像和所所述图像处理部考虑基于所述测距传感器与所述相机之间的相对位置所述图像处理部将与所述背景光图像和所述相机图像中的投影源的特征点对应的极域内的所述投影目的地的特征点判定为与所述投影源的特征根据在所述背景光图像的测定定时与所述相机图像的测所述图像处理部在所述背景光图像的特征点与所述相机图像的特征点之间的对应关所述图像处理部使用具有影响尺度的参数的特征点检测器，分别所述图像处理部掌握所述背景光图像的分辨率与所述相机图像的分辨测距传感器，通过由受光元件感知通过光照射而从相机，通过由相机元件检测来自外部的入射光来生成与所述反射3关系，来实施与所述背景光图像相同坐标系的所述反射光图像与所述相机图像的影像配所述图像处理部分别检测所述背景光图像的特征点和所述相机图像所述图像处理部确定检测出的所述背景光图像的特征点与所述相机图像的特征点之所述图像处理部基于所述对应关系的确定结果，使所述背景光图像和所准备反射光图像和背景光图像，其中，所述反射光图及基于所述对应关系的确定结果，使所述背景光图像和所9.一种存储介质，保存有实施测距传感器生成的所述存储介质包含由计算机执行的指令，所述指令用于使至少一个获取反射光图像和背景光图像的处理，其中，所述反射光图像测来自外部的入射光来生成与所述反射光图像和所述背景光图像相比高分辨率的所述相分别检测所述背景光图像的特征点和所述相机确定检测出的所述背景光图像的特征点与所述相机图像的特征点之间的对应关系的基于所述对应关系的确定结果，使所述背景光图像和所4[0004]在专利文献1中公开测距传感器。该测距传感器能够通过由受光元件感知通过光照射而从物体反射的反射光，来生成包含距离信息的反射光图像。在专利文献2中公开相[0011]图像处理部，通过确定背景光图像的特征点与相机图像的特征点之间的对应关此能够显著提高使用反射光图像和相机图像双方的应用的5[0016]图像处理部，通过确定背景光图像的特征点与相机图像的特征点之间的对应关距传感器和相机的不同的图像生成源的信息即距离信息和相机图像的信息能够以应用容[0024]根据这样的方式，分别检测所准备的背景光图像的特征点和相机图像的特征对应关系的确定结果，使背景光图像和相机图像中的一方的各像素与另一方的各像素对6[0030]确定检测出的背景光图像的特征点与相机图像的特征点之间[0032]根据这样的方式，分别检测所获取的背景光图像的特征点和相机图像的特征对应关系的确定结果，使背景光图像和相机图像中的一方的各像素与另一方的各像素对7成系统100能够生成综合了测距传感器10和外界相机20的测定结果的周边监视图像信息，[0049]图像处理ECU30与搭载于车辆1的车载网络的通信总线可通信地连接。图像处理辅助ECU50等分别作为节点连接在车载网络的驶操作的驾驶代行功能的至少一方。驾驶辅助ECU50通过由处理器执行存储于存储部的程[0052]测距传感器10例如是配置于车辆1的前方或者车辆1的车顶的SPADLiDAR(Single[0054]受光部12例如通过聚光透镜对所照射的光束被测定范围MA1内的物体反射的反射[0055]受光元件12a是通过光电变换将光变换为电信号的元件，是通过放大检测电压而受光部12设置光学滤波器来调整。受光元件12a以在一维方向或者二维方向上排列的方式8图像是将反射光的强度和反射了该反射光的物体的距离信息与测定范围MA1所对应的图像像ImL是将背景光的强度与测定范围MA1所对应的图像平面上的二维坐标相关联的图像状[0060]反射光图像和背景光图像ImL由共用的受光元件12a感知，并从包含该受光元件景光的强度的3通道的数据的一体的图像数据作为传感器图像被依次输出到图像处理[0062]外界相机20例如是配置在车辆1的前挡风玻璃的车厢内侧的相机。外界相机20能域将可视区域的灵敏度设定得高。相机元件22a以在二维方向上排列的方式呈阵列状地具[0065]控制单元23是控制受光部22的单元。控制单元23例如配置在与相机元件22a共用9[0067]测距传感器10与外界相机20基于不同的时钟振荡器进行动作，测定定时的周期[0068]图像处理ECU30是对反射光图像、背景光图像ImL以及相机图像ImC复合地进行图口34以及将它们连接的总线等的计算机作为主体而包含的结构。处理部31是与RAM32结合含非易失性存储介质的结构。在存储部33储存有由处理部31执行的各种程序(影像配准程[0069]图像处理ECU30具有用于通过由处理部31执行存储于存储部33的影像配准程序来实施影像配准(ImageRegistration)的多个功能部。具体地说，如图3所示，在图像处理[0070]图像获取部41从测距传感器10获取反射光图像和背景光图像ImL，并且从外界相[0071]图像处理部42通过确定背景光图像ImL的特征点FPa与相机图像ImC的特征点FPb以及背景光的强度的3通道的数据的传感器图像、以及为高分辨率图像并且为可视区域的[0073]特征点检测功能是分别检测背景光图像ImL的特征点FPa和相机图像ImC的特征点检测器的各种特征点检测法。特别是在本实施方式中，采用基于哈里斯角检测器(Harris第二个参数是梯度检测滤波器(例如Sobel的梯度检测滤波器)对应地各配置一个，但也可以相对于背景光图像ImL和相机图像ImC共用地(通过共用的程序)设置。也可以是，相对于背景光图像ImL和相机图像ImC共用地设置仅哈里斯角检测器[0079]对应关系确定功能确定背景光图像ImL的特征点FPa与相机图像ImC的特征点FPb像ImL内的多个特征点FPa的位置关系与相机图像ImC内的多个特征点FPb的位置关系有可多个特征点FPa的位置关系与相机图像ImC内的多个特征差Δt，映现于背景光图像ImL的物体的位置与映现于相机图像ImC的物体的位置有可能大的位置关系与相机图像ImC内的多个特征点FPb的位置关系不同以及包含没有对应关系的[0083]例如本实施方式的图像处理部42通过SIFT特征量检测器(以下，特征量检测器)包含由哈里斯角检测器43a、43b检测出的各特征点FPa、FPb的周边区域应用高斯滤波器[0085]这样，在与背景光图像ImL的各特征点FPa单独对应的SIFT特征量和与相机图像对极几何(EpipolarGeometry)，通过极线(Epipolarline)投影器45将与相机图像ImC的像ImC的特征点FPb对应的被拍摄体的三[0089]假设在背景光图像ImL与相机图像ImC之间获取同步，则与相机图像ImC的某个特征点FPb具有对应关系的背景光图像ImL的特征点FPb应该存在于基于极线投影器45的极线位于判定区域JA的内部的背景光图像ImL的特征点FPa限定为与作为极线EL的投影源的相背景光图像ImL的各特征点FPa来确定一对一的单独对应关系。在由哈里斯角检测器43a、[0092]图像处理部42在坐标的匹配时，例如使用TPS模型来实施TPS(ThinPlate[0093]作为用于说明确定各像素的对应关系的意思的具体例，考虑相机图像ImC的测定出风景的特征点彼此的间隔之比小于相机图像ImC中的映出其他车辆的特征点彼此的间隔[0094]即，坐标匹配功能中的处理能够对测定定时的偏差Δt进行校正，对背景光图像息的反射光图像和作为高分辨率且彩色图像的相机图像ImC进行与相互获取同步的数据同[0095]而且，图像处理部42通过将与背景光图像ImL的各像素对应的坐标变换为相机图[0106]根据第一实施方式的图像处理ECU30，使用与反射光图像相同坐标系的背景光图近相机图像ImC的背景光图像ImL的特征点FPa与相机图像ImC的特征点FPb的比较中，特征射光图像的坐标系与相机图像ImC的坐标系一致，因此能够显著提高使用反射光图像和相着极线EL的具有规定的容许宽度W的带状的判定区域JA内的投影目的地的特征点FPa为与位于具有与偏移量对应的容许宽度W的判定区域JA内，就能够确定具有对应关系的特征点接近相机图像ImC的背景光图像ImL的特征点FPa与相机图像ImC的特征点FPb的比较中，容的图像生成源的信息、即距离信息和相机图像ImC的信息能够以在应用中容易处理的复合同坐标系并且与反射光图像相比性质接近相机图像ImC的背景光图像ImL来实施反射光图过这样的建立对应关系，能够使反射光图像的坐标系与相机图像ImC的坐标系高精度地一于实现高精度的周边识别功能的一部分，因此该驾驶辅助ECU230也相当于识别车辆1的周[0118]第二实施方式的驾驶辅助ECU230与第一实施方式的图像处理ECU30同样，通过由中包含与测距传感器10的受光元件12a的规格相关的信息、以及与外界相机20的相机元件[0122]第二实施方式的哈里斯角检测器243a基于分辨率比，使检测背景光图像ImL的特对于背景光图像ImL为高分辨率的相机图像ImC的特征点检测中，与背景光图像ImL的情况ImC的特征点FPb的特征点检测器的哈里斯角检测器243a、243b具有影响尺度的尺度参数。背景光图像ImL的特征点FPa的检测所使用的尺度参数与相机图像ImC的特征点FPb的检测是在不脱离本公开的主旨的范围内能够应用于各边环境而得的解析完毕信息提供给具有驾驶辅助功能等的驾驶辅助EC像ImC综合为多通道的复合图像并输出。图像处理部42也可以将反射光图像、背景光图像[0130]作为变形例4，图像处理部42输出影像配准完毕的反射光图像和相机图像ImC即[0133]作为变形例7，影像配准完毕的反射光图像和相机图像ImC也可以用于车辆1中的毕的反射光图像和相机图像ImC用于视频会议的通[0134]作为变形例8，也可以对检测出的SIFT特征量附加用于具有旋转不变性的方向(Orientation)的信息。方向的信息例如在测距传感器10的设置面的倾斜与相机20的设置[0135]作为变形例9，在将与相机图像ImC的特征点FPb对