CN112351242B 图像处理装置以及图像处理方法 （阿尔派株式会社）

提供能够使由多个拍摄部件拍摄的图像的合成变得清晰的图像处理装置以及图像处理方提供包含以较宽的视场角拍摄的车辆后方的图及合成部件，能够对侧相机(110)的图像的车体区域，合成与该车体区域对应的鱼眼相机(120)2第一拍摄部件，被安装于车辆的侧部，提供对包含第二拍摄部件，被安装于车辆的后部，提供包含以第一视场角第三拍摄部件，被安装于车辆的后部，提供包含以比第一合成部件，能够对第一图像的车体区域，合成与该车体区域对应的所述合成部件在第三图像的盲点区域满足预先决定的条件时，将该盲所述合成部件在第三图像的盲点区域不满足所述预先决定的条件时，不所述合成部件在第三图像的盲点区域仅在后方物体的下侧产生的情况第一拍摄部件，被安装于车辆的侧部，提供对包含第二拍摄部件，被安装于车辆的后部，提供包含以第一视场角第三拍摄部件，被安装于车辆的后部，提供包含以比第一合成部件，能够对第一图像的车体区域，合成与该车体区域对应的所述合成部件在第三图像的盲点区域满足预先决定的条件时，将该盲第一拍摄部件，被安装于车辆的侧部，提供对包含第二拍摄部件，被安装于车辆的后部，提供包含以第一视场角第三拍摄部件，被安装于车辆的后部，提供包含以比第一3合成部件，能够对第一图像的车体区域，合成与该车体区域对应的所述合成部件在第三图像的盲点区域满足预先决定的条件时，将该盲第一拍摄部件，被安装于车辆的侧部，提供对包含第二拍摄部件，被安装于车辆的后部，提供包含以第一视场角第三拍摄部件，被安装于车辆的后部，提供包含以比第一合成步骤，能够对第一图像的车体区域，合成与该车体区域对应的在第三图像的盲点区域满足预先决定的条件时，将该盲点区域以第二图像来补充完在第三图像的盲点区域不满足所述预先决定的条件时，不将第一拍摄部件，被安装于车辆的侧部，提供对包含第二拍摄部件，被安装于车辆的后部，提供包含以第一视场角第三拍摄部件，被安装于车辆的后部，提供包含以比第一合成步骤，能够对第一图像的车体区域，合成与该车体区域对应的在第三图像的盲点区域满足预先决定的条件时，将该盲点区域以第二图像来补充完第一拍摄部件，被安装于车辆的侧部，提供对包含4第二拍摄部件，被安装于车辆的后部，提供包含以第一视场角第三拍摄部件，被安装于车辆的后部，提供包含以比第一合成步骤，能够对第一图像的车体区域，合成与该车体区域对应的在第三图像的盲点区域满足预先决定的条件时，将该盲点区域以第二图像来补充完5相机3R拍摄的右相机图像和右相机3R的基准车体掩蔽图像进行第一视野变换处理而生成视野变换图像R和视野变换后的车体掩蔽图像，对由后方相机3B拍摄的后方相机图像进行[0008]以往的透视影像的生成方法的概略工序如图2所示。图2的(A)表示由侧相机拍摄的(C)表示通过由后置相机拍摄的图像的辨识处理而检测后方车辆，算出到后方车辆位置6[0012]图4的(A)是对后置相机使用鱼眼相机而生成了透视影像时的显示例。在该情况[0016]在一实施方式中，所述合成部件将第三图像的盲点区域以第二图像来补充完7算出部件根据对第二图像和第三图像进行立体视时的视差来算出到后方物体为止的距离。在一实施方式中，所述算出部件通过雷达或者LiDAR即激光雷达等距离传感器算出到后方[0018]在一实施方式中，所述合成步骤在第三图像的盲点区域[0020]在一实施方式中，所述合成步骤在第三图像的盲点区域像和以第二视场角拍摄的图像的各自的优点(即，以第一视场角拍摄的图像的拍摄范围宽8[0030]图8是表示本发明的实施例所涉及的以鱼眼相机的图像对窄角相机的图像的盲点[0031]图9是表示本发明的实施例所涉及的仅将鱼眼相机的图像合成至侧相机的图像而[0032]图10是说明本发明的变形例所涉及的窄角相机的图像和鱼眼相机的图像的合成[0041]本发明所涉及的图像处理装置具有对由被安装于移动体等的拍摄相机拍摄的图像进行合成的功能。被合成的图像被用于CMS(相机监控系统(CameraMonitorSystem))，[0043]图5是表示本发明的实施例所涉及的图像处理装置的结构的框图。本实施例的图9映射到光学式的侧镜的图像中，为了易于掌握车辆M与周边物体的位置关系而映射车体的[0046]另一个拍摄相机130被安装于与车辆M的后部的鱼眼相机120大致相同的高度，且镜，其视场角θ3为约90度或其以下(以下，称为窄角相机)。窄角相机130能够作为室内镜车辆M的后方进行拍摄。由窄角相机130拍摄的图像在车辆前进时等在显示部160中作为后等。距离的算出方法例如使用雷达或LiDAR即激光雷达那样的距离传感器来算出到对象物控制部140基于从距离算出部150获取的距离而设定用于生成透视影像的投影面P。该投影面P的位置根据到对象物为止的距离而每次后方的图像进行显示(透视影像显示)，或对由鱼眼相机120拍摄的车辆的后方图像进行显示(后置影像显示)，或对由窄角相机130拍摄的车辆的后方图像进行显示(室内镜影像显角相机130拍摄的图像(S100)。此外，距离算出部150算出车辆后方到对象物为止的距离[0055]控制部140在应合成至车体区域的窄角相机130的图像中将窄角相机130的图像合成至侧镜110L的图像的车体区域(S150)。由于车体区域以窄角相于盲点区域的产生还是由距离算出部150算出的距离的函数，因此也可以将该距离设为条130和鱼眼相机120的像素的对应关系，所以与盲点区域对应的鱼眼相机130的图像被提取相机130的盲点区域以鱼眼相机120的图像来补充完善，仅将鱼眼相机120的图像合成至侧使在后方车辆接近后的透视影像中没有盲点区[0062]图7所示的步骤在车辆的行驶中(前进或后退)或者停车中被反复执行，透视影像域的图像被适当切换为鱼眼相机120的图像以及/或者窄角相140在时刻T2时，例如以7：3的比例对被透射的窄角相机的图像和鱼眼相机的图像进行合