CN115243932B 一种校准车辆的摄像头间距的方法和装置以及其持续学习消失点估计模型的方法和装置 （斯特拉德视觉公司）

2022.09.07PCT/KR2021/003404202WO2021/215672EN2021.10.28WO2019035458A1,2019.02.21WO2020014683A1,2020.01.16一种校准车辆的摄像头间距的方法和装置准装置(a)将从摄像头的多个行驶图像输入到对象检测网络以检测多个对象并生成多个对象检个车道并生成车道检测信息，(b)通过对多个对并通过对多个车道检测信息进行剖析来生成多于对象的间距估计模块以选择第1目标对象和第2目标对象并生成第1间距和第2间距，通过将消失点检测信息和多个车道剖析信息输入到基于(c)将第1间距至第4间距输入到间距确定模块以2计网络的消失点检测信息和多个所述车道剖析信息输入到基于车道的间距估计模块以使距确定模块综合所述第1间距至所述第4间距以输出对应于所述行驶图所述校准装置使所述间距确定模块参考多个所述对象剖析信息从多个所述对象中选对应于所述第2间距的第2目标对象，所述第1目标对象与所述第2目标对象相同的情况下，离小的特定目标对象所对应的特定间距作为所述确定间距iii）没有从所述行驶图像中所述校准装置使所述间距确定模块选择多个第1候选对象中与所述车辆的横向距离最小的第1特定对象作为所述第3目标对象，多个所述第1候选对象的所述横向距离小于等于所述校准装置使所述间距确定模块对所述确定间距应用前一帧中的前一间距值和平3据对所述消失点估计网络进行平衡持续学习以恢复由于所述快速适应而可能发生的灾难习服务器以使所述学习服务器使用所述采样数据对所述消失点估计网络所对应的参考消服务器以使所述学习服务器评估从至少一个其他车辆传输过来的至少一个其他训练的消的所述最佳消失点估计网络模型更新所述消所述校准装置使所述基于对象的间距估计模块参考多个所述对象剖析信息选择多个第2候选对象中与所述车辆的横向距离最小的第2特定对象作为所述第1目标对象，多个所小高度阈值与所述最大高度阈值的平均值确定为所述第所述校准装置使所述基于对象的间距估计模块参考多个所述对象剖析信息选择多个第3候选对象中与所述车辆的横向距离最小的第3特定对象作为所述第2目标对象，多个所所述校准装置使所述基于车道的间距估计模块参考多个所述车道剖析信息选择第1车处理器，其根据存储在所述存储器中的所述指令执行用于校准车辆的摄4网络的消失点检测信息和多个所述车道剖析信息输入到基于车道的间距估计模块以使所所述第1间距至所述第4间距输入到间距确定模块来使所述间距确定模块综合所述第1间距至所述第4间距以输出对应于所述行驶图像的确定信息从多个所述对象中选择第3目标对象，并使用所述第3间距计算所述第3目标对象的第2高度，然后通过确认所述第2高度是否在高度阈值以内来验证所述第3间距第1间距的第1目标对象与对应于所述第2间距的第2目标对象，所述第1目标对象与所述第2目标对象相同的情况下，输出所述第1间距和所述第2间距中任一个作为所述确定间距，所述第1目标对象与所述第2目标对象不同的情况下，输出所述第1目标对象和所述第2目标对象中与所述车辆的横向距离小的特定目标对象所对应的特定间距作为所述确定间距，（iii）没有从所述行驶图像中检测到的对象和车道时，输出所述第4间距作为所述确定间距。所述处理器使所述间距确定模块选择多个第1候选对象中与所述车辆的横向距离最小使用所述间距损失对所述消失点估计网络进行5对所述消失点估计网络进行平衡持续学习以恢复由于所述快速适应而可能发生的灾难性服务器以使所述学习服务器使用所述采样数据对所述消失点估计网络所对应的参考消失所述处理器还进行如下处理Vi）将所述车载型传输到学习服务器以使所述学习服务器评估从至少一个其他车辆传输过来的至少一个其他训练的消失点估计网络模型与所述训练的消失点估计网络模型以选择最佳消失点估服务器传输过来的所述最佳消失点估计网络模型更新所述剖析信息选择多个第2候选对象中与所述车辆的横向距离最小的第2特定对象作为所述第1述平均高度确定为所述第1高度，所述平均高度小于所述最小高度阈值或大于所述最大高剖析信息选择多个第3候选对象中与所述车辆的横向距离最小的第3特定对象作为所述第26[0001]本发明要求于2020年4月24日向美国专利局提交的美国专利申请第63/014,884号[0002]本发明涉及一种使用消失点(vanishingpoint)、对象和车道信息来校准车辆的摄像头间距(pitch)的方法和装置以及其持续学习(continuallearning)消失点估计7[0014]本发明的又一目的在于与现有技术相比能够以较少的计算量估计车辆的摄像头测信息，使所述车道检测网络检测所述行驶图像上的多个车道以输出多个车道检测信息；(b)所述校准装置进行如下处理：通过对多个所述对象检测信息进行剖析来所述基于对象的间距估计模块(i)参考多个所述对象剖析信息从多个所述对象中选择第1失点估计网络的消失点检测信息和多个所述车道剖析信息输入到基于车道的间距估计模块以使所述基于车道的间距估计模块(i)通过使用多个所述车道剖析信息的第3间距估计来生成第3间距，(ii)通过使用所述消失点检测信息的第4间距估计来生成第4间距；以及(c)所述校准装置通过将所述第1间距至所述第4间距输入到间距确定模块定模块综合所述第1间距至所述第4间距以输出对应于所述行驶图所述对象剖析信息从多个所述对象中选择第3目标对象，并使用所述第3间距计算所述第3目标对象的第2高度，然后通过确认所述第2高度是否在高度阈值内来验证所述第3间距，较对应于所述第1间距的第1目标对象与对应于所述第2间距的第2目标对象，所述第1目标对象与所述第2目标对象相同的情况下，输出所述第1间距和所述第2间距中任一个作为所所述第2目标对象中与所述车辆的横向距离小的特定目标对象所对应的特定间距作为所述[0019]根据一实施例，所述校准装置使所述间距确定模块选择多个第1候选对象中与所述车辆的横向距离最小的第1特定对象作为所述第3目标对象，多个所述第1候选对象的所定间距应用前一帧中的前一间距值和平滑(smoothing)以对所述确定间距进行间距平滑，8并且进行容差(tolerance)处理，所述容差处理使用间距变化阈值限制帧之间的最大间距[0021]根据一实施例，(d)所述校准装置参考所述确定间距和所述第4间距获得间距损消失点估计网络进行实例级增量学习(instance_wiseincrementallearning)以实现快行平衡(balanced)持续学习以恢复由于所述快速适应而可能发生的灾难性遗忘(catastrophicforgetting)采样数据传输到学习服务器以使所述学习服务器使用所述采样数据对所述消失点估计网络所对应的参考(reference)消失点估计网络进行服务器端持续学习，将通过所述服务器模型传输到学习服务器以使所述学习服务器评估从至少一个其他车辆传输过来的至少一个其他训练的消失点估计网络模型与所述训练的消失点估计网络模型以选择最佳消失点习服务器传输过来的所述最佳消失点估计网络模型更新所述参考多个所述对象剖析信息选择多个第2候选对象中与所述车辆的横向距离最小的第2特定对象作为所述第1目标对象，多个所述第2候选对象的所述横向距离小于等于第2距离阈史获得所述第1目标对象的平均高度，所述平均高度大于等于最小高度阈值且小于等于最参考多个所述对象剖析信息选择多个第3候选对象中与所述车辆的横向距离最小的第3特定对象作为所述第2目标对象，多个所述第3候选对象的所述横向距离小于等于第3距离阈9检测网络，使所述对象检测网络检测所述行驶图像上的多个对象以输出多个对象检测信所述对象剖析信息输入到基于对象的间距估计模块以使所述基于对象的间距估计模块(i)象的第1高度的第1间距估计来生成第1间距，(ii)参考多个所述对象剖析信息从多个所述第2间距；将通过分析所述行驶图像来检测消失点的消失点估计网络的消失点检测信息和多个所述车道剖析信息输入到基于车道的间距估计模块以使所述基于车道的间距估计模块(i)通过使用多个所述车道剖析信息的第3间距估计来生成第3间距，(ii)通过使用所述消失点检测信息的第4间距估计来生成第4间距；以及(III)通过将所述第1间距至所述第4间距输入到间距确定模块来使所述间距确定模块综合所述第1间距至所述第4间距以输出所述对象剖析信息从多个所述对象中选择第3目标对象，并使用所述第3间距计算所述第3目标对象的第2高度，然后通过确认所述第2高度是否在高度阈值内来验证所述第3间距，较对应于所述第1间距的第1目标对象与对应于所述第2间距的第2目标对象，所述第1目标对象与所述第2目标对象相同的情况下，输出所述第1间距和所述第2间距中任一个作为所所述第2目标对象中与所述车辆的横向距离小的特定目标对象所对应的特定间距作为所述[0030]根据一实施例，所述处理器使所述间距确定模块选择多个第1候选对象中与所述车辆的横向距离最小的第1特定对象作为所述第3目标对象，多个所述第1候选对象的所述定间距应用前一帧中的前一间距值和平滑(smoothing)以对所述确定间距进行间距平滑，并且进行容差(tolerance)处理，所述容差处理使用间距变化阈值限制帧之间的最大间距失点估计网络进行实例级增量学习(instance_wiseincrementallearning)以实现快速样数据传输到学习服务器以使所述学习服务器使用所述采样数据对所述消失点估计网络所对应的参考(reference)消失点估计网络进行服务器端持续学习，将通过所述服务器端消失点估计网络模型传输到学习服务器以使所述学习服务器评估从至少一个其他车辆传输过来的至少一个其他训练的消失点估计网络模型与所述训练的消失点估计网络模型以选择最佳消失点估计网络模型，将所述最佳消失点估计网络模型传输到所述校准装置，(ii)使用从所述学习服务器传输过来的所述最佳消失点估计网络模型更新所述消失点估块参考多个所述对象剖析信息选择多个第2候选对象中与所述车辆的横向距离最小的第2特定对象作为所述第1目标对象，多个所述第2候选对象的所述横向距离小于等于第2距离历史获得所述第1目标对象的平均高度，所述平均高度大于等于最小高度阈值且小于等于块参考多个所述对象剖析信息选择多个第3候选对象中与所述车辆的横向距离最小的第3特定对象作为所述第2目标对象，多个所述第3候选对象的所述横向距离小于等于第3距离[0041]本发明通过使用构成车辆的驾驶辅助装置的感知模块的[0042]本发明通过使用构成车辆的驾驶辅助装置的感知模块的[0043]本发明通过持续学习用于检测消失点的消失点估计模型，可以准确地检测消失[0045]图1为根据本发明的一实施例的用于校准车辆的摄像头间距的校准装置的示意[0047]图3a和图3b为在根据本发明一实施例的校准车辆的摄像头间距的方法中使用物[0048]图4a和图4b为在根据本发明一实施例的校准车辆的摄像头间距的方法中使用物[0049]图5为根据本发明一实施例的校准车辆的摄像头间距的方法中在行驶图像上选择[0050]图6为根据本发明的一实施例的校准车辆的摄像头间距的方法中的消失点估计网[0051]图7为根据本发明一实施例的校准车辆的摄像头间距的方法中计算的间距中确定[0052]图8至图10分别为根据本发明的一实施例的校准车辆的摄像头间距的方法中的持公开的每个实施例中各组件的位置或配置可在不超出本发明的精神及范围的前提下变更。[0057]图1为根据本发明的一实施例的用于校准车辆的摄像头间距的校准装置的示意得的行驶图像的对象检测信息和车道检测信息来估计摄像头间距的指令；和处理器1002，其根据存储在存储器1001中的指令执行用于估计车[0059]另外，计算装置的处理器可以包括诸如微处理单元(MPU，MicroProcessing[0061]下面将参照图2描述使用根据如上所述配置的根据本发明一实施例的校准装置[0063]此时，对象检测网络1100可以实现为使用深度学习(deeplearning)的基于CNN(convolutionalneuralnetwork)的对象检测网络，也可以实现为基于视觉特征和浅层过分析诸如多个2D边界框或多个3D边界框之类的对象区域信息和每个边界框所对应的多个车道的各种算法，并且车道检测网络1200的输出可以为由n阶多项式方程式表示的车道应的多个对象剖析信息和多个车道检测信息进行剖析来生成与每个车道对应的多个车道[0068]接下来，校准装置1000可以将行驶图像或车道检测信息输入到消失点估计网络1210以使消失点估计网络1210通过学习运算检测行驶图像上的消失点，并进行追踪消失的间距估计模块1110以使基于对象的间距估计模块1100参考多个对象剖析信息从多个对考多个对象剖析信息从多个对象中选择第2目标对象，通过使用第2目标对象的宽度的第2测消失点的消失点估计网络1210的消失点检测信息和将多个车道剖析信息输入到基于车道的间距估计模块1220以使基于车道的间距估计模块1220通过使用多个车道剖析信息的底部(bottom)坐标更接近于行驶图像1目标对象的边界框B的高度的函数为VCS_H[0079]此外，参见图3a和图3b，基于对象的间距估计模块1100使用如图3a中针孔[0083]第二，基于对象的间距估计模块1100可以参考多个对象剖析信息选择多个第3候选对象中与车辆的横向距离最小的第3特定对象作为第2目标对象，多个第3候选对象的横模型的类似于三角形的比例表达式，根据边界框宽度：f＝实际宽度：Z，通过[0091]第三，基于车道的间距估计模块1200可以参考多个车道剖析信息选择第1车道和剖析信息包括表示在行驶图像上检测到的车道的直线度的直线度(straightness)、在行forLaneandRoadMarkingDetectionandRecognition)的多任务(multi_task)CNN结使间距确定模块1300将第1间距至第4间距集成(ensemble)以输出对应于行驶图像的确定[0104]因此，校准装置1000使间距确定模块1300将第1间距至第4间距集成以利用第1间距估计至第4间距估计中每一个的优点并补偿缺点，从而可以确定行驶图像的每一帧中的辆的横向距离最小的第1特定对象作为第3目标对象，多个所述第1候选对象的横向距离小标对象和第2目标对象中与车辆的横向距离小的特定目标对象所对应的特定间距作为确定[0112]此时，对于消失点估计网络1210的持续学习，可以使用设备上持续学习、合作1210进行实例级增量学习(instance_wiseincrementallear衡(balanced)持续学习以恢复由于快