CN112824186B 用于在队列行驶时显示虚拟车道的装置及方法 （现代自动车株式会社）

ZhangB,WilschutES,WillemsenDMdrivermonitoringpatternsan用于在队列行驶时显示虚拟车道的装置及本发明涉及用于在队列行驶时显示虚拟车在队列行驶时通过将前车的车道信息转换为以2处理器，其配置为将前车的车道信息转换为基于世界坐标系的信息，将以本车的视角观察到的车道信息转换为以增强现实图像的视角观察到的车道信息来生基于通信状态、前传感器状态或车辆间距离状态中的至少一项来确基于本车的车速、横摆率或转向角中的至少一项的测量状态来在通过以本车的视角进行转换而生成的虚拟通过利用前车的车道信息和本车的路线来确定车道当虚拟车道的多个点中的至少一个点与本车的路线的中心点之间的距离小于或等于在距本车的路线的中心点小于或等于预定距离的虚拟车道的一个通过利用本车的车速以及从本车的当前点到车道偏离预测点的距离来计算车道偏离3在颜色或粗细方面不同地显示虚拟车道中包括车道偏离由通信部分在队列行驶中，通过V2V通信从前车接收前车的基于摄像机坐标系测量的由处理器以从本车的原点到前车的原点的横向距离和纵向距离对旋转后的车道信息由处理器通过将以本车的视角观察到的车道信息转换为以增强现实图像的视角观察4[0002]本发明要求2019年11月20日提交的韩国专利申请No.10-2019-0149939的优先权[0005]队列行驶是使彼此排成一列并且彼此以特定距离隔开的多个车辆执行自动驾驶距离(沿纵向方向)可以控制为由队列行驶[0008]在这种情况下，我们发现尽管当车辆间距离较短时驾驶但是大型的前车(LV)(例如如图1所示的在近距离(约5m至15m)处一起行驶的卡车)可能会车辆的驾驶员提供虚拟车道信息(该信息通过将前车测量出的车道信息转换为以跟随车辆在队列行驶时通过将前车的车道信息转换为以本车的视角观察到的车道信息来生成虚拟56[0038]图5A和图5B为分别示出通过与前车的纵向/横向距离的移动将以前车的视角的车道信息转换为以后方车辆的视角观察到的车道信[0045]这里所描述的附图只是用于说明目的，并不旨在以任何方式来限制本发明的范术术语或科学术语)具有与本发明所属技术领域的技术人员所通常理解的含义相同的含[0050]队列行驶车队中包括的领队车辆(LV)和跟随车辆(FV)可以在道路上进行队列行7[0053]在队列行驶时，虚拟车道显示装置100可以通过将前车的车道信息转换为以本车示装置100可以与车辆的内部控制单元分开地实现，并且可以通过附加的连接单元与车辆[0055]通信部分110是以各种电路实现的、以通过无线或有线连接发送或接收信号的硬带(Wibro)、Wi-Fi、全球微波接入互操作性(Wimax)。短距离通信技术可以包括蓝牙、[0056]例如，通信部分110可以通过队列行驶车辆之间的V2V通信来共享队列行驶信[0057]感测部分120感测前方的前车的信息(例如相对速度、距离或移动距离)和用于生[0058]前传感器121测量前方的前车的后部与本车(后方车辆)之间的纵向距离和横向距[0061]处理器130可以与通信部分110、感测部分120、显示器140和存储装置150等电连[0062]处理器130基于通信状态、前传感器状态或车辆间距离状态中的至少一项来确定车道信息转换为以本车(前车的后方车辆)的视角观察到的车道信息8[0063]处理器130可以执行控制操作以将以本车的视角观察到的车道信息转换为以增强[0064]处理器130可以将基于前车的摄像机坐标系测量出的车道信息转换为基于世界坐[0065]另外，处理器130可以以从本车的原点到前车的原点的横向距离和纵向距离对旋[0066]处理器130可以基于车速、横摆率或转向角中的至少一项的测量状态来确定是否[0067]处理器130可以执行控制操作以基于车速、横摆率或转向角中的至少一项来生成[0069]处理器130可以通过利用前车的车道信息和本车的路线来确定车道偏离时间点，[0070]当在虚拟车道的坐标中存在使距本车的路线的中心点的距离在预设距离范围内更多个点中的至少一个距本车的路线的中心点小于或等于预定距离时，处理器130可以确[0071]处理器130可以在虚拟车道的坐标中的使距本车的路线的中心点的距离在预设距器130可以在距本车的路线的中心点小于或等于预定距离的虚拟车道的一个或更多个点[0072]处理器130可以通过利用本车的车速和从本车的当前点到车道偏离预测点的距离[0073]处理器130可以在虚拟车道上以弹出的形式输出用于车道偏离警告的警告消息，可以在颜色和粗细方面不同地显示虚拟车道的包括车道偏离预测9[0075]前车车道信息转换部分131可以通过利用前车的行进角与后方车辆的行进角之间[0076]本车路线生成部分132可以利用车辆传感器122的感测结果来生成本车的预测移[0077]车道偏离警告确定部分133可以利用前车的车道信息和本车的路线来确定车道偏[0078]屏幕生成部分134可以通过将以后方车辆的视角观察到的车道信息转换为以增强现实图像的视角观察到的车道信息来形成以后方车辆的视角观[0079]显示器140可以包括输入设备和输出设备，所述输入设备用于接收用户的控制命现以输出增强现实图像。本车的正常图像可以包括关于没有虚拟信息的真实图像的信息，并且可以以本车的视角来提供。增强现实图像可以包括具有虚拟地生成的附加信息的图[0080]在这种情况下，显示器可以包括液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT[0085]下面将参考图3A至图6C关于将前车测量出的前方车道信息转换为以跟随车辆的车的纵向/横向距离的移动将以前车的视角观察到的车道信息转换为以后方车辆的视角观前车的视角的车道信息转换为以后方车辆的视角观察到的车道[0089]当由前车的车道测量摄像机测量的摄像机坐标系下的车道的三次方程为C3x3+[0105]图4A示出了以前车11的视角的前方车道411，图4B示出了通过以在后方车辆12行驶的方向上观察前方车道时的视角相同的视角进行转换而获得的示例412。图4C示出了以[0106]虚拟车道显示装置100应当基于z轴以从前车的行进角减去后方车辆的行进角而[0107]如果假设从前车的行进角减去后方车辆的行进角而获得的值为θ,则车道的旋转矩阵(RotationMatrix)和旋转度可原点到前车11的原点的x方向距离和y方向距离(OffsetX和OffsetY)对旋转后的车道进行yy[0125]虚拟车道显示装置100将以后方车辆的视角观察并且以世界坐标系计算的车道坐[0126]图8A和图8B为分别示出根据本发明的另一种实施方案的用于生成本车的路线并[0134]虚拟车道显示装置100可以基于后方车辆的原点(车辆的最前端的中点)、通过利[0138]图9A示出了在挡风玻璃上显示虚拟前方车道911和912，并且本车的路线913被附[0144]虚拟车道显示装置100可以在车道偏离预测时间点小于阈值时显示并终止车道偏[0149]在当前队列行驶不正常时，虚拟车道显示装置100可以确定显示虚拟车道的逻辑[0150]当队列行驶正常时，虚拟车道显示装置100确定从前车接收到的前车的车道信息装置100可以确定是否正常接收到用于生成虚拟车道的前车的车道信息，以确定前车的车[0151]当前车的车道信息不是正常测量的信息时，虚拟车道显示装置100通知驾驶员难[0152]当前车的车道信息是正常测量的信息时，虚拟车道显示装置100将以前车的视角[0153]在这种情况下，虚拟车道显示装置100可以利用当前车的车道以特定距离为单位[0154]此后，虚拟车道显示装置100可以将生成的以后方车辆的视角观察到的车道信息[0155]虚拟车道显示装置100在AR屏幕上显示以AR图像视角的转换后的车道信息(S105)。在这种情况下，虚拟车道显示装置100可以利用以AR图像视角的转换后的车道坐[0157]当不能生成本车的路线时，虚拟车道显示装置100通知无法显示本车的路线角的转换后的本车的路线(S110)。如图9A所示，虚拟车道显示装置100可以将本车的路线[0160]当能够确定车道偏离预测时间点时，虚拟车道显示装置100计算车道偏离预测时[0161]虚拟车道显示装置100可以确定车道偏离预测时间点是否小于阈值(S113)，并且拟车道显示装置100可以通过以弹出的形式显示车道偏离风险警告消息、通过更改偏离车道的颜色或粗细或通过闪烁偏离车道来显示车道[0162]当车道偏离预测时间点大于或等于所述阈值时，虚拟车道显示装置100终止车道基于前车测量出的车道信息生成虚拟车道并显示，使得能够观察到前车遮挡的前方车道。[0165]参照图11，计算系统1000可以包括通过总线1200相互连接的至少一个处理器[0166]处理器1100可以为处理存储在存储器1300或者存储装置1600中的指令的中央处理单元(CPU)或者半导体设备。存储器1300和存储装置1600中的每一个可以包括各种类型