CN113221756B 交通标志检测方法及相关设备 （腾讯科技（深圳）有限公司）

KR20200069910A,2020本申请提供了一种交通标志检测方法及相一主交通标志相匹配的第一辅助交通标志的潜高了据此实现的车辆控制或道路引导的实时性2对所述交通实景图像进行压缩处理，得到待检测图像；所述待检测图对所述待检测图像进行主交通标志检测，依据主交通标志检测结果，将所述潜在图像区域输入辅助交通标志检测网络，得到所述潜在图像获取所述潜在图像区域在所述交通实景图像中确定获得所述潜在图像区域过程中，对所述交通实景图像的所述交通实景图像得到的存在所述第一辅助交通标志的局部图像区域的缩放比例；其中，将所述待检测图像输入主交通标志检测网络，获得所述交通实景在所述交通实景图像中，以获得的所述第一主交通标志为中心向周围扩散预设距离，得到存在与所述第一主交通标志相匹配的第一辅助交通标志的局部检测到所述第一主交通标志与第一图像边界的第一边界距离小在所述第一扩散方向上从所述第一主交通标志扩散至所述第一3依据所述交通实景图像包含的第一主交通标志的标志类型，获依据所述第一位置部署关系，从所述交通实景图像中，确定存将确定的所述局部图像区域的面积与预设辅助交通标志检测若所述局部图像区域的面积小于所述预设辅助交通标志检测面若所述局部图像区域的面积大于所述预设辅助交通标志检测面述获得存在与检测到的第一主交通标志相匹配的第一辅助交通标志的潜在图像区域，包依据检测到的多个第一主交通标志，获得所述多个第一主交通标志对获得的每一个所述潜在图像区域进行辅助交通在所述导航图像中弹出交通提示窗口，由所述交通提示窗口将所述结构化感知结果上报至地图服务设备，由所述地图服务设备4依据所述目标位置信息，获得所述车辆与相应的所述第一辅助交通获取所述交通实景图像包含的第一主交通标志的主交通指示信潜在图像区域获得模块，用于对所述待检测图像进行主交通标志辅助交通标志检测单元，用于将所述潜在图像区域输入辅助交通标志检测潜在区域位置信息获取单元，用于获取所述潜在图像区域在所述坐标转换处理单元，用于依据所述潜在图像区域的获得方式第一数据确定单元，用于确定获得所述潜在图像区域过其中，所述图像填充数据包括不同扩散方向上的填充距离；第一位置还原处理单元，还用于利用所述不同扩散方向上的填主交通标志检测单元，用于将所述待检测图像输入主交通标5局部图像区域确定单元，用于以所述交通实景图像包含的第一主交通标志为参照物，确定存在与所述第一主交通标志相匹配的第一辅助交通标志的第一扩散处理单元，用于在所述交通实景图像中，以获得的所第一检测单元，用于在以获得的所述第一主交通标志为中第一填充单元，用于在所述第一扩散方向上从所述第一主交所述潜在图像区域构成单元，具体用于：由得到的所述交通实景图像第一位置部署关系获取单元，用于依据所述交通实景图像在与所述第一主交通标志相匹配的第一辅助交通标志的第一得到单元，用于在局部图像区域的面积小于所述预设辅助第二得到单元，用于在局部图像区域的面积大于所述预设辅助相应地，上述辅助交通标志检测单元对获得的每一个所述潜6在所述导航图像中弹出交通提示窗口，由所述交通提示窗口辅助交通指示信息获得模块，用于依据所述目标位置信息，获得得相应第一辅助交通标志在所述交通实景图像中的结构化结构化感知结果上报模块，用于将所述结构化感知地图服务设备利用所述结构化感知结果更新相应距离获得模块，用于依据所述目标位置信息，获得所述车辆交通指示信息获取模块，用于获取所述交通实景图像道路引导消息生成模块，用于利用所述相对距离、所述主交通指示信处理器，用于加载并执行所述存储器存储的程序，以实现如权利要求1-7常会基于车辆行驶的起始位置和目标位置之间的交通情况，为车载终端提供道路引导数检测到的所述第一辅助交通标志映射在所述交通实景图像通标志相匹配的第一辅助交通标志的局部图8[0018]检测到所述第一主交通标志与第一图像边界的第一边界距离所述第一图像边界是指所述第一扩散方向上所述所述标志类型的主交通标志，与该主交通标志相匹配的辅助交通标志之间的相对位置关通标志相匹配的第一辅助交通标志的局部图9[0040]利用所述不同扩散方向上的填充距离、所述缩放比例以及所述潜在区域位置数[0043]输出渲染得到的导航图像，在所述导航图像中展示检测到的所述第一主交通标所述待检测图像的分辨率小于所述交通实景图[0068]图1示出了实现本申请提供的交通标志检测方法的终端设备的一可选示例的硬件[0069]图2示出了实现本申请提供的交通标志检测方法的终端设备的又一可选示例的硬[0071]图4示出了本申请提出的交通标志检测方法中，主交通标志与其相匹配的辅助交[0073]图6示出了本申请提出的交通标志检测方法中，从交通实景图像中获得潜在图像[0074]图7示出了本申请提出的交通标志检测方法中，从交通实景图像中获得潜在图像[0078]图11示出了适用于本申请提出的交通标志检测方法和装置的一可选应用环境的[0079]针对背景技术部分描述的技术问题，本申请提出由车辆上的终端设备(即车载终包括主交通标志及其对应的较小尺寸的辅助交通标志)的实时检测，从而依据检测到的交[0080]具体的，可以由车辆上本地的图像采集设备获取车辆行驶方向上的交通实景图为了保证对辅助交通标志的可靠检测，避免过度下采样而导致辅助交通标志的特征消失，可以直接将高分辨率的交通实景图像输入目标检测网络(即交通标志检测网络)进行交通[0088]另外，本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操[0089]参照图1，为实现本申请提供的交通标志检测方法的终端设备的一可选示例的硬式计算机、上网本、智能手表、增强现实技术(AugmentedReality，AR)设备、虚拟现实[0091]通信接口11可以为适用于无线网络或有线网络的通信模块的接口，如GSM模块、像采集设备所采集的交通实景图像，以使处理器13按照本申请提出的交通标志检测方法，[0093]存储器12可以用于存储实现本申请提出的交通标志检测实现方法的程序(其包括只读存储器(erasableprogrammableread-onlymemory，EPROM)、或便携式只读存储器[0099]应该理解的是，图1所示的终端设备的结构并不构成对本申请实施例中终端设备提出的交通标志检测方法可以包括但并不局限于以[0106]在又一些实施例中，若图像采集设备直接采集到的交通实景图像的分辨率比较在与检测到的第一主交通标志相匹配的第一辅助交通标志的像区域，另一部分为基于该局部图像区域填充得到的填充图像区域(其适用于第一主交通[0112]步骤S14，对该潜在图像区域进行辅助交通标志检测，依据辅助交通标志检测结如何实现潜在图像区域的辅助交通标志检测的方法不做[0115]在实际应用中，关于上述主交通标志检测和辅助交通标卷积神经网络算法等，来训练主交通标志检测网络(即主交通标志检测模型)/辅助交通标志检测网络(即辅助交通标志检测模型)，以实现对相应输入图像的目标(即主交通标志或[0117]应该理解的是，按照上述方式若检测出交通实景图像包请对不同应用场景对检测到的每一帧交通实景图像中辅助交通标志的目标位置信息的使此，其通常被应用到图像处理、图像识别、图像语义理解、图像检索、OCR(Optical标检测过程的计算量较小，终端设备具有的计算资源能够支持的主交通标志检测的实现，一主交通标志相匹配的第一辅助交通标志的潜在图像区域，对其进行辅助交通标志检测，[0127]关于步骤S21和步骤S22的具体实现过程，可以参照上述深度学习网络)，对包含各类主交通标志的第一样本图像进行训练，直至满足训练约束条置可以由该检测框所在位置标识，而该检测框的位置可由该检测框对角像素点的坐标表通标志相匹配的第一辅助交通标志的局部图于不同的扩散方向的扩散距离可以不同，并不限于上文实施例描述的同等距离(如上述预通标志相匹配的辅助交通标志之间的相对位置主交通标志相匹配的第一辅助交通标志的局部图像区域(或者，由该局部图像区域和上述图像填充区域构成的待处理图像区域)，以提高局部图像区域(或待处理图像区域)的确定程，相对于第一主交通标志的上下左右依次对应的填充距离分别记为padup、paddown、Y2＝(y2-paddown)/S+y2c；以，本实施例可以直接将从待检测图像中截取的存储第一辅助交通标志的局部图像区域，中的主交通标志(如图8所示的40等)所在的检测框，为了进一步检测位于其附近的辅助交第一辅助交通标志的辅助交通指示信息，以及本车辆的行驶状态信息和/或系统时间等参[0178]示例性的，若针对车辆行驶前方某一路段临时设置前方500米在12:00～16:30限备利用结构化感知结果更新相应地图数据，从而提高地图上相应道路地图数据的精准度。像中辅助交通标志的目标位置信息，并据此识别出该辅助交通标志的辅助交通指示信息目标位置信息进行地图更新后的地图数据等均可以保存于区块链，以提高数据存储安全[0195]局部图像区域确定单元232，用于以所述交通实景图像包含的第一主交通标志为[0198]在又一种可能的实现方式中，若第一主交通标志靠近交的过程中，检测到所述第一主交通标志与第一图像边界的第一边界距离小于所述预设距定存在与所述第一主交通标志相匹配的第一辅助交通标志的[0212]同理，在由得到的所述交通实景图像中的所述局部图像[0214]辅助交通标志检测单元241，用于将所述潜在图像区域输入辅助交通标志检测网[0216]相应地，上述辅助交通标志检测单元241可以对获得的每一个所述潜在图像区域[0217]潜在区域位置信息获取单元242，用于获取所述潜在图像区域在所述交通实景图[0218]坐标转换处理单元243，用于依据所述潜在图像区域的获得方式以及所述潜在区[0219]基于上文实施例对潜在图像区域的获得过程的描述，在交通指示信息，以及与该第一主交通标志相匹配的第一辅助交通标志的辅助交通指示信[0234]结构化感知结果获得模块，用于利用所述目标位置信息和所述辅助交通指示信所述地图服务设备利用所述结构化感知结果更新相应执行上述交通标志检测方法方面和交通标志检测装置方面的各种可选实现方式中所提供[0242]地图服务设备33可以是提供地图导航服务的服务设备，可以是独立的物理服务重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。[0247]对所公