CN114332704B 交通信号灯识别模型的训练方法及交通信号灯的识别方法 （中电金信软件有限公司）

交通信号灯识别模型的训练方法及交通信本申请实施例提供了一种交通信号灯识别2获取包括多个训练样本的训练数据集；每个训练样本中包样本图像标注有交通信号灯的成像内容的有界框的对所述多张样本图像进行裁剪，并对多张裁剪后的样本图像进行缩放将所述合并图像输入至初始神经网络模型的第一层子网络，得到所将所述待测图像输入至所述初始神经网络模型的第二层子网络在所述待测图像的多个预设像素处分别开始隔行隔列提取像素以及对提取像素后得将所述多张特征图输入至所述初始神经网络模型的第三层子网络，得将所述融合特征图和所述待测图像输入至所述初始神经网络模型所述目标区域调整有界框的初始位置后输出的所述有界框根据所述实际位置以及所述预测位置计算预设的若所述水平分辨率或所述垂直分辨率中任意一种分辨率不符根据所述最小值对所述样本图像进行裁剪，使得裁剪后的样本图像3.根据权利要求1或2任意一项所述的方法，获取预设水平分辨率和预设垂直分辨率，所述预设水平分辨基于所述预设垂直分辨率、所述预设垂直分辨率、所述裁剪后的对所述合并图像进行自适应锚框操作，标记出所述合并图像中所有有界框的初始位3对所述标记图像进行自适应缩放，获得待测图像，所述待测图像的水处开始隔行隔列提取像素以及对提取像素后得到的多张子图进行多次卷积处理后输出的对于任意一个预设像素，从所述预设像素处开始隔行隔列提取像素，对于任意一张子图，对所述子图进行多次卷积处理以提取所述子提取所述融合特征图的特征向量；所述特征向量中包括像素值特征和确定所述特征向量在所述待测图像中映射的目标将所述有界框上的所有像素的实际坐标以及所有像素的预测坐标输入至所述预设的若所述损失函数值不符合神经网络模型训练结束条件，则基个训练样本中各样本图像中标注的有界框的实际位置对初始神经网络模型继续进行迭代将所述待测图像输入至交通信号灯识别模型中，得到所述交通通过预设的颜色模型识别所述有界框内区域的颜色，将所述有界框内所述交通信号灯识别模型是根据权利要求1至7中任意一项所述的方法4获取模块，用于获取包括多个训练样本的训练数据集；每个训裁剪缩放排布合并模块，用于对所述多张样本图像进待测图像获得模块，用于将所述合并图像输入至初始神经网络模型的第一层子网络，得到所述第一层子网络对所述合并图像进行自适应锚框以及自适应缩放后输出一张待测特征图获得模块，用于将所述待测图像输入至所述初始神经网络模型的第二层子网素以及对提取像素后得到的多张子图进行多次卷积处理后输融合特征图获得模块，用于将所述多张特征图输入至所述初预测位置输出模块，用于将所述融合特征图和所述待测图像迭代模块，用于根据所述实际位置以及所述预测位置计算预设的待测图像获取模块，用于在预定位置处获取待测图像；所述待测有界框位置识别模块，用于将所述待测图像输入至交交通信号灯识别模型输出的用于标记成像内容的有界框状态识别模块，用于通过预设的颜色模型识别所述有所述交通信号灯识别模型是根据权利要求1至7中任意一项所述的方法所述处理器执行所述计算机程序以实现权利要求1-9任一项所述的方被处理器执行时实现权利要求1-9任一项所述的5[0004]本申请实施例提供了一种交通信号灯识别模型的训练方法、交通信号灯识别方[0006]获取包括多个训练样本的训练数据集；每个训练样本中样本图像标注有交通信号灯的成像内容的有界框的测图像的多个预设像素处分别开始隔行隔列提取像素以及对提取像素后得到的多张子图6[0022]在一个可能的实现方式中，将合并图像输入至初始神经网络模型的第一层子网络，得到第一层子网络对合并图像进行自适应锚框以及自适应缩放后输出一张待测图像，[0025]在一个可能的实现方式中，将待测图像输入至初始神经网络模型的第二层子网7[0033]将有界框上的所有像素的实际坐标以及所有像素的预测坐标输入至预设的神经练样本中各样本图像中标注的有界框的实际位置对初始神经网络模型继续进行迭代训练，[0046]待测图像获得模块，用于将合并图像输入至初始神经网得到第一层子网络对合并图像进行自适应锚框以及自适应缩放后输到第二层神经网络分别在待测图像的多个预设像素处开始隔行隔列提取像素以及对提取8信号灯识别模型输出的用于标记成像内容的有界程序时实现如第一方面和第二方面所提供的[0061]图1为本申请实施例提供的一种一种交通信号灯识别模型的训练的方法的流程示[0062]图2本申请实施例提供的对待测图像在待测图像的多个预设像素处分别开始隔行9件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连目标车辆A中自带的摄像头会采集包含前方交通信号灯的成像内容的视频流，对该视频流[0072]第二种是HSI颜色模型的方法，将包含交通信号灯的成像内容的待测图像输入至媒体视频处理工具)或者OpenCV(基于BSD许可发行的跨平台计算机视觉和机器学习软件[0086]一张图像有水平分辨率和垂直分辨率，水平分辨率表示经网络在待测图像的多个预设像素处分别开始隔行隔列提取像素以及对提取像素后得到[0089]如图2所示，其示例性示出了对待测图像在待测图像的多个预设像素处分别开始[0093]分别对多张子图进行卷积处理提取图像特征，能够完整[0094]步骤S106，将融合特征图和待测图像输入至初始神经网[0100]本申请实施例训练出的交通信号灯识别模型能识别图像中交通信号灯的成像内的样本图像的水平分辨率和垂直分辨率均符合[0124]本申请实施例设像素可以为前两行前两列重合部分的4个像素，以每个预设像素[0125]本申请实施例在得到多张子图后，分别对多张子图进行[0133]将所有像素的实际坐标以及所有像素的预测坐标输入至预设神经的网络损失函θ,yθ)为有界框的预测位置的某个像素，(x0,y0)为有界框的实际位置处的某个像[0155]申请实施例在通交通信号灯识别模型识别出交通信号灯的成像内容的有界框在[0156]下面将以某一具体实施例来介绍本申请实施例提供的一种交通信号灯的识别方本中包括至少两张样本图像，样本图像标注有交通信号灯的成像内容的有界框的实际位[0160]第一层子网络处理模块430，用于将合并图像输入至初始神经网络模型的第一层[0161]第二层子网络处理模块440，用于将待测图像输入至初始神经网络模型的第二层及对提取像素后得到的多张子图进行卷积处理后输[0162]第三层子网络处理模块450，用于将多张特征图输入至初始神经网络模型的第三[0163]第四层子网络处理模块460，用于将融合特征图和待测图像输入至初始神经网络[0164]迭代训练模块470，用于根据实际位置以及预测位置计算预设的神经网络损失函[0165]本申请实施例训练出的交通信号灯识别模型能识别图像中交通信号灯的成像内各个训练样本和各个训练样本中各样本图像中标注的有界框的实际位置对初始神经网络灯识别模型输出的用于标记成像内容的有界框在申请各实施例的装置中的各模块所执行的动作是与本申请各实施例的方法中的步骤相对应的，对于装置的各模块的详细功能描述具体可以参见前文中所示的对应方法中的描述，[0198]处理器6001可以是CPU(CentralProcessingUnit，中央DSP(DigitalSignalProcessor，数据信号处理器)，ASIC(ApplicationSpecific实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器[0199]总线6002可包括一通路，在上述组件之间传送信息。总线6002可以是PCI(PeripheralComponentInterconnect，外设部件互连标准)总线或EISA(Extended[0200]存储器6003可以是ROM(ReadOnlyMemory，只读存储器)或可存储静态信息和指信息和指令的其他类型的动态存储设备，也可以是EEPROM(ElectricallyErasableProgrammableReadOnlyMemory，电可擦可编程只读存储器)、CD-ROM(Comp