CN119495010A 目标检测模型建立方法及装置 （深圳比特微电子科技有限公司）

本发明实施例提出目标检测模型建立方法型；采用目标检测大模型对暗光图像添加伪标测大模型和目标检测小神经网络分别输出的预测目标信息以及DAN图像的标签，计算目标检测2E、将DAN图像同时输入目标检测大模型和目标检测小神经网络和目标检测小神经网络分别输出的预测目标信息以及DAN图像的标签，计算目标检测小神2.根据权利要求1所述的方法，其特征在于，步骤图像训练集中随机读取预设第一数目帧图像之后、步骤D所述将读取的所有图像拼接成一3.根据权利要求1所述的方法，其特征在于，根据目标检测小神经网络输出的预测目标信息和DAN图像的标签，计算目标检测小神根据目标检测大模型输出的预测目标信息和目标检测小神经网络输出的预测目标信将目标检测小神经网络对DAN图像的损失与目标检测大模型到目标检测小神经网络的4.根据权利要求3所述的方法，其特征在于，步骤E所述计算根据目标检测大模型输出的预测前景特征图和目标检测小神经网络输出的预测前景根据目标检测大模型输出的预测目标类别特征图和目标检测小神经网络输出的预测根据目标检测大模型输出的预测目标位置特征图和目标检测小神经网络输出的预测3将目标检测大模型到目标检测小神经网络的前景蒸馏损失、目标类别蒸馏损失、目标帧DAN图像的标签由该帧DAN图像中的各常光图像的真标签组成，或者由该帧DAN图像中的B13、将DAN图像输入目标检测初始大模型，根据目标检测初B22、根据预设的当前轮次epoch中常光图像所占的比例以及在该比例下常光图像和由该DAN图像中的各常光图像的真标签和各暗光图像的伪标B23、根据目标检测初始大模型输出的预测目标信息以及输入目标检测初始大模型的常光图像或DAN图像的标签，计算目标检测初始大模型的当前损失，根据预先设定的当前epoch中参数冻结卷积层的比例以及在该比例下参数冻结卷积层的选取规则，确定当前epoch的参数冻结卷积层，采用当前损失调整目标检测初始大模型的所有批量样本归一化BN层和参数非冻结卷积层的参数；其中，预先将目标检测初始大模型的整个训练过程的epoch划分为多个依次相切的范围，越靠前的范围中的epoch中常光图像所占的比例越小、47.根据权利要求6所述的方法，其特征在于，步骤光图像训练集中随机读取预设第二数目帧图像之后、步骤B22所述将读取的所有图像拼接暗光图像标注模块，用于将暗光图像集中的各暗目标检测大模型和目标检测小神经网络分别输出的预测目标信息以及DAN图像的标签，计DAN图像的标签由该DAN图像中的各常光图像的真标签组成，或者由该DAN图像中的各常光根据目标检测小神经网络输出的预测目标信息和DAN图像的标签，计算目标检测小神根据目标检测大模型输出的预测目标信息和目标检测小神经网络输出的预测目标信将目标检测小神经网络对DAN图像的损失与目标检测大模型到目标检测小神经网络的5帧DAN图像的标签由该帧DAN图像中的各常光图像的真标签组成，或者由该帧DAN图像中的B13、将DAN图像输入目标检测初始大模型，根据目标检测初B22、根据预设的当前轮次epoch中常光图像所占的比例以及在该比例下常光图像和由该DAN图像中的各常光图像的真标签和各暗光图像的伪标B23、根据目标检测初始大模型输出的预测目标信息以及输入目标检测初始大模型的常光图像或DAN图像的标签，计算目标检测初始大模型的当前损失，根据预先设定的当前epoch中参数冻结卷积层的比例以及在该比例下参数冻结卷积层的选取规则，确定当前epoch的参数冻结卷积层，采用当前损失调整目标检测初始大模型的所有批量样本归一化BN层和参数非冻结卷积层的参数；其中，预先将目标检测初始大模型的整个训练过程的epoch划分为多个依次相切的范围，越靠前的范围中的epoch中常光图像所占的比例越小、6模型和目标检测小神经网络分别输出的预测目标信息以及DAN图像的标签，计算目标检测7[0014]步骤D所述从常光图像训练集和第一暗光图像训练集中随机读取预设第一数目帧[0019]根据目标检测小神经网络输出的预测目标信息和DAN图像的标签，计算目标检测[0020]根据目标检测大模型输出的预测目标信息和目标检测小神经网络输出的预测目[0021]将目标检测小神经网络对DAN图像的损失与目标检测大模型到目标检测小神经网[0023]根据目标检测大模型输出的预测前景特征图和目标检测小神经网络输出的预测[0024]根据目标检测大模型输出的预测目标类别特征图和目标检测小神经网络输出的[0025]根据目标检测大模型输出的预测目标位置特征图和目标检测小神经网络输出的[0026]将目标检测大模型到目标检测小神经网络的前景蒸馏损失、目标类别蒸馏损失、图像训练集中随机读取预设第二数目帧图像，将读取的所有图像拼接成一帧DAN图像；其8图像训练集中依次读取一帧常光图像，将常光图像输入目标检测初始大模型；若是DAN图像输入目标检测初始大模型，DAN图像的标签由该DAN图像中的各常光图像的真标签组成，或者由该DAN图像中的各常光图像的真标签和各暗光[0037]B23、根据目标检测初始大模型输出的预测目标信息以及输入目标检测初始大模前epoch中参数冻结卷积层的比例以及在该比例下参数冻结卷积层的选取规则，确定当前epoch的参数冻结卷积层，采用当前损失调整目标检测初始大模型的所有批量样本归一化BN层和参数非冻结卷积层的参数；其中，预先将目标检测初始大模型的整个训练过程的epoch划分为多个依次相切的范围，越靠前的范围中的epoch中常光图像所占的比例越小、[0039]步骤B22所述从常光图像训练集和第二暗光图像训练集中随机读取预设第二数目[0045]目标检测大模型训练模块，用于采用常光图像训练集训像拼接成一帧日夜DAN图像；将DAN图像同时输入目标检测大模型和目标检测小神经网络，根据目标检测大模型和目标检测小神经网络分别输出的预测目标信息以及DAN图像的标9[0049]根据目标检测小神经网络输出的预测目标信息和DAN图像的标签，计算目标检测[0050]根据目标检测大模型输出的预测目标信息和目标检测小神经网络输出的预测目[0051]将目标检测小神经网络对DAN图像的损失与目标检测大模型到目标检测小神经网[0052]所述目标检测大模型训练模块得到目标检测大模型为：得到目标检测初始大模图像训练集中随机读取预设第二数目帧图像，将读取的所有图像拼接成一帧DAN图像；其[0058]所述目标检测大模型训练模块得到目标检测大模型为：得到目标检测初始大模图像训练集中依次读取一帧常光图像，将常光图像输入目标检测初始大模型；若是DAN图像输入目标检测初始大模型，DAN图像的标签由该DAN图像中的各常光图像的真标签组成，或者由该DAN图像中的各常光图像的真标签和各暗[0062]B23、根据目标检测初始大模型输出的预测目标信息以及输入目标检测初始大模前epoch中参数冻结卷积层的比例以及在该比例下参数冻结卷积层的选取规则，确定当前epoch的参数冻结卷积层，采用当前损失调整目标检测初始大模型的所有批量样本归一化BN层和参数非冻结卷积层的参数；其中，预先将目标检测初始大模型的整个训练过程的epoch划分为多个依次相切的范围，越靠前的范围中的epoch中常光图像所占的比例越小、光图像进行人工标注，就可得到对常光和暗光图像的目标检测效果都优的目标检测模型，光图像指的是在照度小于llux的光照和暗光图像训练集中随机读取预设第一数目帧图像，将读取的所有图像拼接成一帧DAN网络的输入图像的大小不一致，则还需将DAN图像的大小缩放到与目标检测小神经网络的检测大模型和目标检测小神经网络分别输出的预测目标信息以及DAN图像的标签，计算目标检测小神经网络输出的预测目标信息和当前输入目标检测小神经网络的DAN图像的标的蒸馏损失；将目标检测小神经网络对DAN图像的损失与目标检测大模型到目标检测小神[0087]ogt表示DAN图像的真实标签对应的前景特征图，ogt中的每个点分别对应DAN图像景特征图中的每个点分别对应DAN图像中的某个区域，每个点的取值用于表示其对应区域[0090]cgt为真实标签指示的目标类别特征图，目标类别特征图中的每[0093]bgt为真实标签指示的目标位置特征图，目标位置特征图中的每根据目标检测大模型输出的预测前景特征图和目标检测小神经网络输出的预测前景特征lp,)表示目标检测大模型到目标检测小神经网络的前景蒸馏损失ll2[0111]y表示目标检测大模型输出的预测前景特征objt图或预测目标类别特征图clst或[0112]表示目标检测小神经网络输出的预测前景特征图obj或预测目标类别特征图[0116]当得到目标检测小模型后，就可将待检测的常光或暗光图像输入目标检测小模和第一暗光图像训练集中随机读取预设第一数目帧图像，将读取的所有图像拼接成一帧像的真标签组成，或者由该帧DAN图像中的各常光图像的真标签和各暗光图像的伪标签组签由该帧DAN图像中的各常光图像的真标签组成；若该帧DAN图像由常光图像+暗光图像组网络的输入图像的大小不一致，则还需将DAN图像的大小缩放到与目标检测小神经网络的和第二暗光图像训练集中随机读取预设第二数目帧图像，将读取的所有图像拼接成一帧标检测大模型或/和目标检测小神经网络的输入图像检测大模型和目标检测小神经网络分别输出的预测目标信息以及DAN图像的标签，计算目常光图像的真标签组成，或者由该DAN图像中的各常光图像的真标签和各暗光图像的伪标网络的输入图像的大小不一致，则还需将DAN图像的大小缩放到与目标检测小神经网络的[0148]步骤305：根据目标检测初始大模型输出的预测目标信息以及输入目标检测初始的当前epoch中参数冻结卷积层的比例以及在该比例下参数冻结卷积层的选取规则，确定当前epoch的参数冻结卷积层，采用当前损失调整目标检测初始大模型的所有BN检测初始大模型的整个训练过程的epoch划分为多个依次相切的范围，越靠前的范围中的[0149]其中，预先将目标检测初始大模型的整个训练过程的epoch划分为多个依次相切和第二暗光图像训练集中随机读取预设第二数目帧图像，将读取的所有图像拼接成一帧标检测大模型或/和目标检测小神经网络的输入图像检测大模型和目标检测小神经网络输出的预测目标信息以及DAN图像的标签，计算目标检[0165]图4为本发明实施例提供的目标检测模型建立装置的结构示意图，该装置主要包[0167]目标检测大模型训练模块42，用于采用常光图像训练集训练目标检测大神经网[0168]暗光图像标注模块43，用于将暗光图像集中的各暗光图[0169]目标检测小模型训练模块44，用于从常光图像训练集中或者由该DAN图像中的各常光图像的真标签和各暗光图像的伪标签组成；返回所述从常光标检测小神经网络作为最终使用的目标检测经网络的蒸馏损失；将目标检测小神经网络对DAN图像的损失与目标检测大模型到目标检标检测大模型输出的预测目标位置特征图和目标检测小神经网络输出的预测目标位置特到目标检测大模型到目标检测小神经网络的图像训练集中随机读取预设第二数目帧图像，将读取的所有图像拼接成一帧DAN图像；其图像训练集中依次读取一帧常光图像，将常光图像输入目标检测初始大模型；若是DAN图常光图像的真标签组成，或者由该DAN图像中的各常光图像的真标签和各暗光图像的伪标[0184]B23、根据目标检测初始大模型输出的预测目标信息以