CN119399737A 一种车辆的属性识别方法、装置、电子设备及介质 （赛力斯汽车有限公司）

辆图像和车辆属性询问信息输入多模态模型进性询问信息再次输入多模态模型进行处理得到2将所述车辆图像和所述车辆属性询问信息输入预先训练的多模态将所述车辆图像和所述车辆属性询问信息再次输入预先训练的所述多模态模型进行在所述第一车辆属性与所述第二车辆属性不相同的情况下，根据所述车辆属性询问信息在至少一个所述第三车辆属性中确定所述待识别车辆对将所述车辆图像和所述目标车辆属性作为所述待识别车辆的属性识别结果展示给所述用户。在所述第一车辆属性与所述第二车辆属性相同的情况下，根据所述车辆属性询问信息确定目标车辆属性类在至少一个所述第三车辆属性中确定与所述目标车辆属性类别对应的所述第三车辆将所述车辆图像和所述属性确认信息输入预先训练的所述多模态获取图片识别模型训练样本和图片识别模型验证样本；所述将所述样本车辆图像作为所述图片识别模型的输入，将所述样本车述图片识别模型的输出，采用所述图片识别模型训练样本对所述图片识别模型进行训练，将所述验证车辆图像输入所述待验证的图片识别模型，得到所述待验根据所述样本车辆标准属性和所述样本车辆验证属性计算所述图片识别模型对应的采用所述图片识别模型对应的损失函数对所述待验证的图片识别模型进行模型参数3切分所述样本视频得到若干样本视频帧，将包含样本根据所述样本车辆图像确定所述样本车辆对应的所述样本车辆检查所述样本车辆图像与所述样本车辆图像区域、所述样本车辆款式将所述样本车辆图像和所述样本车辆标准属性作为所述图片识别6.根据权利要求4所述的方法，其特征在于，所述图片识别模型包括至少一个残差结将所述验证车辆图像输入至所述残差结构进行处理，得到所述残差将所述初始图像特征输入至所述压缩激励结构进行处理，得到所获取多模态模型训练样本和多模态模型验证样本；所述多模将所述样本车辆图像和所述样本属性询问信息作为所述多模态模将所述验证车辆图像和所述验证属性询问信息输入所述待验证的多根据所述样本车辆答复属性和所述验证车辆答复属性计算所述多模态模型对应的损采用所述多模态模型对应的损失函数对所述待验证的多模态模型进行模型参数调整，4根据所述样本车辆图像确定所述样本车辆对应的样本车辆销量和样将所述验证车辆图像和所述验证属性询问信息作为所述多模将样本属性询问信息对应的所述样本车辆图像区域、所述样本车将所述样本车辆图像、所述样本属性询问信息、所述样本车辆答复属将所述验证车辆图像输入至所述图像编码器进行处理，得到所述图将所述验证属性询问信息输入至所述文本编码器进行处理，得到将所述图像编码特征和所述文本编码特征输入所述特征融合结数据获取模块，用于响应用户针对待识别车辆发出的属性识别指令，获车辆的车辆图像以及所述用户针对所述待识别车辆发出第一车辆属性获取模块，用于将所述车辆图像和第二车辆属性获取模块，用于将所述车辆图像和所述车辆第三车辆属性获取模块，用于在所述第一车辆属性与所述识别结果获取模块，用于将所述车辆图像和所述目标车辆所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求156将所述车辆图像和所述车辆属性询问信息输入预先训练的多模态模型进行处理，将所述车辆图像和所述车辆属性询问信息再次输入预先训练的所述多模态模型根据所述车辆属性询问信息在至少一个所述第三车辆属性中确定所述待识别车将所述车辆图像和所述目标车辆属性作为所述待识别车辆的属性识别结果展示所述第二车辆属性确定为所述待识别车辆对应的目根据所述车辆属性询问信息确定目标车辆属性类在至少一个所述第三车辆属性中确定与所述目标车辆属性类别对应的所述第三7将所述车辆图像和所述属性确认信息输入预先训练的所述多模态模型进行处理，本包括样本车辆图像和样本车辆标准属性；所述图片识别模型验证样本包括验证车辆图根据所述样本车辆标准属性和所述样本车辆验证属性计算所述图片识别模型对采用所述图片识别模型对应的损失函数对所述待验证的图片识别模型进行模型述样本车辆颜色中的至少一种作为所述样本8将所述目标图像特征输入至所述全连接层进行处理，得到所述样本车辆验证属根据所述样本车辆答复属性和所述验证车辆答复属性计算所述多模态模型对应采用所述多模态模型对应的损失函数对所述待验证的多模态模型进行模型参数根据所述样本车辆图像区域的中心点在所述样本视频帧中的位置确定样本车辆将所述验证车辆图像和所述验证属性询问信息作为所述多模9识别车辆的车辆图像以及所述用户针对所述待识别车辆发出属性询问信息输入预先训练的多模态模型进行处理，输出待识别车辆对应的第一车辆属需要说明的是，云端服务器可以指通过互联网提供计算资源和服务的虚拟服务车辆图像以及所述用户针对所述待识别车辆发出目标车辆属性，将车辆图像和目标车辆属性作为性或所述第二车辆属性确定为所述待识别车辆对应S22：在至少一个所述第三车辆属性中确定与所述目标车辆属性类别对应的所述S24：将所述车辆图像和所述属性确认信息输入预先训练的所述多模态模型进行S34：根据所述样本车辆标准属性和所述样本车辆验证属性计算所述图片识别模S35：采用所述图片识别模型对应的损失函数对所述待验证的图片识别模型进行模型训练样本可以包括样本车辆图像和样本[0073]在本申请实施例中，可以获取图片识别模型训练样本和图片[0076]可以根据样本车辆标准属性和样本车辆验证属性计算图片识别模型对应的损失[0077]可以采用图片识别模型对应的损失函数对待验证的图片识别模型进行模型参数S48：将所述样本车辆图像和所述样本车辆标准属性作为所述图片识别模型训练车辆颜色中的至少一种匹配，则可以认为此时的样本车辆图像对应的样本车辆图像区域、[0094]批归一化层：用于加速训练过程，减少内部协变量偏移（InternalCovariate将所述第一压缩图像特征分别输入至所述第三全连接层和所述权重调整层进行[0103]图片识别模型的网络结构如图4，图片识别模型可以将多个任务集成在一个网络[0104]在车辆类型头和车辆颜色头部分，使用最后一层的特征输出[B,dim*8,CH/8,[0106]最后是车辆图像区域头，这部分采用特征提取网络输出的后三层特征fea1=[B,[0107]最后当前网络的总损失loss=w1*loss_type+w2*loss_color+w3*(w31*loss_chekaun1+w32*loss_chekuanw1,w2,w3,w31,w32,w4初始均可设为1.S63：将所述验证车辆图像和所述验证属性询问信息输入所述待验证的多模态模S64：根据所述样本车辆答复属性和所述验证车辆答复属性计算所述多模态模型S65：采用所述多模态模型对应的损失函数对所述待验证的多模态模型进行模型[0110]需要说明的是，图片识别模型训练样本可以指用于训练多模态模型的图像数据问信息是用于对待验证的图片识别模型进行[0115]可以根据样本车辆答复属性和验证车辆答复属性计算多模态模型对应的损失函[0116]可以采用多模态模型对应的损失函数对待验证的多模态S71：根据所述样本车辆图像区域的中心点在所述样本视频帧中的位置确定样本S72：根据所述样本车辆图像确定所述样本车辆对应的样本车辆销量和样本车辆S74：将所述验证车辆图像和所述验证属性询问信息作为所述多模态模型验证样[0120]然后，可以根据样本车辆图像确定样本车辆对应的样本车辆销量和样本车辆评[0128]特征融合结构可以是一种用于将不同模态的特征向量融合在一起的神经网络结[0139]第一步可以提取车辆位置信息。使用目标检测模型提取图片数据中车辆的box框这些不等长度的文本回答作为整个图片的描述信息。然后根据之前得到的车辆车款信息，在外部搜索引擎中进行销量和评价的搜索，得到车辆车款信息对应的车辆销量和车辆评待识别车辆的车辆图像以及所述用户针对所述待识别车辆发出的车第一车辆属性获取模块802，用于将所述车辆图像和所述车辆属性询问信息输入第二车辆属性获取模块803，用于将所述车辆图像和所述车辆属性询问信息再次第三车辆属性获取模块804，用于在所述第一车辆属性与所述第二车辆属性不相目标车辆属性获取模块805，用于根据所述车辆属性询问信息在至少一个所述第识别结果获取模块806，用于将所述车辆图像和所述目标车辆属性作为所述待识属性确认信息获取模块，用于组合所述第四车辆属性与所述车辆属性询问信息，图片识别模型训练模块，用于将所述样本车辆图像作为所述图片识别模型的输模型训练样本对所述图片识别模型进行训练的步骤，直至达到预设的第一训练停止条件，辆的样本视频帧作为所述样本车辆图像和所第一车辆属性检查模块，用于检查所述样本车辆图像与所述样本车辆图像区域、初始图像特征获取模块，用于将所述验证车辆图像输入至所述残差结构进行处第二训练样本获取模块，用于获取多模态模型训练样本和多模态模型验证样本；多模态模型验证样本包括验证车辆图像和验证价中的至少一个确定所述样本属性询问信息和所第二车辆属性获取模块，用于将样本属性询问信息对应的所述样本车辆图像区答复属性获取模块，用于将所述文本图像拼接特征输入至所述解码器进行处理，