CN113762039B 一种交通标志牌的信息匹配方法及相关装置 （腾讯科技（深圳）有限公司）

一种交通标志牌的信息匹配方法及相关装置本申请公开一种交通标志牌的信息匹配方法及相关装置，可应用的领域包括但不限于地配模型对目标图像进行处理得到文本信息与交个神经网络的参数进行整体训练优化得到的模2通过信息匹配模型，对所述目标图像进行处理得到所述目标图像中其中，所述特征提取网络是以目标图像为输入，以所述检测网络是以所述特征提取网络的输出为输入，以文本检测结果所述关系匹配网络是以所述检测网络的输出为输入，以所述目标图通过所述特征提取网络对所述目标图像进行特征提取得到图根据所述图像语义特征，通过所述检测网络确定文本检测结果和交通标志牌检测结根据所述文本检测结果中的所述文本位置信息和所述交通标志牌检测结果中的所述确定所述标志牌位置信息对应的标志牌位置编码和所述文本位置信息对应的文本位将所述标志牌位置编码、所述文本位置编码和所述图像语义特征根据所述融合特征确定所述目标图像中所述文本信息与所述交通标志牌之间的匹配根据所述标志牌位置信息和所述文本位置信息确定感从所述图像语义特征中裁剪得到所述感兴趣区域对应的感兴趣将所述感兴趣语义特征与对应的所述标志牌位置编码或所述文本位置编码进行融合，3其中，所述文本信息检测分支是以所述特征提取网络的输出所述交通标志牌检测分支是以所述特征提取网络的输出为输入，以所通过所述文本信息检测分支对所述图像语义特征进行特征变换述第一语义特征中所述文本信息的特征的显著性高于所述图像语义特征中所述文本信息通过所述交通标志牌检测分支对所述图像语义特征进行特征变换得到第二语义特征，所述第二语义特征中所述交通标志牌的特征的显著性高于所述图像语义特征中所述交通根据所述第二语义特征，通过所述交通标志牌检测分支得到所述交通标志牌检测结根据所述第一置信度得分选取M个文本检测结果，以及根据所述第通过所述关系匹配网络输出附属关系图，所述附属关系图用于表示所述M个文本检测结果对应的文本信息与所述N个交通标志牌检测结果对应的交通标获取训练样本集中的训练样本，所述训练样本包括训练图像以及将所述训练图像输入所述信息初始匹配模型中，依次经过所述初始述初始检测网络和所述初始关系匹配网络的处理，获得所述初始关系匹配网络的输出内根据所述损失函数调整所述信息初始匹配模型的模型参数，根据满足训练条4将所述损失函数所表示的损失在所述初始特征提取网络、所述初始11.一种交通标志牌的信息匹配装置，其特征在于，所述装置包括获取单元和匹配单所述获取单元，用于获取采集得到的目标图像，所述目标图像中包所述匹配单元，用于通过信息匹配模型，对所述目标图像进行处其中，所述特征提取网络是以目标图像为输入，以所述检测网络是以所述特征提取网络的输出为输入，以文本检测结果所述关系匹配网络是以所述检测网络的输出为输入，以所述目标图通过所述特征提取网络对所述目标图像进行特征提取得到图根据所述图像语义特征，通过所述检测网络确定文本检测结果和交通标志牌检测结根据所述文本检测结果中的所述文本位置信息和所述交通标志牌检测结果中的所述确定所述标志牌位置信息对应的标志牌位置编码和所述文本位置信息对应的文本位将所述标志牌位置编码、所述文本位置编码和所述图像语义特征根据所述融合特征确定所述目标图像中所述文本信息与所述交通标志牌之间的匹配根据所述标志牌位置信息和所述文本位置信息确定感从所述图像语义特征中裁剪得到所述感兴趣区域对应的感兴趣5将所述感兴趣语义特征与对应的所述标志牌位置编码或所述文本位置编码进行融合，其中，所述文本信息检测分支是以所述特征提取网络的输出所述交通标志牌检测分支是以所述特征提取网络的输出为输入，以所通过所述文本信息检测分支对所述图像语义特征进行特征变换述第一语义特征中所述文本信息的特征的显著性高于所述图像语义特征中所述文本信息通过所述交通标志牌检测分支对所述图像语义特征进行特征变换得到第二语义特征，所述第二语义特征中所述交通标志牌的特征的显著性高于所述图像语义特征中所述交通根据所述第二语义特征，通过所述交通标志牌检测分支得到所述交通标志牌检测结根据所述第一置信度得分选取M个文本检测结果，以及根据所述第通过所述关系匹配网络输出附属关系图，所述附属关系图用于表示所述M个文本检测结果对应的文本信息与所述N个交通标志牌检测结果对应的交通标获取训练样本集中的训练样本，所述训练样本包括训练图像以及将所述训练图像输入所述信息初始匹配模型中，依次经过所述初始述初始检测网络和所述初始关系匹配网络的处理，获得所述初始关系匹配网络的输出内根据所述损失函数调整所述信息初始匹配模型的模型参数，根据满足训练条6将所述损失函数所表示的损失在所述初始特征提取网络、所述初始所述处理器用于根据所述程序代码中的指令执行权利要求1-10中任一项机可读存储介质中；计算机设备的处理器从所述计算机可读存储介质读取所述计算机指7图像中文本信息与交通标志牌之间的匹配结果，所述信息匹配模型为端到端的神经网络，89息匹配可以是确定每个文本信息是否是附属信息以及每个文本信息属于哪一个交通标志标志牌的信息匹配需要能够确定文本信息1是交通标志牌1的附属信息，文本信息2是交通的文本和交通标志牌进行检测。然后再将分别得到的检测结果(例如文本检测结果和交通标志牌检测结果)和目标图像再次送入匹配模型确定某个文本是否为交通标志牌的附属信和交通标志牌之间的匹配结果，从而将该匹配结果提供给地图数据自动化生产服务使用，[0043]例如，涉及人工智能软件技术中的计算机视觉技术，计算机视觉(Computer[0044]又如，涉及人工智能中的自然语言处理技术，自然语言处理(NatureLanguage[0048]服务器302获取到包括文本信息和交通标志牌的目标图像后，可以通过信息匹配交通标志牌1和交通标志牌2，通过该信息匹配模型可以实现交通标志牌与文本信息的匹本申请实施例提供的方法，或者也可以由终端和服务器配合执行本申请实施例提供的方配结果可以反映目标图像中哪个文本信息是哪个交通标通过信息匹配模型得到的附属关系图如图7中右图所示。该附属关系图中第i行第j列表示[0069]特征提取网络801作为信息匹配模型中的第一神经网络负责对输入至信息匹配模[0070]特征提取网络801使用深度卷积神经网络来提取目标图像不同尺度、不同语义维[0071]特征提取网络801最终输出的图像语义特征(如图9中白色方块所示)的维度为(N,取网络801进行改进，为特征提取网络801设计了更加复杂的主干网络，例如设计了本信息检测分支8021和交通标志牌检测分支80根据特征提取网络801输出的图像语义特征确定文本[0078]交通标志牌检测分支8022是以特征提取网络801的输出为输入，以交通标志牌检测结果为输出的第五神经网络。交通标志牌检测分支8022为检测网络802中的第五神经网[0080]关系匹配网络803作为信息匹配模型中的第三神经网络负责对检测网络802输出取网络801输出的图像语义特征可以输入至关系匹配网络803，以便关系匹配网络803可以[0092]在一种可能的实现方式中，S1003的实现方式可以是通过文本信息检测分支对图[0096]下面结合文本信息检测分支和交通标志牌检测分支的具体网络结构对检测网络4个3×3可形变卷积。可形变卷积能够基于学习确定卷积的形变参数，扩大卷积的感受野达到最优的检测效果，可以在两个检测分支使用不同的先验框(先验框一般用于预先设定[0099]S1004、根据所述文本检测结果中的所述文本位置信息和所述交通标志牌检测结以根据文本检测结果中的文本位置信息和交通标志牌检测结果中的标志牌位置信息确定定匹配结果的一种可能实现方式可以是确定标志牌位置信息对应的标志牌位置编码和文网络首先是将标志牌位置信息和文本位置信息进行PositionEmbedding，也就是位置编值全为0。对于某个交通标志牌对应的标志牌位置信息或者文本信息对应的文本位置信息就得到了一张可以表征这个交通标志牌或者文本信息位置的0-1二值图，作为标志牌位置网络输出的文本检测结果和交通标志牌检测结果，将感兴趣区域(regionofinterest，感兴趣语义特征(即交通标志牌对应的感兴趣语义特征)与对应的标志牌位置编码进行融[0108]如图11b所示，黑色实线矩形框表示目标(例如交通标志牌或文本信息)在图像语[0109]然后再将RoIAlign剪裁得到的感兴趣语义特征与标志牌位置特征或文本位置特[0112]然后分别使用两个3×3卷积先对K×C×7×7维的位置编码和K×C×7×7维的图[0113]需要说明的是，若文本检测结果中还包括文本检测结果于表示M个文本检测结果对应的文本信息与N个交通标志牌检测结果对应的交通标志牌之[0127]根据信息初始匹配模型输出的预测匹配结果和真实匹配结果之间的误差构建损[0129]本申请将交通标志牌-文本信息检测和信息匹配两个任务整合到一起，通过特征息和交通标志牌提供给地图数据自动化生产服务使[0131]基于图4对应实施例提供的交通标志牌的信息匹配方法，本申请实施例还提供一种交通标志牌的信息匹配装置，参见图13，所述装置1300包括获取单元1301和匹配单元[0141]根据所述文本检测结果中的所述文本位置信息和所述交通标志牌检测结果中的[0143]确定所述标志牌位置信息对应的标志牌位置编码和所述文本位置信息对应的文[0149]将所述感兴趣语义特征与对应的所述标志牌位置编码或所述文本位置编码进行[0154]通过所述文本信息检测分支对所述图像语义特征进行特征变换得到第一语义特[0156]通过所述交通标志牌检测分支对所述图像语义特征进行特征变换得到第二语义[0160]根据所述第一置信度得分选取M个文本检测结果，以及根据所述第二置信度得分[0161]通过所述关系匹配网络输出附属关系图，所述附属关系图用于表示所述M个文本检测结果对应的文本信息与所述N个交通标志牌检测结果对应的交通标志牌之间的匹配结[0166]将所述训练图像输入所述信息初始匹配模型中，依次经过所述初始特征提取网[0171]本申请实施例还提供了一种用于交通标志牌的信息匹配设备，该设备可以是终元1430可包括触控面板1431以及其他输入设备1432，显示单元1440可包括显示面板1441，[0173]存储器1420可用于存储软件程序以及模块，处理器1480通过运行存储在存储器得该计算机设备执行上述实施例各种可选实现方式中[0187]所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式