CN114663687B 模型训练方法、目标识别方法、装置、设备及存储介质 （北京京东尚科信息技术有限公司）

WO2016192213A1,2016.12.082分别对多个所述第一子图块进行特征提取，以得到多将各所述第一子图块对应的子图像特征输入识别模型中的自注意力记忆神经网络层，根据所述预测标注信息与所述样本图像包括的实际标注信息之间的差异，获取所述自注意力记忆神经网络层存储的多个正例图像特征，其从所述多个正例图像特征中，分别确定与各所述第一子图块的子图像根据各所述第一子图块的子图像特征与对应目标图像特征针对每个所述第一子图块，确定对应的子图像特征与多个所述正例图将最高相似度对应的正例图像特征，作为与所述第一子图块的子针对每个所述第一子图块，根据匹配的目标图像特征与多根据所述第一子图块的子图像特征和对应目标图像特征之间的相似度，确定中间特3针对每个所述第一子图块，确定所述第一子图块的子图像根据所述第一子图块的子图像特征与多个所述正例图像特征之第一子图块的子图像特征与多个所述正例图针对每个所述正例图像特征，根据所述正例图像特征与多根据所述加权图像特征对所述正例图像特征进行更新，得到更采用所述预测层中的全连接层，对所述融合特征进行目标的标所属的类别。采用所述预测层中的第一分支，对所述融合特征进行目标的类别所属的类别；采用所述预测层中的第二分支，对所述融合特征进行目标的回将各所述子图块对应的子图像特征输入识别模型中的自注意力记采用所述识别模型中的预测层，对所述融合特征进行目标预测，得到所述目提取模块，用于分别对多个所述第一子图块进行特征提取，以得到多个输入模块，用于将各所述第一子图块对应的子图像特征输入识忆神经网络层，以根据各所述第一子图块的子图像特征与对应目标图像特征之间的相似4训练模块，用于根据所述预测标注信息与所述样本图像确定单元，用于从所述多个正例图像特征中，分别确定映射单元，用于根据各所述第一子图块的子图像特征与对应针对每个所述第一子图块，确定对应的子图像特征与多个所述正例图将最高相似度对应的正例图像特征，作为与所述第一子图块的子针对每个所述第一子图块，根据匹配的目标图像特征与多根据所述第一子图块的子图像特征和对应目标图像特征之间的相似度，确定中间特所述确定单元，还用于针对每个所述第一子图块，确定所述第一子加权单元，用于针对每个所述正例图像特征，根据所述正更新单元，用于根据所述加权图像特征对所述正例图像特征进采用所述预测层中的全连接层，对所述融合特征进行目标的5标所属的类别。采用所述预测层中的第一分支，对所述融合特征进行目标的类别所属的类别；采用所述预测层中的第二分支，对所述融合特征进行目标的回提取模块，用于分别对多个所述子图块进行特征提取，以得到多个所输入模块，用于将各所述子图块对应的子图像特征输入识别模型中的自6[0009]将各所述第一子图块对应的子图像特征输入识别模型中的自注意力记忆神经网[0015]分别对多个所述子图块进行特征提取，以得到多个所述子图块对应的子图像特7[0016]将各所述子图块对应的子图像特征输入识别模型中的自8实现为识别模型提供正样本图像的先验信息，以根据该先验信息来实现对残次目标的检[0040]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得9像为带有三段弯曲铁丝的残次品的图像(负样本)，通过深度自注意力模型的自注意力机标注信息可以包括样本图像中各目标的类别。际标注信息可以包括样本图像中各目标的类别，以及包含各目标的预测框(该预测框可以[0074]步骤103，将各第一子图块对应的子图像特征输入识别模型中的自注意力记忆神[0096]为了清楚说明本申请中是如何采用自注意力记忆神经网络层对各第一子图块的[0118]为了清楚说明本申请中是如何根据各第一子图块的子图像特征与对应目标图像间的相似度，确定该第一子图块对应的中间特征。仍以上述例子示例，中间特征可以为络层存储的绝大多数对应的为与正样本图像相关的特征，即无论步骤401获取的样本图像本图像(包含残次目标或残次品的图像)，可以将n个子图块的子图像特征与自注意力记忆经网络层存储的正例图像特征pi与样本图像中的子图像特征qj计算余弦相[0183]最终，可以将样本图像中的n个子图像特征融合到自注意力记忆神经网络层存储会首先与q'i进行乘法操作，这一步是为了刻画当前计算的子图块的子图像特征与对应的射特征，可以直接输入到残次品检测/残次区域检测/残次区域分割等任务的损失函数上，适应地记录整个训练数据中的正样本图像中的图像特征，与输入的图像特征进行对比/关[0201]步骤602，分别对多个子图块进行特征提取，以得到多个子图块对应的子图像特[0203]步骤603，将各子图块对应的子图像特征输入识别模型的自注意力记忆神经网络[0204]其中，识别模型为采用上述图1至图4任一实施例所示的模型训练方法训练得到[0222]输入模块740，用于将各第一子图块对应的子图像特征输入识别模型的自注意力记忆神经网络层，以根据各第一子图块的子图像特征与对应目标图像特征之间的相似度，[0225]训练模块770，用于根据预测标注信息与样本图像包括的实际标注信息之间的差由于本申请实施例提供的模型训练装置与上述图6实施例提供的目标识别方法相对应，因[0245]输入模块840，用于将各子图块对应的子图像特征输入识别模型的自注意力记忆[0254]总线18表示几类总线结构中的一种或多种，包括存储器简称：MAC)总线，增强型ISA总线、视频电子标准协会(VideoElectronicsStandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(PeripheralComponent动器，以及对可移动非易失性光盘(例如：光盘只读存储器(CompactDiscReadOnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(DigitalVideoDiscReadOnly[0257]具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28[0258]计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解以通过网络适配器20与一个或者多个网络(例如局域网(LocalAreaNetwork；以下简称：术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器[0265]本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步