CN114596464B 多特征交互的无监督目标检测方法、系统、电子设备和可读存储介质 （上海鱼尔网络科技有限公司）

本发明提供了一种多特征交互的无监督目过引入基于Transformer框架的无监督学习机的图片构建关联，极大解放了视觉任务标注藩保障图片特征与对应的文本特征更够进行更为2获取待检测对象，所述待检测对象包括图片信息和与所述取所述图片信息中的可检测目标以及所述可检测目标对基于ResNet特征提取网络，对所述网格图片块进行特征提取，以基于图卷积神经网络，根据所述特征节点进行若干次关联聚集，以将所述文本描述信息解码成与RoBERTa语言训练模型的输入维度一基于所述RoBERTa语言训练模型，对所述输入向量进行预训练以获得对应的预训练模将所述预训练模型参数作为初始化参数对所述输入向量进行调整训练以获得对应的根据所述调整模型参数获取所述文本描述信息对应的将所述图片特征和所述文本特征进行线性映射至一个共享嵌于所述共享嵌入空间中，将所述线性映射后的图片特征所述预测序列包含对应的所述图片特征和所依次遍历所述关联节点的邻近节点，判断所述邻近节点与所述关重复上述步骤直至对未舍弃的所述特征节点均处于所3.如权利要求1所述的多特征交互的无监督目标检测方法，其特征在于，在基于对所述预测序列进行编码以获取中间匹配序列；3所述目标预测结果包括所述图片信息中的可检测目标以及所述可检测目标对应的文所述双向匹配目标函数同时对目标类别和目标框位置进行双向匹配，所5.一种多特征交互的无监督目标检测系统，其文本特征提取单元，用于对所述文本描述信息进行文级联单元，用于对所述图片特征和所述文本特征进行级联操作，处理器，所述处理器执行所述处理程序时实现如权利要求1至4中序被处理器执行时实现如权利要求1至4中任意一项所述的多特征交互的无监督目标检测4[0002]基于深度学习的目标检测任务已经属于计算机视觉任务中发展得相当成熟的一网页中很容易获取的文本信息进行训练的加速或是寻你连精成本尤其不利于公开工业界的落地成本控制，当下研究者们开始将研究重心放在半监督、[0011]在上述第一方面的一种可能的实现中，在对图片信息进行图片特征提取的过程5[0021]基于RoBERTa语言训练模型，对输入向量进行预训练以获得对应的预训练模型参[0022]将预训练模型参数作为初始化参数对输入向量进行调整训练以获得对应的调整进行级联以生成预测序列；[0031]目标预测结果包括图片信息中的可检测目标以及可检测目标对应的文本描述信6过引入基于Transformer框架的无监督学习机制，在对图片特征进行目标检测的同时加入能力的图卷积神经网络引入基于Transformer框架的无监督目标检测范式中，通过对图像特征的预先识别和提取，能够在图像预处理过程中滤除大量无需参与计算的无效图片特[0046]通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、[0047]图1根据本申请实施例，示出了一种多特征交互的无监督目标检测方法的流程示[0049]图3根据本申请实施例，示出了一种对文本描述信息进行文本特征提取的流程示[0050]图4根据本申请实施例，示出了一种对图片特征和文本特征进行级联操作的流程[0052]图6根据本申请实施例，示出了一种多特征交互的无监督目标检测系统的结构示[0054]为了解决现有的目标检测算法中存在的数据集依赖于高要求且严格的人工标注，7备和可读存储介质。以下将结合实施例对本申请公开的上述技术方案进行具体阐释和说[0057]可以理解的是，由于本申请公开的上述技术方案应用到Transformer框架下的无的人工标注需求，上述步骤100中的待检测对象需要包括图片信息和与图片信息对应的文本特征提取的具体实现方式将于下文中进行具监督学习机制，在对图片特征进行目标检测的同时加入对对应的文本内容识别和特征提[0065]为了解决上述实施例中存在的大量冗余信息参与级联运算所导致的算力消耗大、提取全局特征图，而后执行迭代训练的范式。而在本申请公开的技术方案中，在引入8Transformer框架后在视觉图像处理任务中获得了更好的无监督深度学习效果。于上述步切分为区域相等的若干网格图片块，将其以序列的形式作为Transformer框架的输入。其或属于一定的动态阈值区间内，则说明两特征节点之间的相似度符合关联节点的判定标网格图片块作为冗余数据进行舍弃，极大缩减了后续级联和联合学习预测过程中的计算9[0077]在本申请的一些实施例中，图3示出了一种对文本描述信息进行文本特征提取的[0080]步骤303：将预训练模型参数作为初始化参数对输入向量进行调整训练以获得对[0083]在本申请的一些实施例中，图4示出了一种对图片特征和文本特征进行级联操作[0089]步骤501：对预测序列进行编码以获取中间匹配序列。可以理解的是，基于准对象中设置相同数量的空值用以表示无目标对象以别预测的负对数似然函数和一个物体框损失的线性组合。上式中为前述双向匹配目标函应的置换不变性将会导致在经过前述图卷积神经网络分组后的图像块排列顺序发生变化种无监督目标检测系统应用于前述实施例所提供的任意一项多特征交互的无监督目标检[0102]图片特征提取单元002，用于对图片信息进行图片特征提取，以获取若干图片特[0104]级联单元004，用于对图片特征和文本特征进行级联操作，以获取对应的预测序[0111]可以以一种或多种程序设计语言的任意组合来编写用于执行本申请所公开的技术方案所涉及的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++能力的图卷积神经网络引入基于Transformer框架的无监督目标检测范式中