CN114282037B 基于多任务学习的图像检索方法、装置、设备和介质 （唯品会(广州)软件有限公司）

本申请公开了一种基于多任务学习的图像品主体裁剪图和所述商品图像的商品属性进行2将所述原始图和所述商品主体裁剪图导入孪生神根据所述原始图、所述商品主体裁剪图和所述商品图像的商品属将所述训练后的图像模型部署至服务端，以输出所述商品图像其中，所述根据所述原始图、所述商品主体裁剪图和所述商品损失计算步骤：根据所述特征向量和所述商品图像的根据所述商品图像的商品属性通过至少一个第一损失函根据所述特征向量通过一个或多个第二损失函数计算度量距离练后的图像模型部署至服务端，以输出所述商品图像的最终向量供图像向量相似性检索，对所述训练后的图像模型定时抽取所述商品图像的最终向量，并保存所述向量相似性搜索引擎包括Milvus向量对所述商品图像进行检测并裁剪商品主体，再进行增强操作，得到3通过一阶段检测算法或二阶段检测算法检测出所述商品图像的商品6.一种用于实现如权利要求1所述基于多任务学习的图像检索方法的图像检索装置，模型训练模块，用于根据所述原始图、所述商品主体裁剪图和所述管理模块，用于将所述训练后的图像模型部署至7.一种电子设备，包括存储器、处理器及行指令用于执行权利要求1至5中任意一项所述基于多任务学习的图4[0001]本申请涉及计算机技术领域，特别是涉及一种基于多任务学习的图像检索方法、[0015]根据所述原始图、所述商品主体裁剪图和所述商品图像的商品属性进行模型训5[0024]根据所述商品图像的商品属性通过至少一个第一损失函6[0050]图2示出根据本申请一个实施例的基于多任务学习的图像检索方法的具体流程7重/权值，两个神经网络可以都是ViT(VisionTransformer)神经网络或者cnn(卷积神经网征交互进行融合。下面以两个神经网络共享权重为例进行进一步的阐述。需要注意的是，backbone(主干神经网络)可以根据实际需求灵活替换，例如对原始图和商品主体裁剪图使以包括RCNN(RegionwithCNNfeat8通过loss和learningmetrics指标判断模型[0080]示例性的，可以通过normalize(concat(vec_a+vec_b,(vec_一起，拉开不同向量间的相似距离。示例性的，特征应该有类内紧凑性和类间可分离性[0083]示例性的，可以通过使用度量学习方法构建anchor-positive-n其中loss＝(dist(anchor,positive)-dist(anchor,negative)+margin)，通过不断优化/9品属性与图像内容的端到端的模型训练，并良好兼容训练与推理的入参差别以及模型输根据所述特征向量通过一个或多个第二损失函数计算度量距离损失，进一步扩大类间距[0096]进一步的，模型训练模块还用于对所述全图向量和所述裁剪图向量进行特征交可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个)处理器中的至少一个和/或与系统控制模块通信的任意适当的设备或组件提供任意适NVM/存储设备及(一个或多个)通信接口提的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备[0108]NVM/存储设备可包括在物理上作为系统被安装在其上的设备的一部分的存储资[0109](一个或多个)通信接口可为系统提供接口以通过一个或多个网络和/或与任意其处理器中的至少一个可与系统控制模块的一个或多个控制器的逻辑封装在一起以形成系至少一个可与系统控制模块的一个或多个控制器的逻辑集成在同一模具上以形成片上系通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,为包括优选实施例以及落入本申请实施例