CN119415723A 信息处理方法以及装置、商品查询方法以及装置 （杭州阿里巴巴海外互联网产业有限公司）

本说明书实施例提供信息处理方法以及装据所述图像查询信息和所述文本查询信息构建本查询信息和所述图文融合信息分别进行对象2确定所述图文查询信息中的图像查询信息和文本查询信针对所述图像查询信息、所述文本查询信息和所述图文融合信息分别进行对象召回，按照所述信息属性类型对所述图像召回对象、所述文本召回对象和所述图接收用户提交的图像查询信息和文本查询信息，并针对所述图像根据对象识别结果确定关联对象，基于所述关联对象和所述文本3.根据权利要求2所述的信息处理方法，所述基于所述关联对象和所述文本查询信息将所述关联对象和所述文本查询信息输入至多模态信通过所述多模态信息处理模型提取所述关联对象对应的对象属性信息4.根据权利要求1所述的信息处理方法，所述根据所述图像查询信息和所述文本查询将所述图像查询信息和所述文本查询信息输入至图通过所述图文表征模型提取所述图像查询信息对应的图像查询特征针对所述图像查询特征和所述文本查询特征进行特征融合，获得确定候选对象集合中候选对象对应的候选对象特征，并将所述通过所述多模态对象召回模型计算所述图文融合特征与所述候选对象特征的特征相根据所述特征相似度在所述候选对象集合中筛选目标候选对象，并6.根据权利要求2所述的信息处理方法，所述确定所述图文查询信息对应的信息属性根据对象识别结果确定所述图像查询信息对应的第一对象信息，根据所述第一对象信息和所述第二对象信息，检测所述图像查询信37.根据权利要求1所述的信息处理方法，所述按照所述信息属性类型对所述图像召回按照预设的排序策略确定所述图像召回对象对应的图像召回分值、所述文对应的文本召回分值以及所述图文召回对象对应的图文基于所述信息属性类型对所述图像召回分值、所述文本召回分值基于所述目标图像召回分值、所述目标文本召回分值和所述目标8.根据权利要求1至7任一项所述的信息处理将所述图文查询信息输入至对象类目预测模型进行处理，获得所述根据排序结果确定对象序列；按照所述对象类目信息对所述对象序列进行过滤，根据过滤结果确定图根据识别结果确定所述图像查询信息中包含多个候选关联对象的情况下，向接收所述用户针对所述选择事项提交的选择请求，基于所述选确定所述图文查询信息中的图像查询信息和文本查询信针对所述图像查询信息、所述文本查询信息和所述图文融合信息分别进行商品召回，按照所述信息属性类型对所述图像召回商品、所述文本召回商品和所述接收用户通过商品查询界面提交的图文查询信息，并确定所确定所述图文查询信息中的图像查询信息和文本查询信针对所述图像查询信息、所述文本查询信息和所述图文融合信息分别进行商品召回，按照所述信息属性类型对所述图像召回商品、所述文本召回商品和所述4将所述商品查询界面更新为包含所述目标商品的商品展示界面，获取模块，被配置为获取图文查询信息，并确定所述图文确定模块，被配置为确定所述图文查询信息中的图像查询信息排序模块，被配置为按照所述信息属性类型对所述图像召回对获取信息模块，被配置为获取图文查询信息，并确定所述图文确定信息模块，被配置为确定所述图文查询信息中的图像查询信息和文本查询信息，并根据所述图像查询信息和所述文本查询信排序商品模块，被配置为按照所述信息属性类型对所述图像召接收信息模块，被配置为接收用户通过商品查询界面提交的图文确定信息模块，被配置为确定所述图文查询信息中的图像查询信息和文本查询信息，并根据所述图像查询信息和所述文本查询信排序商品模块，被配置为按照所述信息属性类型对所述图像召展示商品模块，被配置为将所述商品查询界面更所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指5理器执行时实现权利要求1至11任意一项所述方法6单图像或者单文本的查询结果并不一定满足用户需求，并且这类查询方式覆盖信息面更7[0022]确定模块，被配置为确定所述图文查询信息中的图像查并根据所述图像查询信息和所述文本查询信8指令，该计算机可执行指令被处理器执行时实现上述信息处理方法或商品查询方法的步9[0053]在本说明书一个或多个实施例中使用的术语是仅仅出于述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收[0056]本说明书一个或多个实施例中，大模型是指具有大规模模型参数的深度学习模能力，例如大规模语言模型(LargeLanguageModel,LLM)、多模态预训练模型(multi_modalpre_trainingmodel[0062]参见图2，图2示出了根据本说明书一个实施例提供的一种信息处理方法的流程[0066]其中，图文一致属性类型用于表征图像查询信息和文本查询信息均表征相同事[0071]具体的，对象识别具体是指对图像查询信息中包含的对接口和文本输入接口，此时接收到用户通过图像输入接口提交的如图3中(a)所示的图像，述图文查询信息对应的信息属性类型为图文无冲突可以采用图文表征模型(BGE_visualized_base)实现，实际应用中也可以选择其他的图文即为图像查询特征和文本查询特征进行融合后得通过多模态对象召回模型计算图文融合特征与各个候选对象对应候选对象特征的特征相在图像召回结果和文本召回结果的基础上，召回二者容易忽略且命中用户查询需求的对的命中图文查询信息的优先级，从而可以根据排序结果确定图文查询信息对应的目标对因此通过结合信息属性类型对已经计算好由三个维度的相似度组成的分品与用户输入信息的相似度，根据计算结果确定相似度排序为商品3＞商品2＞商品1＞商[0128]参见图4，图4示出了根据本说明书一个实施例提供的一种商品查询方法的流程[0133]本实施例提供的商品查询方法未详尽描述的内容均可参见上述实施例中相同或[0141]本实施例提供的另一种商品查询方法未详尽描述的内容均可参见上述实施例中进行对象识别。象召回模型；通过多模态对象召回模型计算图文融合特征与候选对象特征的特征相似度；实现在获取用户输入的图文查询信息后，可以先确定图文查询信息对应的信息属性类型，询信息和文本查询信息，此时可以根据图像查询信息和文本查询信息构建图文融合信息，实现将图像查询和文本查询信息进行融合，以实现后续可以结合融合信息进行对象召回。[0159]确定模块704，被配置为确定所述图文查询信息中的图像查询信息和文本查询信述图文查询信息对应的信息属性类型为图文无冲突属[0175]类目预测模块，被配置为将所述图文查询信息输入至对象类目预测模型进行处[0177]根据排序结果确定对象序列；按照所述对象类目信息对[0184]确定信息模块804，被配置为确定所述图文查询信息中的图像查询信息和文本查[0190]确定信息模块904，被配置为确定所述图文查询信息中的图像查询信息和文本查[0193]展示商品模块910，被配置为将所述商品查询界面更新为包含所述目标商品的商个或多个网络1060通信。这些网络的示例包括公用交换电话网(PSTN，PublicSwitchedTelephoneNetwork)、局域网(LAN，LocalAreaNetwork)、广域网(WAN，WideArea备1040可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC，networkLocalAreaNetwork)无线接口、全球微波互联接入(Wi_MAX，WorldwideInteroperabilityforMicrowaveAccess)接口、以太网接口、通用串行总线(USB，UniversalSerialBus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC，NearField[0201]本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指机程序或指令被处理器执行时实现上述信息处理方法或商品查询方法[0207]上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围[0208]所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式