CN119415724A 一种数据处理方法及装置 （华为技术有限公司）

202310910436.32023.07.21始码本的结构为d*m的矩阵，初始码本包括多个初始子码本，每个初始子码本的结构为d*p的矩2根据所述多个初始子码本中的每个初始子码本，生成用于对原始底从原始底库存储的候选对象的对象数据中，选择m个样本对象的对象数据组成多个样根据每个样本集中包括的样本对象的对象数据，生成所述初始码3.如权利要求2所述的方法，其特征在于，所述根据所述初始码本中的每个初始子码根据每个样本对象的对象数据与每个初始子码本之间的子空间距离针对任意一个初始子码本，根据所述初始子码本对应的样本对针对任意一个样本对象的对象数据，根据所述样本对象的对根据样本对象的对象数据与初始子码本之间的对应关系，分别确定对所述参考码字进行量化处理，并对量化处理后的参考码字中的元素根据所述查询向量、所述码字以及所述码本，从所述原始底库中存3根据所述目标存储区域中存储的码字分块，从所述多个候选对根据所述查询向量以及所述码本，确定所述查询向量与所述码根据所述查询向量与所述码本中每个子码本之间的第一相似度根据子码本与码字分块之间的对应关系，确定所述目标子码本对应的目标码字分块，并将存储所述目标码字分块的存储区域作为所述将所述中间向量划分为分别与每个子码本对应根据每个子码本对应的子中间向量，确定所述查询向量与所述根据所述目标子码本对应的子中间向量，与所述目标存储区域中定所述查询向量与所述目标存储区域存储的码字分块对应的每个候选对象之间的第二相处理单元，根据所述多个初始子码本中的每个初始子码本，生成用于45检索任务时需要将数据库中的信息数据全部加载到显存中，由于数据库中的数据量很大，编码得到的，码字的数据量远小于原始表底库中存储的多个候选对应的对象数据的数据6的对象数据对应的初始子码本；根据样本对象的对象数据与初始子码本之间的对应关系，7码字分块的目标存储区域，然后在目标存储区域内进一步检索与查询请求匹配的目标对定目标子码本对应的目标码字分块，并将存储目标码字分块的存储区域作为目标存储区间向量划分为分别与每个子码本对应的子中间向量；并根据每个子码本对应的子中间向8程序产品时，使得计算机执行上述第一方面或第一方面的任一种可能的实现方式中的方[0037]上述第二方面至第四方面中任一方面可以达到的技术效果可以参照上述第一方9时，获取到的查询请求中包括用户标识，通过特似度满足要求的对象数据的候选对象作为检索结果。由于从底库中检索为数据密集型任具体形式不做限定，本申请实施例适用的系统架构可以具有比图4中所示出的更多的或者将m个样本对象的对象数据组成多个样本集，且每个样本集中包括p个样本对象的对象数[0084]实施中，计算设备可以从原始底库中随机选择m个样本对象的对象数据。示例性[0087]本申请实施例计算设备在对样本集中包括的对象数据组成的矩阵进行正交基初[0092]下面介绍下计算设备根据每个样本集中包括的对象数据与每个初始子码本之间一个样本对象的对象数据组成的1*d的向量，与d*p的初始子码本之间的乘积为一个1*p的[0095]步骤2a、计算设备根据样本对象的对象数据与每个初始子码本之间的子空间距[0096]针对任意一个样本对象的对象数据，在步骤1中确定出该样本对象的对象数据与为3；若基于步骤2a生成的样本对象的对象数据与初始子码本之间的对应关系如表1所示，则初始子码本1对应的样本对象数据集中包括样本对象1的对象数据、样本对象3的对象数[0106]需要说明的是，本申请实施例计算设备在得到更新后的可以基于更新后的子码本重复执行上述根据样本对象数据集更新后的子码本以及对应的[0114]可选的，本申请实施例计算设备生成的码字的结构为包[0117]如图9所示的本申请实施例获得的码字结构，码字的结构为包括多个码字分块的者如图10所示的本申请实施例获得的码字结构，码字的结构为包括多个码字分块的矩阵，字B的每个码字分块与码本C中的每个子码[0119]本申请实施例计算设备在基于上述流程获得原始底库中多个候选对象的对象数计算设备在检索与查询请求匹配的目标对象时，首先从多个存储区域中确定目标存储区[0149]若在步骤2b中，计算设备采用方式1确定查询向量与码本中每个子码本之间的第采用上述方式2确定第一相似度信息，则根据第一相似度信息的取值按照从小到大的顺序一个p*x的矩阵，则目标子码本与目标存储区域中存储的码字分块的乘积为一个d*x的矩[0158]计算设备在基于上述方式1，得到查询向量与目标存储区域存储的码字分块对应的码字分块对应的候选对象中选取第二相似度信息取值最大的k1个候选对象作为目标对标存储区域存储的码字分块对应的每个候选对象之间的第二一个p*x的矩阵，则目标子码本与目标存储区域中存储的码字分块的乘积为一个d*x的矩[0166]若步骤2c中得到的乘积为一个d*x的矩阵，则计算设备确定该矩阵的每一列的L2[0167]计算设备在基于上述方式2，得到查询向量与目标存储区域存储的码字分块对应的码字分块对应的候选对象中选取第二相似度信息取值最小的k1个候选对象作为目标对[0168]本申请实施例计算设备在从多个候选对象中确定出与查询请求匹配的目标对象[0174]从原始底库存储的候选对象的对象数据中，选择m个样本对象的对象数据组成多述初始子码本对应的更新后的子码本以及对应的[0185]对所述参考码字进行量化处理，并对量化处理后的参考[0198]根据子码本与分块之间的对应关系，确定所述目标子码并将存储所述目标码字分块的存储区域作为所述[0204]根据所述目标子码本对应的子中间向量，与所述目标存储区域中存储的码字分可编程门阵列(fieldprogrammablegatearray，FPGA)、图形处理器(graphicsprocessingunit，GPU)、特殊应用集成电路(applicationspecificintegrated数据处理方法所需的计算机指令和数据。存储器1702包括易失性存储器(volatilememory)，例如随机存取存储器(randomaccessmemory，RAM)、动态随机存取存储器(dynamicrandomaccessmemory，DRAM)等。也可以为非易失性存储器(non_volatilememory)，例如只读存储器(read_onlymemory，ROM)、存储级存储器(storage_class分别实现前述数据处理功能。存储器1702上存有数据处理装置1500和/或数据处理装置[0211]总线1704可以是快捷外围部件互连标准(PeripheralComponentInterconnect(serialadvancedtechnologyattachment，SATA)总线，或串行连接SCSI(serial展工业标准结构(extendedindustrystandardarchitecture，EISA)总线、统一总线以是包含指令的，能够运行在计算设备上或被储存在任何可用介质中的软件或程序产品。述图5或图13实施例中的计算设备所执行的数据处理方法，参见图5或图13各步骤的描述，是计算设备能够存储的任何可用介质或者是包含一个或多个可用介质的数据中心等数据其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修