CN119494416A 一种模型参数压缩方法及装置 （华为技术有限公司）

本申请提供了一种模型参数压缩方法及装型中属于Embedding层的第一模型参数后，先对的每个特征域向量组更新到Embedding层，并将推荐业务的业务数据作为训练样本对第一模型2获取第一模型中属于Embedding层的第一模型参数，所述第一模型参数包括多个特征对所述第一模型参数中包括的多个Embedding向量进行如下压缩处理：确定所述第一确定所述第一模型参数中包括的所述多个Embedding向量当所述压缩率大于目标压缩率时，重新对所述第一模型参数中包括的多个Embedding域向量组中包括的至少一个Embedding向量对应的压缩维度量，分别确定每个特征域向量将压缩处理后的每个特征域向量组更新到所述第一模型的Embedding层，并将推荐业2.如权利要求1所述的方法，其特征在于，确定所述第一模型参数中包括的多个获取第一Embedding向量对应的重要性指标值，所述重要性指标值用于指示所述第一Embedding向量对应的数据对象的重要程度，所述第一Embedding向量为所述多个Embedding向量中的任一个Em根据所述第一Embedding向量对应的重要性指标值与重要性阈值的大小关系，确定所量分别对应的重要性指标值按照从大到小的顺序排序后排序位于第i个的Embedding向量3.如权利要求2所述的方法，其特征在于，获取第一确定所述第一Embedding向量中位于末尾位置的元素将所述绝对值作为所述第一Embedding向量对应的重性指标值与重要性阈值的大小关系，确定所述第一Embedding向量对应的压缩维度量，包当所述第一Embedding向量对应的重要性指标值大于或等于所述重要性阈值时，将所向量维度用于指示所述第一Embedding向量的当前剩余维度；当所述第二向量维度位于设值作为所述第一Embedding向量对应的压缩维度量；当所述第二向量维度未位于所述设定3当所述第一Embedding向量对应的重要性指标值小于所述重要性阈值时，将所述第一作为所述第一Embedding向量对应的压缩维度量；当所述第四向量维度未位于所述设定向5.如权利要求1_4任一项所述的方法，其特征在于，根据根据第二Embedding向量对应的压缩维度量，从所述第二Embedding将在所述第二Embedding向量中确定的所述被压缩元素的数确定所述多个Embedding向量中包括的至少将所述至少一个非零元素的数量与所述多个Embedding向量中包括的多个元素的总数特征域向量组中包括的至少一个Embedding向量对应的压缩维度量，分别确定每个特征域确定第一特征域向量组包括的至少一个Embedding向量对应的压缩维度量的平均值或将所述平均值或加权平均值作为所述第一特征域向量组对应根据第二特征域向量组对应的压缩维度量，从所述第二特征域向量组包括的每个Embedding向量中确定数量为所述压缩维度量的被压缩元素，所述第二特征域向量组为所将在所述第二特征域向量组包括的每个Embedding向量中确定的所述被压缩元素的数其中，所述训练终止条件为以下至少一项：所述第一模型4对所述第一模型参数中包括的多个Embedding向量进行如下压缩处理：确定所述第一确定所述第一模型参数中包括的所述多个Embedding向量当所述压缩率大于目标压缩率时，重新对所述第一模型参数中包括的多个Embedding域向量组中包括的至少一个Embedding向量对应的压缩维度量，分别确定每个特征域向量并将推荐业务的业务数据作为训练样本对所获取第一Embedding向量对应的重要性指标值，所述重要性指标值用于指示所述第一Embedding向量对应的数据对象的重要程度，所述第一Embedding向量为所述多个Embedding向量中的任一个Em根据所述第一Embedding向量对应的重要性指标值与重要性阈值的大小关系，确定所量分别对应的重要性指标值按照从大到小的顺序排序后排序位于第i个的Embedding向量确定所述第一Embedding向量中位于末尾位置的元素将所述绝对值作为所述第一Embedding向量对应的重13.如权利要求11或12所述的装置，其特征在于，所述处理模块在根据所述第一当所述第一Embedding向量对应的重要性指标值大于或等于所述重要性阈值时，将所向量维度用于指示所述第一Embedding向量的当前剩余维度；当所述第二向量维度位于设值作为所述第一Embedding向量对应的压缩维度量；当所述第二向量维度未位于所述设定5当所述第一Embedding向量对应的重要性指标值小于所述重要性阈值时，将所述第一作为所述第一Embedding向量对应的压缩维度量；当所述第四向量维度未位于所述设定向14.如权利要求10_13任一项所述的装置，其特征在于，所述处理模块在根据每个根据第二Embedding向量对应的压缩维度量，从所述第二Embedding将在所述第二Embedding向量中确定的所述被压缩元素的数确定所述多个Embedding向量中包括的至少将所述至少一个非零元素的数量与所述多个Embedding向量中包括的多个元素的总数特征域向量组中每个特征域向量组中包括的至少一个Embedding向量对应的压缩维度量，确定第一特征域向量组包括的至少一个Embedding向量对应的压缩维度量的平均值或将所述平均值或加权平均值作为所述第一特征域向量组对应根据第二特征域向量组对应的压缩维度量，从所述第二特征域向量组包括的每个Embedding向量中确定数量为所述压缩维度量的被压缩元素，所述第二特征域向量组为所将在所述第二特征域向量组包括的每个Embedding向量中确定的所述被压缩元素的数其中，所述训练终止条件为以下内容中的一项：所述第一模6所述处理器调用所述存储器中存储的计算机程序指令执行如权利要求1_9中的任一项所述至少一个计算设备中的处理器调用所述存储器中存储的计算机程序指令执行如得所述计算设备执行如权利要求1_9中的7如何有效地压缩Embedding表参数来实现模型精度无损的推理加速置或者能够支持模型参数压缩装置实现该方法所需的[0008]模型参数压缩装置在获取第一模型中属于Embedding层的第一模型参数后，可以8对第一模型参数中包括的多个Embedding向量进行如下压缩处理：确定第一模型参数中包括的多个Embedding向量中每个Embedding向量对应的压缩维度量；根据每个Embedding向置可以确定第一模型参数中包括的多个Embedding向量经过压缩后的压缩率，当压缩率大模型参数中包括的多个Embedding向量进行压缩处理，直至压缩率小于或等于目标压缩率缩装置可以根据多个特征域向量组中每个特征域向量组中包括的至少一个Embedding向量缩装置可以将压缩处理后的每个特征域向量组更新到第一模型的Embedding层，并可以将个阶段是对第一模型参数包括的每个Embedding向量进行向量级压缩，另一个阶段是对第一模型参数包括的每个特征域向量组进行域级压缩)，即可实现第一模型参数的结构化压[0010]在一种可能的设计中，模型参数压缩装置确定第一模型参数中包括的多个获取第一Embedding向量对应的重要性指标值，其中，重要性指标值用于指示第一Embedding向量对应的数据对象的重要程度，第一Embedding向量为多个Embedding向量中重要性阈值可以为多个Embedding向量分别对应的重要性指标值按照从大到小的顺序排序后排序位于第i个的Embedding向量对应的重要性指标值；i可以是根据预设系数和多个[0011]上述设计中，模型参数压缩装置通过依据多个Embedding向量分别对应的重要性[0012]在一种可能的设计中，模型参数压缩装置获取第一Embedding向量对应的重要性9[0013]上述设计中，模型参数压缩装置通过统一选取每个Embedding向量中位于末尾位置的元素的数值的绝对值来作为体现该Embedding向量的重要性程度的指标值，可以使得每个Embedding向量根据统一标准确定的重要性指标值进行有效地[0014]在一种可能的设计中，模型参数压缩装置根据第一Embedding向量对应的重要性指标值与重要性阈值的大小关系，确定第一Embedding向量对应的压缩维度量存在以下几型参数压缩装置可以将第一Embedding向量的第一向量维度与预设数值进行加和，得到第大向量维度与第二向量维度的差值作为第一Embedding向量对应的压缩维度量，或者当第二向量维度未位于设定向量维度范围时，模型参数压缩装置可以对第二向量维度进行调置可以将最大向量维度与第三向量维度的差值作为第一Embedding向量对应的压缩维度压缩装置可以将第一Embedding向量的第一向量维度与预设数值进行作差，得到第四向量维度与第四向量维度的差值作为第一Embedding向量对应的压缩维度量，或者当第四向量最大向量维度与第五向量维度的差值作为第一Embedding向量对向量对应的重要性指标值与重要性阈值的大小关系，可以准确地对该Embedding向量进行[0018]在一种可能的设计中，模型参数压缩装置根据每个Embedding向量对应的压缩维度量，分别对每个Embedding向量进行压缩，包括：针对多个Embedding向量中任一个Embedding向量(比如第二Embedding向量)，模型参数压缩装置可以先根据第二Embedding[0019]上述设计中，模型参数压缩装置通过将每个Embedding向量中确定的被压缩元素行mask置零操作后的多个Embedding向量可以作为新的第一模型参数，参与第一模型的后[0020]在一种可能的设计中，模型参数压缩装置确定第一模型参数中包括的多个素的数量与多个Embedding向量中包括的多个元素的总数量组中包括的至少一个Embedding向量对应的压缩维度量，分别确定每个特征域向量组对向量组包括的每个Embedding向量对应的压缩维度量，来确定一个统一的压缩维度量用于实现对该特征域向量组进行域级压缩。如此，该方法通过将该特征域向量组包括的每个Embedding向量对应的压缩维度量的平均值或加权平均值作为该特征域向量组对应的压缩包括的Embedding向量能够按照同一压缩维度量进行压缩，从而可以实现针对该特征域向压缩维度量，从第二特征域向量组包括的每个Embedding向量中确定数量为压缩维度量的包括的每个Embedding向量中确定的被压缩元素的数值进行mask置零操作，可以达到对该特征域向量组进行结构化压缩的效果，从而可以便于对该特征域向量组中包括的Embedding向量按照同一压缩维度量进行裁剪，并可以为提高第一模型的推理速度提供有多个特征域向量组分别对应的压缩维度量，对第一模型中的Embedding层的第二模型参数向量组分别对应的压缩维度量，对第一模型中位于Embedding层之后的模型层的模型参数特征域向量组分别对应的被压缩位置(即被压缩元素的位置模型层的模型参数的对应位置的元素裁剪掉，可以实现对Embedding层的模型参数和位于Embedding层之后的模型层的模型参数的联合压缩，从而可以更有效地提高第一模型的推[0031]当该模型参数压缩装置用于实现上述第一方面的任一种[0042]图3b示例性示出本申请实施例提供的一种计算特征域向量组对应的压缩维度量[0044]图5示例性示出本申请实施例提供的一种可能的模型参数压缩装置的结构示意[0053]图1示例性示出了本申请实施例适用的一种可能的应用场也可以包括该待压缩模型满足训练终止条件之前每一轮(或可称为每一次)训练开始前的设备100中可以包括显示器，用于呈现服务设备200提供的配置界面(比如用于辅助用户上[0056]服务设备200是用于为用户在终端设备100上安装的目标应用上进行相应操作提助用户上传待压缩模型的模型信息的网页浏览器，服务设备200为具有模型参数压缩功能信息进行压缩时，用户A可以通过所使用的笔记本电脑上安装的网页浏览器登录服务设备200提供的用于辅助用户上传待压缩模型的模型信息的配置界面，并可以在该配置界面上的应用场景构成限定。此外，上述图1所示的应用场景中各个设备的形态和数量仅用于举[0060]下面基于图1所示意的应用场景，对本申请实施例中模型参数压缩方法的具体实[0061]图2示例性示出本申请实施例提供的一种模型参数压缩方法的流程示意图。该方法可以但不限于适用于图1所示意的应用场景。该方法流程可以是由模型参数压缩装置或者能够支持模型参数压缩装置实现该方法所需的功模型参数压缩功能的计算设备或某一个具有模型参数压缩功能的计算设备集群等)，或者请实施例提供的技术方案，下面以模型参数压缩装置执行模型参数压缩方法为例进行介Embedding层的初始Embedding参数或位于Embedding层之后的其它模型层的模型参数(比如稠密参数)，或者也可以是第一模型在满足训练终止条件之前任一轮训练开始前的模型轮训练结束后的模型参数进行压缩处理的实施方式可以参见下述步骤202至步骤206提供如用户ID1对应的Embedding向量、用户ID2对应的Embedding向量、用户ID3对应的Embedding向量等)；商品域向量组中可以包括多个商品对应的Embedding向量(比如商品缩装置从用于训练第一模型的装置(比如用于训练[0066]当模型参数压缩装置获取第一模型在第i轮(或可称为第i次)训练开始前的第一模型参数(比如Embedding参数)后，可以通过以下几个步骤对第一模型的第一模型参数进行压缩处理(或[0067]当第一模型在第i轮训练开始前的第一模型参数的压缩率大于目标压缩率时，根以下几个步骤(即步骤202至步骤203)对第一模型在几个步骤(即步骤205至步骤206)对第一模型的第一模型参数进行域级压缩处理。示例性用户购买一个或多个商品的数据或用户的兴趣[0069]针对多个Embeddin型参数压缩装置在获取到第一Embedding向量对应的重要性指标值后，可以根据第一应的压缩维度量。其中，第一Embedding向量对应的重要性指标值可以用于指示第一重要性指标值按照从大到小的顺序排序后排序位于第i个的Embedding向量对应的重要性[0070]可选的，模型参数压缩装置可以维护一个记录表tensor_vector，该记录表tensor_vector用于记录每个Embedding向量对应的实时压缩维度量。例如，以第一Embedding向量为例，模型参数压缩装置可以在记录表tensor_vector中记录第一Embedding向量在每一次压缩处理时[0071]基于上述内容，下面通过以下几种可能的示例介绍模型参数压缩装置获取第一数值的绝对值作为第一Embedding向量对应的[0073]图3a示例性示出本申请实施例提供的一种计算重要性指标值的示意图。在图3a中，模型参数压缩装置在获取第一模型的多个特征域分别对应的大小为V1*DIM，V2*DIM的表为特征域N对应的tableN。之后，模型参数压缩装置可以选取Total_Table中每个Embedding向量当前最后一位元素的数值的绝对值作为该Embedding向量对应的重要性指标值。然后，模型参数压缩装置在计算出每个Embedding向量对应的重要性指标值后，将Total_Table中包括的多个Embedding向量对应的重要性指标值拼接成重要性tens括的多个Embedding向量的总数量)个Embedding向量对应的重要性指标值作为重要性阈[0075]示例二：模型参数压缩装置可以先查询第一Embedding向量中位于倒数后几个维数压缩装置可以将倒数后几个维度位置的元素的数值的平均绝对值或加权平均绝对值作[0076]此外，下面通过以下几种可能的实现方式介绍模型参数压缩装置确定第一[0077]实现方式一：当第一Embedding向量对应的重要性指标值大于或等于重要性阈值未经过压缩，则第一Embedding向量的第一向量维度(即当前剩余维度)为64。如果第一Embedding向量经过压缩，则第一Embedding向量的第一向量维度为压缩后的当前剩余维Embedding向量对应的重要性指标值20大于重要性阈值18时，模型参数压缩装置可以将第一向量维度61与预设数值1进行加和处理，得到第二向量维度为62。再例如，以第一以将设定向量维度范围内的最大向量维度与第二向量维度的差值作为第一Embedding向量数压缩装置可以将最大向量维度64与第二向量维度62的差值2作为第一Embedding向量对维度范围时，模型参数压缩装置可以将最大向量维度与第三向量维度的差值作为第一差值0作为第一Embedding向量对参数压缩装置可以将第一Embedding向量的第一向量维度与预设数值(比如数值1)进行作指标值15小于重要性阈值18时，模型参数压缩装置可以将第一向量维度62与预设数值1进Embedding向量对应的重要性指标值15小于重要性阈值18时，模型参数压缩装置可以将第以将最大向量维度与第四向量维度的差值作为第可以将最大向量维度64与第四向量维度61的差值3作为第一Embedding向量对应的压缩维维度范围时，模型参数压缩装置可以将最大向量维度与第五向量维度的差值作为第一缩装置可以最大向量维度64与第五向量维度1的差值63作为第一Embedding向量对应的压[0090]模型参数压缩装置在确定多个Embedding向量中每个Embedding向量对应的压缩向量中确定的被压缩元素进行mask置零操作，比如，模型参数压缩装置可以将第二Embedding向量中数量为该压缩维度量的被压缩元素的数值均[0091]示例性地，以第一模型参数中包括5个Embedding向量(比如Embedding向量1、Embedding向量2、Embedding向量3、Embedding向量4和Embedding向量5)为例。其中，Embedding向量2中选择倒数后25个维度位置(比如最后25列)的元素作为被压缩元素。之后，模型参数压缩装置可以将该25个维度位置的被压缩元素的数值调整为0。针对Embedding向量3，模型参数压缩装置可以在Embedding向量3中选择倒数后35个维度位置参数压缩装置可以在Embedding向量5中选择倒数后50个维度位置(比如最后50列)的元素二Embedding向量中确定的被压缩元素进行mask[0094]实现方式一：模型参数压缩装置将在第二Embedding向量中确定的一个或多个被2个维度位置(即最后2列)的元素作为被压缩元素，并将该2个维度位置的被压缩元素的数[0096]实现方式二：模型参数压缩装置设置一个预设Embedding向量。其中，预设Embedding向量的维度与第二Embedding向量的初始维度相同，且预设Embedding向量中与三Embedding向量，即可实现对第二Embedding向量中的一个或多个被压缩元素进行掩藏(或可称为遮掩)mask置零操作。其中，第三Embedding向量即为mask置零操作后的第二[0099]模型参数压缩装置在分别将多个Embedding向量进行压缩处理后，可以计算多个缩处理后的第一模型参数更新到第一模型的Embedding层，并利用推荐业务的业务数据作Embedding向量2、Embedding向量3、Embedding向量4和Embedding向量5)为例。其中，向量3、Embedding向量4和Embedding向量5中分别包含的元素的总数量均为64，并假设Embedding向量1对应的压缩维度量为15，Embedding向量2对应的压缩维度量为25，Embedding向量3对应的压缩维度量为35，Embedding向量4对应的压缩维度量为40，缩装置根据Embedding向量2对应的压缩维度量25，可以确定Embedding向量2中数值为0的[0105]在一个示例中，模型参数压缩装置可以计算该5个Embedding向量中数值为0的元素的数量，即数值为0的元素的数量＝(15+25+35+40+50)＝165，并可以计算该5个置可以根据该5个Embedding向量中数值为0的元素的数量以及该5个Embedding向量中包含[0106]在另一个示例中，模型参数压缩装置可以计算该3个Embedding向量中数值不为0型参数压缩装置可以根据该5个Embedding向量中数值不为0的元素的数量以及该5个根据多个特征域向量组中每个特征域向量组中包括的至少一个Embedding向量对应的压缩[0109]模型参数压缩装置在计算多个特征域向量组中每个特征域向量组中包括的至少一个Embedding向量对应的压缩维度量后，针对多个特征域向量组中任一个特征域向量组向量组包括的至少一个Embedding向量对应的当前压缩维度量都变为该平均值或该加权平[0110]图3b示例性示出本申请实施例提供的一种计算特征域向量组对应的压缩维度量个Embedding向量对应的压缩维度量，特征域2对应的table2中包括的至少一个Embedding向量对应的压缩维度量，…,特征域N对应的tableN中包括的至少一个Embedding向量对应应的压缩维度量进行求平均计算，得到平均值dim1，该dim1作为特征域1对应的压缩维度均值dim2，该dim2作为特征域2对应的压缩维度量，…,对tableN中包括的至少一个Embedding向量3分别包含的元素的总数量均为64，Embedding向量1对应的压缩维度量为个示例中，模型参数压缩装置可以计算该3个Embedding向量对应的压缩维度量的平均值，即平均值＝(15+25+35)/3＝25，并可以将[0114]模型参数压缩装置在确定多个特征域向量组中每个特征域向量组对应的压缩维在第二特征域向量组包括的每个Embedding向量中确定的被压缩元素进行mask置零操作，比如模型参数压缩装置可以将该每个Embedding向量中数量为该压缩维度量的被压缩元素的数值均调整为0。应理解，模型参数压缩装置通过对任一个特征域向量组包括的每个Embedding向量中确定的被压缩元素进行mask置零操作，可以达到对该特征域向量组进行mask置零操作，该特征域向量组包括的每个Embedding向量的原始维度在压缩过程中或训置的被压缩元素的数值调整为0。针对Embedding向量2，模型参数压缩装置可以在Embedding向量2中选择倒数后25个维度位置(比如最后25列)的元素作为被压缩元素。之后，模型参数压缩装置可以将该25个维度位置的被压缩元素的数值调整为0。针对Embedding向量3，模型参数压缩装置可以在Embedding向量3中选择倒数后25个维度位置缩装置可以在Embedding向量4中选择倒数后45个维度位置(比如最后45列)的元素作为被二特征域向量组包括的每个Embedding向量中确定的被压缩元素进行mask置零操作的实现[0118]实现方式一：模型参数压缩装置将在第二特征域向量组包括的每个Embedding向[0119]例如，以第二特征域向量组包括2个Embedding向量(比如Embedding向量4和[0120]实现方式二：模型参数压缩装置设置一个预设Embedding向量。其中，预设预设Embedding向量中与第二特征域向量组包括的被压缩元素的维度位置相对应的元素的特征域向量组包括的每个Embedding向量中的被压缩元素进行m量进行相乘处理，得到处理后的Embeddi[0122]步骤207：模型参数压缩装置将压缩处理后的每个特征域向量组更新到第一模型[0123]模型参数压缩装置在对多个特征域向量组中每个特征域向量组包括的Embedding为预设训练轮次)、第一模型的预测准确率大于或等于目标准确率或第一模型的损失函数特征域向量组分别对应的压缩维度量，对训练好的第一模型中的Embedding层的第二模型包括的每个Embedding向量是将最后25个维度位置的元素进行mask置零操作；特征域向量组b中包括Embedding向量4和Embedding向量5，特征域向量组b包括的每个Embedding向量[0127]模型参数压缩装置将进行mask置零操作后的特征域向量组a和特征域向量组b作组a为例，特征域向量组a中包括的每个Embedding向量的最后25个维度位置的元素的数值参数1中包括的除被压缩元素以外的其它元素的数值(即)在训练过程中是不断变化的，直特征域向量组a中包括的每个Embedding向量的前面39个维度位置的元素的数值在训练过程中是不断变化的。再例如，以特征域向量组b为例，特征域向量组b中包括的每个Embedding向量的前面19个维度位置的元素的数值在训练过程中[0128]当第一模型满足训练终止条件后，针对模型参数2中包括的变化后的特征域向量据特征域向量组b对应的压缩维度量45，将变化后的特征域向量组b中包括的每个[0129]实现方式二：当第一模型满足训练终止条件后，模型参数压缩装置除了裁剪练好的第一模型中的位于Embedding层之后的模型层(比如全连接层)的稠密参数进行裁剪，得到裁剪后的稠密参数。其中，裁剪后的第二模型参数用于更新第一模型中的[0130]可选的，实现方式二中模型参数压缩装置裁剪Embedding层的第二模型参数的实施方式可以参见上述实现方式一中模型参数压缩装置裁剪Embedding层的第二模型参数的括两个参数(比如参数a和参数b)为例。其中，特征域向量组a中包括Embedding向量1、向量5，特征域向量组b包括的每个Embedding向量是将最后45个维度位置的元素进行mask置零操作；参数a中包括的向量的原始维度与特征域向量组a中包括的Embedding向量的原始维度相同，参数b中包括的向量的原始维度与特征域向量组b中包括的Embedding向量的[0132]模型参数压缩装置将进行mask置零操作后的特征域向量组a和特征域向量组b作[0133]当第一模型满足训练终止条件后，模型参数压缩装置裁剪模型参数2的实施过程Embedding层的第一模型参数的结构化压缩，从而可以使得第一模型达到比较好的推理加是对第一模型参数包括的每个Embedding向量进行向量级压缩，第二阶段是对第一模型参借助人工先验的频率信息，因此可以有效地降低因人工先验的频率信息而产生的人力成型中属于Embedding层的模型参数包括39个特征域向量组，每个特征域向量组包括至少一[0138]图4示例性示出本申请实施例提供的另一种模型参数压缩方法的流程示意图。该方法适用于图1所示意的应用场景。该方法流程可以是由模型参数压缩装置或者能够支持于Embedding层的模型参数经过第一次向量级压缩后的压缩率大于目标压缩率，则模型参模型在第2次训练结束后)，可以对DCN模型在第2次训练结束后属于Embedding层的模型参压缩后的压缩率大于目标压缩率，则模型参数压缩装置在确定DCN模型经过2次训练后(即结束后属于Embedding层的模型参数进行第三次向量级压缩，直至DCN模型中属于Embedding层的模型参数经过向量级压缩后的压缩率小于或等量进行第i次向量级压缩处理的实施过程可以参见上述步骤202至步骤203中模型压缩装置对第一模型参数中包括的多个Embedding向量中每个Embedding向量进行向量级压缩处理[0143]步骤403：模型参数压缩装置确定属于Embedding层的模型参数经过第i次向量级[0144]可选的，步骤403中模型参数压缩装置确定属于Embedding层的模型参数经过第i次向量级压缩后的压缩率的实施过程可以参见上述步骤204中模型参数压缩装置确定第一[0145]步骤404：模型参数压缩装置对DCN模型中属于Embedding层的模型参数进行域级[0146]可选的，步骤404中模型参数压缩装置分别对39个特征域向量组进行域级压缩的实施过程可以参见上述步骤205至步骤206中模型参数压缩装置分别对第一模型参数中包[0147]可选的，在执行完步骤404之后，模型参数压缩装置还可以执行步骤405至步骤406，通过执行步骤405至步骤406可以实现模型参数的有效压缩，且在第一模型的推理阶更新到DCN模型的Embedding层，并将推荐业务的业务数据作为训练样本对DCN模型进行训的模型参数进行训练DCN模型的实施过程可以参见上述步骤207中模型参数压缩装置基于[0151]可选的，步骤406中模型参数压缩装置基于39个特征域向量组分别对应的压缩维度量裁剪DCN模型包括的模型层的模型参数的实施过程可以参见上述步骤207中模型参数压缩装置基于多个特征域向量组分别对应的压缩维度量裁剪第一模型包括的模型层的模骤406提供的技术方案也可以由终端设备100在[0153]通过上述步骤401至步骤406可以看出，模型参数压缩装置在获取到DCN模型中属于Embedding层的模型参数后，通过对属于Embedding层的模型参数进行两个阶段的压缩，即第一阶段是对属于Embedding层的模型参数包括的每个Embedding向量进行向量级压缩，第二阶段是对属于Embedding层的模型参数包括的39个特征域向量组中的每个特征域向量对DCN模型包括的模型层的模型参数的被压缩位置进行补零操作，因此可以有效地减少计影响整体方案实现的步骤顺序改变或步骤合并或步骤拆分等操作，所形成的新的技术方案也在本申请公开的范围之内。示意的服务设备200(比如某一个具有模型参数压缩装置功能的计算设备或某一个具有模型参数压缩装置功能的计算设备集群等)，或者也可以是具有实现该方法所需的功能的其它任意设备(比如车载设备等)，或者也可以是图以上实施例提供的模型参数压缩装置方法，因此也能实现上述实施例所具备的有益效果。[0160]参见图5，模型参数压缩装置500包括获取模块501(或可称为收发模块或收发单向量维度增减模块、特征域长度计算模块或模型参重要性指标值计算模块，用于评估(或可称为计算或确定)标值的实施过程可以参见上述方法实施例中模型参数压缩装置获取每个Embedding向量对模块对每个Embedding向量进行向量级压缩的实施过程可以参见上述方法实施例中模型参特征域长度计算模块对每个特征域向量组进行域级压缩的实施过程可以参见上述方法实第一模型包括的模型层的模型参数进行裁剪的实施过程可以参见上述方法实施例中模型[0167]当模型参数压缩装置500用于实