CN113780479B 周期预测模型的训练方法及装置、周期预测方法、设备 （北京沃东天骏信息技术有限公司）

开发区科创十一街18号院2号楼4层本公开是关于一种周期预测模型的训练方史用户的历史订单行为序列以及历史订单中所述历史用户数据中的历史用户画像，构建数据行为序列以及历史用户画像输入至待训练的周2根据历史用户数据计算历史用户的历史订单行为序列以及历史订单中所包括的历史根据所述历史物品、实际复购周期、历史订单行为序列以及所述历将所述数据集中包括的历史物品、历史订单行为序列以及根据所述数据集中的实际复购周期以及预测复购周期构建第一提取所述历史用户数据中包括的历史物品，并根据历史物品所属的对所述历史物品的数量进行求和运算，得到所述历史物品的购买数量根据所述历史物品所属的不同层级的类目、购买数量以及时间位置从所述历史用户数据中提取所述历史订单中包括的历史物品的第一购买时间节点以根据所述第一购买时间节点以及与第一购买时间节点对应的上其中，将所述数据集中包括的历史物品、历史订单行为序列利用所述逻辑回归层对所述复购行为向量、物品特征以及用户特征进行逻辑回归处3对所述第一输出结果、所述行为序列特征以及所述物品特征利用所述注意力机制层中包括的第一多层全连接神经网络对所述第一拼接结果进行基于Word2vec对所述历史物品所属的不同层级的类目、购买数量对所述第一子向量、第二子向量以及第三子向量进行特征拼接，通过待训练的Bert模型对所述待处理序列进行预测，得到第一预第一预测结果以及遮盖的子向量对所述Bert模利用所述第二损失函数对所述待训练的Bert计算各所述Transformer模型对所述待处理序列的重要程度，并根据各所述重要程度8.根据权利要求4所述的周期预测模型的训练方法，其特征在于，对所述复购行为向对所述复购行为向量、物品特征以及用户特征进行拼接以及平铺处理利用所述逻辑回归层中包括的第二多层全连接神经网络将所述第二拼接结果投影到根据目标用户的用户标识，获取目标用户的目标用户数据，并根据从所述目标订单中确定目标物品，并将所述目标物品、目标订4项所述的周期预测模型的训练方法对待训练的周期预测基于所述复购周期以及所述目标用户对所述目标物品最后一第一计算模块，用于根据历史用户数据计算历史用户复购周期预测模块，用于将所述数据集中包括的历史物品、所述目标用户数据计算所述目标用户的目标订单行为序列；单行为序列以及所述目标用户数据中包括的目标用户画像输入至训练完成的周期预测模为通过权利要求1-8任一项所述的周期预测模型的训练方法对待训练的周期预测模型进行物品推荐模块，用于基于所述复购周期以及所述目标用户被处理器执行时实现权利要求1-8任一项所述的周期预测模型的训练方法以及权利要求9其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-8任一项所述的5[0007]本公开的目的在于提供一种周期预测模型的训练方法、周期预测模型的训练装关技术的限制和缺陷而导致的周期预测模型的精确[0009]根据历史用户数据计算历史用户的历史订单行为序列以及历史订单中所包括的所述第一损失函数对所述待训练的周期预测模型进行训练，得到训练完成的周期预测模6述历史订单行为序列。[0019]从所述历史用户数据中提取所述历史订单中包括的历史物品的第一购买时间节[0020]根据所述第一购买时间节点以及与第一购买时间节点对[0022]在本公开的一种示例性实施例中，所述待训练的周期预测模型包括第一词嵌入[0030]利用所述注意力机制层中包括的第一多层全连接神经网络对所述第一拼接结果7所述第一预测结果以及遮盖的子向量对所述Bert模型构建第与其对应的下一个Transformer模[0040]计算各所述Transformer模型对所述待处理序列的重要程度，并根据各所述重要[0043]利用所述逻辑回归层中包括的第二多层全连接神经网络将所述第二拼接结果投项所述的周期预测模型的训练方法对待训练的周期预测模型进所述目标物品的下一次推荐时间，并基于所述下一次的推荐时间对所述目标物品进行推期构建第一损失函数，并利用所述第一损失函数对所述待训练的周期预测模型进行训练，8根据所述目标用户数据计算所述目标用户的目标订单行为序列；标订单行为序列以及所述目标用户数据中包括的目标用户画像输入至训练完成的周期预模型为通过上述任意一项所述的周期预测模型的训练方法对待训练的周期预测模型进行所述计算机程序被处理器执行时实现上述任意一项所述的周期预测模型的训练方法以及[0066]图1示意性示出根据本公开示例实施例的一种周期预测模型的训练方法的流程9[0068]图3示意性示出根据本公开示例实施例的一种将所述数据集中包括的历史物品、[0069]图4示意性示出根据本公开示例实施例的一种第一词嵌入层的生成方法的流程[0071]图6示意性示出根据本公开示例实施例的另一种周期预测模型的训练方法的流程[0075]图10示意性示出根据本公开示例实施例的一种用于实现上述周期预测模型的训以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方五箱牛奶的时间间隔若均作为该用户对牛奶的单次复购间隔，会导致基础数据不够精确。[0084]步骤S110.根据历史用户数据计算历史用户的历史订单行为序列以及历史订单中[0086]步骤S130.将所述数据集中包括的[0087]步骤S140.根据所述数据集中的实际复购周期以及预测复购周期构建第一损失函虑到了历史订单行为序列，进而解决了现有技术中由于未考虑用户的历史订单行为序列，化预测用户-商品复购周期，从而解决推荐系统中推荐用户近期已买商品导致的用户体验首先基于Self-attention机制学习用户个性化复购习惯，然后基于Attention机制提取用户历史购买序列中与目标商品相关的购买信息，然后与用户画像和目标商品一同输入到序列。以将当前购买日期与训练数据最小购买日期做差值，从而得到时间位置(position)特征，标，训练样本提取规则为随机选取历史用户购买序列中某复购商品为历史物品(targetitem)，发生复购时间(repruchase_day)与上一次购买该cid4类历史物品的时间间隔作为列；所述Bert模型包括多个Transform在本示例实施例中，可以基于包括多个Transformer模型的Bert模型完成预训练，其中，向量、与购买数量对应的第二子向量和与时间位置对应的第三子向量；其次，由于基于Word2vec训练的embedding仅可以将限定窗口大小内的相似特征进行聚合，缺失更多上下embedding向量作为Transformer模型中的初始inputembedding，然后进行第二阶段预训输入到Transformer模型中，MLM训练方法将随机遮盖住(mask)购买记录的任意特征(特征对所述第一输出结果、所述行为序列特征以及所述物品特征进行拼接得到第一拼接结果；入层输出的物品embedding向量(行为[0120]此处需要补充说明的是，注意力(Attention)机制层能很好的聚焦用户历史上购零食等这些购买行为则相对而言应降权。Attention机制就是为了聚焦与目标商品相关的物品的embedding向量(物品特征)va以及用户画像向量(用户特征)做拼接及平铺操作，然周期预测结果period，反归一化公式为ypred*(max-min)+min，其中max为label中最大值，[0130]以下，结合图6对本公开示例实施例周期预测模型的训练方法进行进一步的解释[0135]本公开示例实施例提供的一种基于Attention机制的周期预测模型的训练方法，述所述的周期预测模型的训练方法对待训练的周期预测模型进行[0142]第一计算模块810可以用于根据历史用户数据计算历史用户的历史订单行为序列[0144]复购周期预测模块830可以用于将所述数据集中包括的历史物品、历史订单行为[0145]周期预测模型训练模块840可以用于根据所述数据集中的实际复购周期以及预测述历史订单行为序列。[0152]从所述历史用户数据中提取所述历史订单中包括的历史物品的第一购买时间节[0153]根据所述第一购买时间节点以及与第一购买时间节点对[0155]在本公开的一种示例性实施例中，所述待训练的周期预测模型包括第一词嵌入[0163]利用所述注意力机制层中包括的第一多层全连接神经网络对所述第一拼接结果得到待处理序列；[0168]损失函数构建模块，可以用于通过待训练的Bert模型对所述待处理序列进行预与其对应的下一个Transformer模[0173]计算各所述Transformer模型对所述待处理序列的重要程度，并根据各所述重要[0176]利用所述逻辑回归层中包括的第二多层全连接神经网络将所述第二拼接结果投期预测模型为通过上述任意一项所述的周期预测模型的训练方法对待训练的周期预测模[0181]物品推荐模块930，可以用于基于所述复购周期以及所述目标用户对所述目标物[0182]上述周期预测模型的训练装置以及周期预测装置中各模块的具体细节已经在对应的周期预测模型的训练方法以及周期预测方法中进行了详细的描述，因此此处不再赘块或者单元的特征和功能可以进一步划分为由多个模块或者单组件(包括存储单元1020和处理单元1010)的总线1030以及历史用户数据计算历史用户的历史订单行为序列以及历史订单中所包括的历史物品的实述所述的周期预测模型的训练方法对待训练的周期预测模型进行训练得到的；步骤S730：[0192]存储单元1020还可以包括具有一组(至少一个)程序模块10205的程序/实用工具得该电子设备1000能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制[0201]可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操