CN114722198B 产品分类编码确定方法、系统及相关装置 （金蝶软件（中国）有限公司）

科技南十二路2号金蝶软件园A座1-8层本申请实施例公开了产品分类编码确定方训练样本对初始分类模型进行机器学习训练得类产品名称对应的产品分类编码及未分类产品能预判出目标产品所属的产品类别及其对应的称就能快而准地自动识别出产品对应的产品分2获取预先训练完成的目标分类模型，所述目标分类模型由训练将所述目标产品全称特征输入所述目标分类模型，以输出所述目标对应关系确定的目标分类编码，所述目标分类编码用于表示目标产品所属的产品类所述输出所述目标分类模型依据所述目标对应关系确定的目标分类编获取训练样本，所述训练样本包括已分类产品名称特征、所述已使用所述训练样本对所述初始分类模型进行机器学习训练，以获取已分类产品全称和未分类产品全称，并对所述已分类产品全确定每一所述名称分词在产品词库中以稀疏向量形式表示的通过词嵌入生成模型将稀疏向量形式的位置索引初始值，转换为稠索引映射值，所述位置索引映射值作为训练样本中的产品名称特征用于训练初始分类模所述文本清洗包括：将已分类产品全称和未分类产品全称中的字母统一切所述分词处理包括将清洗后的产品名称划分成至少一个名称分获取目标产品全称，并对所述目标产品全称进行包括文本清洗3根据所述目标名称分词，转换得与所述已分类产品名称特征同将与所述已分类产品名称特征同向量维度的目标产品全称特征，输入若判断结果为不满足，则将由各目标名称分词中词性为名词将对应相同产品类别的全文式概率值和局部式概率值进行加权融合大融合结果的产品类别所匹配的分类编码为所述若判断结果为是，则直接输出目标产品全称在所述词典文获取单元，用于获取预先训练完成的目标分类模型，所述目标分所述处理单元，还用于将所述目标产品全称特征输入所述目标分标产品所属的产品类别；所述处理单元具体用于：当输入所述目标分类模型的目标产品全称特征由接词获得时，判断所述目标对应关系输出的K个全文式概率值中的最大概率值是否满足全判断结果为满足，则确定所述最大概率值对应的产品类别为目标产品所属的目标产品类所述中央处理器配置为与所述存储器通信，并执行所述存储器中的指45类别。[0009]可选地，所述将对应相同产品类别的全文式概率值和局部式概率值进行加权融6示目标产品所属的产品类别。[0019]所述处理单元，还用于使用所述训练样本对所述初始分类模型进行机器学习训[0025]将已分类产品全称和未分类产品全称中的字母统一切换为仅大写形式或仅小写述K为自定义设置的非零整数，所述目标名称拼接词通过拼接用于组成目标产品全称的多7应最大融合结果的产品类别所匹配的分类编码为所述目行本申请实施例第一方面或第一方面的任一具体实现方式所[0052]本申请实施例的目标分类模型由训练样本对初始分类模型进行机器学习训练得8包含实际使用中真实出现过的语言材料，这些材料通常经过整理具有既定的格式与标记；以词嵌入有时又被叫作“word2vec"；它是自然语言处理中语言模型与表征学习技术的统[0063](5)Docker服务：Docker是一个开源的应用容器引擎，基于go语言并遵从9定目标分类编码，即进入模型预测处理阶段(具体可区分为全文分类式和局部分类式两种确定好分类编码的产品是大批量的(文中或称为标注产品)，为此有必要将无标注产品数12对这些预作为训练样本数据的产品名称进行如下的特征[0087](1)对已分类产品全称和未分类产品全称进行文本预处理，以得到用于组成每一率统计出的产品类别及其分类编码，并不会细化到产品型号或口味等细微的差异性类别[0090]实际应用中，文本清洗的过程具体还可以包括剔除产品全称中的虚词(如助词或连词)等对分类结果意义不大的词汇，以避免后续占用系统资源去处理这些词汇及影响预[0094](3)通过词嵌入生成模型(具体为来自词嵌入生成模型的Embedding矩阵)将稀疏组位置索引初始值迭代训练跳字模型skip-gra时间步为t-1网络单元的输出，最后对每个时间步的上文和下文信息进行编码得到输出行全连接映射，最后使用Softmax归一化，得到各产品名称特征属于各产品类别的概率，j为全连接层输出。数据和大量的未标记数据来进行模式识别工作。监督训练算法(如最大似然和对抗训练算件熵越小模型越稳定效果越好，熵最小化损失以无监督的方式应用于标注和未标注数据。扰动后模型输出的类别概率的Kullback-Leibl[0114]示例性地，最后真正用于模型调参的混合目标损失函数(混合应用上述四种学习[0115]LMIXED=λMLLML+λATLAT+λEMLEM+λVATLVAT，[0123]将与已分类产品名称特征同向量维度(300维稠密向量形式)的目标产品全称特应最大融合结果的产品类别所匹配的分类编码为目过滤得满足融合结果条件的融合结果，其中各概率小计值和/或各融合结果可分别进行大"L」"表示将数值向下权融合的公式还可以为：类别a的全文式概率值×n％+类别a的局部式概率值×(1-n％)=整个系统的性能上，单次调用的时间稳定维持在几十ms左右，最后本系统方法可采用[0136]请参阅图3，本申请第二方面提供一种产品分类编码确定系统的一个实施例，包括一个或一个以上模块，每个模块可以包括对产品分类编码确定装置中的一系列指令操[0144]该中央处理器401可以执行前述第一方面或第一方面的任一具体方法实施例所执[0150]所述