CN110427617A 推送信息的生成方法及装置 （阿里巴巴集团控股有限公司）

本说明书实施例提供一种推送信息的生成成模型，预测出至少一个字符序列作为候选文生成模型在预测作为候选文案的词汇序列的过程中通过指针分布对词表中的词汇概率分布进2依次将各个训练样本对应的源序列作为生成模型的输从文案库中匹配出包含超过预定数量的场景相关对文案库中的各个文案提取关键词，确定各个文案对应将匹配到的相关文案分别输入预先训练的分类模型，以确定各个相关文案的文案类5.根据权利要求1所述的方法，其中，所述生成模型包括编码神经网络和解码神经网将接收的源序列及所述编码神经网络根据源序列得到的输出结果在各个时刻向所述将所述解码神经网络在各个时刻的预测词汇分别与在后面添加一个序列结束标识的将所述指针分布权重作为所述词表中词汇的词汇分布概率的权重系数，将1与所述指针分布权重的差，作为当前时刻所述编码神经网络所接收词汇的词汇分布概率的权重系3依次将各个词向量输入预先训练的生成模型，根据所述语义向量和序列开始标识，通过所述解码神经网络的神经按照各个概率选择满足以下条件之一的字符序样本生成单元，配置为对各个相关文案分别进行关键词模型训练单元，配置为依次将各个训练样本对应的源4选择单元，配置为从所述候选文案中选择出符合条件的5[0003]自然语言处理(NaturalLanguageProcessing)可以用于研究能实现人与计算机用往往体现在如何根据被推送方信息和/或推送信息进行更精准、更具有针对性的信息推[0004]本说明书一个或多个实施例描述了一种基于自然语言处理生成推送信息的方法6经网络根据源序列得到的输出结果在各个时刻向所述解码神经网络的神经元传递，同时，将前面添加一个序列开始标识后的目标序列按顺序依次在各个时刻输入所述解码神经网[0019]按照各个概率选择满足以下条件之一的字符序列，7[0023]模型训练单元，配置为依次将各个训练样本对应的源序列作输入生成模型内的源序列中的关键词出现在8[0037]图5示出根据一个实施例的在生成推送信息过程中通过指针分布对词汇概率分布[0044]其中的生成模型可以是基于自然语言处理的神经网络，编码解码网络(Encoder-[0047]在本说明书实施例中，训练样本可以基于与当前场景相关的多个相关文案每个相关文案可以具有多个关键词作为样本特征，相关文案本身可以作为对应的样本标9[0053]在另一个实施例中，可以对文案库中的各个文案提取关键词(提取过程将在下文的相同词汇数目/场景相关词汇与第一文案的关键词的数目之和。当第一文案与场景相关以称为候选词。将每一个词作为一个节点建立图模型，节点与节点之间的边由词与词之间的共现决定。词与词之间的共现由一个固定大小的窗口(以选择序列到序列(Seq2seq)的模型作为生成模型，即编码解码网络(Encoder-Decoder)。汇形成的词汇序列或各个词汇对应的词向量固定长度的语义向量。然后将该语义向量传递给神经网络302，该语义向量通过神经网络[0075]输入隐状态加权生成contextvector(语境矢量，也就是前文所说的语义向量)定词表中各个词汇的分布概率。hsxptr是生成模型的在模型训练过程中进行调成模型的输出遵循该原则，根据一个可能的设计，还可以在指针生成器(Pointer[0095]其中，min(af,cf)表示当前词汇注意力向量af和历史注意力向量总和cf的[0100]图6示出根据一个实施例的推送信息的生成方法流程图。该方法的执行主体可以例如可以是，独热表示(one-hotrepresentation)、矩阵分布表示(GloveVector)、“是”作为在第二时刻神经网络302的神经元输入，同时将神经网络301得到的语义向量保“是”作为第二时刻的神经元输入时，得到各个词汇作为Y2输出的概率分布，例如为“我”[0123]其中，在生成模型中的解码神经网络通过集束搜索的方法预测词汇序列的情况[0128]根据一个实施例，可以在步骤603中最终输出的预定数量的概率最大的词汇序列)；k的概率。以LSTM神经网络为例，可以将训练样本的各个句子拆分得到的字符单元对应的字符向量，率1作为标签调整模型参数，从而对LSTM神经网络进行训练。对字符单元序列P(S)＝W1，符序列，可以筛选出通过预测模型预测的概率最大的预定数量(如1个)的字符序列作为待推送目标的推送信息，也可以筛选出通过预测模型预测的概率超过[0135]根据再一个实施例，还可以先对步骤603中确定的至少一个词汇序列按照是否完[0136]根据其他实施例，还可以通过人工在步骤603得到的候选文案中筛选出符合需求[0147]将编码神经网络接收的源序列及根据源序列得到的输出结果在各个时刻向解码[0148]将解码神经网络在各个时刻的预测词汇分别与在后面添加一个序列结束标识的[0149]在进一步的实施例中，解码神经网络在第一个时刻的输出结果是预定数量的词刻的输出结果基于根据注意力机制确定的词表中当[0150]假设第一时刻的指针分布权重与当前时刻的神经元状态、当前时刻神经元输出、模型训练模块通过指针分布对词表中的词汇概[0151]将指针分布权重作为词表中词汇的词汇分布概率的权重系数，将1与指针分布权[0153]值得说明的是，图7所示的装置700是与图2示出的方法实施例相对应的装置实施[0161]按照各个概率选择满足以下条件之一的字符序列，[0162]值得说明的是，图8所示的装置800是与图6示出的方法实施例相对应的装置实施以将这些功能存储在计算