CN119293148B 基于记忆增强的长文本用户意见理解方法及系统 （广东省众创科技实业有限公司）

道江湾一路18号佛山科学技术学院后基于记忆增强的长文本用户意见理解方法本发明提供基于记忆增强的长文本用户意2对记忆增强型神经网络模型输出的意见摘要和关键词进行后处理，得到规对于层次化编码器的每一层，使用门控循环单元对输入进行序列建使用多头注意力机制计算隐藏状态序列与记忆矩阵的匹配度，将记忆读出向量与隐藏状态序列拼接，作为下一层编码器的输在解码器中，使用门控循环单元对记忆读出向量进行序列将上下文向量与解码器隐藏状态拼接，经过线性变换和归一化指数函数3所述层次化编码器，用于接收输入的长文本用户意见，通过字符级卷所述指针生成网络，以键值记忆网络增强后的多粒度层次语义表示为将输入文本编码为隐藏状态序列，初始化解码器的隐藏状态计算每个候选序列的得分，包括对数似然得分和基于长度重复解码步骤，直至达到最大长度或候选集合中所有序列根据关键词在意见文本集合中出现的数量，计算每个关键词的文档基于关键词的文档频率和意见文本总数，通过取对数运算，计4统计每个关键词在对应的意见摘要中出现的次数，将关键词的词频与逆文档频率相乘，得到综合考虑关键词在摘要中根据关键词的TF_IDF值，对意见摘要中的所有关键词进行降序排序，选根据意见信息中识别出的实体和关系，构建简单协议和资源描述框架查询语言将检索得到的三元组知识与知识库中预定义的IF_THEN形式的推理规则进行匹配，通对推理过程中产生的知识进行一致性检查，通过基于规则的置信度将推理得到的新知识与原有的意见实体和关系进行融合，考虑知结合用户对系统应答的反馈评分和预训练的对话质量评估模型，设计状态_动作对上将训练好的价值网络通过模型压缩、知识蒸馏技术转换为8.基于记忆增强的长文本用户意见理解系统，用于实现前述权利要求1_7中任一项所5第二单元，用于对记忆增强型神经网络模型输出的意见摘其中，所述处理器被配置为调用所述存储器存储的指令，以执行程序指令被处理器执行时实现权利要求1至7中任意6文本用户意见常常包含多个话题或观点，不同话题之间存在复杂的语义关联和上下文依7注意力权重矩阵对值矩阵进行加权求和得到注意力输出矩阵，拼接得到多头注意力输出，增强记忆增强型神经网络模型捕捉文本与记忆之间多样化交互的能力，得到记忆读出向8[0028]重复解码步骤，直至达到最大长度或候选集合中所有序[0039]根据意见信息中识别出的实体和关系，构建简单协议和资源描述框架查询语言[0040]将检索得到的三元组知识与知识库中预定义的IF_THEN形式的推理规则进行匹9[0052]将训练好的价值网络通过模型压缩、知识蒸馏技术转换为轻量化的在线决策模机制动态更新记忆，用于存储长期上下文信息并对层次化编码器提取的语义特征进行增[0056]第二单元，用于对记忆增强型神经网络模型输出的意见摘要和关键词进行后处[0066]本文通过基于知识推理的深层次意见理解,充分利[0071]图1为本发明实施例基于记忆增强的长文本用户意见理解方法的流程示意图，如[0072]S1.获取待理解的长文本用[0073]S2.对记忆增强型神经网络模型输出的注意力权重矩阵对值矩阵进行加权求和得到注意力输出矩阵，拼接得到多头注意力输出，增强记忆增强型神经网络模型捕捉文本与记忆之间多样化交互的能力，得到记忆读出向[0083]层次化编码器采用多层堆叠的门控循环单元(GRU)对输入文本进行序列建模，逐[0090]接下来，使用多头注意力机制计算隐藏状态序列Hl与外部记忆矩阵M之间的语义[0095]键值记忆网络用于存储和检索外部知识，为模型提供相关的背景信息和领域知[0105]然后，使用多头注意力机制计算解码器隐藏状态与编码器输出H之间的注意力分[0108]为了实现指针机制，引入指针概率pptr表示从输入文本中复制词的概率，通过务"、"位置"等关键词对应的知识向量。假设记忆矩阵M的形[0118]在解码器中，使用多头注意力机制计算解码器隐藏状态与编码器输出H之间的注[0133]最后，通过段落级门控循环单元(GRU)提取段落级全局特征。将句子级特征作为感哈希算法实现快速检索。读写控制器通过注意力机制和门控机制实现记忆的读取和写[0142]指针生成网络使用注意力机制的解码器针对摘要生成任务和关键词提取任务分[0143]解码器采用GRU作为基本单元，在每个时间步通过注意力机制计算当前解码状态与编码器输出之间的注意力权重，将注意力权重与编码器输出加权求和得到上下文向量。然后，将上下文向量与当前解码状态拼接，经过线性变换和softmax函数得到生成概率分[0146]为了生成质量更高的摘要和关键词，指针生成网络采用集束搜索算法进行解集束搜索算法在每个时间步保留束宽(beamsize)个最优候选序列，通过扩展候选序列并选择得分最高的前beamsize个序列来逐步生成解释的意见摘要和关键词。[0157]重复解码步骤，直至达到最大长度或候选集合中所有序惩罚因子则会抑制生成过长的序列。键词序列。[0180]示例性的，为了提高意见摘要的质量和TF_IDF的后处理方法,对记忆增强型神经网络模型输出的意见摘要和关键词进行优化和筛选,得到规范化的结构化意见信息。下面将详细介绍基于TF_IDF的关键词筛选和摘要优化[0181]首先,统计每个关键词在整个意见文本集合中出现的文档数量,即文档频率[0182]基于关键词的文档频率和意见文本总数,计算每个关较少文档中的关键词通常具有更高的区分度。通过取对数运算,可以得到关键词的逆文档[0184]将关键词的词频与逆文档频率相乘,得到综合考[0185]根据关键词的TF_IDF值,对意见摘要中的所有值最高的若干个关键词作为最终的关键词筛选结果,通常选择Top_K个关键词,其中K可以根据实际需求进行调整。筛选出的关键词能够突出反映意见摘要的核心内容,同时具有较摘要内容进行匹配,确保摘要中包含这些关键词,并适当调整摘要的表达,使其更加简连贯和突出关键信息。优化后的摘要能够更好地体现关键词所代表的核心内容,提高摘要[0187]下面给出一个具体的数据案例来说明基于TF_IDF的关键词筛选和摘要优化的应[0204]根据上述意见文本和摘要,计算关[0217]通过基于TF_IDF的关键词筛选和摘[0220]根据意见信息中识别出的实体和关系，构建简单协议和资源描述框架查询语言[0221]将检索得到的三元组知识与知识库中预定义的IF_THEN形式的推理规则进行匹[0225]示例性的，为了实现对意见信息的深层次理的方法,利用业务领域知识库中的本体和规则,通过知识检索、规则推理和本体推理等技[0226]首先,根据意见信息中识别出的实体和关系,构建简单协议和资源描述框架查询语言(SPARQL)查询语句,从以资源描述框架(RDF)格式存储的知识库中检索与实体和关系宾语"的三元组查询模式,利用SPARQL语句在RDF知识库中进行匹配和检索,得到与意见信[0227]将检索得到的三元组知识与知识库中预定义的IF_THEN形式的推理规则进行匹配,通过前向推理或后向推理算法触发规则,根据规则的后件生成新的三元组知识。具体地,遍历知识库中的推理规则,将三元组知将检索到的三元组知识与该规则进行匹配,触发规则,根据规则的后件生成新的三元组知[0237]根据实体"酒店"的类别属性,通过本体推理可以得到该酒店属于"宾馆"类别,进一步可以推断出该酒店可能是"五星级宾馆"或"四星级宾馆"。基于这些类别层次关系,可[0238]对推理过程中产生的知识进行一致性检查,通过基于规则的置信度比较,自动识[0242]这两个三元组知识存在属性值冲突,即同一个[0246]这两个三元组知识存在类别归属冲突,即酒店不[0247]将推理得到的新知识与原有的意见实体和关系形成意见理解报告。具体地,将推理得到的新知识与原有的意见实体和关系构建有向无环[0248]例如,对于意见信息"这家酒店的房间很宽敞,床也很舒适",经过知识推理和融[0258]该意见反映了用户对某家酒店房间的评价。[0259]本文通过基于知识推理的深层次意见理解,充分利[0268]将训练好的价值网络通过模型压缩、知识蒸馏技术转换为轻量化的在线决策模[0269]示例性的，为了提高人机交互的质量和用学习的人机交互优化方法,通过动态调整系统的应答策略,实现对用户反馈的自适应学习[0270]首先,将意见交互过程建模为马尔可夫决策过程(MarkovDecisionProcess,[0272]系统应答历史:表示系统在之前几轮交互中的应答内容和类型,可以使用循环神[0273]用户反馈:表示用户对系统应答的评价和反馈,可以是显式的评分或隐式的情感[0282]动作1:"根据大多数用户的评价,这家酒店的房间总体很不错,宽敞舒适,床品质[0286]动作4:"大部分用户对床品质量表示满意,不过个别用户反映床垫太软,不够支[0296]结合用户对系统应答的反馈评分和[0304]例如,假设对话质量评[0307]采用函数近似的方法表示状态一动作采用多层感知机、卷积神经网络或循环神经网络等,根据状态表示的特点选择合适的网络络参数通过最小化时序差分误差进行优化,即最小化当前状态一动作对的估计价值与下一[0309]网络参数通过梯度下降算法进行更新,将价值估计值逐步逼近真实值,从而得到[0310]利用经验回放机制进行离线策略学习,将交互过程中产生的状态转移样本(s,a,并转移到下一状态,通过随机采样回放样本来更新价值网络参数。经验回放可以打破样本在每次与用户交互后,将新产生的样本添加到回放池中,并从中随机采样一个小批量的样[0312]例如,设置经验回放池大小为10000,每次采样批量大小为64。在每次交互后[0320]如果p＝0.05,小于ε=0.1,则随机选择一个动作,假设选择了动作2。如果p=[0321]经过多轮交互和策略改进,系统的应答策略会不断优化,选择更加合理和有效的模型能够以更低的计算代价实现与教师模型相近的[0324]例如,将原始的价值网络模型压缩为一个三层的多层感知机,隐藏层维度从64减计算交叉熵损失,同时对学生模型的输出施加L2正则化,使