CN114118451B 智能交互模型的训练方法、交互方法、装置及设备 （平安科技（深圳）有限公司）

道福安社区益田路5033号平安金融中本申请公开了一种智能交互模型的训练方对若干组第一输入语句和第一输入语句对应的2将所述第一输入语句输入到所述智能交互模型中，通过各根据所述匹配评分确定奖励值，通过所述奖励值对所述中控子模型进行强化学习训其中，所述对若干组所述第一输入语句和所述第一输入语对多组所述第一输入语句和所述第一输入语句对应的目标输出语句进行内容匹配分对多组所述第一输入语句和所述第一输入语句对应的目标输出语句进行场景匹配分将本轮次交互的第一输入语句输入到所述智能交互模型中，根据根据所述历史交互信息，通过各个所述子交互模型对所述本轮次交确定每组所述第一输入语句和所述第一输入语句对应的目标输出语句所处的交互轮根据预设的匹配轮次，选取多组所述交互轮次靠后的所述第一输述第一输入语句和所述第一输入语句对应的目标输出语句进行匹配分析，得到匹配评分，对每组所述第一输入语句和所述第一输入语句对应的目根据每组所述第一输入语句和所述第一输入语句对应的目标输出语句所处的交互轮3一输入语句对应的目标输出语句的初始评分的加权权重和所述交互轮次根据所述第一特征信息进行语义分析，得到所述目标输出语句文本检测结果用于表征所述目标输出语句中的文本内容是否确定所述第一特征信息和所述第二特征信息根据所述第一特征信息进行场景分析，得到所述目标输出语句场景检测结果用于表征所述目标输出语句所属的预设根据所述场景检测结果和场景标签确定所述初将所述第一特征信息输入到意图分析模型，得到所述意图分所述对若干组所述第一输入语句和所述第一输入语句对应的目标输出语句进行匹配根据所述第一输入语句对应的目标输出语句，确定所述中控子模根据所述目标子交互模型和所述第一输入语句的标签的匹配关系，确定所述匹配评4将所述第三输入信息输入到如权利要求1-9中任一项所述的智能交互模型的训练方法预测模块，用于将所述第一输入语句输入到所述智能交互模型中，评分模块，用于响应于匹配指令，对若干组所述第一输入语句和所述第更新模块，用于根据所述匹配评分确定奖励值，通过所述奖励值其中，所述对若干组所述第一输入语句和所述第一输入语对多组所述第一输入语句和所述第一输入语句对应的目标输出语句进行内容匹配分对多组所述第一输入语句和所述第一输入语句对应的目标输出语句进行场景匹配分利要求1-9中任一项所述的智能交互模型的训练方法或者实现如权利要求10所述的交互方理器可执行的程序在由处理器执行时用于实现如权利要求1-9中任一项所述的智能交互模型的训练方法或者实现如权利要求10所述的56[0018]确定每组所述第一输入语句和所述第一输入语句对应的目标输出语句所处的交[0021]对每组所述第一输入语句和所述第一输入语句对应的目标输出语句进行匹配分[0022]根据每组所述第一输入语句和所述第一输入语句对应的目标输出语句所处的交述第一输入语句对应的目标输出语句的初始评分的加权权重和所述交互轮次的大小正相[0025]根据所述第一特征信息进行语义分析，得到所述目标输出语所述文本检测结果用于表征所述目标输出语句中的文本内容是否属于预定格式的自然语[0029]提取所述目标输出语句的第一特征信息，提取所述标准交互语句的第二特征信[0034]根据所述第一特征信息进行场景分析，得到所述目标输出语所述场景检测结果用于表征所述目标输出语句所属的预设场景类别；7型通过和所述标签对应的训练数据集训练得[0040]所述对若干组所述第一输入语句和所述第一输入语句对应的目标输出语句进行[0044]对多组所述第一输入语句和所述第一输入语句对应的目标输出语句进行内容匹[0045]对多组所述第一输入语句和所述第一输入语句对应的目标输出语句进行场景匹[0050]将所述第三输入信息输入到上述的智能交互模型的训练方法训练得到的智能交8第一输入语句输入到智能交互模型中，通过各个子交互模型对第一输入语句进行交互预[0068]图4为本申请实施例中提供的一种智能交互模型的训练方法中确定强化学习奖励[0072]图8为本申请实施例中提供的一种智能交互模型的训练方法中内容匹配分析的示[0073]图9为本申请实施例中提供的一种智能交互模型的训练方法中场景匹配分析的示9技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，提供基于区块链方案的应用服务给业务参与方进行使用。信息回答用户提问的泛问答系统，能够比较轻松地从海量信息中确认出用户需要的内容。[0090]图1是本申请实施例提供的一种智能交互模型的训练方法的实施环境示意图。参存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(ContentDelivery互模型包括有中控子模型和多个不同的子交互模型，图2中示出的智能交互模型包括有三[0097]图3是本申请实施例提供的一种智能交互模型的训练方法的流程图，该方法的执行主体可以是操作终端或者服务器中的至少一者，图3中以该智能交互模型的训练方法配过程中的内容需要选择的，这种训练方式虽然一定程度上增加了训练数据的处理复杂度，将目标输出语句作为智能交互模型对第一输入语句句执行步骤120，具体的挑选方式可以按照语句的个数或者在第一输入信息中的占比来确[0109]步骤140：根据匹配评分确定奖励值，通过奖励值对中控子模型进行强化学习训性能以及中控子模型从多个初始输出语句准确选择合适的目标输出语句的性能。对于前理是如果智能体(agent，即本申请中的中控子模型)的某个行为策略导致环境产生正的奖输入语句得到的特征信息，通过计算或者映射得到可以表征语句库中某个语句的输出结果此时子交互模型输出的语句内容所处的语境为提问场景(比如子交互模型输出的语句是函数(CostFunction)来衡量训练数据集的整体误差，代价函数是定义在整个训练数据集个(或者多个)子交互模型可以是专门针对答复场景下的需求训练得到的，另一个(或者多交互信息，即可以确定到历史交互信息包括智能交互模型和用户在第6轮交互至第10轮交征信息输入到子交互模型中进行交互预测，具体的特征信息的融合方式可以包括数据拼[0131]步骤131：确定每组第一输入语句和第一输入语句对应的目标输出语句所处的交一个输入的第一输入语句和对应其的目标输出语句所处的交互轮次为第1轮，最后一个输[0136]步骤133：对每组第一输入语句和第一输入语句对应的目标输出语句进行匹配分[0137]步骤134：根据每组第一输入语句和第一输入语句对应的目标输出语句所处的交应的目标输出语句的初始评分的加权权重和交互轮次的到初始评分时，可以基于第一输入语句和目标输出语句在内容层面上的匹配关系进行分文本检测结果用于表征目标输出语句中的文本内容是否于某些经常出现的交互内容，可以按照出现的频次将其中的部分语句选作标准交互语句；对于部分具有明确答案或者回复的话题，也可以将标准的答案和回复作为标准交互语句。[0158]在建立好标准交互语句库时，可以基于它对智能交互模型的交互性能进行评和预定的函数确定出初始评分的数值，该函数使得相似度和初始评分之间为正相关关系，[0164]在一些实施例中，第一输入语句带有场景标签，步骤133可以包括但不限于步骤场景检测结果用于表征目标输出语句所属的预设[0170]在一些更细节的实施例中，本申请的步骤1338可以包括但不限于步骤13381至步[0176]根据每组第一输入语句本身携带的场景标签和对应的目标输出语句的场景检测[0178]步骤135：对多组第一输入语句和第一输入语句对应的目标输出语句进行内容匹[0179]步骤136：对多组第一输入语句和第一输入语句对应的目标输出语句进行场景匹航APP的后台服务器中，用户的语音数据通过自动语音识别技术(AutomaticSpeech[0198]可以理解的是，图3所示的智能交互模型的训练方法实施例中的内容均适用于本3所示的智能交互模型的训练方法实施例或者[0203]可以理解的是，如图3所示的智能交互模型的训练方法实施例或者图10所示的交的功能与如图3所示的智能交互模型的训练方法实施例或者图10所示的交互方法实施例相同，并且达到的有益效果与如图3所示的智能交互模型的训练方法实施例或者图10所示的序，处理器可执行的程序在由处理器执行时用于实现如图3所示的智能交互模型的训练方[0205]可以理解的是，如图3所示的智能交互模型的训练方法实施例或者图10所示的交实施例所具体实现的功能与如图3所示的智能交互模型的训练方法实施例或者图10所示的交互方法实施例相同，并且达到的有益效果与如图3所示的智能交互模型的训练方法实施例或者图10所示的交互方法实施例所达到的[0206]在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提以及其中被描述为较大操作的一部分的子操作被独软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介者特点可以在任何的一个或多个实施方式或示例中以合适