CN114417086B 基于强化学习策略的人机交互训练方法及装置 （贝壳找房(北京)科技有限公司）

基于强化学习策略的人机交互训练方法及本申请提供一种基于强化学习策略的人机模型的交互过程中，所述第二模型输出回复内2获取以目标样本集为训练样本训练得到的第一模型；所述目在所述第二模型与所述第一模型的交互过程中，所述第二模型所述基于所述第二模型输出的回复内容对所述交互过程的评价指标的在所述第二模型为生成模型的情况下，根据第二回报函数计算将所述模拟即时通信交互产生的对话内容进行分割后输入到Bert模型将每个句子的上下文向量与每个句子对用户转委托概率的影响进行构建所述第二模型，并通过初始交互内容引导所将所述第二模型输出的回复内容作为所述第一模型的输入，并将3在所述第二GPT模型与所述第一模型的模拟即时通信交互过程中，将所述第一模型输其中，所述第二回复内容包括第二对象信息；所述第二对象获取模块，用于获取以目标样本集为训练样本训练得到的第一模型构建模块，用于构建第二模型，使用所述第二模型与所调整模块，用于在所述第二模型与所述第一模型的交互所述调整模块，具体用于在所述第二模型为生成模型的情况下所述调整模块，具体还用于将所述模拟即时通信交互产生的对话内7.一种电子设备，包括存储器、处理器及理器执行时实现权利要求1至5中任一项所述基于强化学习策略的人机交互训练方法的步4的训练样本中的每个样本均包括类别信息；所述类别信息用于对样本的交互内容进行分5数为基于所述第二GPT模型构建的强化学习策并通过初始交互内容引导所述第二模型与所述第一模型基于所述初始交互内容开始进行6容的相似度满足预设相似度的第二交互内容；所述第一交互内容包括所述第一回复内容；基于所述排序模型构建的强化学习策略使用信息用于指示所述第二回复内容符合所述第二第二回报函数为基于所述第二GPT模型构建的强化学习被处理器执行时实现如上述任一种所述基于强化学习策略的人机交互训练机程序被处理器执行时实现如上述任一种所述基于强化学习策略的人机交互训练方法的7象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互[0035]强化学习的常见模型是标准的马尔可夫决策过程(MarkovDecisionProcess,解强化学习问题所使用的算法可分为策略搜索算法和值函数(valuefunction)算法两类。[0036]强化学习理论受到行为主义心理学启发，侧重在线学习并试图在探索-利用8[0038]可以理解的是，由于强化学习策略用于达成回报最大化[0053][CLS]你想要多少钱的房子[SEP][city_110000][type_刚需]我想要五百万的房[0054]可以理解的是，训练GPT的每个样本可以包括多个语句，且各个语句之间通过[0055]平台的聊天机器人在与用户的交过过程中收集的大量交互数据包括了用户所属9[0064]可以理解的是，强化学习是一种为了实现特定目标而对模型进行训练的学习方[0078]步骤103a2、从检索库中筛选出与当前交互过程对应的第一交互内容的相似度满筛选出与该第一内容的上下关联度最高的待回复内输出内容的上下文关联度，可以获取包含排序模型筛选得到的回复内容的第一交互内容，排序模型从多个候选回复中筛选出的回复内容，s1至sn表示的是当前交互过程中发生的对[0092]特征4、衡量候选回复内容中的每个候选回复在上述真实对话上下文(即上述s,1[0098]其中，所述第二GPT模型的训练样本中的每个样本均包括第一对象信息以及场景[0100][CLS][city_11二对象信息以及场景信息，使得第二GPT模型生成的回复内容中可以包含第二对象信息以上述action_price表示生成的回复内容的是与[0108]其中，所述第二回报函数为基于所述第二GPT模型构建的强化学习策略使用的回[0111]R=λ1f(PPL)+λ2f(M[0122]loss＝-[ylog(sigm[0125]如图3所示，首先将上述模拟对话上下文(即s1至sn中各个对话内容)分割为词汇该句子的模型对应的随机向量DelImp或UerWill进行综合计算，得到每个句子对应的转例中以基于强化学习策略的人机交互训练装置执行基于强化学习策略的人机交互训练方[0133]图4为本申请一实施例提供的基于强化学习策略的人机交互训练装置的结构会示第一回报函数为基于所述排序模型构建的强化学[0138]可选的，所述构建模块402，具体用于使用所述目标样本集作为训练样本对第二对象信息用于指示所述第二回复内容符合所述第二对述第二回报函数为基于所述第二GPT模型构建的强化学习策略使用[0143]此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单以对前述各