CN114344912B 动作指令生成方法、动作决策模型的训练方法及装置 （腾讯科技（深圳）有限公司）

本发明实施例公开了一种动作指令生成方动作决策模型生成的第一标签和第二标签分别以更好地适应参与对象数量较多且针对虚拟角通过获取目标结果信息来确定目标函数的奖励2获取参与游戏对局的多个参与对象的第一对象特征，获取多个所二对象特征包括所述目标对象在所述第三区域中的虚拟角色的第将所述第一对象特征和所述第二对象特征输入至动作决策模型根据所述第一标签和所述第二标签生成所述目标对象的所述获取参与游戏对局的多个参与对象的第一对象特征，获取确定所述游戏对局的虚拟角色的种类数量，确定所述第或者，确定所述游戏对局的虚拟角色的种类数量，确定所述对除了所述目标对象以外的其他参与对象的所述第一对象特对所述第三对象特征、所述目标对象的所述第一对象特征和所述第二对象3.根据权利要求1至2任意一项所述的动基于所述动作决策模型的第一分类器对所述拼接对象特征进行或者，基于所述动作决策模型的第一分类器对所述拼接对象特第一标签，根据所述第一标签从所述动作决策模型的多个第二分类器中确定目标分类器，基于所述动作决策模型的第一分类器对所述拼接对象特征进行分类3确定所述游戏对局当前所处的运行阶段，根据所述运行阶段5.根据权利要求1所述的动作指令生成方法，其特征在于，所述第二标签的数量为多根据所述目标动作类型从多个所述第二标签中确定目标标签，根根据所述目标动作类型和所述目标动作类型对应的动作对从所述目标对象控制的虚拟角色中确定第一目标根据所述第一目标虚拟角色的角色属性与所述目标虚拟道具的道具属性之间的匹配从预设的多个配置阵型中确定目标阵型，其中，所述目标阵型用于表根据所述初始槽位和所述目标阵型生成所述目标对象的获取参与游戏对局的多个参与对象的第一样本特征，获取多个所二样本特征包括所述目标对象在所述第三区域中的虚拟角色的第将所述第一样本特征和所述第二样本特征输入至动作决策模型根据所述第三标签和所述第四标签生成所述目标对象的获取所述目标对象执行所述训练动作指令后的目标结果信所述获取参与游戏对局的多个参与对象的第一样本特征，获取确定所述游戏对局的虚拟角色的种类数量，确定所述第4或者，确定所述游戏对局的虚拟角色的种类数量，确定所述确定所述目标结果信息对应的第一奖励值，所述目标结果信息包括所述目标对象当前回合的排名结果和所述目标对象控制的虚拟角色之间的关联属性中的根据所述第一奖励值得到所述目标函数的所述确定所述目标对象的剩余生命值在当前回合结束时的第一变或者，确定所述目标对象的虚拟货币的利息值在当前回或者，确定所述目标对象当前回合的排名结果对或者，确定所述目标对象控制的虚拟角色之间的关联属获取价值模型输出的第二奖励值和第三奖励值，其中，所述第二值为所述目标对象执行所述训练动作之前所述价值模型输根据所述第一奖励值与所述第二奖励值之和得到根据所述第四奖励值与所述第三奖励值之差得到所述目标函数的所述根据每个目标结果信息对应的所述第四奖励值与所述第三奖励值对所述第五奖励值进行加权处理得到所述目标函数的所述目5对象特征获取模块，用于获取参与游戏对局的多个参与对象的第一对第一模型处理模块，用于将所述第一对象特征和所述第二对象拼接对象特征得到第一标签和第二标签，所述第一标签用于表征所述目标对象的动作类第一指令生成模块，用于根据所述第一标签和所述第二标所述获取参与游戏对局的多个参与对象的第一对象特征，获取确定所述游戏对局的虚拟角色的种类数量，确定所述第或者，确定所述游戏对局的虚拟角色的种类数量，确定所述样本特征获取模块，用于获取参与游戏对局的多个参与对象的第一样第二模型处理模块，用于将所述第一样本特征和所述第二样本拼接样本特征得到第三标签和第四标签，所述第三标签用于表征所述目标对象的动作类第二指令生成模块，用于根据所述第三标签和所参数修正模块，用于获取所述目标对象执行所述训6所述获取参与游戏对局的多个参与对象的第一样本特征，获取确定所述游戏对局的虚拟角色的种类数量，确定所述第或者，确定所述游戏对局的虚拟角色的种类数量，确定所述所述处理器执行所述计算机程序时实现权利要求1至7任意一项所述的动作指令生成方法，理器执行时实现权利要求1至7任意一项所述的动作指令生成方法，或者实现权利要求8至行时实现权利要求1至7任意一项所述的动作指令生成方法，或者实现权利要求8至12任意7[0003]目前，提供虚拟场景的游戏应用程序通常会设置有基于人工智能(Artificial[0005]本发明实施例提供了一种动作指令生成方法、动作决策共局面信息，所述第二对象特征用于表征所述目标对象在所述游戏对局中的私有局面信8共局面信息，所述第二样本特征用于表征所述目标对象在所述游戏对局中的私有局面信所述第一对象特征包括所述参与对象在所述第一区域和所述第二区域中的虚拟角色的第述特征维度确定所述第一角色特征和所述第述虚拟角色的最大角色数量，根据所述种类数量和所述最大角色数量确定所述第一区域、9[0027]或者，基于所述动作决策模型的第一分类器对所述拼接[0037]根据所述第一目标虚拟角色的角色属性与所述目标虚拟道具的道具属性之间的象包括第二目标虚拟角色，所述第一区域设置有多个用于配置所述虚拟角色的候选槽位，[0046]参数修正模块，用于获取所述目标对象执行所述训练动作指令后的目标结果信[0052]或者，确定所述目标对象控制的虚拟角色的角色等级在当前数据帧的第二变化[0053]或者，确定所述目标对象的虚拟货币的利息值在当前回[0055]或者，确定所述目标对象控制的虚拟角色之间的关联属奖励值为所述目标对象执行所述训练动作之前所述价值模型输出的[0059]根据所述第四奖励值与所述第三奖励值之差得到所述目标函数的所述目标奖励[0072]图4为本发明实施例提供的第一对象特征和第二对象特征所对应的局面信息的示[0077]图9为本发明实施例提供的第一分类器根据运行阶段对拼接对象特征进行分类处对战区域中所有棋子均获得10％的防御力加成；当对战区域中同时包括4个属性为战士的[0099]人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控[0106]目前，提供虚拟场景的游戏应用程序通常会设置有基于人工智能(Artificial[0113]服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集以及大数据和人工智能平台等基础云计算服务动作指令生成方法由图1所示的服务器102执行为例进于显示目标对象当前持有的虚拟货币数量，羁绊信息区域505用于显示目标对象对战区域是对除了目标对象以外的其他参与对象的第一对象特征进行池化处理，得到第三对象特[0139]另外，再次通过全连接层对拼接特征向量进行处理后，还可以进一步通过LSTM[0140]最后，经过全连接层处理的拼接特征向量可以基于动作决策模型的分类器(可以训练方法的实施例中再详细说明。标签和第二标签生成目标对象的目标动作指令时，再根据第一标签筛选出对应的第二标标签中选择对应动作类型的第二标签是由动作决策模签和第二标签生成目标对象的目标动作指令时，具体是根据第一标签确定目标动作类型，数据进行向量化处理后得到的第一对象特征和[0171]在此基础上，在基于动作决策模型的第一分类器对拼接得到第一标签时，可以先基于动作决策模型的第一分类器对拼接对象特征进行分类处理，[0177]在本发明实施例中，可以从目标对象控制的虚拟角色中[0180]另一种方式是服务器根据终端发送的帧数据直接根据确[0186]另一种方式是服务器根据第二目标虚拟角色的角色属性从预设的多个配置阵型[0194]本发明实施例提供的动作指令生成方法通过目标对象的特征的全面合理刻画以本发明实施例提供的动作决策模型的训练方法的流程图，该训练方法可以由图1所示的服[0202]在步骤1104中，目标结果信息为目标对象执行训练动作指令后所产生的局面信[0206]而当目标结果信息的数量为至少两种时，第一奖励值的[0207]下面先以自走棋游戏为例介绍本发明实施例中服务器在游戏对局中每个回合的0.1-5.0至5.0标对象的虚拟货币的利息值对应第一奖励值进行加权处理得到目标函数的目标[0223]根据第二变化值和第三变化值得到第一奖励值与根据第一变化值得到第一奖励二二二正互二二回合变化时，可以将该目标结果信息对应的第一奖励值根据预设比例分配到对应的数据60.11.97.51.13.5前回合的排名结果和目标对象控制的虚拟角色之间的关联属性对应第一奖励值进行加权[0235]通过在例子二的基础上加入目标对象当前回合的排名结果和目标对象控制的虚和目标对象控制的虚拟角色之间的关联属性中的一种或者多种的任意组合来计算目标奖型输出的第二奖励值和第三奖励值，根据第一奖励值与第二奖励值之和得到第四奖励值，根据第四奖励值与第三奖励值之差得到目标函数的t+Vπ行at动作得到的真实的奖励值对比平均奖励[0253]Af(S,a)=rr+VT(srx1)-T(S)7.51.13.57.61.73.5[0271]本发明实施例提供的训练方法通过获取目标结果信息来确定目标函数的目标奖台GPU机器可以分别针对动作决策模型的不同部分进行并行训练，或者可以分别针对不同的动作决策模型进行游戏对局，根据游戏对局的局面状态以及动作决策模型生成动作指[0281]对象特征获取模块1501，用于获取参与游戏对局的多个参与对象的第一对象特戏对局中的公共局面信息，第二对象特征用于表征目标对象在游戏对局中的私有局面信[0291]基于动作决策模型的第一分类器对拼接对象特征进行分[0302]根据第一目标虚拟角色的角色属性与目标虚拟道具的道[0307]本发明实施例提供的动作指令生成装置与上述动作指令生成方法基于相同的发[0308]参照图16，图16为本发明实施例提供的动作决策模型的[0309]样本特征获取模块1601，用于获取参与游戏对局的多个参与对象的第一样本特戏对局中的公共局面信息，第二样本特征用于表征目标对象在游戏对局中的私有局面信[0314]确定目标结果信息对应的第一奖励值，目标结果信息包括目标对象的剩余生命合的排名结果和目标对象控制的虚拟角色之间的关联属性中的[0329]本发明实施例提供的动作决策模型的训练装置与上述动作决策模型的训练方法[0330]本发明实施例提供的用于执行上述动作指令生成方法或者动作决策模型的训练存储器1732，一个或一个以上存储应用程序1742或数据1744的存储介质1730(例如一个或[0332]服务器1700中的处理器可以用于执行动作指令生成方法或者动作决策模型的训[0334]本发明实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现[0343]以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方