CN113813592B 一种智能体互动方法、装置、计算机设备及存储介质 （腾讯科技（深圳）有限公司）

号关联的第一目标虚拟受控元素触发的控制操作，获取所述控制操作对应的目标互动场景图在所述目标虚拟互动场景中对所述目标智能体2基于所述目标互动状态特征确定所述目标智能体对应的目标调度操作和目标互动操标智能体关联的第二目标虚拟受控元素进行基于待训练智能体与预设的参考智能体在样本虚拟互动场景中的互基于所述样本虚拟互动场景中的第一样本互动场景图像对应的第一样本互动状态特基于执行所述样本调度操作后产生的第二样本互动场景图像对应的第二样本互动状第三样本互动场景图像对应的第三样本互动状态特征，调整所述待训练智能体的模型参基于所述第二样本互动状态特征，按照预设的调度激励策略所述样本调度操作对所述样本互动结果的影基于所述第三样本互动状态特征，按照预设的互动激励策略分别确定所述调度激励数据和所述互动激励数据，与预设的3基于预设的参考智能体集合中各个参考智能体各自对应的选取概率基于所述待训练智能体与抽取出的参考智能体在样本虚若在获得所述待训练智能体与抽取出的参考智能体的样本互动结若统计的训练次数达到预设的指定次数，则将所述待训练智能体输出作为参考智能将所述训练次数清零，继续对所述待训练智能体进行迭代训练，并对所述第一样本互动场景图像进行区域识别处理，获得第一互动结果分别对所述第一互动结果区域、所述第一全局视角区域一局部视角特征矩阵用于表征所述第一局部视角区域包含的样本虚拟受控元素的位置信将所述第一特征向量、所述第一全局视角特征矩阵基于所述第一特征向量和所述第一全局视角特征矩阵，预测所述4基于所述样本调度操作、所述第一全局视角特征矩阵和所述第一局部视角特征矩阵，基于所述预测特征向量和所述预测局部视角特征矩阵，预测所述基于所述第一特征向量和所述第一全局视角特征矩阵，预测所述样基于所述样本虚拟受控元素当前所在子区域，以及所述样本虚基于所述样本调度操作，控制所述样本虚拟受控元素从当前所基于针对所述样本虚拟受控元素预设的移动速度，确定所述样本虚提取所述第二样本互动场景图像对应的第二样本互动状态特征，获得第二特征向量、基于所述样本虚拟受控元素当前所在子区域，与所述样本调度操作指示基于所述样本虚拟受控元素对应的所述第一特征向量与所述第二特征向量之间的变基于所述第一调度子激励和所述第二调度子激励的加权和，确所述待训练智能体还包括训练模块，其中，所述训练模块用于基于5若所述训练模块包括调度模型和互动模型，所述目标激励数据确定所述互动激励数据，与所述互动目标激励数据之间的处理模块：用于响应于所述虚拟账号针对目标虚拟互动场景中，与所述所述处理模块还用于：基于所述目标互动状态特征确定所述目标智能体对应的目所述处理模块还用于：响应于所述目标调度操作和所述目标互动操作，在拟互动场景中对所述目标智能体关联的第二目标虚拟受控元处理器，用于调用所述存储器中存储的程序指令，按照获得的程所述计算机可执行指令用于使计算机执行如权利要求1~12中任一项6[0003]通常，虚拟账号在针对虚拟账号关联的某一虚拟受控元得智能体无法灵活地在虚拟互动场景中与虚拟账号进[0010]基于所述目标互动状态特征确定所述目标智能体对应的目标调度操作和目标互述目标智能体关联的第二目标虚拟受控元素进7标虚拟互动场景中对所述目标智能体关联的第二目标虚拟受控元素进行[0020]基于所述样本虚拟互动场景中的第一样本互动场景图像对应的第一样本互动状[0021]基于执行所述样本调度操作后产生的第二样本互动场景图像对应的第二样本互[0031]基于所述待训练智能体与抽取出的参考智能体在样本虚拟互动场景中的互动过8[0039]在基于所述样本虚拟互动场景中的第一样本互动场景图像对应的第一样本互动关联的参考虚拟受控元素的位置信息和所述样本虚拟互动场景包含的场景元素的位置信[0041]将所述第一特征向量、所述第一全局视角特征矩阵和所述第一局部视角特征矩9[0055]基于所述样本虚拟受控元素对应的所述第一特征向量与所述第二特征向量之间[0068]响应于控制操作获得的目标互动操作可以控制第二目标虚拟受控元素执行互动[0091]强化学习可以用于描述和解决智能体在与环境的交互过程中通过学习策略以达[0092]本申请实施例涉及云技术(cloudtechnology)和人工智能技术(ArtificialIntelligence，AI)。基于云技术中的云计算(cloudcomputing)和云存储(cloudstorage)，以及人工智能技术中的计算机视觉技术(ComputerVision，CV)和机器学习按使用付费。[0096]按照逻辑功能划分，在IaaS层上可以部署平台即服务(Platformas[0097]云存储是在云计算概念上延伸和发展出来的一个新的概念，分布式云存储系统中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口配物理存储空间，该物理存储空间可能是某个存储设备或者某几个存储设备的磁盘组成。象的容量估量(该估量往往相对于实际要存储的对象的容量有很大余量)和独立冗余磁盘模拟开车，智能体可以模拟道路中的其他车辆，该虚拟账号可以与智能体进行虚拟互动，[0108]通常，虚拟账号在针对虚拟账号关联的某一虚拟受控元控制智能体关联的与该一个虚拟受控元素进行虚拟互动的虚拟受控元素执行对应的动作。以调度另一个英雄过来为该一个英雄补血，受到攻击动作的英雄就可以不进行躲避动作，[0118]响应于控制操作获得的目标互动操作可以控制第二目标虚拟受控元素执行互动入到针对目标智能体的训练过程中。基于仿真的虚拟互动场景下的真实互动训练智能体，考智能体可以是智能体训练端103基于预设的参考智能体集合获得的等。参考智能体集合[0128]下面以智能体训练端103基于预设的参考智能体集合获得参考智能体，对待训练不对各个参考智能体各自对应的选取概率进样本互动结果未达到预设指标的参考智能体可以从参考智能体样本虚拟互动场景中的第一样本互动场景图像对应的第一样本互动状态特征的方法进行样本互动场景图像可以是待训练智能体与参考智能体进入样本虚拟互动场景时的第一帧能体关联的样本虚拟受控元素和参考智能体关联的参考虚拟受控元素在虚拟互动场景中样本虚拟受控元素和参考虚拟受控元素在样本虚拟互动场景别对第一互动结果区域、第一全局视角区域和第一局部视角区域进行图像特征提取处理，元素的位置信息和第一局部视角区域包含的体针对样本虚拟互动场景中待训练智能体关联的样本虚拟受控元素执行的样本调度操作，移动速度，确定样本虚拟受控元素从当前所在子区域移动到对应的目标子区域的参考时的第三样本互动场景图像对应的第三样本互动状态特征，调整待训练智能体的模型参数。三样本互动状态特征各自对应的调度激励数据和互动激励数据调整待训练智能体的模型调度激励数据和互动激励数据调整待训练智能体的模型参数的方法为示的样本虚拟受控元素对应的目标子区域是否匹配，确定样本调度操作的第一调度子激Rde为第二调度子激励Re的权重。[0164]在获得第一调度子激励和第二调度子激励的加权和之后，可以基于贝尔曼方程(BellmanEquation)确定待训练智能体与该参考智能体从当前到互动结束的过程所有获[0167]其中，调度激励数据V(St)可以是待训练智能体与该参考智能体从当前到互动结[0168]调度激励数据中不仅包括用于表征样本调度操作对样本互动结果的影响程度的的激励数据来获得调度激励数据，避免了智能体在预测虚拟互动操作时出现局部最优解，(BellmanEquation)确定待训练智能体与该参考智能体从当前到互动结束的过程所有可[0194]目标智能体与虚拟账号之间可以进行多次互动，直到接续训练时可以从参考智能体集合中抽取其他参考智能体对待训练智能体进行强化学习训个环境元素，即对战游戏中的遮蔽物和npc。待训练智能体和参考智能体进入对战游戏之[0201]基于获得的调度激励数据和互动激励数据可以对待训练智能体进行强化学习训标英雄或npc实施技能攻击，以及躲避第二目标英雄或npc对第一目标英雄实施的技能攻几个第二目标英雄和几个npc，还可以表示目标智能体中每个第二目标英雄杀了几个第一[0208]处理模块802还用于：基于目标互动状态特征确定目标智能体对应的目标调度操[0211]处理模块802还用于：基于待训练智能体与预设的参考智能体在样本虚拟互动场[0212]基于样本虚拟互动场景中的第一样本互动场景图像对应的第一样本互动状态特[0213]基于执行样本调度操作后产生的第二样本互动场景图像对应的第二样本互动状[0217]分别确定调度激励数据和互动激励数据，与预设的目标[0228]若统计的训练次数达到预设的指定次数，则将待训练智能体输出作为参考智能[0231]在基于样本虚拟互动场景中的第一样本互动场景图像对应的第一样本互动状态元素的位置信息和第一局部视角区域包含的场景元素[0244]提取第二样本互动场景图像对应的第二样本互动状态特征，获得第二特征向量、取模块用于提取各个样本互动场景图像各自对应的样当前版本和历史版本以及数据存储程序对应的应用软件可以安装在计算机设备900上，该有机发光二极管OLED(OrganicLight_EmittingDiode)等形式[0257]处理器980用于读取计算机程序，然后执行计算机程序定义的方法，例如处理器[0258]存储器920一般包括内存和外存，内存可以为随机存储器(RAM)，只读存储器数据可包括操作系统或应用程序被运行后产生的数用户在其上或附近的触摸操作(比如用户使用手指[0260]在一种可能的实施例中，显示面板941可包括触摸检测装置和触摸控制器两个部[0265]作为一种实施例，图9中的处理器980可以用于实现前文论述的服务端102对应的例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，