CN119312876B 一种混合博弈下高阶思维发展的多智能体任务规划方法 （浙江师范大学）

一种混合博弈下高阶思维发展的多智能体本发明公开了一种混合博弈下高阶思维发博弈启发下面向学习者高阶思维的多智能体任弈启发下面向学习者高阶思维的多智能体任务习者高阶思维的具身发展提供了坚实的支持和2将捕获到的高阶思维数据经过预处理后，输入到多智能体系统中进2.根据权利要求1所述的一种混合博弈下高阶思维发展的多智能体任务规划方法，其对于一个给定的动作k，计算当智能体j提供智能体i动作信息，智能体i采取不同最优动作3若某智能体的意向动作信息对另一智能体的决策重要性超过预设的阈值，则该智能3.根据权利要求2所述的一种混合博弈下高阶思维发展的多智能体任务规划方法，其在得到无环的依赖关系图后，智能体的决策过程将遵循以4.根据权利要求1所述的一种混合博弈下高阶思维发展的多智能体任务规划方法，其=基于平均场理论，将周围智能体的平均动作作为输入，4fe"=+YB,Q,(,a'-)（8）结合深度贝叶斯策略重用方法，采用神经网络;5.根据权利要求1所述的一种混合博弈下高阶思维发展的多智能体任务规划方法，其在训练过程中，通过神经网络价值函数来评估智能体在每个将学习者高阶思维数据样本任务进行初步处理，然后输入所有任务的当通过构建一个优化的目标函数，用于最大化期望累计内外奖励的5其中，Rin(s,a)表示智能体在状态si下执行动作at时获得的内部奖励，ROU(s,a,np)6.根据权利要求1所述的一种混合博弈下高阶思维发展的多智能体任务规划方法，其首先设置多任务耦合关系矩阵，以某一智能体的多任务策略网络再以各智能体构成多智能体耦合关系矩阵，根据实际应用情况判断7.根据权利要求6所述的一种混合博弈下高阶思维发展的多智能体任务规划方法，其;其中，d(S,G)表示当前状态S到任务目6计算评价函数f(srx1,Px1,G)，并选择使得评价函数值最优的8.根据权利要求1所述的一种混合博弈下高阶思维发展的多智能体任务规划方法，其',,···,F,'}；行的动作；利用梯度下降优化方法更新任务表示向量z，使得新任务在任务空间中得以保Q(v,c)non-reraerve=fhon-inreraerve(v,c)（17）Q(v,c)non-ireraetve表示在非交互式环境下，当前状态v和执行动作c之间的Q值；fnon-interactive(v,c)表示在非交互式环境下，当前状态v和执行动作c之间的函数关系；Q(v,c)inreraetve=fsharea(o,z)（18）进行任务耦合规划；79.根据权利要求8所述的一种混合博弈下高阶思维发展的多智能体任务规划方法，其89[0019]将捕获到的高阶思维数据经过预处理后，输入到多智能[0024]每个智能体各自维护了一个值网络，首先独立地对其所观测到的高阶思维深[0027]通过计算V值来衡量每个接收到的意向动作信息对其决策过程的潜在影响，具体[0034]优选的，步骤S12中通过循环依赖去除算法，检测和消除依赖关系图中的循环依[0036]visited(r)是一个状态标记，用于指示节点r是否已被访问过，visited(r)=作ai；相反，若某智能体不被任何智能体所依赖[0051]为了提升智能体在非平稳环境下的策略有效性，结合深[0056]其中，T表示智能体i的策略，T-i表示除了智能体i的其他智能体[0062]在训练过程中，通过神经网络价值函数来评估智能体在si和动作at，利用神经网络价值函数k(s,a,sw)输出此时刻的评估值；定义一个损失函数ROU(s,a,np)表示由辅助函数nr产生的外部奖励，表示调节内外部奖励相对重要性的权和C中提取出与当前智能体当前任务紧密相关的信息，并将其输入至策略网络的评价网络[0080]其中，d(S,G)表示当前状态S到任务目标G的距离，c(P)表示任务规划P的成本，;[0089]首先设定一系列源任务，并将其初始化为相互正交的向量集合，[0091]Q(v,c)non-reraerve=fhon-inreraerve(v,c)（17）[0094]Q(v,c)Inreraetve=fsharea(o,z)（18）[0096]最后，将计算得到的Q值与任务表示相结合，输入到混合网络中进行新任务的生了量化源任务与新任务之间的迁移潜力，采用一种基于任务特征相似度的迁移评估模型，中的第h个任务规划，fie表示第k*个任务特征的提取函数，该函数将任务规k*个特征空间，sim()表示特征间的相似度度量，用于计算两个特征向量之间的相似[0108]因此，本发明采用上述一种混合博弈下高阶思维发展的多智能体任务规划方所收集的学习者高阶思维相关数据中的高级思维特征相较于之前呈现出显著的上升趋势。[0112]图3为本发明混合博弈启发下面向学习者高阶思维的多智能体任务耦合规划示意[0113]以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本体依据一定的规则与约束，在策略空间中采取包含纯策略与混合策略的多样化行动方案，[0129]将捕获到的高阶思维数据经过预处理后，输入到多智能的局部观测p,，还结合接收到的其他智能体的意向动作信息suma=(a,ay,…,ay-r,ay)，评[0136]通过计算V值来衡量每个接收到的意向动作信息对其决策过程的潜在影响，具体[0145]visited(r)是一个状态标记，用于指示节点r是否已被访问过，visited(r)=行DFS，若w已被访问且仍在栈中（即visi作ai；相反，若某智能体不被任何智能体所依赖[0161]为了提升智能体在非平稳环境下的策略有效性，结合深[0166]其中，T表示智能体i的策略，T-i表示除了智能体i的其他智能体[0172]在训练过程中，通过神经网络价值函数来评估智能体在更新规则公式为：ROU'(s,a,n)表示由辅助函数nt产生的外部奖励，表示调节内外部奖励相对重要性的一个a,xb的多任务耦合关系矩阵，其中Isos和C中提取出与当前智能体当前任务紧密相关的信息，并将其输入至策略网络的评价网络[0191]其中，d(S,G)表示当前状态S到任务目标G的距离，c(P)表示任务规划P的成本，;[0200]本实施例基于多智能体迁移策略对学习者高阶思维任务[0207]Q(v,c)non-reraerve=fhon-inreraerve(v,c)（17）[0210]Q(v,c)Inreraetve=fsharea(o,z)（18）[0211]表示在交互式环境下，当前状态v和执行动作c之间的Q[0212]最后，将计算得到的Q值与任务表示相结合，输入到混合网络中进行新任务的生了量化源任务与新任务之间的迁移潜力，采用一种基于任务特征相似度的迁移评估模型，中的第h个任务规划，fie表示第k*个任务特征的提取函数，该函数将任务规划映射到第