CN114298302B 智能体任务学习方法及装置 （中国科学院自动化研究所）

号YimingQianetal..networkforzero-shotpolicylearning.707-733.本发明提供一种智能体任务学习方法及装各历史任务对应的动作预测模型的最优第一策所有历史任务对应的最优第一策略参数作为训任务对应的关键影响因子输入训练后的任务学现智能体同时具备领域任务的通用知识提炼能2基于自然策略梯度算法，以智能体在各历史任务下的状态信息作将所有历史任务对应的关键影响因子和所有历史任务对应的最优第一策略参数作为将新任务对应的关键影响因子输入训练后的任务学习模型中，得到输出的所述新任务对应的动作预测模型的最优将所述最优第一策略参数对应的奖励值大于设定阈值的历史任务，作为目标历史任将所有目标历史任务对应的关键影响因子和所有目标历史任务对应的最优第一策略每一子任务学习模型用于学习所述关键影响因子与每一最优第一策略参数之间的映所述任务学习模型的损失函数为多个子任务学习模型的损失函数的联对各历史任务对应的最优第一策略参数进行向将所有历史任务对应的关键影响因子和所有历史任务对应的向量化处理后的最优第根据所述第一策略参数对应的衰减系数和费雪信息，以及所述第一述动作预测模型的目标函数的梯度和预设约根据所述最优第二策略参数对所述动作预测模型进行优化，得到优化3将所述智能体在所述新任务下的状态信息输入所述优化后的动作预述优化后的动作预测模型输出的所述智能体在所述新任务学习模块，用于基于自然策略梯度算法，以智能体在各历史第一知识模块，用于将所有历史任务对应的关键影响因子第二知识模块，用于将新任务对应的关键影响9.一种电子设备，包括存储器、处理器及存储在机程序被处理器执行时实现如权利要求1至7任一项所述智能体任务学习方法4[0004]现有的策略知识提炼算法，采用基于策略梯度法的在线多任务学习中PGELLA(PolicyGradientEfficientLife-LongLearningAlgorithm，策略梯度高效终身学习[0008]将所有历史任务对应的关键影响因子和所有历史任务对应的最优第一策略参数模型输出的所述新任务对应的动作预测模型的最优第5[0012]将所有目标历史任务对应的关键影响因子和所有目标历史任务对应的最优第一[0014]每一子任务学习模型用于学习所述关键影响因子与每一最优第一策略参数之间[0018]将所有历史任务对应的关键影响因子和所有历史任务对应的向量化处理后的最一策略参数进行迭代更新，获取各历史任务对应的所述动作预测模型的最优第一策略参[0029]第二知识模块，用于将新任务对应的关键影响因子输入训练后的任务学习模型6机程序被处理器执行时实现如上述任一种所述智能体任务学习方法执行时实现如上述任一种所述智能体任务学知识的最优任务学习模型；并且只需要将新任务下的关键影响因子输入最优任务学习模7在各历史任务下的动作信息为样本标签，对动作预测模型的第一策略参数进行迭代更新，8[0067]步骤102，将所有历史任务对应的关键影响因子和所有历史任务对应的最优第一以直接将所有历史任务对应的关键影响因子和所有历史任务对应的最优第一策略参数作任务学习模型输出的所述新任务对应的动作预测模型9[0084]然后，根据100个不同历史任务下动作预测模型的最优第一策略参数和关键影响所有历史任务对应的最优第一策略参数作为训练样本集，对任务学习模型进行迭代训练，模型具有更加良好的相同领域任务的通用知识提[0097]在上述各实施例的基础上，本实施例所述任务学习模型包括多个子任务学习模包括用于调控行动策略的智能体本体环境参数和交互环境参数等对动作预测模型的输出[0108]本实例通过使用多个子任务学习模型，并分别对不同子和所有历史任务对应的最优第一策略参数作为训练样本集，对任务学习模型进行迭代训关键影响因子和所有历史任务对应的向量化处理后的最优第一策略参数作为所述训练样[0111]即将动作预测模型的最优第一策略参数向量化为mx1维的向量yt，得到训练样本中学习模块使用NPG来学习获得不同任务对应的最优第一策略参数t。自然策略梯度算法即所有θ构成的集合为第一策略π;[0118]并通过轨迹获得的最大平均奖励值作为目标函数来优化动作预测模型的第一策F,=E[vglogm(s,a)vglogm(s,a)"]述动作预测模型的目标函数的梯度和预设约束因子确定的计[0136]本实施例中的智能体任务学习方法的仿真平台和仿真环境可以根据实际需求进行设置，如可以在Mujoco150试验平台上进行仿真验证；实验平台软件支持环境为CUDA10.1版本的pytorch1.3.者(Walker)两个任务域进行实验的学习训[0142]图3和图4分别为多种对比方法在跳跃者任务域(Hopper-learnedtasks)和步行者任务域(Walker-learnedtasks)中对于100个历史任务的应用表现。图5和图6分别为多种对比方法在跳跃者任务域和步行者任务域中10个新任[0145]表1展示了多种对比方法在跳跃者任务域(Hopper-learnedtasks)和步行者任务域(Walker-learnedtasks)中对于100个历史任务的平均应用表现和10个新任务的平均应F和AMNN-S在新任务或历史任务中的奖励值均最高，具有更好的应用表现和适应能力；因[0149]同时，本实施例中的智能体任务学习方法能对新任务具有零[0151]图7-图10和表2展示了本实施例中智能体任务学习方法在不同策略参数空间上的[0154]图7和图8分别为多种对比方法在跳跃者(Hopper)任务域中线性策略参数空间(LinearPolicyNetwork)和非线性策略参数空间(DeepPolicyNetwork)上10PolicyNetwork)和非线性策略参数空间(DeepPolicyNetwork)上10个新任务的应用表[0155]表2展示了对比实验算法在线性策略参数空间和非线性策略参数空间上100个不和AEAPG算法，AMNN-F和AMNN-S在不同策略参数空间的新任务或历史任务中的奖励值均较[0159]但是由于非线性策略参数空间中参数数量远多于线性策当单点训练式任务学习模型(AMNN-S)和全连接训练式任务学习模型(AMNN-F)的训练样本[0160]第三组实验用于验证智能体任务学习方法在具有不同训练方式的任务学习模型务的策略平均应用表现和全连接训练式任务学习模型使用策略样本数量为1124时的新任[0165]步骤1，使用强化学习算法来训练学习并收集不同历史任务对应的最优第一策略[0166]可选地，使用强化学习算法中的自然策略梯度法来进行任[0169]步骤3，对最优第一策略集中的每一最优第一策略进行向量化处理后作为知识模在各历史任务下的动作信息为样本标签，对动作预测模型的第一策略参数进行迭代更新，[0180]第二训练模块1302用于将所有历史任务对应的关键影响因子和所有历史任务对响因子为对所述动作预测模型的输出结果有以直接将所有历史任务对应的关键影响因子和所有历史任务对应的最优第一策略参数作[0185]学习模块1303用于将新任务对应的关键影响因子输入训得到所述任务学习模型输出的所述新任务对应的动作预测模型的最所有历史任务对应的关键影响因子和所有历史任务对应的最优第一策略参数作为训练样所述任务学习模型输出的所述新任务对应的动作预测模型的最优第发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以和所有历史任务对应的最优第一策略参数作为训练样本集，对任务学习模型进行迭代训习模型输出的所述新任务对应的动作预测模型的以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单以对前述各实施例所记载的技术方案进行修改