CN119795175B 一种基于多智能体强化学习的灵巧双手协同控制方法 （北京联合大学）

(19)国家知识产权局(12)发明专利号徐冰心潘卫国代松银公司11901审查员杨晨一种基于多智能体强化学习的灵巧双手协本发明涉及一种基于多智能体强化学习的的神经网络和环境，并采集环境交互时的数据；顺序决策动作；通过Q值分布网络去评估所述决装配等复杂场景，具有高协作效率和环境适应21.一种基于多智能体强化学习的灵巧双手协同控制方法，其特征在于，包括：初始化灵巧双手的神经网络和环境，并采集环境交互时的数据；基于环境交互时的数据，关节按照贪婪策略进行顺序决策动作；关节按照贪婪策略进行顺序决策动作包括：关节按照任务需求进行决策顺序的设定：通过使用优势函数分解定理获得每个关节的优势值，根据优势值从大到小进行顺序决策；每个关节k的动作ak由局部策略π(aIok)决定；局部策略的输入为关节的局部观体会有自己的策略，即为局部策略；第一个关节a₁直接根据局部观测1选择动作q=π₁(q);第二个关节a₂基于局部观测O₂和第一个关节的动作a选择动作a₂=π₂(O₂,a);按此逻辑依次执行，直到最后一个关节a40,得到联合动作a={q,a₂,…,403;执行联合动作a,推动系统从当前状态s,转移到下一状态8+1;通过Q值分布网络去评估所述决策动作，同时计算奖励回报；基于预设条件，终止联合策略的更新，输出最优的协同控制策略。2.根据权利要求1所述的基于多智能体强化学习的灵巧双手协同控制方法，其特征在所述策略网络包括：每个关节的策略网络，输入为环境信息和自身状态，输出为关节动所述评估网络包括：Q值分布网络，输入为环境信息动作的评估；所述仿真环境包括：启动预先设定的仿真器和想定场景；初始化灵巧双手的神经网络包括：通过生成正交矩阵对其权重进行初始化，即通过正交矩阵的方法为每一层网络赋值初始权重，从而为神经网络的各层提供线性无关的参数值。3.根据权利要求2所述的基于多智能体强化学习的灵巧双手协同控制方法，其特征在力矩约束：每个关节施加的力矩应满足硬件能力的限制；动作速率约束：关节的动作变化幅度在每个时间步内不得超过预设阈值，以避免高频变化导致的系统不稳定；联合动作协调性约束：所有关节的动作组合需满足灵巧双手与物体动态交互的协调性要求。4.根据权利要求1所述的基于多智能体强化学习的灵巧双手协同控制方法，其特征在在每个时间步内，灵巧双手的系统状态与动作通过与环境交互采集数据，包括：当前状态S,、当前动作a、即时奖励r、下一状态S+1和任务终止标志d;将采集到的交互数据(s₁,a₁,r,s₄+1,d)存储在经验池D中；其中，超出经验池的预3设大小后，采用先进先出策略替换旧数据。5.根据权利要求4所述的基于多智能体强化学习的灵巧双手协同控制方法，其特征在于，采集环境交互时的数据还包括：对存储在经验池中的数据进行重要性采样校正；包括：对经验池中的每条样本(s,a),计算重要性权重,其中，πn(a|s)为当前策略基于所述重要性权重，结合即时奖励r,和时间差分误差，为样本设置优先级，样本优先级为,其中，α为优先级调整参数，用于平衡高优先级样本和低优先级样本的采样概率，8₂=r+rQ(s,a)-Q(s,a),为折扣因子；根据样本优先级P进行采样，优先选择对策略优化预设贡献的样本进行训练。6.根据权利要求1所述的基于多智能体强化学习的灵巧双手协同控制方法，其特征在于，所述通过Q值分布网络去评估所述决策动作包括：通过构造Q值分布网络，根据环境与智能体交互产生的数据，拟合Q值分布，通过采样的方法得到关节的奖励，即局部奖励，以减少传统网络对于智能体的过估计问题，强化协作效果；其中，全局奖励用于评价灵巧双手整体在任务完成过程中的表现；对局部奖励进行归一化和平滑处理。7.根据权利要求6所述的基于多智能体强化学习的灵巧双手协同控制方法，其特征在基于所述局部奖励，计算每个关节的局部回报函数；其中，所述局部回报函数，用于表征当前关节的动作对长期回报的贡献；对所有关节的局部回报函数进行累加，获取全局回报函数；所述局部回报函数为：其中，r₂(s,a)为关节k的局部奖励，Y为折扣因子，Es,a表示对下一状态s'和动作a'的期望；所述全局回报函数为：8.根据权利要求1所述的基于多智能体强化学习的灵巧双手协同控制方法，其特征在于，所述联合策略π(a|s)为：所有关节的局部策略π(aIok)的组述联合策略的优化目标为最大化系统在当前策略下的长期回报J(π)=E₃,a-π[Z(s,a)];使用策49.根据权利要求8所述的基于多智能体强化学习的灵巧双手协同控制方法，其特征在J(a)=B₃₀-[-alogπ(a|s)-aHma];使用梯度下降更新a←α-7₆PaJ(a);结合策略梯度与熵正则化，根据以下公式更新策略参数中：φ←φ+ηπJ(φ);其中，温度参数用于控制策略的探索与平衡。5一种基于多智能体强化学习的灵巧双手协同控制方法技术领域[0001]本发明涉及强化学习、控制技术领域，特别是涉及一种基于多智能体强化学习的灵巧双手协同控制方法。背景技术[0002]灵巧机械手在机器人技术中具有重要地位，广泛应用于工业制造、医疗辅助和服务机器人等领域。其通过多自由度的关节和手指，实现复杂的抓取、搬运及精密操作任务。然而，在灵巧机械手的控制过程中，由于高自由度动作的复杂性和关节间的动态协调需求，对控制精度和协作效率提出了较高要求，尤其是在双手协作操作中，需要实现高效的动作规划和精确的协同控制。[0003]当前的控制方法主要分为基于模型的控制方法和基于强化学习的控制方法。基于模型的控制方法依赖于机械手动力学模型，通过轨迹优化和模型预测控制(MPC)实现任务目标。这类方法在结构化环境中表现良好，但在复杂、非结构化场景中，模型难以精确描述机械手与环境的动态交互，导致适应性和泛化能力不足。[0004]基于强化学习的控制方法通过与环境交互学习最优策略，可以避免对精确模型的依赖，展现了较强的任务适应性和决策灵活性。在灵巧机械手的操作中，单智能体强化学习已被广泛应用于单手抓取、旋转和投掷等任务。然而，当应用于双手协作任务时，由于动作空间维度高、智能体间的动态交互复杂，现有方法难以有效处理智能体间的冲突与非平稳性，协作效率和学习稳定性较低。多智能体强化学习(MARL)方法尽管可以建模多智能体系统，但在双手灵巧操作中仍面临奖励分配不合理、策略收敛缓慢等问题。发明内容[0005]本发明的目的是提供了一种基于多智能体强化学习的灵巧双手协同控制方法。通过将灵巧机械手的每个关节和手指建模为独立的智能体，基于优势函数分解引理使各智能体按顺序决策，并假设后续智能体采取最优动作，从而提高当前智能体的决策表现。同时，本发明设计了Q值分布网络，以减少传统网络对于智能体的过估计问题，强化协作效果。最后，通过对Q值分布网络进行采样评估策略，减少高维连续动作空间中的策略不稳定性，进一步提升了灵巧机械手在复杂任务场景中的操作精度和协作效率。[0006]为实现上述目的，本发明提供了如下方案：[0007]一种基于多智能体强化学习的灵巧双手协同控制方法，包括：[0008]初始化灵巧双手的神经网络和环境，并采集环境交互时的数据；[0009]基于环境交互时的数据，关节按照贪婪策略进行顺序决策动作；[0010]通过Q值分布网络去评估所述决策动作，同时计算奖励回报；[0012]基于预设条件，终止联合策略的更新，输出最优的协同控制策略。[0013]可选地，灵巧双手的神经网络和环境包括：灵巧双手的策略网络、评估网络和仿真6[0014]所述策略网络包括：每个关节的策略网络，输入为环境信息和自身状态，输出为关节动作；为关节动作的评估；[0016]所述仿真环境包括：启动预先设定的仿真器和想定场景。[0017]可选地，所述灵巧双手的神经网络和环境中，还包括约束条件；所述约束条件包[0018]力矩约束：每个关节施加的力矩应满足硬件能力的限制；[0019]动作速率约束：关节的动作变化幅度在每个时间步内不得超过预设阈值，以避免高频变化导致的系统不稳定；[0020]联合动作协调性约束：所有关节的动作组合需满足灵巧双手与物体动态交互的协调性要求。[0022]在每个时间步内，灵巧双手的系统状态与动作通过与环境交互采集数据，包括：当[0023]将采集到的交互数据(s,a,r+,st+1,d)存储在经验池D中；其中，超出经验池的预设大小后，采用先进先出策略替换旧数据。[0024]可选地，采集环境交互时的数据还包括：对存储在经验池中的数据进行重要性采[0025]对经验池中的每条样本(s,a),计算重要性权重,其中，πnew(a|s)为当[0026]基于所述重要性权重，结合即时奖励r和时间差分误差，为样本设置优先级δ=r;先级样本和低优先级样本的采样概率；[0027]根据样本优先级P进行采样，优先选择对策略优化预设贡献的样本进行训练。[0028]可选地，关节按照贪婪策略进行顺序决策动作[0029]关节按照任务需求进行决策顺序的设定：通过使用优势函数分解定理获得每个关[0030]每个关节k的动作a由局部策略π(alo)决定；局部策略的输入为关节的局部观体会有自己的策略，即为局部策略；[0031]第一个关节a₁直接根据局部观测o选择动作a₁=π₁(o);第二个关节a₂基于局部观测o₂和第一个关节的动作a₁选择动作a₂=π2(O₂,a);按此逻辑依次执行，直到最后一个关节a40,得到联合动作a={a₁,a₂,...,a40};执行联合动作a,推动系统从当前状态s,转移到下一状态st+1°7[0033]通过构造Q值分布网络，根据环境与智能体交互产生的数据，拟合Q值分布，通过采样的方法得到关节的奖励，即局部奖励，以减少传统网络对于智能体的过估计问题，强化协作效果；其中，全局奖励用于评价灵巧双手整体在任务完成过程中的表现；[0034]对局部奖励进行归一化和平滑处理。[0036]基于所述局部奖励，计算每个关节的局部回报函数；其中所述局部回报函数，用于表征当前关节的动作对长期回报的贡献；[0037]对所有关节的局部回报函数进行累加，获取全局回报函数；[0038]所述局部回报函数为：[0039]z(s,a)=r(s[0040]其中，r(s,a)为关节k的局部奖励，γ为折扣因子，Es,a,表示对下一状态s'和动作[0041]所述全局回报函数为：[0044]可选地，所述联合策略π(a|s)为：所有关节的局部策略π(aklok)的组合;所述联合策略的优化目标为最大化系统在当前策略下的长期回报J(π)=BE₃₀[Z(s,a];使用策略梯度方法优化策略参数₆J(π。)=B,an[D₆logπ。(a|s)·Q(s,a)],动作价值函数。J(a)=DE,π[-alogπ(a|s)-HLmee]使用梯度下降更新α←α-7aaJ(a);结合策略梯度与熵正[0047]本发明的有益效果为：[0048]通过将灵巧机械手的每个关节建模为独立智能体，采用多智能体强化学习方法，结合顺序决策机制与基于边际贡献的奖励分配策略，使得多关节间的动作协作更高效。相比传统基于模型的控制方法和单智能体强化学习方法，本发明在任务执行过程中能够动态适应复杂的动作空间和关节交互需求，有效减少动作冲突，提高双手在抓取、旋转和装配等复杂任务中的操作精度与稳定性。[0049]通过分布式回报函数估计与重要性采样技术，解决了高维动作空间下策略收敛缓慢的问题，同时通过引入熵正则化和平滑机制，提升了策略的探索能力和收敛效率。动态调整奖励函数的权重参数与策略优化目标，使本发明能够适应不同任务阶段的需求，展现出较强的任务通用性和环境适应能力，尤其在非结构化复杂场景中表现出优异的泛化能力。8附图说明[0050]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。[0051]图1为本发明实施例的整体流程示意图；[0052]图2为本发明实施例的整体架构示意图；[0053]图3为本发明实施例的顺序决策架构示意图。具体实施方式[0054]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0055]为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。[0056]如图1-图2所示，一种基于多智能体强化学习的灵巧双手协同控制方法，包括：[0057]初始化灵巧双手的神经网络和环境，并采集环境交互时的数据；[0058]基于环境交互时的数据，关节按照贪婪策略进行顺序决策动作；[0059]通过Q值分布网络去评估所述决策动作，同时计算奖励回报；[0060]基于奖励回报，引入熵正则化，使用策略梯度优化的方法，更新联合策略；[0061]基于预设条件，终止联合策略的更新，输出最优的协同控制策略。[0062]具体地，在本实施例中，灵巧双手的神经网络和环境包括：灵巧双手的策略网络、评估网络和仿真环境；[0063]策略网络包括：每个关节的策略网络，输入为环境信息和自身状态，输出为关节动[0064]评估网络包括：为Q值分布网络，输入为环境信息、自身状态和关节动作，输出为关节动作的评估；[0065]仿真环境包括：启动预先设定的仿真器和想定场景；[0066]初始化灵巧双手的神经网络包括：通过生成正交矩阵对其权重进行初始化，即通过正交矩阵的方法为每一层网络赋值初始权重，从而为神经网络的各层提供线性无关的参数值。[0067]灵巧双手的神经网络和环境中，还设置有约束条件；约束条件包括：[0068]力矩约束：每个关节施加的力矩应满足硬件能力的限制；[0069]动作速率约束：关节的动作变化幅度在每个时间步内不得超过预设阈值，以避免高频变化导致的系统不稳定；[0070]联合动作协调性约束：所有关节的动作组合需满足灵巧双手与物体动态交互的协调性要求。[0071]智能体观察环境并获得信息：每个关节作为独立智能体，通过局部观测空间获取9自身相关信息，包括关节角度、角速度、与物体的相对位置信息、相邻关节状态和触觉反馈。局部观测仅感知自身相关信息，减少全局依赖，构建去中心化多智能体系统。[0072]收集数据并进行重要性采样：与环境交互时，系统收集当前状态、动作、即时奖励、下一状态和任务终止标志，存储于经验池。通过重要性采样，计算采样权重使高优先级样本优先用于优化策略。[0073]如图3所示，按照关节/手指顺序决策执行动作：关节按照贪婪策略顺序逐步决策动作。每个关节基于局部观测和前序关节的动作选择动作，第一个关节直接决策，后续关节结合前序动作完成决策。所有关节动作组合成联合动作，推动系统状态转移。[0074]分布式估计回报函数：[0075]通过构造Q值分布网络，根据环境与智能体交互产生的数据，拟合Q值分布，通过采样的方法得到关节的奖励，以减少传统网络对于智能体的过估计问题，强化协作效果。最终，各关节的奖励累加得到全局回报，为策略优化提供依据。[0076]更新策略与优化价值函数：联合策略由关节的局部策略组成，通过策略梯度方法优化，使策略最大化长期回报。引入熵正则化，鼓励探索多样化动作，避免局部最优。动态调整熵系数和学习率，平衡探索与利用，确保策略优化稳定性。[0077]判断是否满足任务终止条件：任务在以下条件之一满足时终止：物体位置和姿态达到目标范围、运行时间达最大步数、或策略变化量和奖励值趋于稳定。若检测到硬件故障或动作异常，任务立即终止以确保安全，并输出优化结果结束循环。[0078]最后，输出结果：任务结束后，输出训练好的模型及训练曲线。[0079]进一步地，状态空间包括：包括关节状态、物体状态、触觉反馈信息以及关节的动作空间；[0080]关节状态包括：每个关节的角度位置和角速度；[0081]物体状态包括：物体在三维空间中的位置和姿态；[0082]触觉反馈信息，通过接触点的作用力和作用力矩表示；[0083]动作空间包括：所有关节的控制变量；控制变量包括每个关节的施加力矩或角度调整量；[0084]初始化灵巧双手的状态空间包括：[0085]所有关节的角度位置和角速度设置为任务初始值，物体在三维空间中的位置和姿态根据任务要求初始化为给定值，触觉反馈信息初始化为零，以及在动作空间中引入约束条件。[0086]具体地，在本实施例中，灵巧双手的状态空间包括关节状态、物体状态及触觉反馈信息，具体如下：[0087]关节状态中，每个关节的状态由以下参数构成：关节角度θ∈[-π,π](弧度),表示关节的当前旋转位置；关节角速度Q∈[-10,10](弧度/秒),表示关节角度的变化率。对于两只手的20个可控关节(每只手20个),关节状态的总维度为40×2=80。[0088]物体状态中，被操控物体的状态包括以下部分：物体位置xobject∈[-10,10]cm(三维笛卡尔坐标系);物体姿态Qobject,用四元数表示(qw,Qx,Qy,q₂∈[-1,1]);物体速度Vobject∈[-5,5]cm/s,表示物体的线速度；物体角速度@object∈[-5,5]rad/s,表示物体的旋转速度。物体状态的总维度为3(位置)+4(四元数姿态)+3(线速度)+3(角速度)=13。[0089]触觉反馈信息中，每个手指的触觉反馈信息通过以下参数描述：接触力ftacti₁e∈[0,5]表示接触点的作用力；接触力矩Ttactile∈[0,5]表示接触点的力矩。对于两只手的10根手指，触觉反馈的总维度为10×(3+1)=40。[0090]总状态空间中，综合关节状态、物体状态和触觉反馈信息，灵巧双手的总状态空间维度为：总维度=80(关节状态)+13(物体状态)+40(触觉反馈信息)=133。[0091]由于灵巧双手采用多智能体强化学习框架，每个关节只能获取与自身相关的局部[0092]自身关节状态包括当前关节的角度θ和角速度θ;维度为2。[0093]相邻关节信息包括相邻关节的角度和角速度，最多涉及前后两个关节；维度为2×[0096]局部观测空间总维度中，对于每个关节，局部观测空间总维度为：局部观测空间维度=2(自身关节状态)+4(相邻关节信息)+7(相对位置信息)+4(触觉反馈信息)=17。[0097]单关节动作空间中，每个关节的动作为连续值，表示施加的力矩t∈[-2,2]。联合[0099]每个关节施加的力矩τ必须在硬件允许范围内，确保不超过关节的承载能力；关节动作的变化速率△t在每个时间步内不得超过0.5Nm,以避免高频变化导致系统不稳定；所有关节的组合动作需要满足灵巧双手与物体之间的动态交互协调性，防止冲突动作。[0100]在任务开始时，神经网络和环境需要初始化。所有关节的角度θ和角速度0设置为任务初始值，通常为零或默认设定值。物体的位置xobjec和姿态qobject根据任务要求初始化为给定值。触觉反馈信息初始化为零，表示系统尚未与物体发生接触。相对位置信息和方向信息则通过关节末端与物体位置和方向的差值计算得到。[0101]动作空间由所有关节的控制变量构成，具体包括每个关节的施加力矩或角度调整节允许施加力矩的最小值和最大值，取值范围由硬件性能及任务需求决定。对于灵巧双手的所有关节，其联合动作空间定义为：[0104]为保证关节动作的可控性，本发明在动作空间中引入约束条件，包括以下械结构的承载能力；[0106]动作速率约束：关节的动作变化幅度|△tk|在每个时间步内不得超过预设阈值，以避免高频变化导致的系统不稳定；[0107]联合动作协调性约束：所有关节的动作组合需满足灵巧双手与物体动态交互的协[0108]在动作执行过程中，每个关节根据其局作a,其中a表示第m个关节的具体控制输入。关节动作通过联合动作a={a₁,a₂,...,a}作[0115]其中，Vobjec和@bject分别表示物体的线速度和角速度，这些由联合动作a和触觉[0120]全局奖励函数R(s,a)用于评估灵巧双手整体的任务完成情况，具体包括以下三I²,其中，β=5,qgoa1为目标姿态。惩罚关节施加过大的力矩以鼓励节能操作，定义为[0123]将全局奖励分配至各关节，每个关节的边际贡献φ表示其对全局奖励的增量，定算公式为[0126]将采集到的交互数据(s,a,r+,st+1,d)存储在经验池D中；其中，超出经验池的预设大小后，采用先进先出策略替换旧数据。[0127]具体地，在本实施例中，在每个时间步内，灵巧双手的系统状态与动作通过与环境前动作a由关节的联合策略生成的动作；即时奖励r根据全局奖励函数R(s,a)计算；下一状态st+1系统在执行动作a后的状态；是否达到终止条件的标志d表示任务是否完成或失败。将采集到的交互数据(st,at,rt,st+1,d)存储在经验池D中；经验池大小设置为100,000条数据，超过此限制后采用先进先出策略替换旧数据。[0128]由于策略在训练过程中不断更新，不同样本质量和学习效率可能存在偏差，因此需要对数据进行重要性采样校正，确保高质量的样本数据反复学习。[0129]对于经验池中的每条样本(s,a),计算其重要性权重,其中，πnew(a|s)为当前策略的概率，π₀a(a|s)为采样时的旧策略的概率。结合即时奖励r和时间差分误差，为样本设置优先级δ₁=r+γQ(si+1,a')-Q(s,a),样本优先级为调整参数，用于平衡高优先级样本和低优先级样本的采样概率。根据样本优先级P进行采样，优先选择对策略优化贡献较大的样本进行训练。经验池中每次批量采样的大小为64。[0131]灵巧双手的关节按照任务需求进行贪婪策略的决策顺序的设定：通过使用优势函数分解定理获得每个关节的优势值，根据优势值从大到小进行顺序决策。[0132]每个关节k的动作a由其局部策略π(aklo)决定；局部策略的输入为关节的局部[0133]第一个关节a₁直接根据其局部观测o₁选择动作a₁=π₁(o₁);第二个关节a₂基于局部观测o₂和第一个关节的动作a₁选择动作a₂=π2(o₂,a₁);按此逻辑依次执行，直到最后一个关节a₀,得到联合动作a={a₁,a₂,...,a₀}。执行联合动作a,推动系统从当前状态s,转移到下一状态st+1°[0135]通过构造Q值分布网络，根据环境与智能体交互产生的数据，拟合Q值分布，通过采样的方法得到关节的奖励，对奖励进行归一化和平滑处理。[0137]根据全局奖励函数R(s,a)计算当前时间步的奖励。[0138]为了学习回报分布，需要扩展Bellman方程到分布形式。传统的Bellman方程描述了Q(s,a)的递归关系：[0140]其中，R(s,a)是即时奖励[0142]其中_表示分布相等。换句话说，当前状态-动作对的回报分布等于即时奖励与未来回报分布的折扣加和。这一形式体现了回报分布的递归特性。[0143]为了具体化上述公式，本实施例定义分布式Bellman操作符J:[0146]】在分布式0-1earning中，本实施例通过最小化预测分布Z。(s,a)和目标分布Zurge是下一状态动作对的期望值；5target是目标分布的标准差，通常由Z(s',a')的不确定性计算得出。目标分布表示了当前状态-动作对的真实回报分布的近似。[01