CN114757102B 基于深度强化学习的双点渐进成形制造方法及装置 （贵州翰凯斯智能技术有限公司）

技术产业开发区沙文镇沙文生态科技产业园长通智能制造产业基地一期3基于深度强化学习的双点渐进成形制造方本发明提供一种基于深度强化学习的双点造的三维模型并进行分层获取多个主工作路径选择的当前支撑路径在实际应用环境中分别循工作路径对应的支撑路径循环更新当前主工作成形。本发明能够进行从机器人的支撑策略调2获取待制造的三维模型并对所述三维模型进行分层获取多个主工作路径以及与每个所述初始的主工作路径对应的一支撑路径作为初始的当前主工作路径和当前根据当前主工作路径和选择的当前支撑路径在实际应用环境中在所述根据当前主工作路径和选择的当前支撑路径在实际应用环境中分别循环控制其中，在所述数字仿真环境对所述三维模型进行仿真，结述下一仿真主工作路径和对应的仿真支撑路径分别对所述当前仿真主工作路径和所述当将所述成形曲面与目标曲面的偏差值作为状态向量，应用预训练的主工作路径和与所述下一主工作路径对应的所述支撑路径循环更新所述当前主工作路径获取待制造的三维模型，应用沿曲面偏移函数对所述三维模型以针对每个所述曲线路径，以预设点间距划分第二预设数量的离散针对每个所述主工作路径，分别根据多个支撑策略获取与所述3按照机器人语法规则将所述当前仿真主工作路径和所述当前仿真支撑路径的离散点使用仿真软件构建板材形变的仿真模型，根据所获取与所述目标曲面上的各第一参考点分别对应的所述仿真成形曲面上的各第二参将所述状态向量输入所述深度强化学习模型进行支撑策略的强化学习根据所述仿真成形曲面以及所述仿真成形曲面回弹值更新所述路径获取单元，用于获取待制造的三维模型并对所述三维模型进主工作路径以及与所述初始的主工作路径对应的一支撑路径作为初始的当前主工作路径渐进成形单元，用于根据当前主工作路径和当前支撑路径在在所述根据当前主工作路径和选择的当前支撑路径在实际应用环境中分别循环控制其中，在所述数字仿真环境对所述三维模型进行仿真，结述下一仿真主工作路径和对应的仿真支撑路径分别对所述当前仿真主工作路径和所述当47.一种电子设备，包括存储器、处理器及机程序，其特征是，所述处理器执行所述程序时实现如权利要求1-5中任意一项所述的方执行指令使处理器执行如权利要求1-5中5头的运行轨迹是从属于主工具头。这种双点渐进成形方法可以进一步提高板料的成形性，其广泛的工业应用。目前渐进成形精度问题的改进方法以测量材料的反弹量进行补偿为6械臂进行渐进成形，获取与所述当前主工作路径对应的成形曲面之前，包括：在Grasshopper中构建与待制造的所述三维模型的实际应用环境相符的数字仿真环境；在所化学习模型进行支撑策略的强化学习，并输出与下一仿真主工作路径对应的仿真支撑路7向选择初始的主工作路径以及与所述初始的主工作路径对应的一支撑路径作为初始的当维模型进行分层获取多个主工作路径以及与每个所述主工作路径对应的候选的多个支撑[0016]图1为本发明实施例中的基于深度强化学习的双点渐进成形制造方法的流程示意8[0023]图8为本发明实施例中的基于深度强化学习的双点渐进成形制造装置的结构示意[0027]本发明实施例提供了一种基于深度强化学习的双点渐进成形制造方法。如附图1[0028]步骤S11：获取待制造的三维模型并对所述三维模型进行分层获取多个主工作路作路径以及与所述初始的主工作路径对应的一支撑路径作为初始的当前主工作路径和当onsurface)对所述三维模型以预设层厚沿成形方向进行分层，获取第一预设数量的曲线所述离散点生成与所述曲线路径对应的主工作路径。预设点间距可以根据需要进行设置，应的成型工具头的移动位置和成形方向组合构成一主9[0036]以上四种支撑策略各有优劣，局部支撑策略(包括局部下面支撑策略和局部外围支撑策略)能够加强对局部细节的成形，整体误差会较大；全局支撑策略能够统一整体误[0037]从多个主工作路径中根据成形方向选择初始的主工作路径作为初始的当前主工作路径，从与初始的主工作路径对应的候选的4种支撑路径中随机选择其中一个作为初始[0038]步骤S12：根据当前主工作路径和选择的当前支撑路径在实际应用环境中分别循撑路径(local1)的概率，l2表示与下一主工作路径对应的支撑路径为局部外围支撑路径(local2)的概率，f表示与下一主工作路径对应的支撑路径为跟随支撑路径(follow)的概路径和所述当前仿真支撑路径的离散点的坐标和方向转化为机器人运动指令；使用LS所述当前仿真主工作路径对应的仿真成形曲面和仿真成形曲[0043]再将所述仿真成形曲面与目标曲面的偏差值作为状态向量对输入所述深度强化[0044]最后根据所述下一仿真主工作路径和对应的仿真支撑路径分别对所述当前仿真径和所述当前仿真支撑路径循环控制机械臂进行渐进成形，循环更新所述仿真成形曲面；根据所述下一主工作路径和与所述下一主工作路径对应的所述支撑路径循环更新所述当[0048]通过深度强化学习模型对支撑策略的强化学习输出与下一主工作路径对应的支[0050]本发明实施例的基于深度强化学习的双点渐进成形制造方法在硬件上应用两个[0051]本发明实施例的基于深度强化学习的双点渐进成形制造方法通过获取待制造的三维模型并对三维模型进行分层获取多个主工作路径以及与每个主工作路径对应的候选动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，始的主工作路径以及与所述初始的主工作路径对应的一支撑路径作为初始的当前主工作发明实施例时可以把各模块的功能在同一个或多[0061]图9示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备[0063]存储器902可以采用ROM(ReadOnlyMemory，只读存储器)、RAM(Random[0065]通信接口904用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信[0067]需要说明的是，尽管上述设