CN115293033B 一种航天器人工智能模型训练方法与系统 （哈尔滨工业大学）

本发明提出了一种航天器人工智能模型训攻防对抗、博弈的智能技术研发和应用的平台之间的对抗与合作过程，且能够支持多类型任2指令驱动组件架构的建立，并在SpaceSim中建立了支持SpaceSimGYM对仿真进行控制的相所述作战场景为推演环境模块SpaceSim提供卫星数据，推演环境模块SpaceSim通度接口将原始观测数据和场景数据传输至对对抗调度模块接收对抗规则库的规则信息，并将原始观测数据传输至多智能体对抗决策进程模块中的多智能体对抗算法子模块将动作信息传输至对抗调所述可视化人机界面用于卫星相关设置、场景相关设置、地面站所述训练系统支持用户对调用卫星数量和调用卫星种类自定义，能够对卫星的功能、所述推演环境模块支持使用Python语言，并支持Tensorflow和Pytorch常用深度学习6.一种根据权利要求1至5中任意一项所述的航天器人工智能模型训练系统的机器学3若敌方卫星已被击毁，则设置该卫星的观测距离极远，以此鼓pp程形成的周期性/非周期性绕飞运动或带有机动的运动；进攻方的策略是由神经网络的输设置与相对距离相关的引导性奖励，在任务完成时刻根据燃料剩余值性奖励采用智能体与目标距离的历史值与当前值之差作为回合步骤内的距离抵进分步奖pp4所述处理器执行所述计算机程序时实现权利要求6至8中任一项所述方5[0002]随着太空逐渐成为日益拥挤且对抗激烈的领域，为了适应日趋复杂化的太空作平台基于SpaceSim开发，在SpaceSim的基础上完成了指令驱动组件架构的建立，并在SpaceSim中建立了支持SpaceSimGYM对仿真进行控制的相关接口函数，最后通过集成的单智能体强化学习算法DDPG与多智能体强化学习算法MADDPG实现了支持机器学习的仿真系SpaceSimGYM平台的DDPG算法，实现了在连续推力下基于强化学习的与空间非合作目标的[0010]多智能体对抗决策进程模块中的多智能体对抗算法子模块将动作信息传输至对6[0018]所述推演环境模块支持使用Python语言，并支持Tensorflow和Pytorch常用深度7pp[0046]设置与相对距离相关的引导性奖励，在任务完成时刻根据燃引导性奖励采用智能体与目标距离的历史值与当前值之差作为回合步骤内的距离抵进分pp[0055]3.本发明在支持使用可视化平台构建航天器对抗8对抗调度模块、多智能体对抗决策进程模块(多智能体[0064]所述作战场景Scene为推演环境模块Spacesim提供卫星数据，推演环境模块Spacesim通过调度接口将原始观测数据和场[0066]多智能体对抗决策进程模块中的多智能体对抗算法子模块将动作信息传输至对[0067]训练系统以SpaceSimGYM作为核心架构，与多智能体对抗决策进程模块的多智能[0069]所述推演环境模块用于卫星载荷控制与计算、卫星变轨计算和卫星轨道姿态控[0075]所述推演环境模块支持使用Python语言，并支持Tensorflow和Pytorch等常用深9[0092]sam=S,S…S…S[0099]为了尽快完成轨道拦截目标，红方可见光侦察卫星在整个作战时长(2400s)内持pp[0108]引导性奖励采用智能体与目标距离的历史值与当前值之差作为回合步骤内的距pp[0122]1)SpaceSimGYM强化学习平台基于SpaceSim软件进行开发，SpaceSim软件能够支[0123]2)SpaceSimGYM是多智能体在航天背景下进行协同合作与博弈对抗算法研究与训[0124]3)SpaceSimGYM平台为利用深度强化学习算法解决航天背景下多智能体分布式对[0126]图4中，SpaceSimGYM程序由多智能体训练环境(Train_maeos)、生成训练器[0127]图5中，深度确定性策略梯度(DDPG)强化学习算法使用了深度学习中的多隐层前示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(staticRAM，DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(doubledatarateSDRAM，DDR取存储器(synchlinkDRAM，SLDRAM)和直接内存总线随机存