CN119168229B 一种基于多智能体系统的社区数字网格自治管理方法 （陕西九一七科技股份有限公司）

一种基于多智能体系统的社区数字网格自本发明公开了一种基于多智能体系统的社并通过共轭梯度优化技术与自适应元策略自主能体熵正则化随机探索算法与局部智能体进行22.根据权利要求1所述的一种基于多智能体系统的社区数字网格自治管理方法，其特33.根据权利要求1所述的一种基于多智能体系统的社区数字网格自治管理方法，其特4.根据权利要求1所述的一种基于多智能体系统的社区数字网格自治管理方法，其特S51、区域协调智能体定期从局部智能体中收集环境状态数据，构建区域环境状态模S52、根据区域状态向量Sregion构建区域环境状态模型Mregioni个局部智能联合策略的熵正则化项H(Π)为：4i)表示第i个局部智能体的奖励函数；5.根据权利要求1所述的一种基于多智能体系统的社区数字网格自治管理方法，其特全局状态模型，将所有区域状态向量进行聚合，形成全局状态向量其中m表示社区内的区域数量，表示区域k中第i个局部号，全局协调智能体使用分层强化学习算法进行全局策略优化，求解最优全局策略S64、在全局策略优化过程中，全局协调智能体根据当前全局状态Sglobal和策略Πglobalk表示区域k中的局部智能体数量，表示区域k中第i个局部智能体的奖S65、全局协调智能体利用全局奖励Rglobal通过分层强化学习算法对全局策略Πglobal进6.根据权利要求1所述的一种基于多智能体系统的社区数字网格自治管理方法，其特区域状态信息Sregion，并结合区域内的动态变化，对局部智能体的策略进行实时评估和调5S74、全局协调智能体接收区域协调智能体传递的区域状态6[0002]随着物联网技术和人工智能技术的快速发展，智能社区的概念逐渐进入大众视7感器和监控设备每天生成大量的实时数据，这些数据需要在短时间内被处理并作出响应。[0010]本发明的一个目的在于提出一种基于多智能体系统的社区数字网格自治管理方8[0021]S41、局部智能体利用部署的传感器实时采集环境数据、安防数据和能源使用数次迭代的步长参数，pk表示第k次迭代的共轭方向，γk表示第k次迭代的动态调整系数，′间t时刻的环境质量参数，Qenv,ideal表示理想环境质量值，Qenv,max表示环境质量最大值，9,[0034]S46、局部智能体利用强化学习框架中的探索与利用机制，执行更新后的策略π,[0038]S52、根据区域状态向量Sregion构建区域环境状态模型Mregion，区域环境状态模型,,定义联合策略的熵正则化项H(Π)为：,,中模型描述全社区范围内状态的动态变化，定义全局状态转移概率P(Sglobal|Sglobal,,[0052]其中，m表示全社区内区域协调智能体的数量，表示区域k中的第j个动作，[0053]S64、在全局策略优化过程中，全局协调智能体根据当前全局状态Sglobal和策略[0056]S65、全局协调智能体利用全局奖励Rglobal通过分层强化学习算法对全局策略Πglobal进行优化，并根据优化后的全局策略下发免了传统集中式管理架构的瓶颈问题。这种分层架构使得系统具有更强的扩展性和灵活[0070]图1为本发明提出的一种基于多智能体系统的社区数字网格自治管理方法的流程[0071]图2为本发明提出的一种基于多智能体系统的社区数字网格自治管理方法的系统[0072]图3为本发明提出的一种基于多智能体系统的社区数字网格自治管理方法的闭环[0074]参考图1_3，一种基于多智能体系统的社区数字网格自治管理方法，包括如下步[0084]S41、局部智能体利用部署的传感器实时采集环境数据、安防数据和能源使用数次迭代的步长参数，pk表示第k次迭代的共轭方向，γk表示第k次迭代的动态调整系数，′间t时刻的环境质量参数，Qenv,ideal表示理想环境质量值，Qenv,max表示环境质量最大值，,[0097]S46、局部智能体利用强化学习框架中的探索与利用机制，执行更新后的策略π,[0101]S52、根据区域状态向量Sregion构建区域环境状态模型Mregion，区域环境状态模型,,i个局部定义联合策略的熵正则化项H(Π)为：,,中模型描述全社区范围内状态的动态变化，定义全局状态转移概率P(Sglobal|Sglobal,,策略其中won表示区域k的最优策略；[0115]其中，m表示全社区内区域协调智能体的数量，表示区域k中的第j个动作，[0116]S64、在全局策略优化过程中，全局协调智能体根据当前全局状态Sglobal和策略[0119]S65、全局协调智能体利用全局奖励Rglobal通过分层强化学习算法对全局策略Πglobal进行优化，并根据优化后的全检测到社区的不同区块存在能源供需失衡的情况，例如某些区块的能源需求已经接近上示了传统系统与多智