CN118031385B 基于强化学习和数字孪生模型的空调节能控制方法及系统 （广州施杰节能科技有限公司）

基于强化学习和数字孪生模型的空调节能本发明提出基于强化学习和数字孪生模型基于数据孪生模型的模拟结果和历史数据利用境中的不同空间内空调设备的信息共享和协同2S2、基于图神经网络对综合数据进行特征融合，然S3、构建深度模型预测控制强化学习模型，基于数S5、通过在网络通信实现在多空调系统环境中舒适度和能源消耗的目标函数最大化未来N步的预期奖励综合，再并行结合深度强化学习表示在时间步i获得的即时奖励，i-t表示从当所述深度强化学习组件利用环境模型M进行策略网络(s)的训练，用于预测在给定状;;所述奖励函数R(t)表示如下S304、对模型预测控制组件和深度强化学习组件3态和预测的长期效用动态选择模型预测控制组件的实时优化动作或深度强化学习组件学2.根据权利要求1所述的基于强化学习和数字孪生模型的空调节能控制方法，其特征用户互动反馈数据并将其转换为结构化数据，每项数据duw3.根据权利要求2所述的基于强化学习和数字孪生模型的空调节能控制方法，其特征S102、根据物理模型预测下一状态的环境数据4.根据权利要求3所述的基于强化学习和数字孪生模型的空调节能控制方法，其特征将处理后的环境数据和用户互动反馈数据融合，形成综合数据向量vc，表示如下：;和es分别是通过卡尔曼滤波处理后的环境数据和用户互动反馈数据；5.根据权利要求1所述的基于强化学习和数字孪生模型的空调节能控制方法，其特征;其中，表示节点v在第k次迭代后的特征向量，(v)表示节点v的邻居节点集合，weo和分别表示第k层的可学习权重矩阵和偏置项，AGGREGS203、采用平均聚合函数来使每个节点收集并4;;6.根据权利要求5所述的基于强化学习和数字孪生模型的空调节能控制方法，其特征;7.根据权利要求1所述的基于强化学习和数字孪生模型的空调节能控制方法，其特征度模型预测控制强化学习模型中用于调整模型预测和S404、通过实时监控数据和用户互动反馈数据使用8.根据权利要求1所述的基于强化学习和数字孪生模型的空调节能控制方法，其特征S502、定义全局优化目标为所有空间能效和舒适度S503、利用时间序列分析或机器学习方法根据S504、基于空调系统的物理限制和操作安全的情9.根据权利要求8所述的基于强化学习和数字孪生模型的空调节能控制方法，其特征5特征融合模块，用于基于图神经网络对综合数据进行模型构建模块，用于构建深度模型预测控制强化学习模型，基于数协同控制模块，用于通过在网络通信实现在多空调系统环境中的不同;S303、构建模型预测控制组件在基于当前环境st情况下舒适度和能源消耗的目标函数最大化未来N步的预期奖励综合，再并行结合深度强化学习所述深度强化学习组件利用环境模型M进行策略网络(s)的训练，用于预测在给定状;;6S304、对模型预测控制组件和深度强化学习组件态和预测的长期效用动态选择模型预测控制组件的实时优化动作或深度强化学习组件学7[0003]本发明的目的是提出基于强化学习和数字孪生模型的空8用户舒适度和能源消耗的目标函数最大化未来N步的预期奖励综合，再并行结合深度强化e""y"r,定状态s下的最优动作；所述奖励函数R(t)包括能耗奖励Renergy(t)和舒适度奖励Rcornfort境状态和预测的长期效用动态选择模型预测控制组件的实时优化动作或深度强化学习组境参数值；收集用户互动反馈数据并将其转换为结构化数据Duser＝{duser,1,duser,2,…,9[0035]其中，h9表示节点v在第k次迭代后的特征向量，N(v)表示节点v的邻居节点集[0041]其中，ΔSt表示基于图神则进行初步决策；所述全局协调机制包括中央协调器收集所有空间的局部决策和状态信[0056]在本发明的第二方面提供了基于强化学习和数字孪生模据进行预处理并构建综合数据向量，将综合数据向量作为强化学习和数字孪生模型的输用户舒适度和能源消耗的目标函数最大化未来N步的预期奖励综合，再并行结合深度强化定状态s下的最优动作；所述奖励函数R(t)包括能耗奖励Renergy(t)和舒适度奖励Rcornfort境状态和预测的长期效用动态选择模型预测控制组件的实时优化动作或深度强化学习组[0075](1)本发明提出了一种基于强化学习和数字孪生模型的空调节能控制方法及系[0078](4)引入用户反馈作为系统调节的一个重要输入，通过智能终端让用户参与到空[0080]利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限[0084]如图1所示，本发明实施例提供的基于强化学习和数字孪生模型的空调节能控制[0089]所述用户互动反馈数据的反馈接口通过智能家居应用或语音助手提供用户反馈[0103]对收集到的环境数据和用户反馈进行预处理和分析，确[0108]其中，h"表示节点v在第k次迭代后的特征向量，(v)表示节点v的邻居节点集[0114]其中，ΔSt表示基于图神[0118]通过将GNN与数字孪生模型结合，本方法不仅能够实现对环境参数和用户反馈的用户舒适度和能源消耗的目标函数最大化未来N步的预期奖励综合，再并行结合深度强化定状态s下的最优动作；所述奖励函数R(t)包括能耗奖励Renergy(t)和舒适度奖励Rcornfort[0130]α是调节能耗影响的权重系数，能耗奖励Renergy(t)的于Emax时，奖励减少，鼓励系统在不超过能耗上限的前提下尽可能降低能耗。舒适度奖励境状态和预测的长期效用动态选择模型预测控制组件的实时优化动作或深度强化学习组境反馈与预测的偏差,动态调整模型预测控制组件策略和深度强化学习组件的模型参数，区域)之间通过智能调度实现能效最大化和维持舒适度的过程。这一过程需要考虑各空间[0149]所述优化算法包括采用遗传算法、粒子群优化(PSO)等其他适用于连续空间优化[0156]如图2所示，本发明实施例还提供了基于强化学习和数字孪生模型的空调节能控用户舒适度和能源消耗的目标函数最大化未来N步的预期奖励综合，再并行结合深度强化定状态s下的最优动作；所述奖励函数R(t)包括能耗奖励Rener