CN119443751A 基于大语言模型及社会人口统计信息的电力负荷预测方法 （电子科技大学(深圳)高等研究院）

道新澜社区观光路1301-78号银星智基于大语言模型及社会人口统计信息的电本发明公开一种基于大语言模型及社会人2S100：基于时间序列转换模块，对电力历史负荷S200：基于社会适配器模块，将社会人口统计信S400：通过最小化所述初始电力负荷预测模2.根据权利要求1所述的基于大语言模型及社会人口统计信息的电力负荷预测方法，3.根据权利要求1所述的基于大语言模型及社会人口统计信息的电力负荷预测方法，4.根据权利要求3所述的基于大语言模型及社会人口统计信息的电力负荷预测方法，5.根据权利要求1所述的基于大语言模型及社会人口统计信息的电力负荷预测方法，6.根据权利要求5所述的基于大语言模型及社会人口统计信息的电力负荷预测方法，3构化人口统计信息中投影得到的键矩阵和值矩阵，Linear()函数表示嵌入表示的线性嵌7.根据权利要求1所述的基于大语言模型及社会人口统计信息的电力负荷预测方法，8.根据权利要求7所述的基于大语言模型及社会人口统计信息的电力负荷预测方法，其中qo)和vtu)分别表示大语言模型中，对最后u层Transformer的查询和值9.根据权利要求1所述的基于大语言模型及社会人口统计信息的电力负荷预测方法，10.根据权利要求1所述的基于大语言模型及社会人口统计信息的电力负荷预测方法，其中，x(i)eR(1)表示电力历史负荷信息，表示回溯时长为个时间步内的用电量，Y()表示电力实际负荷,s(0)表示为第i个家庭相关的社会人口统计信息，表示电力负4[0006]本发明的目的在于提供一种基于大语言模型及社会人口统计信息的电力负荷预供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见5通过在起点和终点增加额外块来处理边界问题，使电力历史负荷的时间序列数据完整覆从结构化人口统计信息中投影得到的键矩阵和值矩阵，Linear()函数表示嵌入表示的线其中qo)和vtu)分别表示大语言模型中，对最后u层Transformer的查询q()和6其中，X(i)eR()表示电力历史负荷信息，表示回溯时长为个时间步内的用电期的负荷预测场景中，通过整合社会人口统计信息显著提升了模型的响应能力和预测精图1是本发明实施例基于大语言模型及社会人口统计信息的电力负荷预测方法的图2是本发明实施例基于大语言模型及社会人口统计信息的电力负荷预测方法的7描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。的时间序列数据进行标准化和实例归一化处理，以消除时间序列数据中的分布漂移问题，的负荷预测场景中，通过整合社会人口统计信息显著提升了模型的响应能力和预测精度。[0023]作为可选的实施方式，S100步骤中，时间序列转换模块通过可逆实例归一化标准化处理的通过以下公式进行：8通过在起点和终点增加额外块来处理边界问题，使电力历史负荷的时间序列数据完整覆从结构化人口统计信息中投影得到的键矩阵和值矩阵，Linear()函数表示嵌入表示的线[0026]作为可选的实施方式，大语言模型使用低秩适配LoRA对以适应电力负荷预测的特定需求。低秩适配LoRA对大语言模型的部分层进行参数化调整，其中qo)和vtu)分别表示大语言模型中，对最后u层Transformer的查9使得模型在处理不同社会群体的负荷特性时具有更好的鲁棒性。均方误差损失函数的表其中，x(i)eR(1)表示电力历史负荷信息，表示回溯时长为个时间步内的用电量，Y()为电力实际负荷,s()表示与第i个家庭相关的社会人口统计[0032]表2显示，本实施例的方法在大多数情况下在所有社会人口因素中的表现都优于基线模型高出多达4.96%。这种改进的性能由于本实施例的方法将社会人口因素整合到预型的表现始终不佳。由于预训练大语言模型固有的泛化能力，TimeLLM比PatchTST和TimeLLM缺乏有效整合社会人口统计因素所必需的社会相关适配器，这种缺失限制了它充图3展示了不同模型在社会人口学因素下的负载预测性能。所有模型均被训练用影响，从而在预测中进行准确的调整，更好地反映出真实的消耗峰值。PatchTST和iTransformer在实际数据中表现出更大的差距，特别是在能源消耗显著波动的时期。峰值需求的响应延迟，无法完全捕捉到消耗峰值和谷值的幅度。TimeLLM虽然表现优于总体而言，本实施例的方法在所有社会人口学因素下表现出了一致的更为精确的预测能[0034]为了评估本实施例中的方法是否真正理解并有效利用了文本形式的社会人口学实施例的方法与三种在社会人口学上下文方面有所变动的方法进行了比较：无因素（NoFactors该方法排除了任何社会人口学因素的输入，目的是分析社会人口学因素带来的析大语言模型的transformer最后一层的注意力机制。图4展示了某个样本的注意力得分。义社会人口学上下文中起关键作用的特定标记token。具体来说，模型显著地关注了作为能够有效地关注文本形式的社会人口学输入中的相关部分，这些部分既包括信息的类别学信息视为通用文本，而是主动利用文本中的语义含义，从而使其能够对能源消耗做出更实施例的方法在所有年龄组中都优于其他方法，这表明基于文本的社会人口学信息有效利transformer层的数量。旨在了解大语言模型的适应性从文本形式的社会人口学因素和时间负载数据中有效学习能力的影响程度。虽然增加可训练的低秩适配LoRA应用的最初将从4增加到12可以提高模型的性