2024年基于大语言模型的新型电力系统运行与仿真初探报告-香港中文大学

香港中文大學(深圳)TheChineseUniversityofHongKong,Shenzhen香港中文大学(深圳)深圳市人工智能与机器人研究院01n个1Al近代史Al现代史3LLM发展历程决策式Al生成式Al决策+认知+感知+学习+执行+社会协作重大突破(1980s~2010年)习模型(2011年~2016年)启“大模型时代”Sora推出(2017年~)来源：艾瑞2023年AIGC场景应用展望研究报告人工智能Al现代史：深度学习的突破和近年来的发展2014年2017年2020年2023年语言处理Transformer语言处理Transformer类架构深度神经网络生成式对抗神经网络GAN视觉处理视觉处理CNN类架构引入人工反馈强化学习处理图像引入人工反馈强化学习处理图像引入注意力机制引入注意力机制架构预训练大模型成为趋势多模态+大模型●BERT的出现降低了NLP从业的准入门槛，那么大模型的出现则是进一步降低了各个行一019229一a21kk1234语言模型简介你好。你也好。一个前缀输入你好。人类肯德基疯狂星期四。一个人类对话场景肯德基疯狂星期四。什么是语言模型你好。你也好。一个前缀输入你也好。真实分布真实分布你好。你也好。你好。V我50。语言模型预测分布给定相同前缀，语言模型是输出能近似人类语语言模型预测分布多头自注意力多头自注意力全连接层全连接层层归一化层归一化自注意力层归一化“你好美丽。”论文新闻网络爬虫私有知识库私有知识库开源数据集开源数据集理)美美丽你好你好美容纳大数据的载体，通常由深度神经网络构成，学习大数据中的统计信息与抽象知识InputSequence大数据大算力大数据大算力(深度神经网络)promptdataset.每个类型的问题人工设计了指令每个类型的问题人工设计了指令LLM架构与训练：微调阶段-如何赋予LLM逻辑能力?代码实现计算1-100pythonpython使用了等差数列求和Chain-of-ThoughtLLM架构与训练：问题来了-回答是有问题的珠穆朗玛峰10分我也不知道呀0分重复生成我也不知道呀0分世界最高的山峰是?人工排序A>B>C>D 语言模型的社会化语言模型加入代码数据，重新训练。加入指令数据，加入代码数据，重新训练。加入指令数据，生成分数打分模型自监督学习监督学习强化学习LLM架构与训练：各个训练阶段综合来看..百科、网页等的答案强化学习(cny)基础模型基础模型带着笑脸的修格斯。(由/anthrupad提供)展望与应用电力行业应用大模型的潜在应用领域：●机器代人(机巡、客服、公文写作等)●信息-物理-社会系统(CPSSE)仿真/数字孪生●电力系统机理研究(Al4S)●在调度运行等核心领域，大模型的推理可靠性与“幻觉”问题，决定了大模型尚不能完全替代人工。●已经应用良好的各种基于因果模型的工具无需替代。●应该采取因果模型+大模型+小模型融合的技术路线。2024,48(6):13-28.基于大语言模型实现高适应性负荷预测(多模态数据融合)·传统方法局限：1.难以应对特殊事件发生时，短期电力负荷的快速变化或极端波动；2.不能适应超出历史数据涵盖范围的新场景；3.无法基于文本数据(新闻事件)进行预测推理。能够基于语言有效处理、整合非结构化及海量多源数据，通过Agent筛选实时相关新闻并理解文本逻辑，显著提升预测的适应性和精确度。新新闻+地理+历史负荷+气象数据+典型天Input:predictthedailyloadconsumptioninthenextday.IlistoricIlistoricalDatacovers{Iday}an·mimtes}pert·Theweatherofpredictiondate:{minmamtemperatitemperature,hmidiry.wndpower,andpressire}:·Newsbeforetheprediction:/Newstrle,,briefsunmary!,publicationtime}.{category.[ullarticle}.Output:{Timesertesofactualloadinthepredicrlondate}.LLMs擅长解析和理解非结构化数据LLMAgentLLMAgent智能优化用于负荷预测相关新闻的选择预训练模型能够整合广泛的社会、经济和技术知识新闻事件相关的文本数据的引入新闻事件相关的文本数据的引入，有效提升在特定事件发生时负荷预测精确度。NoNewhnigherporarlodduntingpoakhous….wthadropinconsumption..News:疫情封城商业活动带来居民用电量上升区域大停电·Agent对新闻事件的筛选，在提升大模型输入token效率的同时增强预测精确度：PERFORMANCEMETRICSOFDIFFERENTMO481006.30693.55523.2321.25475200.06689.35421.8211.61224497.31473.81323.891·预测效果普遍优于现有方法，在不同时间和地理维度的适应性强，显著提升预测的适应性和精确度：NSWLSTMReformerIaformer444LSTMReformerIaformer444ActualVal*sPredictedValssd48024ActualVabesPr基于LLM的负荷预测显著提升准确性和可靠性，优化对突发变化的应对，突出了语言处理在整合非结构化信息中的作用，标志负荷预测及时序决策研究范式的转变。基于前期研究，我们发现可以将调度、市场行为以大语言模型的形式建模(语言模型化),解决传统调度支撑体系中调度行为没有更适应复杂开放场景事故处置辅助决策◎调度多模态数据(日志、语音)调度多模态数据(日志、语音)怕系统调员怕系统调员目标:m解决m母线失压决策辅助性能提升支撑复杂开放场景下的调度决策推理与智能生成性能提升支撑复杂开放场景下的调度决策推理与智能生成调度及市场行为缺少有效建模工具度行为语言模型化与调度决策智能生成的技术框架电力调控运行多模态融合操作监护：电力调控运行多模态融合知识数据集调度统一知识调度统一知识管混合专家模型(MoE)系统人机协同基于多头注驱动机制人机协同工具使用工具使用大模型集群基于低秩适加速微调混合增强智能95%以上主要日常操作环节业务支持辅助决策：预判结果、自动辅助决策：预判结果、自动提醒和预警恶性基于检索增强生成的知识库框架事故处理：事故处理：多主体协同调度大模型数据处理初版领域数据集大模型训练数据集output":Insulatlondeterlorstlon,oftencsuredbysolsture,overhesting,vtbrat*khaniclstressduriretransforrertheauchralts,iInstructian":xplainthepotentialcausesoftapchangauipuL":"TapchangerfailurncanLecasltyalfumctionufUewchnicalwresistanceloodcontacts,insulationtracking,overhoating,orcontainaticn4autput":"tatfstlesshosthat4一一output":"Toprevcnttransforwerwindingfailures,wsuressuchascnsuringproplevels,aoidingeverteatingd-fng(amltsrheinplerent调度大模型交互页面osderinteostwlptO+ssrdluosderinteostwlptO+ssrdlumnteocop*01hilyigonskelrZkrrwlcknt0prtknwrterialpnstuis轴aiedihdihnttimlbtO.ACshdsandpstkdplraefcofhpwspun业务场景支持：测试教科书教科书论文NN十提取+分割+标签+增强提取+分割+标签+增强据集测试生成调度成+增强达性稳定性测试集评测体系：■评测围绕调度大模型在事实性、逻辑性、稳定性、公平性、安全性、表达能力六大类二十四个子维度展开评估。测试集题型设定：评测方法：客观题：GPT-4+评测脚本842稳定性表达性事实性公平性逻辑性稳定性调度测试数据集调度场景(一级指标)8642安全性安全性稳定性表达性事实性公平性逻辑性安全性安全性稳定性■调度相关问题的逻辑性、稳定性和安全性上表现●大模型的“智能涌现”现象，再次表明复杂系统的研究问题无法完全在还原论的框架下解决。·WRT以CPSSE框架刻画复杂系统，以混合动态仿真来提取对象系统的高维仿真轨迹，基于轨迹动力学的时空保熵映射，将复杂系统的研究从线性的“局部还原”提升为非线性的“整体保熵还原”。●大语言模型可以基于仿真或实测轨迹数据，基于其内化的理论常识，以一定概率在局部自主进行逻辑●基于大模型内化的理论常识，大模型也可以用作严格因果模型与近似模型的选择器。●我们的初步研究表明，大语言模型已具有模仿人进行系统性逻辑思维的能力。因此，可以在CPSSE仿真中，结合真人、因果模型和大语言模型，实现更精确的人机混合仿真。●大模型的推理可靠性与“幻觉”问题，目前尚无法完全解决。现阶段，“人机混合智能”可能是最符合电力系统实际的解决方案。终极目标。泛化性较差：对于那些需要快速适应新信息和变化的实际应用场景，传统的数学方法缺乏灵活性。推理能力：LLMs拥有处理复杂问题和理解复杂语境的能力，这使它们能够理解和分析复杂的博弈策略。泛化能力：得益于LLM出色的zero-快速适应市场的动态变化。结合大量历史案例，提高仿真的准确性和效率。代理模拟：将LLM与多代理仿真结合，通过模拟市场中player行为或策略，为市场仿真提供了一种新的思路。代码解释器()代码解释器()果反馈，自学习奖励总结经验，形成长期记忆与尚尚*尚传递与经验知识共享效沟通协议与流程■FAISS:向量高性能查询查询基于大模型的市场仿真●市场仿真基础流程分解得到交易机制信息反馈组织信息反馈交易者，调整决策输入交易机制市场主体流程分解得到交易机制信息反馈组织信息反馈交易者，调整决策输入交易机制市场信息公示市场信息公示·程序化、标准化、规范化市场规则匹配出清"三公"原则市场外部性外部干扰基于大模型的市场仿真●大语言模型训练——以电力市场为例提示语工程·模拟电力交易员工作环境，给出机组工况、断面阻塞、燃料成本、碳成本、市Q价开色沿外现货市场o验市反工大模