版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
报告题目:AI大模型技术在电力系统中的应用单位:香港中文大学(深圳)时间:2025年6月10日香港中文大学(深圳)TheChincseUnivcrsltyocHongKong.Sxnzhen01大语言模型与智能体技术简介决策式Al决策+认知+感知+学习+执行+社会协作重大突破(1980s~2010年)习模型(2011年~2016年)启“大模型时代“Sora推出(2017年~)“来源;艾瑞2023年AIGC场景应用展望研究报告什么是语言模型你好。你也好。你也好。真实分布你也好。真实分布你也好。你好。V我50。给定相同前缀,语言模型是输出能近似人类语给定相同前缀,语言模型是输出能近似人类语言分布的模型。□学习文字接龙(prefixLM),无需标注,自监督(self-supervised)书籍论文“书籍论文私有知识库私有知识库理)你好美LLM架构与训练:预训练阶段·大数据:知识的来源,包含各种语言现象及语义知识,直接决定了模型的学习范围容纳大数据的载体,通常由深度神经网络构成,学习大数据中的统计信息与抽象知识·大算力:处理大数据和大模型的并行计算集群,通常包含GPU、TPU等高性能运算设备大数据大模型大数据大模型直接全量参数微调问题:耗费GPU资源多,通常需要A100*8以上(百万RMB)核心优势:训练参数量少,70亿参数使用LoRA只微调效果好,LoRA效果不差于全参数微调,优于其他微调方式GPU要求低,3090*4即可微调7b模型十WW2.44±别GPT-2L(PreLayer)68.9±38.70+470.38.8570.4.8.89±m2454mTable3:GPT-2medium(M)andlarge(L)withdifferentalaptatChallenge.Forallnetrics,higherisbeorfewertrainableparameters.Confidenceintervalsareshownforexperimennumberspublishedinpri量化人类喜好,训练打分模型基于强化学习,迭代最终模型加入代码数据,重新训练。量化人类喜好,训练打分模型基于强化学习,迭代最终模型加入代码数据,重新训练。世界最高的山峰是?选择问题重新选择问题生成回答生成分数总结下面文章文章的大意是。。。打分模型打分模型训练奖励模型数据上,训练大语言模型自监督学习监督学习强化学习LLM架构与训练:各个训练阶段综合来看..数干亿单词:图书、百科、网页等标注用户指令数万用户指令和对应月级别训练时间SFT模型天级别训练时间强化学习十万量级用户指令天级别训练时间0所⑥0Agent(自主智能体)考古学:通用定义典型实例能够自动感知环境jumpforward/backstrafe常用工具:LLMAgent:关键能力一任务分解与试错吧7mWag,uelG,GaudesC.CpakiaeDspmr.UaosnyMelrelgtededolngrdtaukplwdnkrobfeodagosopserdnrccen.Te4tfeiei0dgnMikbatndmokthatraakpardcthucnrbuatyacarpliTSiseratnikaiasdbtspmanphtieei.Thei子目标子目标子目标子目标Thought:...Action:..Obs:...Thought:...THETRAGEDYOFATHREE感覺訊息(祝/髦/嗅/味/髑)感覺訊息(祝/髦/嗅/味/髑)短期記己憶/工作記憶i*I'aplasnlngatHocpotQACoTMMLU1ee,Llama2)ToolsCorreettrajactarintTheught3-4-57-5-12AnyCThFe4ctfarmatForsi1-fxMeplEbpX★息④mLcLargeLanguageModeLM-friendlyenvironmentfeedbackAAFine-TuningandPromptOptimization:LLMAgent:新的模型能力获取范式参数学习参数学习输出输入参数学习模型输出将文本分类为中性、输出我觉得食物还可以。提示词能力参数学习参数学习智能体相关的提示词6能力机制养香港中文大学(深圳)TheChincseUnivcrslyccHongKo02LLMAgents在电力系统研究中的应用思考大模型的核心能力逻辑推理LLMAgent在新型电力系统中的应用思考LLMAgent的潜在应用领域:·机器代人(机巡、客服、公文写作等)·工作流重构(调度运行规划)·多模态数据融合(数字化服务)·电力系统机理研究(Al4S)薛禹胜,新型能源体系(CPSS-EEE)的多目标协调规划,/s/fodienZxB24j9MRX6qFa9w赵俊华,文福拴,黄建伟,等.基于大语言模型的电力系统通用人工智能展望:理论与应用[J].电力系统自动化,2024,48(6);13-28.大模型/领域小模型·适用于误决策代价比较小的简单机器代人场景;文本数据业务数据图像数据·适用于需要引入文本、视频等多种模态数据,且误决策代价较小的场景;·不适用于需要对电力系统精确量化的场景;微调联合推理训练·实现推理与计算的统一;·较好的模拟因果模型背后的物理机理;·神经网络架构尚有待探索;·可解释性不足;推理大模型文本数据业务数据符号数据微调/RL大语言模型PINN因果模型符号模型(SPT)知识表示快速数值因果分析/符号推理计算可靠数值计算·推理大模型作为“大脑”,主要负责问题的规划、任务的分解与高层次推理;·因果模型可在部分必要场景下,保证决策结果的可靠性;推理大模型文本数据文本数据人机协同符号数据训练训练知识表示快速数值因果分析/符号推理计算可靠数值计算·必要的场景中,可以将人引入多智能体框架中;·人可以向智能体提供反馈,并作为最终决策者判定决策质量;andmethods,IEEETran信息物理社会系统仿真·大模型的“智能涌现”现象,再次表明复杂系统的研究问题无法完全在还原论的框架下解决。·受薛禹胜院士的整体还原论(WRT)方法论的启发,我们在思考如何将大模型应用于解决复杂的信息物理社会系统(CPSSE)的仿真问题。·WRT以CPSSE框架刻画复杂系统,以混合动态仿真来提取对象系统的高维仿真轨迹,基于轨迹动力学的时空保熵映射,将复杂系统的研究从线性的“局部还原”提升为非线性的“整体保熵还原”。·大语言模型可以基于仿真或实测轨迹数据,基于其内化的理论常识,以一定概率在局部自主进行逻辑推理,实现对复杂系统局部的可解释性。·基于大模型内化的理论常识,大模型也可以用作严格因果模型与近似模型的选择器。·我们的初步研究表明,大语言模型已具有模仿人进行系统性逻辑思维的能力。因此,可以在CPSSE仿真中,结合真人、因果模型和大语言模型,实现更精确的人机混合仿真。问题,目前尚无法完全解决。现阶段,“人机混合智能”可能是最符合电力系统实际的解决方案。·CPSSE仿真问题解决后,通过CPSSE对实际系统进行反馈,构建大模型驱动的数字孪生,是研究的终极香港中文大学(深圳)TheChincseUnivcrslyccHongKo基于大语言模型实现高适应性负荷预测(多模态数据融合)·传统方法局限:1.难以应对特殊事件发生时,短期电力负荷的快速变化或极端波动;2.不能适应超出历史数据涵盖范围的新场景;3.无法基于文本数据(新闻事件)进行预测推理。量多源数据,通过Agent筛选实时相关新闻并理解文本逻辑,显著提升预测的适应性和精确度。新新闻+地理+历史负荷+气象数据+典型天temperature,humidity,windpoier,andpressure);Output:{Tieseriesofactualloadinthepredictiondate},ITA-LF框架图- 新闻事件相关的文本数据的引入,有效提升在特定事件发生时负荷预测精确度。NeNewsNews:LoadNews...increasingrasidenialelectricityus(kWh)higherpowerloaddharingpeakhours一·Agent对新闻事件的筛选,在提升大模型输入token效率的同时增强预测精确度:LoadDemandPrediction(kW)LoadDemandPrediction(kW)2TextualPrompt·基于新闻和负荷数据的ITA-LF预测效果普遍优于现有方法:6.71%93.92%6.09%94.70%5.42%95.06%·预测效果普遍优于现有方法,在不同时间和地理维度的适应性强,显著提升预测的适应性和精确度:NSIV48页048页0ITA-LF(Ours)4400ReformerInformerAutoformer444基于LLM的负荷预测显著提升准确性和可靠性,优化对突发变化的应对,突出了语言处理在整合非结构化信息中的作用,标志负荷预测及时序决策研究范式的转变。调度大模型研究背景基于前期研究,我们发现可以将调度、市场行为以大语言模型的形式建模(语言模型化),解决传统调度支撑体系中调度行为没有有效建模工具的问题。我们希望实现调度行为数据(包含语音、拓扑结构、文本等多模态数据)、调度规程及系统工况等数据的统一表示,基于大语言模型多智能体实现调度行为的理解、推理、操作序列生成、智能博弈策略生成、市场波动响应及决策优化等目标,提高调度安全性与效率。事故处置铺助决策B人类调度与(日志、语音)建模6LL建模6LLM哪溶电话保信躬晚切壁屋那悦台账目标事故处世镇咖决策大脚型事故处世镇咖决策大脚型“法4审恢括果事故处冒铺mi决盖太横制/8进被瘤星助五0目标性能提升度决策推理与智能生成性能提升度决策推理与智能生成大模型训练数据集大模型训练数据集instruction";"Describethenainreasonforwindingfailuinrut":"cnoinput>°,output"!"Tnsulationdeterioration,oftencausedbynnisture,overheating,vibratian,vwoltage2instruction”:"ExplainthepotentialceusesoftapchangerfailuresintransForners.",output":"1apchangerfallurescanbecausedbyanalfunctionofthenechanicalswitchingresistancelaadcontacts,insulationtracking,pverheating,orcontaninationoftheinsulating{instruction:"Mhatarethepossiblereasonsfortraouitput:"Possiolereasonsfortransforxerbushingfalluresincludegenerinternalmoisture,lossofoil,vancalisn,andexteraltlashovercausedbyaninals."f"instruction";"Prowideanexanoleofaoutput”:"statisticsshowthatwinding+ailuresnostfrequentlycausetransforner"instruction!"5uggestsoBeneasursstoproutput”;"Topreventtmoisturelevels,avoidirgowerheatirg,minimizirgvibration,protectingagainstwoltagesur调度大模型交互页面调度大模型交互页面oqistionstodeteminetheoptmalgenerationschedulesandbusvoagemmineizthetotblcostofgcneratonwlemstcalnapeeentation.3.Sohdponlinarprerammingtechniqus,4.Censtraintsintmls,andtransmlsshonilineco,清除历史对话业务场景支持:业务场景支持:稳定性稳定性稳定性测试集评测体系:测试集评测体系:■评测围绕调度大模型在事实性、逻辑性、稳定性、公平性、安全性、表达能力六大类二十四个子维度展开评估。测试集题型设定:测试集题型设定:评测方法:评测方法:GeneralMeeting,2024(BestPaperSessio传统经济学仿真面临的困难传统方法大多依赖于数学模型。当仿真涉及多个参与者和复杂策略时,传统方法往往难以应用,因为计算和分析的复杂度极高。动态博弈求解难度大:在动态和不完全信息的博弈情境中,传统方法很难求得收敛解。泛化性较差:对于那些需要快速适应新信息和变化的实际应用场景,传统的数学方法缺乏灵活性。大模型经济学仿真的潜力推理能力:LLMs拥有处理复杂问题和理解复杂语境的能力,这使它们能够理解和分析复杂的博弈策略。泛化能力:得益于LLM出色的zero-结合大量历史案例,提高仿真的准确性和效率。通过模拟市场中player行为或策略,为 市场外部扰动。交易决策外部干扰组织者规则设计机制设计市场信息公示·国际形势经济形势资本损益市场内部交易者大模型决策技术扰动参数生成大模型生成交易前市场出清结果模型输出交易影响x?背景回顾背景回顾提示词工程和检索增强生成技术拟电力交易员工作环境,给出机组工况、断面阻塞、燃料成本、碳成本、系统运行情况度逐步推理;StandardPrompting市场相关论文、政策文件、国内外市场研报、仿真模型数据、市场运行数据、系统工况数据等多场景多模态数据,LLM无需增量训练即可初步理解应用领域知识。提示词工程记忆知识问答链结果用户大语言模型向量存储基于大语言模型的碳市场均衡分析viof(,Shenzhen均衡的重要性均衡的重要性现有研究局限性现有研究局限性泛化性较差:传统方法在应对新信息和变化时缺乏灵活性难以捕捉复杂市场动态:随着数据和复杂性增加,传统方法难以全面、精确地大语言模型优势大语言模型优势精确理解与分析市场动态:大语言模型在处理复杂数据和市场动态方面表现出强大的推理与适应能力:大语言模型具备卓越的推理能力和泛化能力,能够迅多主体策略模拟与优化:将大语言模型与代理模型结合,能有效模拟多主体行工具工具模型模型碳市场均衡解是否十十定义:设计和优化提示词,引导大语言模型生成所需输出应用:构建求解策略和判断优势:提高模型响应的准确定义:动态调用外部工具或应用:利用求解工具和判断工具,特别是通过Python进定义:由多个自主决策的代理组成,模拟市场参与者行为。终求解市场均衡。优势:提供更准确的市场预测和均衡解。控排企业卖家一或卖出碳配额(决策变量) 卖家买家时,最大化交易收益与机会收益之和买家TheChineseUniversityofHongKong,Shenzhen碳市场QQP十P十1季度净交易额加权价格企业仿真数据碳市场企业机组信息碳市场企业回归分析、市场企业量,价格弹性)p值;0.8025152265417496948香港中文大學(深圳)The香港中文大學(深圳)TheChineseUniversityofHongKong,Shenzhen结果示例:工具调用结果示例:指令工程结果示例:工具调用结果示例:指令工程综上,基于碳市场的设定,写一下四个玩家的KKT方程并求解。为了求解四个玩家在碳市场中的KKT方程并找到最优的b和b,4的表达式,我们需要联立方程并求解。让我们详细推导并实现代码。我们需要满足以下KKT条件:1.Stationarity:拉格朗日函数对b的偏导数应为零。2.PrimalFeasibility:约束条件应满足。3.DualFeasibility:拉格朗日乘子λ;≥0。定义变量和参数拉格朗日函数=3:#处理最后一解eq=sp.Eq(sp.d1ff(Lagrangians[eq=sp,Eq(sp.diff(Lagrangians[il,代码示例:多代理模型代码示例:多代理模型评估模型回应生成质量evaluation_promptevaluation_promptevaluation_prompt_gen(strategy,finaevaluation_output,evaluchatgpt_agent(evaluatscore_match=re.search(r"'sscore=score+fprint("Novalid评估模型生成解是否为均衡解defequilibrium_judge(game_setting,sr_resprompt=equilibriequilibrium_response=chatgpt_agent(proclean_markdown_code(equilibriumreturnexecute_python_code(cleaned_python_code)注:真实实验中大语言模型均通过调用API实现,为展示清晰用网页端的效果代替。燃气机组燃气机组组组示例企业参数香港中文大學(深圳)0富余碳配额(万吨)大国企中国企燃料类型煤炭煤炭天然气煤炭富余配额(t)价格弹性系数注:以机会收益中的(1+预期上涨率)*(1-配额折算率)=0.8为例。基于大语言模型的碳市场均衡分析基于大语言模型的碳市场
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 受限空间内汽油燃爆特征的影响因素及抑爆机理研究
- 建筑业务开发方案设计规范
- 吉林化工洁净室施工方案
- 古建筑亮化设计施工方案
- 笨鸡蛋营销方案
- 金山区室内装修施工方案
- 悬空覆盖建筑施工方案设计
- 咨询类求职辅导方案怎么写
- 基于深度学习的小鼠竞争性追逐轨迹预测算法研究
- 城市轨道交通Y型交路跨站组合运行模式研究
- 英语专业四级听力50篇
- 中班综合《捡落叶》课件
- PDCA持续改进跟踪表
- 工厂介绍文案
- 管路维修培训课件模板
- 辨析wear-be-in-dress-put-on-配套课件
- 因公出国人员审查表
- GB/T 42698-2023纺织品防透视性能的检测和评价
- 髋臼及股骨骨缺损的分型及评价-课件
- 物流统计与实务PPT完整版全套教学课件
- 护理安全警示教育
评论
0/150
提交评论