生成式人工智能在新型电力系统建设中的应用-中国电力科学研究院 谈元鹏

数智赋能新质生产力·助力新型电力系统建设2024年电力信息通信建设中的应用中国电力科学研究院人工智能研究所2024年8月16日数字呈现数字呈现力系统的可观、可测、可控能力受到极大挑战。引导优化引导优化物理空间中的实体电力系统新型电力系统新型电力系统精准感知 新型电力系统可信认知? 新型电力系统实时决策Llo12024年电力信息通技术演进-生成式人工智能技术突破带动行业应用2023年，以ChatGPT为代表的生成式人工智能技术在各界引发广泛热潮，以海量参数为最突出特点，其多模态学习、智能推理能力显著提升，生成式人工智能如何与行业深度融合应用成为大家重点关心问题。国家多次强调，结合电力等国民经济主体行业，打造可融入行业生产系统的大模型典型应用。m就器(C)Wordunscramble(A)Mod.arithnetie(B)IPAteansliterate10*u10210(G)Multl-taskNLU(E)TruthfulQAm就器(C)Wordunscramble(A)Mod.arithnetie(B)IPAteansliterate10*u10210(G)Multl-taskNLU(E)TruthfulQA0o436context模型性能会出现阶跃提升LaMDA—GPT4+GioghitChinchill-PaLM--Ranbom10109102100(F)GroundedmapplngsModeecale(trainigFLOP.)1010910100一次约3个月的训练，数天的迁移学习相近场景任务下性能接近或超越传统模型本页内容由大模型辅助生成本页内容由大模型辅助生成l2024年电力信息通信新技术大会EPICT6技术演进-生成式人工智能技术突破带动行业应用2024年2月16日，OpenAI发布了文生视频大模型Sora,根据用户的文本提示生成最长60s的高保真视频，被比作视频生成领域的GPT-3时刻，被视为“数据驱动的物理引擎”或可学习的模拟器。本页内容由大模型辅助生成本页内容由大模型辅助生成Lulit2024年电力信息通信新技术大会EPICT…7本页内容由大模型辅助生成本页内容由大模型辅助生成Lil12024年电力信息通信新技术大会EPICT8技术演进-生成式大模型技术发展现状总的来说，生成式人工智能是一个广泛的概念，涵盖了多种能够创造内容的人工智能技术。而大模型技术则是生成式人工智能中专注于某一方面能力优化的子集，具体包括视觉大模型、语言大模型、多模态大模型以及科学计算大模型等通用基础大模型的呈现形式。桔构化协作(新叫摇按等，有比较规律)非交互式文本非结构化写作(图H青续啊、营销文本等，烹要一定创意和个性化)轻助性写作(推荐相关内容、相助调色，不属于严格AIGC)闲聊机器人(虚拟男/女友，心理奢询等)交互式文本文本交互游戏等(AIdungeon等)语音克瑾文本生成特定语昔(生成虚拟人歌声/报等)乐曲/移曲生成(包含作曲及墙曲，在实际应用中常包含自动作词)图像编概工具(去除水印、提高分解率、畅定站镜等)创图惨生成(随机或按特定黑性生成画作等)图像自主生成功能性图像生成(根据指定要求生成营销类海报、楷特图，logo等)文字生成愿像(根据文字prompt生成创意图像)文字生成演示视频(拼阳图片素材生成视频)文字生成创意视频(完全从头生成特定主既视烦)图像/视模文本(视觉问答系统、自动配字幕/标题等)《太空歌剧院》技术演进-生成式大模型技术国外发展现状2018年，OpenAI提出了生成式模型GPT-1,引领了大模型的研究热潮。之后谷歌、微软、英伟达、Meta等公司相继构建了PaLM、LLaMa等优秀模型，极大推进了大模型的研究进展。国内生成式大模型发展同样速度惊人，迭代速度呈现指数级爆发。教育中0声牌吧照2r远-"照260ta心na①4-59期班E恶工具平台台理速E&2文本B二材初G总nma警雪课整验悦率◆死酒挖然4-鼎w0fs--u0wM0miowD0快事都理②69—B0muM初300四产品国送艺术设计世u0□总nm愿a共在理as0②盒nme考游戏2齿洲三un视频数据hC星偏手云平业行盅mrm360照娱乐附B2辆里a0*a"本页内容由大模型辅助生成本页内容由大模型辅助生成ull2024年电力信息通信新技术大会EPICT9应用应用层服务层中心2024年计划完成设备专业7类场景下64个专业模型建设工作，其中涉及大模型的共计7类场景14个模型。在数力、智力、法力三方面入手，推动基于公司行业大模型的细分场景模型(L2)建设。安监设备营销智能化应用支撑模型调度智能体安监模型(L2)设备横型营销横性调度模型安监模型(L2)行业大模型(L1)行业视贸，语义、多模志、科学计切大模田(L1)(L0)通用现姓，请义，多模添、科学计算大柳(L0)存量场景细分模型电力通别知职服师调度存量场景细分模型电力通别知职服师模型训练平平台工具层计算框架资源调度资源层CPU成熟产品(含公司行业大模型)数据加工院内自研人工智相相瑚异构网力的健GPU院内横向协同研发模型管理样本库并行计框膜高中网结画管理IS/推理作业调度高性能存捕高性网培数据准备构建近千万级规模的电力设备影像库，包含可见光、红外、深度视觉三类图像，覆盖设备(输变配用)、基建、安监等业务场景，支撑电力行业视觉大模型微调优化(L2)。构建十亿级字符的电力设备语料库，覆盖设备、基建、安监等业务场景主题词、概念、实体、属性以及切分后的百科知识别销钉缺销子是否承重识别销钉缺销子是否承重大模型找出在杆塔上，连接在没有销子的销钉科研工作-无人机智能巡检典型应用针对部分无人机巡检模型不佳问题，提出面向无人机巡检影像的图文融合推理技术，以提示文本结合图像标注，解决核心业务知识引入的问题；研究基于混合专家(MoE)的电力视觉大小模型微调类型可视缺陷类型准确率输电可视缺陷(21种)1销子脱落96.1%2杆塔倾斜96.2%3导线断股95.5%4绝缘子污秽94.52%…类型可视缺陷类型准确率配电可视缺陷(14种)1销子脱落95.2%2塔顶损坏94.6%3绝缘罩缺失97.6%4法兰锈蚀…2024年电力信息通信新技术大会EPICT…13科研工作-无人机智能巡检典型应用面向无人机实际应用需求，设计基于模型移位量化的存算一体芯片推理框架，平衡通用处理器算力与存算一体算力，并通过知识蒸馏与移位量化技术将大模型轻量化；研发即插即用、超低功耗、存算一体的机载边缘智能模组，实现单位功耗下的算力提升58%。本地化LmmLmmmLHL.LLL语言基础模块模时主本备干向秦深骗8境块的年德排的、紧法，电族长违人世车力解8唐锅功文流本证汪诊午离泽跨模态分析模块超低功耗机载边缘智能模组轻量极墙药解图码提示埔屿卧配陈培绿怎件VonNeumArchitectuare输入困像分刑理示输入困像边缘智能计算设备核心板边缘智能计算设备核心板低时延低功耗视觉基础模块低时延低功耗Lit1Lit12024年电力信息通信新技术大会EPICT14Llinli1Llinli12024年电力信息通信新技术大会EPICT科研工作-作业现场管控典型应用基于多模态大模型中的图文融合推理技术，在云侧针对电力设备运检作业场景下的图像、文本数据进行联合分析，构建安全责任关联图谱、违章信息知识库辅助大模型生成工作建议；在边侧考虑大模型的蒸馏量化，在算力、供电受限条件下实现安全距离、隐患排查推理，支撑大模型边云协同应用。lmndcomanuthaitaarytputlmndcomanuthaitaaryPleateentertestPleateentertestprcmptbekwandgreENTER简要描述你发现的安全隐患根据周围环境，可以判断这是电力作业现场，环境中有2个人根据周围环境，可以判断这是电力作业现场，环境中有2个人。我发现了如下安全隐患：1.图像中的两个人均未佩威安全帽，2.图像中的两个人均未正确穿戴工装，详细描述你发现的安全隐患(逻辑判断X分析周围环境，能够看到存在电力杆塔、配电线路等，因此可以判断这是一个电力作业现场。检查环境中的安全隐患：1.配像中的两个人均未佩贬安全帽.可能导致人员在工作中受伤。2.图像上方的人未佩戴手套，图像下方的人未穿戴蓝色的工装，可能会造成安全事故。GenerateClearTemperaee0.03TopP04fopK10科研工作-运检辅助决策典型应用基于电力设备台账、图谱以及知识库，提出知识引导与知识嵌入的人机协同高质量指令构建方法；提出基于知识增强的大模型答案生成方法，提升模型准确性和时效性；并面向检修复杂业务逻Q:业务逻辑边界难以学习，不利于安全性控制。切块初始知识库文档提问内容向量化构建context提问内容相拟文本问题请求切块初始知识库文档提问内容向量化构建context提问内容相拟文本问题请求电力没备检修大模型文本分片shunk返回结果向量数扼库检索匹配问题回答AttnKaysAItnKeysandValuesandValues LM编码LargeLanguageModel(Frozen)Y搜索AtentionQaryofCurrentInputsResidualSideNet(Trainable)AHnKysRuatievedAttnKeysandVabosRosiduaConnectionsZ长文本输入Lul12024年电力信息通信新技术大会EPICT答案答案生成任务执行模型选择任务规划汇总结果调用模型子任务复杂任务解语义大模型生成检修策略语义大模型操作一系列下游子任务LulilLulil2024年电力信息通信新技术大会EPICT学17智能体调度是指基于大模型技术实现一种模型到应用的组织形式，通过任务拆解、任务编排、协同执行等技术研究，结合现有系统工具、接口及存量模型，实现大小模型协同应用模式体系，有望与国网公司人工智能“两库一平台”中的模型库进行融合应用。长期记忆短期记忆记忆↓规划大模型规划大模型Query大模型M大模型MN大模型负责复杂任务分解、形成调用链、向对应小模型小模型负责响应大模型指令，提供推理服务，向大模型智能体中心尊法管理+注册置法+加法蝙排28智能服务 算法仓库 算法训练③尊法管理+注册置法+加法蝙排I人员行为共2种模型未麓安全帽●在线v1.0.0未绑安全带在线v1.0.0查询算法类型算法场景