2024年生成式人工智能在新型电力系统建设中的应用报告

新技术大会生成式人工智能在新型电力系统建设中的应用谈元鹏中国电力科学研究院人工智能研究所2024年8月16日背景意义随着源荷双侧不确定性的提升，电力系统的运行方式分散性持续走强新型电力系统精准感知引导引导优化字呈现数字呈现新型电力系统可信认知新型电力系统可信认知新型电力系统实时决策新型电力系统实时决策源物理空间中的实体电力系统2024年电力信息通信新技米大会EPICTPARTTW技术演进-生成式人工智能技术突破带动行业应用名)金物代题000名)金物代题000g多轮次半监督学习模式v需在GPU集群上进行分布式训练适用范围一次约3个月的训练，数天的迁移学习相近场景任务下性能接近或超越传统模型本页内容由大模型辅助生成2024年电力信息通信新技米大会EPICT技术演进-生成式人工智能技术突破带动行业应用本页内容由大模型辅助生成本页内容由大模型辅助生成2024年电力信息通信新技术大技术演进-生成式大模型技术发展现状AIGC横态文字生成滴示视项(图片素材生成视项)本页内容由大模型辅助生成本页内容由大模型辅助生成2024年电力信息通信新技术大会EPICT技术演进-生成式大模型技术国外发展现状2018年，OpenAI提出了生成式模型GPT-1,引领了大模型的研究热潮。之后谷歌、微软、英伟达、Meta等公司相继构建了PaLM、LLaMa等优秀模型，极大推进了大模型的研究进展。国内生成式大模型发展同样速度惊人，迭代速度呈现指数级爆发。pp问题提出中心2024年计划完成设备专业7类场景下64个专业模型建设工作，其中涉及大模型的共计7类场应用层应用层存量场景细分模型电力通识知识服务存量场景细分模型电力通识知识服务服务服务层mm现世平台工平台工具层资源调度人工智人工智构建近干万级规模的电力设备影像库，包含可见光、红外、深度视觉三类图像，覆盖设备(输变配用)、基建、安监等业务场景，支撑电力行业视觉大模型微调优化(L2)。构建十亿级字符的红色：销钉缺销子图像标注蓝色：销钉带销子图像标注绿色：销钉不需要销子核心业务知识销钉销子脱落识别逻辑缺销子是否承重识别销钉提示文本缺销子是否承重识别销钉2024年电力信息通信新技术大会2024年电力信息通信新技术大会EPICT12科研工作-无人机智能巡检典型应用针对部分无人机巡检模型不佳问题，提出面向无人机巡检影像的图文融合推理技术，以提示文本结合图像标注，解决核心业务知识引入的问题；研究基于混合专家(MoE)的电力视觉大小模型微调类型输电可视缺陷(21种)1销子脱落96.1%2杆塔倾斜3导线断股4绝缘子污秽类型配电可视缺陷(14种)1销子脱落2塔顶损坏3绝缘罩缺失4法兰锈蚀科研工作-无人机智能巡检典型应用推理计算推理计算边缘智能计算语言基础模块跨模态分析模块视觉基础模块低时延低功耗设备核心板2024年电力信息通信新技术大会EPICT14科研工作-作业现场管控典型应用基于多模态大模型中的图文融合推理技术，在云侧针对电力设备运检作业场景下的图像、文本数据进行联合分析，构建安全责任关联图谱、违章信息知识库辅助大模型生成工作建议；在边侧考虑大模型的蒸馏量化，在算力、供电受限条件下实现安全距离、隐患排查推理，支撑大模型边云协同应用。Q:大模型架构下如何边云协同，面临新的挑战。A:以约束条件且前提，采用任务切分+蒸馏量化的方式解剖麻雀。简要描述你发现的安全隐惠简要描述你发现的安全隐惠根据周围环境，可以判断这是电力作业现场，环境中有2个人。我发现了如下安全隐患：1.圆像中的两个人均未佩威安全帽，2.图像中的两个人均未正根据周围环境，可以判断这是电力作业现场，环境中有2个人。我发现了如下安全隐患：1.圆像中的两个人均未佩威安全帽，2.图像中的两个人均未正确穿戴工装。详细描述你发现的安全隐思(逻辑判断)分析周图环境，指够看到存在电力杆堪，配电线路等，因此可以判断这是一个电力作业现场，检查环境中的安全隐患：1.阅像中的两个人均未佩贬安金帽，可能导政人员在工作中受伤。2.图像上方的人未佩戴手套，图像下方的人未穿战篮色的工装，可能会造成安全事故.FleatemtertetprcmptbekewandGenerate2024年电力信息通信2024年电力信息通信新技术大会EPICT15科研工作-运检辅助决策典型应用法；提出基于知识增强的大模型答案生成方法，提升模型准确性和时效性；并面向检修复杂业务逻辑，提出基于大模型的复杂任务拆解及执行方法，实现检修策略智能生成，生成准确率优于85%。向量化向量数据库提问内容记忆缓存库搜索andValuesandValuesandValuesAttentio长文本输入适配模型/操作一系列下游子任务答案生成任务执行模型选择任务规划结果调用模型子任务复杂任务大模型知识增强大模型长文本处理检修复杂任务推理及策略生成科研工作-智能体调度智能体调度是指基于大模型技术实现一种模型到应用的组织形式，通过任务拆解、任务编排、协同执行等技术研究，结合现有系统工具、接口及存量模型，实现大小模型协同应用模式体系，有望与基于大模型的电力智能体构建大小模型协同执行基于大模型的电力智能体构建大小模型协同执行大模型1大模型1小模型1大模型大模型记忆大模型M大模型M大模型规划大模型规划大模型负责复杂任务分解、形成调用链、向对应小模型小模型负责响应大模型指令，提供推理服务，向大模型反馈推理结果2024年电力信息通信新技术大会EPICT17科研工作-智能体调度智能服务算法仓库算法仓库算法训练算法管理十注册耳法十和法编排而入具法而入具法名未绑安全带●在线v1.0.0收园失数字资产算法解析数据责★青看寓线v1★变电乌果周战vl2024年电力信息通信新技米大会2024年电力信息通信新技米大会EPICT1804前瞻：未来之智总结与展望想象一下，在不久