CN119206596B 一种电力设备多模态大模型异常检测方法、系统、设备及介质 （国网智能科技股份有限公司）

一种电力设备多模态大模型异常检测方法、本发明公开了一种电力设备多模态大模型联的第二异常检测定位标签和第二样本图像关电力设备多模态大模型对目标电力场景的待检力设备多模态大模型的构建效率和待检测图像2获取通用电力场景的通用异常检测视觉子模型、通用文本编码器和通用语言子模型；将目标电力场景的第二样本图像和第二样本图像关联的第二提示文本输入通用异常二样本图像关联的第二异常检测定位标签对所述通用异常检测视觉子模型中的通用特征将所述第二样本图像和所述第二提示文本输入所述目标异常检测视觉子模型得到目将所述第二特征融合结果输入所述通用语言子模型得到第二异常检测答案预测结果，并采用所述第二异常检测答案预测结果和所述第二样本图像关联的第二异常检测答案标采用目标电力场景的电力设备多模态大模型对目标电力场景的待检测图像进行异常通用电力场景中的设备异常图像并通过数据增强方法对所述通用电力场景中的设备异常图像扩充得到；所述第二样本图像通过收集并扩充所述目标电力场景的设备异常图像得所述将目标电力场景的第二样本图像和第二样本图像关联的第二提示文本输入通用和第二样本图像关联的第二异常检测定位标签对所述通用异常检测视觉子模型中的通用将目标电力场景的第二样本图像输入所述通用图像特征提取网征提取网络和所述通用特征提取适配网络处理得到尺度适配后的将第二样本图像关联的第二提示文本输入所述通用文本特征提取本特征提取网络和初始重参数化层处理得到重参数化后的通将尺度适配后的通用图像特征和重参数化后的通用文本特征输入所述通用特征增强3采用所述第二异常检测定位预测结果和第二样本图像关联的第二异常检测定位标签特征提取网络的输出进行线性变换；所述目标特征提取适配网络包括多个可变形注意力将所述第二样本图像输入所述通用图像特征提取网络，经所将所述第二提示文本输入所述通用文本特征提取网络，经所将尺度适配后的目标图像特征和重参数化后的目标文本特征输入所述通用特征增强将第二样本图像关联的第二异常检测问题文本输入所述通用文本编码器得到通用问将通用电力场景的第一样本图像和第一样本图像关联的第一提示文本输入初始异常将所述第一样本图像和所述第一提示文本输入所述通用异常检测视觉子模型得到通将所述第一特征融合结果输入初始语言子模型得到第一异常检测用所述第一异常检测答案预测结果和所述第一样本图像关联的第一异常检测答案标签对4通用模型获取模块，用于获取通用电力场景的通用异常检测视觉子模型通用语言子模型采用通用电力场景的第一样本图像、与第一样本图像关联的第一提示文到；异常检测视觉模块，用于将目标电力场景的第二样本图像和第二检测定位预测结果和第二样本图像关联的第二异常检测定位标签对所述通用异常检测视特征融合模块，用于将所述第二样本图像和所述第二提示文文本语言模块，用于将所述第二特征融合结果输入所述通预测模块，用于采用目标电力场景的电力设备多模态大模型对目标通用电力场景中的设备异常图像并通过数据增强方法对所述通用电力场景中的设备异常图像扩充得到；所述第二样本图像通过收集并扩充所述目标电力场景的设备异常图像得所述异常检测视觉模块包括：通用图像特征单元，用于将目标电力场通用文本特征单元，用于将第二样本图像关联的第二提示文本输异常检测定位单元，用于将尺度适配后的通用图像特征和重征输入所述通用检测定位层得到第二异常检测定位5视觉模块更新单元，用于采用所述第二异常检测定位预测结果和第特征提取网络的输出进行线性变换；所述目标特征提取适配网络包括多个可变形注意力述通用文本特征提取网络和所述目标重参数化层处理得到重参数化后的目输入所述通用特征增强网络进行跨模态特征融合得到第二特征融合单元，用于将第二样本图像关联的第二异常检测问题将通用电力场景的第一样本图像和第一样本图像关联的第一提示文本输入初始异常将所述第一样本图像和所述第一提示文本输入所述通用异常检测视觉子模型得到通将所述第一特征融合结果输入初始语言子模型得到第一异常检测用所述第一异常检测答案预测结果和所述第一样本图像关联的第一异常检测答案标签对6其中，所述存储器存储有可被所述至少一个处理器执序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1_6中任一项令，所述计算机指令用于使处理器执行时实现权利要求1_6中任一项所述的电力设备多模7未有的压力。基于传统卷积神经网络构建的专业视觉模型已经在电网业务中得到广泛应[0003]电力视觉大模型采用深度学习技术和计算机视觉方法处理与电力系统相关的各和第二样本图像关联的第二提示文本输入通用异常检测视觉子模型得到第二异常检测定标签对所述通用异常检测视觉子模型中的通用特征提取适配网络和通用检测定位层进行第二样本图像关联的第二异常检测答案标签对所述通用文本编码器和所述通用语言子模8位预测结果和第二样本图像关联的第二异常检测定位标签对所述通用异常检测视觉子模型中的通用特征提取适配网络和通用检测定位层进行更新，得到目标异常检测视觉子模和所述第二样本图像关联的第二异常检测答案标签对所述通用文本编码器和所述通用语机程序在被处理器执行时实现根据本发明任一实施例所述的电力设备多模态大模型异常少一个处理器能够执行本发明任一实施例所述的电力设备多模态大9[0011]应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特[0013]图1是本发明实施例提供的一种电力设备多模态大模型异常检测方法的第一流程[0014]图2是本发明实施例提供的一种电力设备多模态大模型异常检测方法的第二流程[0018]图6是本发明实施例提供的一种电力设备多模态大模型异常检测系统的结构示意员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范[0022]图1是本发明实施例提供的一种电力设备多模态大模型异常检测方法的第一流程一异常检测定位标签和第一异常检测答案标签进行本申请在通用电力场景的电力设备多模态大模型的基础上构建特定场景的电力设备多模结果和第二样本图像关联的第二异常检测定位标签对所述通用异常检测视觉子模型中的设备多模态大模型。目标电力场景的电力设备多模态大模型包括目标异常检测视觉子模[0032]通过在通用异常检测视觉子模型的基础上构建适用于目标电力场景的目标异常[0036]通过将第二样本图像和第二提示文本输入目标异常检测视觉子模型得到目标融合特征，目标融合特征不仅包括第二样本图像的图像特征还包括第二提示文本的文本特将第二样本图像关联的第二异常检测问题文本输入通用文本编码器得到通用问题文本特在通用问题文本特征的引导下基于目标融合特征获取第二样本图像的第二异常检测答案标语言子模型，在保留目标文本编码器和目标语言子模型对其他场景的泛化能力的同时，[0037]其中，通用语言子模型和目标语言子模型可以为大语言模型(LargeLanguage[0038]通过将目标电力场景的电力设备多模态大模型分解为相对独立的目标异常检测力场景的样本数据中第二样本图像和第二样本图像关联的第二提示文本输入通用异常检签对通用文本编码器和通用语言子模型进行更新，得到目标文本编码器和目标语言子模[0040]将目标电力场景的电力设备多模态大模型的训练过程划分为对目标异常检测视[0043]在一种可选实施方式中，通过如下操作训练得到所述通用异常检测视觉子模型、图像关联的第一提示文本输入初始异常检测视觉子模型得到第一异常检测定位预测结果，并采用所述第一异常检测定位预测结果和第一样本图像的第一异常检测定位标签对所述检测答案预测结果和所述第一样本图像关联的第一异常检测答案标签对所述初始文本编力场景的样本数据中第一样本图像和第一样本图像关联的第一提示文本输入初始异常检签对初始文本编码器和初始语言子模型进行更新，得到通用文本编码器和通用语言子模[0045]将通用电力场景的电力设备多模态大模型的训练过程划分为对通用异常检测视[0046]图2是本发明实施例提供的一种电力设备多模态大模型异常检测方法的第二流程一异常检测定位标签和第一异常检测答案标签进行通用图像特征提取网络和所述通用特征提取适配网络处理得到尺度适配后的通用图像特[0051]通用图像特征提取网络基于使用偏移窗口的分层视觉自注意力机制的深度学习模型架构（HierarchicalVisionTransformerusingShiftedWindows，SwinWindowsMulti_headSelf_Attention（窗口多头注意力机制）层、ShiftedWindows[0053]将目标电力场景的第二样本图像输入通用图像特征提取网络得到多尺度通用图所述通用文本特征提取网络和初始重参数化层处理得到重参数化后的通在通用异常检测视觉子模型的模型结构中新增了重参数化层，用于将通用异常检测视觉子测视觉子模型能够通过通用文本特征提取网络和初始重参数化层学习到第二样本图像关[0057]y=vox+B（1）[0058]X=w*t+b（2）[0060]y=(yow)*t+vob+β（3）PyramidNetwork）的特征金字塔网络，将经过可变形注意力层的多尺度图像特征进行融[0063]将适配多形态目标的多尺度通用图像特征和重参数化后的通用文本特征输入通用第二异常检测定位预测结果和第二样本图像关联的第二异常检测定位标签仅对通用特络中可变形注意力层的网络参数得到目标特征提取适配网络以适配特定场景中的异常目参数化层的更新过程中(yow)xt、yob以及β之间的和值被更新，重参数化层的更新通过缩放因子和偏移量来实现。重参数化层可以根据电力特定场景对文本特征提取何额外参数和计算成本的情况下异常检测视觉子模型能够学习到图像的提示文本中的特适配后的目标图像特征和重参数化后的目标文本特征输入所述通用特征增强网络进行跨[0073]其中，目标电力场景的电力设备多模态大模型包括所述目标异常检测视觉子模[0076]在第二阶段将第二特征融合结果作为通用语言子模型的输入得到第二异常检测备多模态大模型中的部分子模块进行更新得到特定电力场景下的电力设备多模态大模型，减少了大模型训练过程中需要更新的参数数量，实现了电力设备多模态大模型的快速构[0081]本发明实施例通过在通用特征提取适配网络和目标特征提取适配网络中设置多[0082]通过重参数化层对通用文本特征提取网络的输出即通用使得在不增加任何额外参数和计算成本的情况下目标异常检测视觉子模型能够学习到图[0085]图6是本发明实施例提供的一种电力设备多模态大模型异常检测系统的结构示意[0087]异常检测视觉模块320，用于将目标电力场景的第二样本图像和第二样本图像关第二异常检测定位预测结果和第二样本图像关联的第二异常检测定位标签对所述通用异[0088]特征融合模块330，用于将所述第二样本图像和所述第二提示文本输入所述目标[0089]文本语言模块340，用于将所述第二特征融合结果输入所述通用语言子模型得到[0090]预测模块350，用于采用目标电力场景的电力设备多模态大模型对目标电力场景[0091]本发明实施例所提供的电力设备多模态大模型异常检测系统可执行本发明任意合特征输入所述通用检测定位层得到第二异常检测定位所述目标异常检测视觉子模型包括通用图像特征提取网络、所述目标特征提取适配网络、[0100]目标图像特征单元，用于将所述第二样本图像输入所述经所述通用图像特征提取网络和所述目标特征提取适配网络得到尺度适配后的目标图像[0101]目标文本特征单元，用于将所述第二提示文本输入所述经所述通用文本特征提取网络和所述目标重参数化层处理得到重参数化后的目标文本特特征输入所述通用特征增强网络进行跨模态特征融[0106]进一步说明的电力设备多模态大模型异常检测系统也可执行本发明任意实施例所提供的电力设备多模态大模型异常检测方法，具备执行方法相应的功能模块和有益效[0107]图7示出了可以用来实施本发明的实施例的电子设备40的结构示意图。电子设备如因特网的计算机网络和/或各种电信网络与其他设[0110]处理器41可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器41设备多模态大模型异常检测方法。[0111]在一些实施例中，电力设备多模态大模型异常检测方法机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0113]用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合机器上执行且部分地在远程机器上执行或完全在远程机