CN119443743A 一种基于预训练语言模型的电网监控信息智能告警方法、系统、计算机设备及储存介质 （国网湖南省电力有限公司电力科学研究院）

号一种基于预训练语言模型的电网监控信息本发明公开了一种基于预训练语言模型的发明可以从海量监控信息中标准化构建文本语2步骤S2、利用所述标准化电网监控信息文本语料库对预步骤S3、将所述增量训练模型在电网监控信息智能辨识及告警任务上进行微调训练，;2.根据权利要求1所述的一种基于预训练语言模型的电网监控信息智能告警方法，其第二层双向LSTM用于提取语义信息；所述softmax输出层是所述标准化电网监控信息文本3.根据权利要求2所述的一种基于预训练语言模型的电网监控信息智能告警方法，其;3;所述增量训练的目标为最大化所述前向LSTM模型和所述后向LSTM模型的对数似然函o.为输入的初始词向量参数，为softmaxs输出所述语言模型通过上述增量训练增强所述语言模型的知识范围，以得到增量训练模4.根据权利要求1所述的一种基于预训练语言模型的电网监控信息智能告警方法，其5.根据权利要求4所述的一种基于预训练语言模型的电网监控信息智能告警方法，其;;i;;和ciu是前向和后向GRU网络的参数，经过双向编码之后，第i个单词的编码为,将所述双向门控循环神经网络层的两个方向的编码拼接起来得到编码向量4;6.根据权利要求5所述的一种基于预训练语言模型的电网监控信息智能告警方法，其7.一种基于预训练语言模型的电网监控信息智微调训练模块，用于提取电网监控信息智能辨识及告警任务的文本数练策略根据增量训练模型，通过构建电网监控信息智能辨识及告警任务的正样本和负样文本分类模块，用于基于所述文本数据特征，利用双向门环单元深度学习模型包括双向门控循环神经网络层和分类层架结果输出模块，选取所述文本分类模块分类层输出概率运行的计算机程序，处理器执行程序时实现权利要求1_6任一所述的一种基于预训练语言令用于实现权利要求1_6任一所述的一种基于预训练语言模型的电网监控信息智能告警方5[0005]第一方面，本发明提供了一种基于预训练语言模型的电网监控信息智能告警方6;;;所述增量训练的目标为最大化所述前向LSTM模型和所述后向LSTM模型的对数似;7;;;i;;和ciu是前向和后向GRU网络的参数，经过双向编码之后，第i个单词的编;8控循环单元深度学习模型包括双向门控循环神经网络层和分机可执行指令用于实现所述的一种基于预训练语言模型的电网监控信息智[0015]图1为本发明的一种基于预训练语言模型的电网监控信息智能告警方法流程示意图2为本发明的一种基于预训练语言模型的电网监控信息智能告警方法中Emlo预图3为本发明的一种基于预训练语言模型的电网监控信息智能告警方法中深度学合说明书附图及较佳实施例，对依据本发明提出的技术方案的具体实施方式做详细的说可以是收集、处理基于预训练语言模型的电网监控信息智能告警方法所需的文本语料库，9化电网监控信息文本语料库的编码矩阵。;;;[0027]S3，将所述增量训练模型在电网监控信息智能辨识及告本对相互远离，即最大化所有正样本对之间的相似性并最小化所有负样本对之间的相似;[0031]如附图3所示，深度学习分类模型由双向门控循环神经网络层（Bidirectional;;;u,i;;和ciu是前向和后向GRU网络的参数，经过双向编码之后，第i个单词的编。;监控信息智能告警系统1，基于所述的预训练语言模型的电网监控信息智能告警方法，包微调训练模块13，用于提取电网监控信息智能辨识及告警任务的文本数据特征，门控循环单元深