【《基于神经网络的告警关联性分析案例》4700字】

第页共37页基于神经网络的告警关联性分析案例目录TOC\o"1-3"\h\u29222基于神经网络的告警关联性分析案例 1287941.1告警数据预处理 1170461.2实验步骤 4102831.3实验结果及分析 7某省级移动采取的人工规则梳理告警关联性的方式在如今告警数据大爆发的阶段已经无法满足网络维护的要求，本章节基于上述问题处理采用将多种算法、模型组合的创新方式，在主要构建神经网络模型的前提下，引入分词、词袋和TF-IDF算法对数据进行预处理，搭建随机森林模型将告警描述字段数据标准化、结构化、准确化，继而输入神经网络模型完成告警关联性分析。综合第二章对告警特点的分析，第三章对神经网络模型的介绍，神经网络在分析告警数据上是具有优势的，它的并行处理能力、自适应能力等能够处理数据量大的非结构化告警数据并得出最优的结果，实现告警关联性分析。本节主要将上节基于随机森林模型处理过的告警描述字段，加上其他告警字段的告警数据作为神经网络模型输入的原始数据，经过剔除高频告警和字段选择后将告警数据分为高危告警集和非高危告警集，输入神经网络模型进行学习和训练，最终得到高危告警关联性分析结论。本文神经网络模型中最终采用的函数、算法如下：（1）ReLU激活函数，是BP神经网络模型默认的函数，其优势是：一是ReLU的SGD算法的收敛速度相较于sigmoid和tanh都快；二是计算复杂度低，不需要进行复杂的指数运算；（2）Adam（adaptivemomentestimation）优化算法，它的优势是为每一个参数都保留了一个学习率，从而可以提升在稀疏梯度上的性能，非常适合处理稀疏数据，而本文的告警数据在预处理后得到就是稀疏矩阵，适合告警数据处理的最优算法；1.1告警数据预处理本章采用的告警数据仍是从某省级移动故障管理系统采集的历史告警日志，针对告警数据的半结构化、存在噪声及干扰数据等因素，在进行告警关联性分析前，首先需要对告警数据进行预处理，保留我们需要的字段及告警格式，节省算力，具体操作如下：1.告警数据清洗首先我们需要做的事情就是通过去除一些受到干扰的噪声数据,将这些噪声数据中不完全的字段或者是对于告警分析没有任何意义的字段都去掉,节省系统算力，具体操作如下：（1） “网管告警流水号”、“厂家原始告警流水号”、“厂家告警号”共计3个字段：属于无实际含义；（2） “是否夜间挂单”、“网络类型”、“局站”等共计10个字段：所有提取告警数据这些字段记录为空；（3） “工单状态”、“确认状态”、“派单失败原因”、“是否集团关联告警”共计4个字段：取值相同，比例高于99.9%，不具备参考价值；（4） “电路类型”、“蜂窝类型”、“是否与对端网元相关”共计3个字段：非空值占比低于5%，不具备参考价值；（5） “专业”、“网元别名”、“集团网管告警ID”共计3个字段：属于冗余重复字段；（6） “定位信息”、“派单规则名称”、“IPV4/IPV6”共计3个字段：属于难以利用，此次告警分析不做考虑；（7） “异常告警原因”、“EMSID”、“业务类型”共计3个字段：可忽略属性；综上所述，共计29个告警字段可以去掉，对于本次告警分析不存在参考价值，有可能还会对告警分析产生误导，可以将其忽略。2.剔除告警数据中的高频告警高频告警的定义：按照每个网元的每个告警，分别统计发生的小时数，按照（7-1）式得到告警发生率，当告警发生率大于一定阈值，我们则认为这条告警是高频告警。 告警发生率=某个告警发生的小时数统计时段的总小时数根据维护经验，本文高频告警定义阈值为0.85，例如：某个网元产生某个告警，在2天48小时内，有45个小时段内均出现该告警，计算得出发生率为0.9375，高于0.85，则该网元的该条告警即为高频告警。由于高频告警本身已经说明设备或者网络存在故障，需要人员上站排查处理，故本文不再对此类告警做关联性分析，从告警数据集中剔除，。如果告警发生率低于阈值，则这条告警的所有记录都将保留，作为我们模型研究范畴。3.告警数据字段抽取根据本文模型研究目的，是以时间为滑动窗口对高危告警进行关联性分析，不需要太多字段,会增加神经网络模型的神经元，增加输入单位和时间成本，所以对前期抽取的30个告警字段，从中选择如下10个字段作为神经网络模型的输入数据集，主要包括告警发生时间、网元名称、告警标题、一级专业分类等告警信息。但是实验初期，为大致且快速了解各特征和模型参数对任务的影响，先剔除“网元名称”和“告警标题”，以大量减少分词后的特征总数。试验后期，又将“网元名称”和“告警标题”2个特征添加到数据集中。表5SEQ表格\*ARABIC\s11告警字段解释序号告警特征解释1告警发生时间告警发生时间2网元名称网元设备名称3告警标题告警名称4一级专业分类传输网、无线网、数据网、核心网、动环网专业5二级专业分类一级专业下划分的子专业6厂家网元设备生产厂商7区县网元设备归属地点8场景名称城市、农村共计两种场景9设备类型网元设备型号10网管告警级别按照告警严重性定义级别，从重到轻分别为：一级、二级、三级、四级4.告警数据转换（1）告警数据字段中大多都是文本描述，针对中文分词最好的方法就是jieba分词，所以本文采用Python中的jieba分词组件，基于隐式马尔科夫模型（HMM）模型对抽取的告警数据字段进行分词，根据dict.txt词典生成trie树。（2）本文采用BOW词袋模型+TF-IDF模型，将告警数据转换成一组无序的单词向量集，并包含该单词是否重要的信息，最终生成易于机器阅读的数字格式，作为神经网络林模型的输入数据。1.2实验步骤1.得到高危告警数据集告警数据中网管告警级别字段，就是按照告警重要紧急程度划分的级别，从严重到轻度告警级别分别是：一级告警、二级告警、三级告警、四级告警。本文直接从中选取一级告警作为高危告警，在告警数据集中找到所有高危告警；基于时间窗口对告警数据合并，取N（N=5）分钟内产生的告警可能存在较高的关联性，每个高危告警向前推5分钟，取5分钟内的告警数据压缩成一行与该条高危告警关联，得到高危告警数据集，具体方式：把所有告警数据的特征变量拼接合并成1列；采用jieba分词词袋，基于HMM算法，加入本地词典表，将上述数据进行分词，变成k列，生成稀疏矩阵；采用时间滑动窗口，根据人工经验，由于设备传送数据时延及网管处理数据等差异性，将某条高危告警发生前5分钟内（1个窗口）的告警可视作与高危告警同时发生，故而窗口时间取值5分钟，将5分钟内所有告警通过文本处理方式，压缩成一行与该条高危告警进行关联，得到高危告警集。2.生成非高危告警数据集采用步骤3类似方法，抽样计算二级、三级、四级告警数据，生成非高危告警数据集。由于非高危告警数量占全量告警比例很大，所以采取随机抽样方式，类似“欠抽样”，部分代码如下图：3.神经网络模型搭建及仿真将上述数据集作为高危告警神经网络模型的输入，进行学习和训练。在经过多次训练后，调整神经网络结构和算法，最终采用5层网络结构（包含3个隐含层），如图5-1所示，采用Relu激活函数和Adam优化算法，Batch_Size取值100，搭建神经网络模型。图5SEQ图\*ARABIC\s11神经网络5层结构示意图神经网络模型搭建的部分代码如下图：输入告警样本集进行学习和训练，直到神经网络输出某条告警记录就是高危告警，且实际结果也是高危时，说明该条高危告警和前5分钟发送的其他告警有关联。如果输出成概率，则可以表示该条高危告警和前5分钟发生的告警的关联程度，根据本文抽取的告警字段，从区县、设备类型、专业等数据分析与高危告警的产生有无关联，得出最后的结论。4.部分字段解释Data_index_1：高危告警数据Data_index_0：非高危告警数据accuracy：总体准确度macroavg：Data_index_1和Data_index_0的准确度平均值weightedavg：Data_index_1和Data_index_0的准确度加权平均值precision：精度recall：召回率1.3实验结果及分析1.实验环境表5SEQ表格\*ARABIC\s12实验环境设备型号CPUInteli5-4300U内存4.00GB显卡IntelHDGraphicsFamily1824MB编程语言Python3.9实验工具Anaconda2.仿真结果及分析（1）实验初期，为大致且快速了解各特征和模型参数对任务的影响，先剔除“网元名称”“告警标题”，以大量减少分词后的特征总数。按照默认200轮迭代，结果所有模型未能收敛，复杂网络消耗时间大幅上涨，总体准确性（accuracy）反而降低，但是对于正例（1类）的召回率（recall）有所提升，又对实验模型进行了优化，降低幅度度，结果如图5-3所示：表5SEQ表格\*ARABIC\s13实验仿真输出结果精度召回率f1测试集样本数模型超参数：

隐含层神经元数，batch_size消耗时间类别precisionrecallf1-scoresupportmodelcost_time00.83933520.8501680.84471782lbfgs:100-25-10,B2007.410.35971220.3409090.3501440lbfgs:100-25-10,B2007.4accuracy0.74932490.7493250.74930.7493249lbfgs:100-25-10,B2007.4macroavg0.59952370.5955390.59742222lbfgs:100-25-10,B2007.4weightedavg0.74436030.7493250.74682222lbfgs:100-25-10,B2007.410.37078650.2250.2801440adam:100-25-10,B10022.07accuracy0.77092710.7709270.77090.7709271adam:100-25-10,B10022.07macroavg0.5981810.5653620.57192222adam:100-25-10,B10022.07weightedavg0.73551820.7709270.74822222adam:100-25-10,B10022.0700.83584590.8400670.8381782adam:1k-250-450-150,B100450.9510.33874710.3318180.3352440adam:1k-250-450-150,B100450.95accuracy0.73942390.7394240.73940.7394239adam:1k-250-450-150,B100450.95macroavg0.58729650.5859430.58662222adam:1k-250-450-150,B100450.95weightedavg0.73741050.7394240.73842222adam:1k-250-450-150,B100450.95（2）优化实验模型，添加“网元名称”和“告警标题”特征，经过多次学习和训练，模型收敛，达到预期效果，部分结果如表5-4和图5-1所示：表5SEQ表格\*ARABIC\s14实验仿真输出结果精度召回率f1测试集样本数模型超参数：

隐含层神经元数，batch_size消耗时间训练集行列类别precisionrecallf1-scoresupportmodelcost_time训练集行列00.8400670.8400670.8400671782adam:100-25-20,B200291.6(8888,4000)10.3522730.3522730.352273440adam:100-25-20,B200291.6(8888,4000)accuracy0.7434740.7434740.7434740.743474adam:100-25-20,B200291.6(8888,4000)macroavg0.596170.596170.596172222adam:100-25-20,B200291.6(8888,4000)weightedavg0.7434740.7434740.7434742222adam:100-25-20,B200291.6(8888,4000)00.8309780.8580250.8442851782adam:100-25-30,B200251.71(8888,4000)10.3376960.2931820.313869440adam:100-25-30,B200251.71(8888,4000)accuracy0.7461750.7461750.7461750.746175adam:100-25-30,B200251.71(8888,4000)macroavg0.5843370.5756030.5790772222adam:100-25-30,B200251.71(8888,4000)weightedavg0.7332990.7461750.7392522222adam:100-25-30,B200251.71(8888,4000)图5-2实验仿真输出结果（3）表5-5是基于神经网络输出的高危告警数据样例，根据神经网络输出结果能得出以下结论：案例1：高危告警是网元1的以太网端口链路状态从up变化为down告警，按照发生时间前5分钟窗口提取告警共计44条，经神经网络模型计算关联性结果为1，具备关联性。根据专业知识判断，5分钟内传输网-PON专业出现多次GPONONT掉电告警与高危告警存在关联性，判断故障原因是网元1的PON出现状态down引起，需人员上站处理故障，与实验结果基本一致。案例2：高危告警是网元4的COMFAIL告警，按照发生时间前5分钟窗口提取告警共计61条，经神经网络模型计算关联性结果为1，具备关联性。根据专业知识判断，在5分钟内网元3发生PDH2M物理接口信号丢失(LOS)告警、网元4发生MON3告警与高危告警存在关联性，判断故障原因是网元4的COMFAIL（网元断链）告警，需人员上站处理，与实验结果基本一致。表5SEQ表格\*ARABIC\s15高危告警关联性分析样例案例序号计算表中序号告警发生时间网元名称告警标题一级专业分类二级专业分类厂家设备类型网管告警级别关联性结果14592021/4/10:37:07网元1GPONONT掉电(DGi)传输网PON华为ONU三级告警14612021/4/10:37:11网元1GPONONT掉电(DGi)传输网PON华为ONU三级告警4752021/4/10:39:11网元1GPONONT掉电(DGi)传输网PON华为ONU三级告警4762021/4/10:39:14网元1GPONONT掉电(DGi)传输网PON华为ONU三级告警5002021/4/10:41:48网元1以太网端口链路状态从up变化为down传输网PON华为ONU一级告警23302021/4/10:25:27网元3PDH2M物理接口信号丢失(LOS)