QC全业务故障定位预处理工具的研发.doc

全业务故障定位预处理工具的研发阜阳分公司阜阳监控QC小组2012年11月17日目 录一、课题概况3（一）小组概况3（二）名词解释4（三）活动计划4二、选择课题5（一）问题的提出5（二）选择课题6三、设定目标7（一）活动目标设定7（二）目标可行性分析8四、提出方案并确定最佳方案8（一）全业务告警定位模块方案的选择10（二）全业务告警预处理模块方案的选择13五、制定对策15六、对策实施15实施一：开发数据自动关联匹配系统16实施二：研究基于规则判定的故障查询定位方法18实施三：开发数据智能分析系统19实施四：开发数据智能分析系统20七、效果检查23（一）活动目标完成情况23（二）经济效益24（三）社会效益24八、巩固措施25九、总结与下一步打算25一、课题概况（一）小组概况阜阳监控QC小组隶属于安徽移动公司阜阳分公司运维部综合维护班（集中监控班），小组由部门管理人员、一线员工组成。在近年的QC活动中，小组能够积极主动的将课题研究成果转化应用在后继的监控管理实际工作中，并取得良好的效果。表1：小组概况 制表人： 杨强 时间：2012.4.7姓名学历职务组内分工王磊本科运维部经理助理质量监督范晓慧本科监控班长资料收集、数据核对杨强本科监控支撑QC组长张玉涛本科监控支撑资料收集、数据核对安柯本科监控支撑资料收集、数据核对张杰本科监控支撑资料收集、数据核对饶玉芳本科监控支撑资料收集、数据核对于严严本科监控支撑资料收集、数据核对（二）名词解释图1：告警预处理各环节名词解释 制图人 杨强 时间：2012.4.8（三）活动计划表2：活动计划表 制表人： 杨强 时间：2012.4.9二、选择课题（一）问题的提出问题1：网络规模的不断扩大，对监控人员故障定位预处理能力提出了更高的要求QC小组提取阜阳监控1-4月故障预处理情况发现，2012年1-4月份故障预处理率平均为63.18%。表3：1-4月份故障预处理率统计 制表人： 杨强 时间：2012.5.9月份 总故障量 预处理量 预处理率 1月 1327 1027 77.39% 2月 1279 807 63.10% 3月 1312 741 56.48% 4月 1335 744 55.73% 合计 5253 3319 63.18% 结论1：目前阜阳监控人员告警定位与预处理能力偏低，故障预处理率仅为63.18%，亟待提升。问题2：故障定位准确率低，严重影响故障处理历时QC小组提取阜阳监控1-4月故障定位情况发现2012年1-4月份故障定位准确率平均为96.38% 表4：1-4月份故障定位准确率统计 制表人： 杨强 时间：2012.5.9月份 预处理故障量 定位准确量 定位准确率 1月 102799797.08%2月 80777996.53%3月 74171296.09%4月 74471195.56%合计 3319319996.38%结论2：QC小组对监控人员预处理的故障定位进行统计发现，其故障定位准确率为96.38%，低于公司领导的99.5%要求。 问题3：各类网络监控资料的多元化，亟需统一平台进行管理 各类值班信息、告警定位信息、网络拓扑、维护人员信息、网元信息等等网络监控资料也随之大量增加。缺少统一的资料管理平台，不仅影响网络监控人员工资效率，也难以保证人工查阅大量信息的实时性与准确性。图2：网络监控资料多元化 制图人： 杨强 时间：2012.5.9结论3：迫切需要建立统一的监控资料管理系统。（二）选择课题图3：课题选择 制图人： 杨强 时间：2012.5.9三、设定目标（一）活动目标设定根据公司领导要求我们将本次的活动目标：提升阜阳故障定位准确率99.5%以上、预处理率至95%以上。图4：活动目标设定 制图人：范晓慧 时间：2012.5.9（二）目标可行性分析图5：目标可行性分析 制图人：范晓慧 时间：2012.5.12四、提出方案并确定最佳方案针对我们设定的目标，小组成员集思广益，结合严谨的理论知识和广泛的群众分析，利用“头脑风暴法”，提出了一系列解决意见并通过亲和图整理如下:图6：亲和图 制图人：范晓慧 时间：2012.6.12根据亲和图所整理的成果，QC小组初步明确了实现全业务故障定位预处理工具必须包含三个部分来研究,而通过对三部分内容进一步展开分析和讨论，我们提出各种解决方案并利用树状图整理。 图6：方案选择 制图人：范晓慧 时间：2012.6.12（一）全业务告警定位模块方案的选择方案1：电子表格+数据查询定位系统电子表格+数据查询定位系统以电子表格为数据库，通过开发数据查询定位模块，实现告警数据的快速查询。图7：电子表格+数据查询定位系统示意图 制图人：范晓慧 时间：2012.6.12优点：实现过程简单，数据更新方便快捷，开发周期短，查询迅速且具备数据的智能分析。 缺点：静态资源管理关联需人工同步。 方案2：数据分类汇总存放法所谓数据分类汇总存放法即将监控所有资料分门别类进行存放管理。图8：数据分类汇总存放法示意图 制图人：范晓慧 时间：2012.6.12优点：实现过程简单，无序开发。 缺点：查询繁琐且速度过慢。 方案3：数据库+数据匹配管理系统数据库+数据匹配管理系统以ACCESS为数据库，通过将EXCEL资料进行匹配转换开发数据查询定位模块，实现告警数据的快速查询。图9：数据库+数据匹配管理系统示意图 制图人：范晓慧 时间：2012.6.12优点：查询迅速且具备数据的智能分析。 缺点：静态资源管理关联需人工同步，更新繁琐；开发周期长。 4、方案判定小组采用正交试验法对各种方案进行选择：确定选择指标：数据更新时长（分钟） 和 数据定位准确性（%）试验因素：经研究，有4个因素需要确定最佳条件：A. 编程周期：指编写系统各模块程序所需要的时间（分钟）B. 更新监控资料数量：指查询服务涉及监控资料更新的个数（个）C.系统执行速率：指系统单位时间内读取数据的数量（条/分钟）D.存储过程调用时间：指数据库调用1个存储过程所需要的时间（分钟）小组根据实际情况选出参加正交试验各项因素的水平位级。表5 指标水平位级汇总表 制表人： 杨强 时间：2012.6.19因素编程周期（分钟）更新监控资料数量（个）系统执行速率（条/分钟）存储过程调用时间（分钟）位级1100017100003位级2200023150006位级3300029200009QC小组建立了4个3水平因素正交试验表，并安排了正交试验，9次试验结果如下表所示： 表6 正交实验汇总表 制表人： 杨强 时间：2012.6.19试验号因素编程周期A（分钟）更新数据数量B（个）系统执行速率C（条/分钟）存储过程调用事件D（分钟）更新数据时长（分钟）系统集成准确率（%）列号1234111322485%221112186%331232986%4122128100%522332790%632122691%7131327100%823222890%9333117100%=位级1集成时长77747466+=227=位级2集成时长76818578=位级3集成时长72726883极差R=最大值-最小值591717试验结果分析: 小组成员对正交试验的结果进行了如下分析:（1）各因素对结果的重要程度：按极差R排序（从大到小），集成封装时长次序是C-D-B-A； （2）直接看：第9个试验集成封装准确性达到100%，且集成封装时长最短，效果最好(灰色标识行)，各因素的位级为A3B3C3D1； （3）算一算：可以看出三级方案的最优组合条件为A3B3C3D1；（4）对比分析：“直接看”与“算一算”结果完全一致，均为A3B3C3D1。（5）综合评定：综合正交试验，小组发现“电子表格+数据查询定位系统”在保证调用服务准确性100%的情况下满足数据更新时长最短，确定出最优方案。又通过易用性、扩展性、经济性以及厂家支持四个方面，进行评估：表7 全业务告警定位模块方案评估表 制表人： 杨强 时间：2012.6.9方案1：基于文本图片演示模式 方案2：基于文本图片演示模式 （二）全业务告警预处理模块方案的选择表8 全业务告警预处理模块方案评估表 制表人： 杨强 时间：2012.6.19（二）确立最佳方案图10：确定最佳方案 制图人：范晓慧 时间：2012.6.21五、制定对策根据5W1H原则，QC小组制定了对策实施表：表8 对策实施表 制表人： 杨强 时间：2012.7.9六、对策实施确定最佳方案后，阜阳监控QC小组使用了PDPC法提供研发过程中不可预料问题的解决方案，有效的降低研发过程中遇到的风险。图11：PDPC流程图 制图人：范晓慧 时间：2012.8.12实施一：开发数据自动关联匹配系统（1）构建软件框架 QC小组按照全业务故障定位预处理工具软件架构整理相关资料使其告警查询定位、值班人员信息、应急预案等资料进行表格化标准化处理，并放置于指定文件夹中方便调用。图12：全业务告警定位预处理工具架构 制图人：范晓慧 时间：2012.8.12（2）通过VB编辑EXCEL数据自动识别整合工具图13：EXCEL数据自动识别整合流程图 制图人：范晓慧 时间：2012.8.12（3）实现外部程序的有效调用 通过VB程序的SHELL命令调用外部程序存在调用出错、时延较长等等问题，有感与此，课题小组通过API函数编辑OPENFILE类模块，使其能够以默认程序的方式打开所有监控资料，无需开发专用容器，大大节约了开发成本。图14：外部程序调用流程图和程序代码 制图人：范晓慧 时间：2012.8.12（4）实施效果通过实施该对策后，9月20-27日QC小组共对数据识别与整合程序进行1074次测试，其中死别成功率和整合成功率均达到100%，达到了对策设定的目标。 图15：实施一效果检查 制图人：范晓慧 时间：2012.8.12实施二：研究基于规则判定的故障查询定位方法 通过对2012年最新各专业告警数据进行分析，我们得出了一组告警数据，通过对告警数据进行数据标准化，得出了基于故障定位的告警查询规则库。图16：基于规则判定的故障查询定位方法示意图和流程图 制图人：范晓慧 时间：2012.8.12实施效果图17：实施二效果检查 制图人：范晓慧 时间：2012.8.12实施三：开发数据智能分析系统 （1）建立网元之间关联模型，通过ADO+Mschart控件实现图表汇总功能数据智能分析系统通过ADO+MSchart控件将各类EXCEL表中自动收集得到的相关信息进行智能地对比分析，以图表形式直观的展现各个网元间的关联、汇总与统计，让监控人员快速了解网络拓扑情况、VIP基站数量及网络覆盖信息。 图18：实施三效果检查 制图人：范晓慧 时间：2012.8.12实施四：开发数据智能分析系统（1）建立故障分类模型和开发故障引导程序图19：故障分类模型和开发故障引导程序流程图 制图人：范晓慧 时间：2012.8.12（2）通过Adobe Captivate制作 预处理仿真演示程序。Adobe Captivate软件, 任何不具有编程知识或多媒体技能的人都真正能够快速地创建功能强大的、引人入胜的仿真、软件演示、基于场景的培训和测验。 通过使用软件的简单的点击用户界面和自动化功能， 学习软件的专业人员、教育工作者和商业与企用用户可以轻松记录屏幕操作、添加电子学习交互、创建具有反馈选项的复杂分支场景， 并包含丰富的媒体。图20：Adobe Captivate制作 预处理仿真演示程序流程图 制图人：范晓慧 时间：2012.8.12实施效果图21：实施四效果检查 制图人：范晓慧 时间