提高核心机房巡查实时率

1、 核心局房巡查实时率提升 降本增效QC小组 目录一、QC小组介绍2二、选择理由4三、现状调查5四、活动目标6五、原因分析8六、要因确认9七、制定对策17八、对策实施20九、效果检查22十、巩固措施26十一、总结和计划27核心机房巡查实时率提升降本增效QC小组一、 QC小组介绍(一) 小组概况降本增效小组成立于2010年11月，围绕国家节能减排政策，落实广州联通降本增效运营理念，致力于降低公司系统网络运营成本，提升网络质量，提升公司效益。活动人员涵盖省市分公司领导、专家、机房运维骨干，8名组员中8人为大学本科以上学历，其中硕士研究生2人。表1 小组概况小组名称降本增效QC小组成立时间2010年1

2、1月小组口号降本增效沃领先锋小组人数12人活动频次1次/月活动时间2013年1-11月活动课题核心机房巡查实时率提升注册号CU-GUANGZ-2011-002课题类型现场型表2 小组顾问及成员序号姓名文化程度顾问及组员1连凯大学本科组长2黎达宇大学本科副组长3唐应环大学本科顾问4李茂勇大学本科顾问5罗绵辉大学本科组员（技术骨干）6薛星刚大学本科组员（技术骨干）7吕柏文大学本科组员（技术骨干）8闫芳进大学本科组员9李威大学本科组员10姚本任大学本科组员11宋广浩大学本科组员12刘晓庆大学本科组员(二) 名词解释l 核心机房动力巡查是及时发现机房动力故障以及确保机房安全的一种重要手段。实时巡查完成

3、率=实际已按时巡查点/应按时巡查的点*100%（时时率越接近于1，则表明核心局房按时完成巡查越完全）l 节能减排：节约能源、降低能源消耗、减少污染物排放。l 降本增效：降低成本,增加效益。(三) 进度计划活动制度：每月开展一次QC会议，总结阶段进展和成果，布置下阶段任务。二、 选择理由巡查的目的：及时查找、发现动力系统设备设备隐患，排除故障。巡查要求：1、检查机房供电状况，UPS和直流开关电源系统工作情况、指示状态，网络设备运行情况；2、检查机房空调系统工作状态，机房温度；根据活动前5个月核心局房巡查记录数据统计分析显示，核心局房动力值班人员巡查时实率较低，存在漏查、误时巡查、弄虚作假等现象，

4、未达到巡查的目的。由于人工巡查的漏查，2009年工业园机房因市电低压开关跳闸，导致IDC核心机房UPS蓄电池放电容量耗尽仍未发现低压开关跳闸，造成了IT设备停电宕机的严重故障。为了提高巡查时实率，保证核心局房动力系统安全运行，最大化避免故障的出现风险，现对巡查按时完成情况实行时时监督的手段。 图1-1 核心机房人工巡查时实率基于以上情况，QC小组会议讨论一致决定以“核心局房巡查实时率提升”作为本次QC活动的选题。三、 人工巡查调查巡更系统是实现监督管理巡逻人员是否按规定路线，在规定的时间内，巡逻了规定的数量的巡逻地点的最有效的、最科学的、技防与人防相协调一致的系统；其主要特点可助提高巡逻工作人

5、员的责任心、积极性，及时消除隐患，防患于未然。 电子巡更系统是安全防范技术体系中的一个重要组成部分，是一种先进的综合性管理体系，它要求巡逻人员及时准确地到位，同时它又把巡逻人员巡逻的全部或部分情况记录下来，并为日后对某些突发事件的处理提供了方便的条件及重要的依据。电子巡更系统要求巡逻人员及时准确的到位。因为只有人员的及时准确到位，才可以对损坏及破坏行为进行快速反应，同时对破坏分子也有强大的心理威慑作用；而人员的及时准确到位又能及时发现隐患，预防破坏，减少事故，所以它是对社区治安进行巡逻的一个很重要的预防手段。由此通过对社区进行定期的巡逻以保证社区的正常运行显得尤为重要。QC小组通过调查，通信业

6、其他公司通信机房均有巡查要求，基本是以巡查记录或是查看监控手段为主，并没有较好的巡查电子系统，广州联通率先引用电子巡查系统，更好的按要求完成巡查。小组对广州联通核心局房的人工巡查率情况进行了收集调查，调查结果如下:图1-2 广州核心局房房人工巡查率小组对2012年8月至2012年12月广州联通核心机房人工巡查完成情况进行统计分析。图3 广州核心局房巡查点百分比分布图从巡查点设置分布图可知，全部巡查点为109个，其中占比较大的机房依次为工业园、云景和750机房。从巡查百分比分布可知，全程巡查占百分比为68.93%，漏巡占百分比为12.5%,作弊占百分比为18.57%。由此，可以得出未及时巡查或漏

7、查占有较大比例，提高核心局房动力系统安全稳定运行，增加故障处理及时率，首先要降低机房漏巡率。四、 活动目标(一) 目标值通过以上分析，找到机房漏巡的主要原因。我们设定本次活动的目标为：提升核心局房巡查实时率，实时巡查完成率95.00%。 图4 提升核心机房巡查实时率的目标(二) 目标值制定依据经过QC小组成员根据对近期5个月的核心局房巡查完成率分析，认为目前核心局房巡查完成率较低的主要原因为人为原因，误时巡查、漏巡查占比达到98%，小组成员经过讨论分析，经过优化措施可解决其中至少97.8%。假设其它原因保持不变，通过理论计算核心机房巡查实时率可达到： 1-（1-68.93%）97.8%=99.

8、31695.00%因此小组活动制定的目标为95.00%，从理论上是能够实现的。五、 原因分析针对找到的主要改进内容展开调查，小组成员进行了认真的分析讨论，找出了以下几个原因。图1-5造成巡查时实率低的原因六、 要因确认小组成员对以上原因逐一进行要因确认，要因确认表及分析如下。表5 要因确认表序号末端原因确认内容确认方法判别标准确认情况负责人完成日期是否要因 1人员配置不合理机房巡查时实率低是否是由于机房配置人员不够，没有时间进行巡查分析机房巡查时实率低是由于机房配置人员不够，没有时间进行巡查每个局房配置4名值班电工和一名局房负责人，总共4人进行轮班每个局房配置4名值班电工和一名局房负责人，周一

9、至周五白班有3人值班，夜班和周六日均一人值班，不存在没有时间巡查的情况姚本任、 刘晓庆5月10日否2巡更线路设置不合理机房巡查时实率低是否是由于机房巡更的线路设置不合理，存在重复绕道现象分析机房巡查设置线路是否合理是否存在巡查线路过多，重复现象经过分析得出每个局房的巡查点设置都是合理的，巡查路线按常规设置。吕柏文4月20日否3值班人员未按要求按时进行巡查/存在漏点巡查机房巡查时实率低是否是由于值班人员没按时间和地点求进行巡查分析巡查数据，查看实际巡查时间，分析漏查巡查点情况核查是否是在规定的时间范围内进行巡查，核查漏查总结规律经过分析巡查记录数据，存在误时巡查情况，存在单点漏查现象刘晓庆4月2

10、0日是4人员偷懒/忘记机房巡查时实率低是否是由于值班人员睡觉偷懒故意不去巡查、或者是忘记了没按时进行巡查分析机房巡查时实率低是否是由于值班人员睡觉偷懒故意不去巡查、或者是忘记了没按时进行巡查检查培训记录和考核制度经核查巡查记录数据，存在整个时间段没有进行巡查的漏查情况比较多姚本任、 刘晓庆5月30日是5培训不到位或者缺少考核制度机房巡查时实率低是否是由于没有进行值班要求培训，有无执行考核制度分析核实机房巡查时实率低是否是由于没有进行值班要求培训，有无执行考核制度对各个机房负责人进行核实，是否存在此类现象很少存在这样的情况，机房每天均有两名电工值班薛星刚5月10日否6巡更点故障机房巡查时实率低是

11、否是由于巡更点坏了，实际去巡查了而显示没有巡查分析统计损坏的巡查点，看是否事先进行通报巡查点坏巡查点故障率是否过高，存在技术不成熟情况经分析确认，巡查点固定后基本没有故障薛星刚5月30日否7巡更系统存在技术漏洞机房巡查时实率低分析是否是巡查系统软件存在问题，是否是值班人员可以随意修改数据结合门禁刷卡记录，逐个机房进行核实，查看巡查系统记录巡查时间是否与门禁系统进入时间一致经过分析和现场核实，发现有作弊修改数据现象，而实际木有进行巡查罗绵辉、 吕柏文5月30日是8无法正常登录巡查系统上传数据机房巡查时实率低分析是否是因为局房的办公网络不稳定，经常存在断网现象，导致巡查数据不能及时上传分析各个机房

12、办公忘了情况分析显示机房办公网络均比较稳定闫方进5月30日否9巡查时间设置不合理机房巡查时实率低分析是否是因为巡查频率太高，导致巡查不及时都是按维护要求进行巡查，两个小时巡查一次，雷雨天气一个小时巡查一次巡查时间为两小时一次，电工与保安的巡查时间错开，中间间隙为1小时吕柏文、姚本任3月10日否10单次巡查耗时过长机房巡查时实率低分析巡查点设置是否过多正常巡查一次是否超过一个小时经过现场按巡查线路进行正常巡查，每个局房完成一次巡查都用时都低于30分钟李威否要因总结QC小组通过以上详细分析，最终确定了以下3个要因：未按要求按时进行巡查/存在漏点巡查要因132值班员偷懒/忘记巡更系统存在技术漏洞七、

13、 制定对策1、对策可行性分析小组全体成员针对以上要因，制订详细可操作的对策方案；其中，针对存在多种可选方案的要因， QC小组对所选方案进行了详细对比分析，确定最佳的方案，详见如下： （1）问题点整改加固巡更点；（2）人员培训及优化提高电工责任心，并对局房进行巡查完成率排名考核；（3）优化巡查系统 优化电子巡查系统，修补巡查漏洞，防止巡查人员弄虚作假，对巡查点进行实时监控，起到发现漏查及时提醒的目的。八、 对策实施(一) 问题点整改固定好每个巡更点，防止电工作假挪动巡查点到值班室打点。通过以上措施，保证了巡检真实性。(二) 人员培训及优化对值班电工进行培训，把巡查完成情况纳入考核，制定奖励机制，

14、对完成率高、工作认真负责的值班电工月度考核评A，对多次培训仍不能按质量完成的人员进行轮岗。(三) 实施电子软件进行实时监控1、 硬件升级过程：升级前升级后升级前：巡查棒无指示灯，签到后不能确认是否已签到成功，需连接通讯座进行读取巡查数据。升级后：巡查点成功后巡查棒有指示灯，人性化设计有震动感，确认已签到成功。2、 软件升级尽管巡更系统的硬件是其关键部分之一，它的软件的重要性也不能被忽略。除了能够正确的处理与报告出复杂的巡逻结果，它的设计也需要考虑到许多管理者可能不太懂计算机，因此软件的易用性特别关键。 软件的人工智能核查处理是巡更巡检系统管理软件的关键。有些巡更机重硬件而轻软件，其结果是巡更机

15、只相当于记录器，核查功能要人工完成，这就违背了使用巡更管理系统的初衷。一个好的管理软件可以起到辅助分析的功能，又相当易用，可以说巡更系统应用的成败关键在于巡更系统软件的设计。以网页的形式把巡查结果展示出来， 表示已按时巡查， 待巡查， 表示漏巡查；巡查后及时上传巡查数据，通过电视展现，清晰可见巡查完成进度，发现到点未巡查及时通报；九、 效果检查按计划对策实施后，弄虚作假现象为0%，核心局方的巡查时时率到达99.316，达到了95%预期效果。5月9日晚，远东大厦二楼排水管接缝处老化造成了排水管破裂，出现严重漏水现象，由于漏水处刚好在一楼动力机房UPS设备上方，动力设备及网络受到致命威胁，值班人员

16、巡查发现后立即投入险情处理，迅速在UPS上方遮盖防水雨布，避免漏水流入设备引发短路，防止更大故障的发生，接着部门安排抢修人员到场进行漏水源头出来，挽回直接经济损失100万；8月29日15:30，机房值班保安在巡检中发现一楼低压配电房有烧焦气味，第一时间通知动力维护人员，动力维护人员迅速赶到低压配电房，凭借丰富的维护经验，不顾危险爬到低压柜顶端，发现了3号变压器至低压进线柜铜排绝缘层已烧熔，如果绝缘层烧穿，将导致高压开关跳闸或低压母线槽三相短路，甚至可能出现母线槽爆炸起火等严重事故。千钧一发之际，姜伟果断启动动力系统应急预案，迅速将3号变压器负荷切换至4号变压器承载，有效控制绝缘层继续燃烧，防止事故进一步扩大。由险情发现到有效控制，仅用了12分钟。运维部组织夏茅供电系统抢险挽回直接经济损失385万元。12月18日14:05，750值班电工在巡查一楼低压电房时