提高WLAN系统AP设备可用率

提高 WLAN系统 AP设备的可用率 2009.6 中国电信无锡分公司无线中心室内分布 QC小组 /webmoney 2 小组概况 QC小组概况表 企业名称 中国电信无锡分公司 小组名称 无线中心室内分布系统 QC小组 建组时间 2006年 6月 活动时间 2008年 6月 -2008年 12月 课题名称 提高 WLAN系统 AP设备的可用率 课题类型 现场型 注册时间 2008年 6月 注册号 2009_03 活动频次 每周一次 小组成员 小组职务 姓 名 年龄 学历 职 称 组内分工 组 长 严正 35 本科 工程师（班长） 组织协调 副组长 伍晓凌 26 本科 助理工程师 方案制定实施 成 员 彭志远 36 本科 工程师 方案制定实施 成 员 帅代君 45 本科 工程师 方案制定实施 成 员 安洵 25 本科 助理工程师 方案制定实施 /webmoney 3 专业术语 WLAN AP设备可用率 w-IP-OSS Wireless Local Area Network的缩写 ， 指应用无线通信技术将计算机设备互联起来 ， 构成可以互相通信和实现资源共享的网络体系 。 无线宽带综合运行支撑系统 ， 该系统用于监控 AP工作状态 ， 提高 WLAN系统维护效率 。 设备可用率 =1-AP不可用历时总和 / （时长 *AP数） /webmoney 4 选题理由（一） 随着人们对宽带无线化 、 移动化的需求日益增强 ， WiFi技术已经广泛应用于社会生活的各个领域 。 无锡电信从 07年底开始进行 WLAN热点建设 ， 至今已经在无锡全区完成1100多个热点地区的无线宽带覆盖 。 今后 ， 随着无线城市建设工作的逐步开展以及电信手机业务的逐步推广 ， 这些热点的 WLAN系统将同时承载手机和笔记本电脑的 WiFi业务 ，对 AP设备工作的稳定性 （ 可用率 ） 将提出越来越高的要求 。 /webmoney 5 选题理由（二） 省公司指标要求 现网实际情况 AP设备可用率 90% 选择课题 提高 WLAN系统 AP设备可用率 78.85%80.53%79.69%78.00%78.50%79.00%79.50%80.00%80.50%81.00%三月 四月 五月A P 设备可用率均值 79.69% /webmoney 6 活动计划 时间 步骤 进 度（月份） 负责人 08.6 08.7 08.8 08.9 08.10 08.11 08.12 09.1 P 选择课题 严正 现状调查 伍晓凌 设定目标 严正 原因分析 全体组员 要因确认 全体组员 制定对策 安洵 D 对策实施 全体组员 C 效果检查 全体组员 A 巩固措施 安洵 总结与打算 严正 /webmoney 7 现状调查 目前可用率 78.85%80.53%79.69%78.00%78.50%79.00%79.50%80.00%80.50%81.00%三月 四月 五月AP设备可用率分析 08年三至五月 AP设备可用率情况如下： 08年三至五月 AP设备的平均可用率仅为 79.69%，与省公司 90%的指标存在一定差距 AP设备可用率计算公式为： AP设备可用率 =1-AP不可用历时总和 /（时长 *AP数） 可以看到， AP不可用历时总和数值越大，即 WLAN系统处于故障状态的时间越长，AP设备可用率越低。因此我们在问题分析时重点关注 WLAN系统长时间处于故障状态并超过一定时间，即障碍超时的发生情况。 均值79.69% /webmoney 8 现状调查 问题分析 序号 出现问题 出现问题频次 频率（ %） 累计频率（ %） 1 用户端设备障碍 185 52.71% 52.71% 2 传输障碍 118 33.61% 86.32% 3 网管故障 18 5.13% 91.45% 4 上联设备故障 14 3.99% 95.44% 5 用户擅自拆除 AP 12 3.42% 98.86% 6 其他 4 1.14% 100.00% 7 总计 351 100.00% 通过综合调度系统 ， 我们抽取了 08年三至五月份 WLAN系统障碍发生及修障情况 ，统计到 AP设备不可用历时超过 48小时的系统故障共计 351次 ， 障碍总时长为 19210.3小时 ， 其中用户端设备障碍和传输障碍引起的障碍历时超长次数共计 303次 ， 累计频次达到 86.32%， 是造成 AP设备可用率低问题的主要症结 。 结论：主要症结为： 1、用户端设备故障历时长 2、传输故障历时长 0 100% 350 300 250 200 150 100 50 0 95.44% 98.86% 91.45% 52.71% 4 12 14 18 118 185 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% 86.32% 用户端设备障碍 传输故障 上联设备故障 用户擅自拆除 AP 其他 N=351 网管故障 08年三至五月 WLAN障碍超时情况排列图 出现问题（频次） 累计频率（ %） /webmoney 9 现状调查 可行性分析 B、 通过和常州 、 南通本地网 WLAN维护骨干的交流我们了解到 ， 这两个 WLAN热点规模和无锡相当的本地网 ， 在建设的初期也存在用户端设备故障和传输故障历时长的问题 。 他们通过专项整治 ， 采用各种手段有效降低障碍发生率 ， 提高修障效率 ， 设备可用率已经从原先的 70%左右提高到目前的 90%以上 ， 这给我们完成既定目标提供了参考 ， 同时省公司对 WLAN系统维护的重视给我们活动的开展提供了足够的空间和资源 。 因此小组认为 AP设备的可用率达到 90%的目标是可以实现的 。 A、 三至五月用户端设备障碍和传输障碍引起的障碍历时超长次数共计 303次 ， 而其中用户端设备障碍发生频次高 ， 但修障相对容易 ， 传输障碍发生频次低 ， 但问题复杂 ， 处理难度大 ，修障时间长 。 因此只要对症下药 ， 解决用户端设备障碍的 60%， 同时缩短 40%传输障碍处理时长至 4小时以内 ， 可缩短障碍历时约 158.2*40=6328小时 ， 按照以往经验 ， 障碍历时每缩短 1小时 ， 可用率可提高 0.002个百分点 ， 6328个小时可提高 0.002*6328=12.56个百分点 ， 从而提高可用率到 92%以上 。 /webmoney 10 设定目标 79.69%90%60.00%65.00%70.00%75.00%80.00%85.00%90.00%现状 目标经过分析，我们提出了如下目标： WLAN系统的 AP设备可用率从目前的平均 79.69%提高到 90% /webmoney 11 原因分析 用户端设备故障历时长 传输故障历时长 派障流程不畅 ADSL猫电源适配器质量不稳定，故障率高 光纤设备老化或质量不过关 割接人员随意更改端口 ADSL设备障碍发生率高 传输故障发生率高 很多热点不具备光纤接入条件，ADSL接入占比大 修障涉及专业多，跨部门协作不及时 公司上下没有形成标准统一的流程考核制度 缺少高效率的网管对 AP障碍进行监控 修障人员专业知识水平不高，无法快速准确判断障碍 专业测试工具较缺乏 维护人员修障过程时间长 经过对三、四、五月维护情况的分析，我们找到了造成两大症结的 9个末端原因： 前端协调不到位，用户拉电或破坏传输线路 修障人员缺乏 WLAN系统维护专业知识的培训 光纤设备故障 ADSL猫老化或吊死 /webmoney 12 要因确认（一） 对一至五月 ADSL接入热点猫的电源故障率和系统 AP设备可用率统计如下： 从上表看到 ， ADSL猫电源故障率高的月份 ， AP设备可用率明显偏低 。 我们联合设备厂家对 ADSL猫电源进行测试 ， 发现该经常开闭电源容易造成内部线圈烧坏无输出或输出电压在 4.5V4.9V间跳变 （ 5.2V为正常值 ） ， 而且设备属于家用级设备 ， 而非企业级 ， 长时间连续工作电源适配器寿命大大缩短 。 针对 9个末端原因 ， 分别予以分析确认 。 1、 ADSL猫电源适配器质量不稳定，故障率高 结论： 要因 2、 ADSL猫老化或吊死 一至五月 ADSL猫老化或吊死的比例几乎为零。 结论 ： 非要因 一月 二月 三月 四月 五月 ADSL猫电源故障率 20.24% 36.78% 31.27% 19.97% 28.65% AP设备可用率 81.82% 75.54% 78.85% 80.53% 79.69% 一月 二月 三月 四月 五月 ADSL猫老化数 0 0 2 1 2 ADSL猫吊死数 1 3 0 2 3 对一至五月 ADSL接入热点猫的老化次数和吊死次数统计如下： /webmoney 13 ADS L接入, 839 ,81%EPO N接入, 119 ,11%LAN 接入, 8 4,8%ADS L接入EPO N接入LAN 接入 要因确认（二） 结合 08年一、二季度 WLAN建设月报，我们对当前 WLAN信源接入方式进行调查，情况如下： 信源接入方式 AP数 占比 ADSL接入 839 80.52% EPON接入 119 11.42% LAN接入 84 8.06% 总计 1042 100% 用户端设备故障 传输故障 ADSL接入方式 86.08% 91.21% 光纤接入方式 13.92% 8.79% 从上表可以看出， ADSL接入方式系统出现障碍导致 AP可用率低的因素要远远大于光纤接入系统。但由于 ADSL接入方式建设成本低，布点速度块，在大规模覆盖的初期，采用这种方式可以有效提高建设效率，但 ADSL设备本身的不稳定因素导致了障碍率居高不下。 3、 ADSL接入占比过高 结论： 要因 /webmoney 14 要因确认（三） 统计三至五月份用户拉电和破坏传输线路情况如下： 4、前端与业主的协调工作不到位，导致用户拉电或破坏传输线路 1072731024681012拉电破坏传输线路拉电 10 7 2破坏传输线路 7 3 1三月 四月 五月统计显示 ， 用户原因导致障碍所占比例本身较小 ， 且由于前端加强对协调工作的管理 ， 加强与业主的沟通 ， 用户破坏系统电源和线路的现象在逐月减少 。 结论： 非要因 /webmoney 15 92.54%96.65%77.79%96.78%98.44%85.50%1.79%2.16%5.32%0.00%20.00%40.00%60.00%80.00%100.00%120.00%镇江 盐城 无锡A P 可用率派障及时率修障超时比例 要因确认（四） 我们就障碍处理情况和其他地市进行了交流，发现镇江和盐城的 AP设备可用率位居全省前列，同时他们的派障及时率和修障超时比例都好于无锡，而他们恰恰是有了一套完整严格的流程考核制度，根据障碍所属专业的不同，由综调第一时间分派到各个部门。以下是六月份镇江、盐城和无锡 AP设备可用率、派障及时率和修障超时比例的对比图： 5、缺乏标准统一的流程考核制度 结论： 要因 /webmoney 16 要因确认（五） 我们对修障人员进行 WLAN系统知识测验，模拟修障处理过程，测验结果如下表： 6、修障人员缺乏 WLAN系统维护专业知识的培训 我们对目前从事 WLAN维护工作地人员知识背景进行了调查 ， 发现 20名维护人员中大部分是从小灵通基站维护岗位转岗过来 ， 目前仅有 1人已经顺利获得 WLAN维护岗位资格认证 。 由于缺少专业知识的培训 ， 在障碍处理过程中 ， 容易导致以下三个问题的出现： 1、 简单的设备坏只需更换设备即可 ， 但涉及到 AP设置错误的故障时 ， 处理时间过长 ， 甚至无法顺利完成设置修复 。 2、 处理 ADSL障碍时 ， 无法准确判断是设备问题还是上联数据设置错误 ， 无法准确转到不同专业的相关部门处理 ， 导致障碍历时过长 。 3、 处理光纤接入系统障碍时 ， 由于对光路不熟悉 ， 无法判断出障碍位置 。 结论： 要因 成绩 理论测试 实际操作 优秀 1 2 良好 2 3 及格 4 5 不及格 13 10 不通过比例 65% 50% 考核结果显示 ， 理论测试和实际操作测试的不及格率分别高达65%和 50% /webmoney 17 要因确认（六） 我们调查统计光纤设备故障现象 ， 发现因光纤设备老化引起的故障仅占所有故障的 5%， 光纤设备总体质量稳定 。 结论： 非要因 7、光纤设备老化或质量不过关 8、缺少高效率的网管对 AP障碍进行监控 通过对现有 AP网管系统的使用情况进行调查统计 ， 考察该网管对 AP障碍的及时报修以及障碍跟踪等功能 ， 我们发现每周因网管系统未能及时采集到准确数据而导致报障不及时或修障跟踪不及时的现象仅为两次 ， 结论： 非要因 9、专业测试工具较缺乏 通过对目前处理障碍所需工具的使用情况和已有设备资源进行调查 ， 我们发现使用频率最高的笔记本电脑 ， 目前已经基本达到两人一台的配置 ， 而光功率计 、 万用表等工具使用频率不足 3%。 修障人员也反映目前对障碍进行定位 ， 多数是借鉴以往经验并结合网管的采集数据 ， 现有的测试工具资源已经能够满足修障要求 。 结论： 非要因 /webmoney 18 要因确认 要因确定为： ADSL猫电源适配器质量不稳定，故障率高 热点不具备光纤接入条件， ADSL接入占比大 公司上下没有形成标准统一的流程考核制度 修障人员缺乏 WLAN系统维护专业知识的培训 /webmoney 19 制定对策 制定对策表： 序号 要因 对策 目标 措施 地点 时间 负责人 1 ADSL猫电源适配器质量不稳定，故障率高 提高 ADSL接入热点供电的稳定性 ADSL接入热点电源故障率下降 30% 联合设备厂家解决设备电源质量问题，对部分接电不稳定热点采用 POE供电方式 热点 /办公室 7.28-9.30 安洵 2 热点不具备光纤接入条件， ADSL接入占比大 用光纤替换ADSL接入 光纤接入比例达到 50%以上 结合光纤扫楼，依靠集成商力量，边建设边改造，完成光纤替换 热点 8.1-10.31 伍晓凌 3 公司上下没有形成标准统一的流程考核制度 建立标准统一的流程考核制度 增加对派障及时率和障碍超时比例的考核 ， 派障及时率达到 95%以上 ，障碍超时比例下降到 2%左右 牵头召开 WLAN维护会议，借鉴其他地市做法制定合理的流程，完善考核制度 办公室 8.4-8.30 严正 4 修障人员缺乏WLAN系统维护专业知识的培训 通过专项培训提高维护人员持证上岗率 维护人员持证上岗率达到 90%以上 组织对修障人员进行 WLAN系统专业知识培训，每周定期开展修障经验交流讨论会 热点 /办公室 8.10-10.10 彭志远、 帅代君 /webmoney 20 对策实施 实施一 ： 提高 ADSL接入热点供电的稳定性 （ 1）要求 ADSL猫生产厂家根据 WLAN热点设备的工作环境和工作需求，加强电源适配器的耐用程度，提高电源寿命，降低故障率。 （ 2）在独立 AP覆盖的热点上，在 ADSL设备外增加防水、防雷击的处理，对电源线、接地线等线路加套 PVC管，减少设备电源因漏水或遭雷击坏掉的次数。 （ 3）对部分供电不稳定的热点，采取 POE供电（远供）的方式，一方面确保 ADSL设备的持续供电，降低断电故障；另一方面减少因 ADSL电源适配器坏而出现故障的次数。 POE供电设备 以太网 POE供电原理图 效果一：对策实施后， ADSL接入热点电源故障率下降了 35% /webmoney 21 对策实施 实施二 ：用光纤替换 ADSL接入 （ 1）结合线路中心开展的光纤扫楼工作，对全区 WLAN热点地区的光路资源进行清查摸底。 （ 2）对具备光缆接入资源的热点按照障碍发生频繁程度和热点流量大小分为 A、 B、 C类，分别进行光缆接入设计。 （ 3）依靠集成商力量，联合线路中心优先改造故障发生率高且流量高的 A、 B类热点。 02004006008001000七月 948 196 161十月 975 393 589ADSL接入 EPON接入 LAN接入效果二：从左边七月和十月各种接入方式系统数量的对比可以看到 ， 通过几个月的努力 ， EPON和LAN接入方式的比例明显提升 ，目前光纤接入比例已经提高到50%以上 ， 并且目前的新建热点基本的都采用光纤接入方式 ， 使得 ADSL接入方式的占比将继续下降 ！ /webmoney 22 W L A N 障 碍 处 理 流 程障 碍 发 现 障 碍 判 断 障 碍 处 理 恢 复 测 试 确 认 反 馈无线中心城域网维护部门（含相关设备及末梢维护单位）网络监控中心（综调中心）W L A N 用户 投 诉 受理A P 是 否 能 P I N G 通 远 程 处 理城 域 网 障 碍 处理 流 程否远 程 处 理恢 复 测 试A P 告 警是 否 用 户 终 端 自 身问 题否是回 单 确认 消 障是 投 诉 预 处 理是 否 A P 数 据 配 置问 题是重 启 A P 或 现 场处 理否上 层 交 换 机 是 否 能P I N G 通 ， 对 应 A P 端口 是 否 U P否是W l a n 障 障 障 障 障 障 对策实施 实施三 ：建立标准统一的流程考核制度 无线中心按照省公司的指示 ， 设计了一套完成的 WLAN系统修障的流程 ， 同时由网络部牵头 ，与综合调度中心 、 线路中心 、 设备维护中心一起召开了一次协调会 ， 对流程进行讨论 ， 明确了整改障碍发派过程 ， 各部门的职责和相关考核制度 。 下图是经过多次修正的障碍处理流程图： 效果三：随着各部门维护人员的相互配合越来越紧密默契，修障工作得以顺利开展，派障流程也顺畅起来，派障及时率达到 96%，障碍超时比例由原来的 5.3%下降到 2.3%，基本实现了既定目标。 /webmoney 23 对策实施 实施四 ：通过专项培训提高维护人员持证上岗率 （ 1）组织华为、 MOTO等 AP厂家的技术员对修障过程进行详细的讲解，实地模拟各种障碍处理过程，要求修障人员在掌握 WLAN系统工作原理的基础上，了解各种设备的工作特性与正确配置过程，掌握各类障碍的判断和处理过程。 （ 2） 每周定期开展修障经验交流讨论会，反映问题，交流修障心得，丰富维护经验。 （ 3）要求所有维护人员参加维护技能资格鉴定考试。 效果四：经过两个多月的时间 ， WLAN维护人员人均培训时间达到 40小时 ， 20名维护人员中已有 19名通过了技能资格鉴定考试 ， 获得了上岗证 ， 持证上岗率达到 95%。 综调的统计反映 ，目前无线专业的修障时间已经大大缩短 ， 这为顺利转派障碍和完成整个障碍处理都提供了有力保证 。 实地模拟 AP障碍处理场景 /webmoney 24 18570118611815141012 124 6020406080100120140160180200用户端设备障碍 传输障碍 网管故障 上联设备故障 用户擅自拆除A P 其他Q C 活动前Q C 活动后 效果验证（一） 通过 QC活动前后主要症结出现频次的统计分析可以看到，活动后主要症结造成 AP设备出现故障的总次数明显降低。 QC活动前后主要症结出现频次统计分析： /webmoney 25 效果验证（二） 通过对下半年设备可用率的跟踪观察，可以看到，在八月初对策全面实施后， AP设备的可用率指标有明显提升，说明对要因的分析是正确的。 设备可用率79.88%80.15%91.89% 92.03%91.26%94.31%96.16%50.00%55.00%60.00%65.00%70.00%75.00%80.00%85.00%90.00%95.00%100.00%六月 七月 八月 九月 十月 十一月 十二月对策实施前 对策实施后 设备可用率指标跟踪观察： /webmoney 26 效果验证（三） 91.26%96.16%94.31%78.00%80.00%82.00%84.00%86.00%88.00%90.00%92.00%94.00%96.00%98.00%十月 十一月 十二月AP设备可用率78.85%80.53%79.69%78.00%78.50%79.00%79.50%80.00%80.50%81.00%三月 四月 五月A P 设备可用率均值79.69% 均值93.91% 提 升 对策实施完成后， 08年十、十一、十二月的平均 AP设备可用率从三、四、五月的79.69%提升到 93.91%。 结论： QC小组的成果达到了预期的目标 目 标 达 成 了 /webmoney 27 0500010000150007 月份 8 月份 9 月份 1 0 月份 1 1 月份 1 2 月份MB 每A P 平均流量050000001000000015000000200000002500000030000000350000007月份 8月份 9月份 10月份 11月份 12月份MB全区AP总流量 效益分析 经济效益 通过无线宽带综合运行支撑系统对无锡全区 AP总流量和每 AP平均流量统计的结果显示： 08年下半年 ， 无锡地区用户通过 WLAN系统上网的流量随着热点的增加和AP可用率的提高而快速增长