上海移动计费中心-提高10086短信发送及时率

中国移动通信集团上海有限公司计费信息中心 移动信使 QC小组 2009-03 一、小组 概况 小组名称 移动信使 QC小组 成立时间 2005年 2月 1日 课题名称 提高 10086短信发送及时率 登记编号 08-SY-JF-02 课题类型 攻 关 型 活动时间 2008年 5月 -2008年 12月 活动次数 15次 出勤率 100% 一、小组 概况 姓名 性别 职务 文化程度 组内分工 邱晓波 男 技术支撑 本科 组长 崔宏慧 男 技术督导 本科 副组长 沈琦 男 技术督导 本科 成员 胡可 男 技术支持 本科 成员 孙一凯 男 技术支撑 本科 成员 孙乐 男 技术支撑 本科 成员 潘俊杰 男 技术支持 本科 成员 杨一凡 男 技术支持 本科 成员 韩湧 男 技术支撑 本科 成员 罗曦 女 技术支撑 本科 成员 专业术语介绍 ： 95.0%95.5%96.0%96.5%97.0%97.5%98.0%98.5%99.0%99.5%100.0%2008年 2月 2008年 3月 2008年 4月 2008年 2-4月短信量及发送及时率 二、选择课题 月均发送及时率 99 日均发送及时率 98 指标 ： 99% 现状 ： 98.36% 组 号 区间 % 组中值 % 频数 频数统计 频率 % 1 96.865 97.145 97.00 1 * 1.11% 2 97.145 97.425 97.28 4 * 4.44% 3 97.425 97.695 97.55 3 * 3.33% 4 97.695 97.975 97.83 5 * 5.56% 5 97.975 98.255 98.11 12 * 13.33% 6 98.255 98.525 98.38 17 * 18.89% 7 98.525 98.805 98.66 22 * 24.44% 8 98.805 99.085 98.94 15 * 16.67% 9 99.085 99.355 99.21 5 * 5.56% 10 99.355 99.635 99.49 5 * 5.56% 11 99.635 99.915 99.77 1 * 1.11% TL X 二、选择课题 样本数 n=90 标准差 s=0.55181 平均值 x=98.36% 二、选择课题 三、设定目标 97.50%98.00%98.50%99.00%99.50%100.00%现状 目标 目标设定值图 现状 目标 1 中间件程序处理 3215311 81.55% 81.55% 2 根据手机尾号拆分 610732 15.49% 97.04% 3 接收用户短信 73729 1.87% 98.91% 4 回写发送表 37850 0.96% 99.87% 5 发送接入网关 5126 0.13% 100% 合计 3954549 100% 四、目标可行性分析 81.55% 20 40 60 80 100 0 81.55% 97.04% 98.91% 99.87% 中间件进程处理 手机尾号拆分 接收用户短信 回写发送表 发送接入网关 0 350 100 50 150 超时短信数量(万条) 3215311 610732 73729 37850 5126 200 250 300 中间件进程处理 81.55% n=3954549 四、目标可行性分析 时间 短信总量 超时短信量 正常维护引起的超时量 正常维护引起超时所占比例 2008年 2月 74234674 1165484 16989 1.46% 2008年 3月 85156203 1405077 19421 1.38% 2008年 4月 81892760 1383988 13022 0.94% 总计 241283637 3954549 49432 平均值 80427879 1318183 16477 1.25% 86.24% 目前 及时率 + 目前不及时率 中间件 超时比例 可解决 程度 = 98.36% + 1.64% 81.55% 86.24% = 99.51% 五、原因分析 人 机 法 环 值班人员延误处理 网络连接无响应 中间件主机性能不足 数据库连接易中断 超时短信影响后续短信 调用其他系统缓慢 其他值班工作干扰 网络瞬间中断 主机 CPU负荷高 主机内存负荷高 程序缺乏自动重连机制 进程处理为串行 系统环境缺陷 中间件进程占 CPU过多 无法并行处理 程序反复连接无效地址 无法区分业务类型 短信告警处理要求缺失 制图人：邱晓波 制图时间： 2008年 5月 5日 值班人员未按规定操作 其他值班工作干扰其他值班工作干扰中间件进程处理超时次数多 短信告警处理要求缺失值班人员未按规定操作程序反复连接无效地址网络瞬间中断主机内存负荷高程序缺乏自动重连机制无法区分业系统环境缺陷告警处理要求未落实 六、要因确认 序号 末端因素 调查方法 确认标准 确认人 完成日期 1 无法区分业务类型 统计分析告警历史记录 因无法区分业务类型引起的超时短信应少于超时短信总数的 4%（ 根据 08年运行维护部中心指标分解计划 ） 邱晓波 潘俊杰 2008年 5月 27日 2 程序反复尝试连接无效地址 现场测试中间件CPU负荷 中间件主机 CPU负荷应保持在 50%以下 （ 短信系统设计说明书规定 ） 崔宏慧 韩湧 2008年 5月 23日 3 程序缺乏自动重连机制 统计分析告警历史记录 因程序缺乏自动重连机制引起的超时短信应少于超时短信总数的 4%（ 根据 08年运行维护部中心指标分解计划 ） 杨一凡 沈琦 2008年 5月 26日 4 短信告警处理要求缺失 现场检查 系统组值班规范 应存在短信告警处理方法及要求的相关条款 邱晓波 2008年 5月 9日 5 值班人员未按规定操作 统计分析告警处理历史数据 所有值班人员每一天的告警处理及时率 （ 处理时长 15分钟的比例 ） 全部在 90%以上 （ 根据部门指标 ） 孙一凯 罗曦 2008年 5月 12日 6 网络瞬间中断 统计分析告警历史记录 因网络瞬间中断影响到的短信 ， 应小于超时总数的 4%（ 根据 08年运行维护部中心指标分解计划 ） 孙一凯 胡可 2008年 5月 15日 7 主机内存占用高 现场测试中间件内存负荷 中间件主机内存平均占用应保持在70%以下 （ 根据短信系统设计说明书规定 ） 孙乐 罗曦 2008年 5月 15日 统计周期 超时次 数 周期内总超时次数 比例 2008年 2月 478234 1165484 41.03% 2008年 3月 485684 1405077 34.57% 2008年 4月 492147 1383988 35.56% 总计 1456065 3954549 36.82% 0%5%10%15%20%25%30%35%40%45%50%2008年 2月 2008年 3月 2008年 4月 无法区分业务类型引发超时短信比例 六、要因确认 确认标准： 4% 36.82% 01020304050607080901002008年 2月 4月中间件 CPU负荷情况 均值： 64.34% 六、要因确认 确认标准： 50% 六、要因确认 4050607080901002月到 4月间主机内存负荷情况 均值： 62.55% 确认标准： 70% 六、要因确认 统计 周期 超时 次数 周期内总超时次数 比例 2008年 2月 218557 1165484 18.75% 2008年 3月 267889 1405077 19.07% 2008年 4月 264523 1383988 19.11% 总计 750969 3954549 18.99% 0%5%10%15%20%25%30%2008年 2月 2008年 3月 2008年 4月 缺乏自动重连机制引发超时短信比例 确认标准： 4% 18.99% 六、要因确认 其他一般告警 ， 如短信系统 告警 ， 必须在告警发生后 15分钟内予以处理 。 六、要因确认 0.0%0.5%1.0%1.5%2.0%2.5%3.0%3.5%4.0%4.5%5.0%2008年 2月 2008年 3月 2008年 4月 网络瞬间中断引发 超时短信比例 六、要因确认 统计周期 超时次数 周期内总超时次数 比例 2008年 2月 6485 1165484 0.56% 2008年 3月 6665 1405077 0.47% 2008年 4月 7413 1383988 0.54% 总计 20563 3954549 0.52% 确认标准： 4% 六、要因确认 无法区分业务类型 程序反复尝试连接无效地址 程序缺乏自动重连机制 七、制定对策 序号 要因 对策 目 标 措施 负责人 完成时间 地点 1 无法区分业务类型 区分业务类型以实现多路并行机制 区分业务 ， 提升短信并行度 ， 使无法区分业务引起的超时短信占超时总数的比例低于 4% 1. 整理出程序无法识别的业务短信 2. 用正交试验法确定最优并行方案 3. 优化程序代码 4. 详细测试后上线运行 邱晓波 2008年 6月 23日 钦州 72 号楼 3楼机房 2 程序反复尝试连接无效 地址 从程序中剔除尝试连接已失效地址的语句 使相关主机 CPU负载低于 50% 1. 确认包含连接无效地址的程序列表 2. 撰写程序修改需求工单 3. 优化程序代码并进行详细测试 4. 程序正式上线运行 崔宏慧 2008 年6月 2日 钦州 72 号楼 3楼机房 3 程序缺乏自动重连机制 建立程序间自动重连机制 缩短重连时间 ，使缺乏重连机制引起的超时短信占超时总数的比例低于 4% 1. 整理缺乏自动重连机制的程序列表 2. 为相关程序的处理流程设计优化方案 3. 优化程序代码 4. 对优化后的程序实施详细测试 5. 程序正式上线运行 沈 琦 2008 年6 月 24日 钦州 72 号楼 3楼机房 97.2097.4097.6097.8098.0098.2098.4098.6098.8099.0099.202A14A26A32B14B26B30.5C11C21.5C350D1100D2150D3及时率%主效应图 因 子 水平 表 因 子 水平 业务分层数 (A) 同业务并行度 (B) 轮询周期 (C) 轮询取数据量 (D) 1 2类 并行 2个程序 0.5秒 50条 2 4类 并行 4个程序 1秒 100条 3 6类 并行 6个程序 1.5秒 150条 正交试验方案及结果 因子 A B C D 及时率 (%) 实验 1 1(2类 ) 1(2个 ) 1(0.5秒 ) 1(50条 ) 96.96 实验 2 1 2(4个 ) 2(1秒 ) 2(100条 ) 98.33 实验 3 1 3(6个 ) 3(1.5秒 ) 3(150条 ) 98.21 实验 4 2(4类 ) 1 2 3 98.50 实验 5 2 2 3 1 99.30 实验 6 2 3 1 2 99.28 实验 7 3(6类 ) 1 3 2 98.69 实验 8 3 2 1 3 98.75 实验 9 3 3 2 1 98.41 均值 1 97.833 98.050 98.323 98.250 均值 2 99.047 98.820 98.413 98.760 均值 3 98.617 98.627 98.760 98.487 极差 1.214 0.77 0.437 0.51 八、对策实施 2933第 5号A2B2C3D1 A2B2C3D2A B C D 四因子三水平 0.00%10.00%20.00%30.00%40.00%50.00%60.00%0100000200000300000400000500000600000程序无法区分业务导致的超时短信数量 八、对策实施 统计周期 该类超时短 信 比例 2008年 2月 36.26% 2008年 3月 36.82% 2008年 4月 37.31% 2008年 5月 37.10% 2008年 6月 30.58% 2008年 7月 0.48% 超时比例： 0.48% 预期目标： 4% 八、对策实施 688010203040506070802008/2/12008/2/62008/2/112008/2/162008/2/212008/2/262008/3/22008/3/72008/3/122008/3/172008/3/222008/3/272008/4/12008/4/62008/4/112008/4/162008/4/212008/4/262008/5/12008/5/62008/5/112008/5/162008/5/212008/5/262008/5/312008/6/52008/6/102008/6/152008/6/202008/6/252008/6/30对策实施前后 CPU负荷 目前： 42.01% 预期目标： 50%以下 统计周期 该类超时短 信 比例 2008年 2月 16.57% 2008年 3月 20.31% 2008年 4月 20.05% 2008年 5月 20.35% 2008年 6月 14.14% 2008年 7月 0.12% 0.00%5.00%10.00%15.00%20.00%25.00%30.00%35.00%40.00%45.00%50.00%050000100000150000200000250000300000程序无法重连导致的超时短信数量 八、对策实施 耗时 5min 耗时 10s 超时比例： 0.12% 预期目标： 4% 6811九、效果检查 08年2月 08年3月 08年4月 08年5月 08年6月 08年7月 08年8月 08年9月 08年10月 08年11月 08年12月 月平均及时率 (%) 98.43 98.35 98.31 98.51 99.18 99.37 99.34 99.41 99.39 99.38 99.40 阶段 实施前 实施中 实施后 巩固期 97.59898.59999.5100月均及时率（%）目标： 99% 九、效果检查 97