研发垃圾短信监控核查系统

海南公司网络维护中心 中国移动通信海南公司网络维护中心 短信 海南公司网络维护中心 小组概况 秉承 “ 网络质量是通信企业的生命线 ” 的网络工作核心理念，全面贯彻落实网络运行维护工作 “ 质量领先，运行高效，支撑有力 ” 战略定位 ，中国移动海南公司专门成立了以提升短信业务质量，追求细节品质为目标的短信 用质量管理的理论和方法，围绕生产活动中出现的实际问题，开展 组自成立以来，撰写了多个 中 : 提高短信接通率 获得了2006年海南省 2007年国际质量管理小组会议卓越成果 信 006年海南省优秀质量管理小组， 2006年全国优秀质量管理小组。 海南公司网络维护中心 小组简介 短信 小组成员 本次课题活动时间 姓名 文化程度 组内职务 组内分工 冯成交 本科 组长 指挥调度 熊海兰 硕士 组员 调查实施 李博 本科 组员 调查实施 成立时间2005年 3月 课题：研发垃圾短信监控核查系统 时间： 2007年 11月2008年 3月 海南公司网络维护中心 相关术语解释 垃圾短信 指从某一客户端号码（网内或网外）或服务端口号码发起的，带有非法或不健康信息内容或未经客户允许而向客户群发的商业、广告短信或其他内容的短信。 黑名单 指经过 认需要进行停机处理的用户号码列表 海南公司网络维护中心 选择课题 一、 提出问题 垃圾短信问题是一个严重的社会问题，已引起各方面甚至中央的高度关注。垃圾短信干扰了客户正常的工作、生活，客户对此已产生不满。同时垃圾短信的泛滥影响了公司的社会形象，很多客户错误地认为垃圾短信的发送与中国移动相关，而事实上，垃圾短信并未为我们带来收益。 垃圾短信拦截平台运行不稳定，在 10月 1日10月 10日、 11月 5日、 6日、 9日系统发生故障，没有正常出黑名单文件，由于该平台没有网管监控，无法及时发现故障。 11月 14日后，网络维护中心对系统进行定时重新应用程序进程方式改善系统情况，系统基本正常，但在 11月 19日、 20日、 25日、 27日、 28日、 29日部分时段无法正常提供黑名单。 短信中心 垃圾短信拦截平台 南公司网络维护中心 选择课题 一、 提出问题 垃圾短信投诉量不断上升问题 垃圾短信发送号码高欠费金额问题 异常导致上万元欠费 某号码上万元欠费 07年 10月垃圾短信 1309例投诉 海南公司网络维护中心 选择课题 一、提出问题 本次讨论课题： 如何有效拦截 垃圾短信呢？ 针对垃圾短信治理存在问题，小组成员需要研究并提出解决办法。 海南公司网络维护中心 选择课题 二、 选择突破口 针对这个问题，小组成员运用头脑风暴法提出了三个可供选择的突破口： （ 1）增加人力进行垃圾短信拦截平台的监控； （ 2）要求厂家完善垃圾短信拦截平台； （ 3）研发垃圾短信监控核查系统。 海南公司网络维护中心 选择课题 三、 确定课题 研发垃圾短信监控核查系统 海南公司网络维护中心 目标设定 选择了上述课题后，我们要实现哪些目标呢？ 1、 建立一个独立的垃圾短信处理系统。 2、该系统能建立多条件的垃圾短信处理规则。 3、提供给业务部门较为准确的现网数据，分析 垃圾短信方面的问题。 4、做为现网垃圾短信系统的补充，快速拦截垃圾短信。 海南公司网络维护中心 提出并选择方案 小组成员运用头脑风暴法，围绕实现小组活动目标，提出许多想法和看法，初步归纳成以下三种方案： 方案一：旁接信令系统，对短信信令进行分析，若为垃圾短信，则送至 方案二：对短信中心话单进行分析，若为垃圾短信，则在短信中心上拦截该短信，不允许下发。 方案三：对短信中心话单进行分析，若为垃圾短信，则送至 海南公司网络维护中心 提出并选择方案 经过评估分析，决定采用方案三来研发垃圾短信监控核查系统。 海南公司网络维护中心 制定对策 序号 对策 目标 措施 时间 负责人 1 硬件平台分析 确认可以承载该系统的硬件平台 1、调研现有空闲设备； 2、对硬件能力进行分析，确认是否有合适的硬件平台 博 2 可行性分析 确认短信话单是否可以有效分析。 1、确定短信话单获取方式； 2、确定短信话单存储方式； 3、分析短信话单是否可以快速有效分析。 海兰 3 系统规划 对各接口及编程工具等进行确定 小组讨论确定。 成交 4 系统实施 研发垃圾短信监控核查系统 编写源代码并进行调试。 成交 海南公司网络维护中心 对策实施 硬件平台分析 原短信监控系统淘汰主机，其 配置为： 2 80G G，可以利旧这两台设备。 海南公司网络维护中心 对策实施 可行性分析 1、原始数据采集分析 短信中心存在日志查询系统和流量监控系统 2个对短信中心每日数据的实时监控，在原始数据采集上不存在困难。 2、采集流程分析 短信中心日志查询系统数据采集的流程为：短信中心 日志查询系统 3、表结构分析 经分析，该数据库表结构设计相对合理，采用以时间为单位，每小时建立存储分区，在查询时，如果注意引用分区数据，能较小的占用系统资源，提高查询效率。 海南公司网络维护中心 对策实施 系统规划 1、系统使用编程语言： 、编程工具： 、系统实施 系统在原短信监控系统主机上实施，数据库基于原日志查询系统数据库 4、与其他系统接口 系统生成可疑用户数据，自动 该服务器上运行一个定时脚本，再自动将该文件 海南公司网络维护中心 对策实施 系统实施 程序设计 为了保证数据库连接的稳定性， 时， 据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而再不是重新建立一个；释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数据库连接遗漏。 类是我们程序的主要部分，垃圾短信用户行为的监控在该类中实现； 类调度系统各个资源，完成系统整体功能。 海南公司网络维护中心 对策实施 系统实施 数据库设计 源表： 中间表： 中 表包含了所有我省短信日志信息； 系统按照时间分区从 实时取出符合垃圾短信发送用户可疑规则数据送入 后汇总到 中形成历史数据。 疑名单文件的生成，同时，调用 成相关数据。 所有程序完成后，打包成 服务器运行。 海南公司网络维护中心 对策实施 系统实施 程序设计 主程序类图 数据库连接基础类图 海南公司网络维护中心 对策实施 系统实施 为了保证数据库连接的稳定性， 时， 据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而不是重新建立一个；释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数据库连接遗漏。 类是我们程序的主要部分，垃圾短信用户行为的监控在该类中实现； 类调度系统各个资源，完成系统整体功能。 海南公司网络维护中心 源表： 中间表： 策实施 系统实施 其中 表包含了所有我省短信日志信息。 录了某个号码每隔 5分值的发送量， 海南公司网络维护中心 对策实施 系统实施 日记数据库表 每 5分钟进行流量统计 分析汇总超量号码 排重生成黑名单 送往 程序处理流程 文件传送脚本 !/sh n! 连接远程服务器 进入传送目录 进入本地存放目录 传送文件 海南公司网络维护中心 在 2007年 12月正式运行后，通过一段时间的检验，确实发现了现有垃圾短信系统黑名单数据的不全及不准确性，其中包括： 1、及时发现了已有垃圾短信系统生成垃圾短信黑名单的不准确性。该系统运行后，在比对 2个系统产生名单的情况，及时要就厂家校正拦截系统相关参数阀值，保证了系统数据的准确性。 2、发现了已有垃圾短信系统拦截的缺陷。原垃圾短信系统在取拦截原始数据的时候，由于没有考虑到手机群发 有将该类型数据加以统计，导致大量该类垃圾短信发送号码未被拦截。 3、由于现网平台只能实现单一拦截条件，不能对复杂的用户行为加以拦截，据业务部门需求，在该系统上实现新的拦截规则，配合现有现网平台实现多规则拦截垃圾短信用户。 效果检查 利用监控核查系统我们发现并解决了现网以上 3个问题，垃圾短信拦截效果明显提升，控制了垃圾短信泛滥，提高了用户满意度。 1 海南公司网络维护中心 效果检查 系统上线后，日拦截的用户数从原最高的 712降到 20个左右，较好的进行了垃圾短信的拦截，控制了垃圾短信蔓延，提升了企业的形象。 01002003004005006007008002008010120080103200801052008010720080109200801162008011820080120200801222008012420080126200801282008013020080201200802042008020720080209200802112008021420080216200802182008022120080223200802252008022720080229用户数2 海南公司网络维护中心 效果检查 系统上线后，经过客服投诉平台数据统计，每月垃圾短信的投诉量和排重的发送号码量不断呈下降趋势，达到了明显的效果，减少了用户投诉量 。 垃圾短信投诉总量和群发垃圾短信号码量统计0200400600800100012001400200701 200703 200705 200707 200709 200711 200801 200803 200805 200807 200809 200811 200901投诉总量群发垃圾短信号码量3 海南公司网络维护中心 效果检查 系统上线后，经过 送垃圾短信的号码欠费金额从原最高的上万元减少到几十元，满足了市场部门要求，控制了号码欠费风险，提高了欠费回收率。 3 4垃圾短信号码欠费比较0200040006000800010000120001 2海南公司网络维护中心 三大 标准化 手段 制定 垃圾短信监控核查系统操作手册 ，归档保存。 手段 1 制定 垃圾短信监控核查系统维护手册 ，归档保存。 制定 垃圾短信监控核查系统 数据库手册 ，归档保存。 巩固措施 手段 2 手段 3 海南公司网络维护中心 总结与下一步打算 此次 小组成员通过