EDA数据质量工作汇报--江西电信

数据质量工作汇报 江西电信企业信息化部 2010年 7月 目 录 数据组织 数据管理 系统支撑 运营效果 经验体会 2 江西电信企业信息化部 江西电信企业信息化部 3 数据质量管理历程 (CRM-计费主产品一致性 ) 2007年 5月 93.23% 2007年 10月 98.73 2008年 10月 99.94% 2009年 12月 99.985% 2010年 6月 99.998% 数据质量历程 企业数据管理 江西电信企业信息化部 4 数据考核 江西电信企业信息化部 5 目 录 数据组织 数据管理 系统支撑 运营效果 经验体会 6 江西电信企业信息化部 数据管理的五大内容 江西电信企业信息化部 7 按照集团规范，对 CRM系统、计费等系统的信息完整性进行分析和整改。 数据完整性 使用系统功能对关键客户信息进行稽核并发分公司进行清理。 在各主要系统开展数据提速工作。 根据比对结果处理方案对每月比对出的差异数据进行清理，提高各系统数据一致性。 制定工号权限管理细则，对工号进行审核和清理 进行操作日志自查，完善系统日志功能 数据准确性 数据及时性 数据一致性 数据安全性 将端到端收入稽核融入江西电信数据 TOP管理，极大提升工作的推进力度 围绕 “ 五性 ” 开展工作，构筑数据应用完整体系。 主产品 提升数据一致性 关键指标 江西电信企业信息化部 8 CRM与平台 -目标 99.95% CRM与计费 固网与平台 窄 带 宽带 VPDN 速率 彩 铃 预 付 费 移动与平台 与 HLR的后付费 与 OCS的预付费 与 AAA平台鉴权数据 与 AN-AAA平台的 EVDO 彩铃 与综合 VPN 主产品 属性 主产品 附属 产品 产品 相关 根据数据的重要程度以及流程中可能存在的问题定位出影响数据一致性的关键指标。 城乡标识 用 户属 性 产 品 标 志 付 费 模式 来显 彩 铃 销售品 定价 目标99.95% 目标99.99% 提升数据一致性 业务流程 江西电信企业信息化部 9 1号 网支网优将源文件送达指定的 FTP服务器。 4号 省业务支撑中心通过系统任务完成核心资料一致性比对工作。 5号 省业务支撑中心下发差异给分公司。 10号 分公司层面提出数据核查需求。 15号 省业务支撑中心、网支、网优对分公司提出的问题进行核查。 20号 分公司层面根据数据比对结果处理方案提出数据修改工单。 28号 省业务支撑中心、网支、网优根据工单对数据进行修改及同步。 省公司信息化部牵头 、 推动工作完成 提升数据一致性 数据修改工单流程 以清理彩铃平台数据为例描述工单流转过程。 江西电信企业信息化部 10 需求人提需求 接口人送审批 网支审批 接口人派单 彩铃平台修改数据 接口人确认 需求人验收 结束工单 接口人判断是否送审批，送哪个部门审批。 接口人根据需求内容将工单派发给相关系统或平台。 验收不通过 主管部门对工单内容进行审批。 提升数据一致性 相关文件 江西电信企业信息化部 11 数据比对结果处理方案 按照集团公司关于开展移动业务用户数据比对工作的文件要求，结合本省前期开展的数据比对工作的进展情况，特制订我省移动业务用户数据比对处理方案。 一、工作范围 本次用户数据比对工作，主要针对基础语音业务、无线宽带、短信、彩信、智能网、彩铃六大类业务。在此基础之上，逐步开展其他业务的用户数据的比对工作。 二、工作原则 鉴于数据比对工作涉及到对用户数据的修正，一旦出现差错，会直接影响用户业务的使用，对用户感知产生不好的影响，因此我省计划采用先试点、再推广的原则推进该项工作。 三、工作目标 提高移动业务一次自动开通成功率指标，指标逐步达到并超过 99 。 四 、 工作内容 1 、基础语音业务 中国电信江西公司 数据 一致性 清理流程 为了进一步提高公司 IT 系统间数据一致性，达到“数据应用能力提升” TOP 项目的考核目标，特对数据清理流程进行进一步的明确： 一、 工作方式与流程 1 、工作方式 根据“数据应用能力提升” T O P 项目的要求和工作现状，省信息化部对数据清理的流程进行优化调整，将每月通报所有差异改为每月通报存量差异1，但是年中（ 6 月），年底（ 12 月）按照所有差异进行考核。分公司每月应针对存量差异进行清理修改，针对新量差异进行问题核查 并 提出解决建议，省公司根据这两部分的工作情况综合对分公司进行评价。 2 、 清理流程 1 ） 每 月 1 日 各业务平台数据源、 CRM 及计费数据源按既定格式准时 把源文件送达指定 ftp 服务器 ，具体文件格式、时间点、 F T P地址见附件 1 。 2 ） 每月 4 日 18 点 前，完成核心资料一致性比对工作 ，封网期间可不进行相应数据比对任务 ； 5 日 18 点 前下发差异清单给分公司，通知分公司数据质量负责同志开始核查 。 3 ） 分公司在 10 日前将数据协查需求提交省网支、网优、业务中心、 IT 中心，省公司各单位要在 15 日前配合分公司完成差异 数 1 存量差异指上月比对出来的、但在当月清单中还存在的差异，新量差异指在上月清单中不存在、但在当月清单中存在的差异。对存量差异进行通报能够体现出分公司数据清理的进度，对分公司新量差异的原因核查能够避免影响数据一致性问题的持续出现，从根本上保证数据质量，避免前清后乱。 规范化的流程管理保证了数据一致性清理工作有条不紊的进行。 比对结果处理方案中明确了对差异结果数据的清理方法，有效指导实际操作。 目 录 数据组织 数据管理 系统支撑 运营效果 经验体会 12 江西电信企业信息化部 企业数据质量管理系统 功能框架 任务配置定义 质量分析报告 数据采集 稽核过程管控 数据同步 稽核计划管理 同步处理 同步规则 稽核结果报告 创建计划 待审核计划 数据采集管控 数据预处理管控 数据比对管控 规则比对稽核 命令脚本稽核 存储过程稽核 异常数据报告 数据修正考核 在执行计划 13 江西电信企业信息化部 已完成计划 数据同步管控 数据同步报告 数据预处理 预处理规则 差异确认 一致性 准确性 完整性 系统管理 用户管理 日志管理 统计分析 监控告警 数据比对 数据校验 采集计划 数据提取 解析、过滤 校验、规整 合并 比对方式 比对周期 稽核计划管理 江西电信企业信息化部 14 一致性准确性完整性 稽核计划管理 数据采集 数据预处理 数据比对 数据同步 稽核过程管控 数据采集 江西电信企业信息化部 15 稽核计划管理 数据采集 数据预处理 数据比对 数据同步 稽核过程管控 采集计划管理 采集计划管理是把采集请求的信息如采集的范围、时间等进行管理。 数据提取是根据采集的范围以及时间向 MBOSS或网元业务平台提取数据。有批量采集和单个采集。 数据校验 数据校验是对从 MBOSS或网元业务平台提取出来的数据进行文件名称、文件大小、采集点等完整性的校验。 数据提取 文件 FTP采集 实时接口查询 人工取数输入 数据采集根据采集请求，向 IT系统或网元提取原始数据 ,数据的完整性校验。 数据预处理 江西电信企业信息化部 16 稽核计划管理 数据采集 数据预处理 数据比对 数据同步 稽核过程管控 数据解析 提取原始数据集中的有效信息，并根据编码规则对其统一编码，经过解析后的数据为标准格式数据 。 数据过滤 过滤是删除标准格式数据中无用或重复的数据 。 数据校验 数据归整 对经过过滤、校验的数据进行归整，输出为标准数据。 根据校验规则对数据的有效性进行判断 数据合并 数据合并是对经过检验、归整的不同网元平台或 IT系统的数据进行合并，输出为可比对的标准格式数据 数据预处理是对采集到的原始数据集进行解析、过滤、校验以及修复等处理的过程，处理后的数据为符合编码规则、可直接用于数据比对的标准格式数据。 数据比对 江西电信企业信息化部 17 稽核计划管理 数据采集 数据预处理 数据比对 数据同步 稽核过程管控 采用规则库配置，实现数据比对 比对方式 定义规则库 存储过程 命令脚本 数据比对根据比对方式和比对周期，对提供的标准化数据进行两两比对 ,查找数据双方的差异。 比对周期 即时比对 定时比对 周期性比对 采用存储过程，实现数据比对 采用命令脚本，实现数据比对 立即开始数据比对 设定某个时间，进行数据比对 设定某个周期性时间点，如每月 1号，进行数据比对 数据同步 -1 江西电信企业信息化部 18 稽核计划管理 数据采集 数据预处理 数据比对 数据同步 稽核过程管控 数据同步 -2 江西电信企业信息化部 19 稽核计划管理 数据采集 数据预处理 数据比对 数据同步 稽核过程管控 CRM有其它无： 以 CRM系统数据为准，利用数据质量管理系统的数据同步功能进行同步，同步目标包括计费等外围 IT系统、业务平台以及网元，无则增加，有则覆盖。 CRM无其它有 : 交由人工干预，如果确认需要 CRM增加、删除、修改，则利用数据质量管理系统的数据同步功能进行同步，同步包括计费等外围IT系统、业务平台及网元。 数据一致性 数据一致性范围 江西电信企业信息化部 20 比对项目 源系统 周期 范围 数据抽取方式 CRM与 HLR的后付费用户数据 CRM、 HLR 每月 1号 全量 CRM接口表方式， HLR文件 FTP方式 CRM与 AAA的 C网用户鉴权数据 CRM、 AAA 每月 1号 全量 CRM接口表方式， AAA文件 FTP方式 CRM与彩铃平台的 C网彩铃用户数据 CRM、彩铃 每月 1号 全量 CRM接口表方式，彩铃文件 FTP方式 CRM与 OCS平台 C网预付费用户数据 CRM、 OCS 每月 1号 全量 CRM接口表方式， OCS文件 FTP方式 CRM与综合 VPN用户数据 CRM、综合 VPN 每月 1号 全量 CRM接口表方式，综合 VPN文件 FTP方式 CRM与 AN-AAA的 EVDO用户数据 CRM、 AN-AAA 每月 1号 全量 CRM接口表方式， AN-AAA文件 FTP方式 CRM与终端管理系统 CRM、终端管理系统 即时比对 全量 CRM接口表方式，终端管理系统接口表方式 CRM与资源管理系统 CRM、资源管理系统 即时比对 全量 CRM接口表方式，资源管理系统接口表方式 CRM每日竣工彩铃与彩铃平台 CRM、彩铃 每日 增量 CRM接口表方式，彩铃 WebService接口 目 录 数据组织 数据管理 系统支撑 运营效果 经验体会 21 江西电信企业信息化部 运营效果 移动业务一次性开通 江西电信企业信息化部 22 2009年 6月统计数据（系统上线使用 3个月） 0.2% 0.14% 运营效果 - 收入挽回与服务提升 江西电信企业信息化部 23 收入挽回数量 宽带拆机 1863 彩铃拆除 47055 宽带速率下调 1227 计费补录 1505 HLR拆机 2144 VPDN拆机 132 避免投诉数量 彩铃等业务平台补录 4815 移动网元补录 5232 宽带速率提高 5381 计费拆机 189 预付费补录 351 本地网 预计年效益（元） 避免投诉数 南昌 883760 3769 九江 166323 6337 上饶 284040 1081 抚州 170628 738 宜春 687960 730 吉安 526272 2267 赣州 497628 415 景德镇 189321 1452 萍乡 107430 1094 新余 71840 887 鹰潭 57444 182 全省 3642646 18952 目 录 数据组织 数据管理 系统支撑 运营效果 经验体会 24 江西电信企业信息化部 形成长效工作机制的保证 江西电信企业信息化部 25 收入挽回、服务提升 基础管理 支撑队伍： 形成省、市两级互动，专岗支撑的数据质量稽核、清理队伍 。 管理流程： 建立数据比对规则、处理流程、问题收集、通报机制 系统支撑： 以 CRM为核心的数据质量比对系统 。 领导重视 省公司领导重视： 省公司领导高度重视， 2009年成立数据管理能力提升TOP， 2010年成立数据应用能力提升 TOP。 纳入分公司领导考核：数据管理纳入分公司领导KPI考核，有助实现长效推进。 集团要求 收入保障： 以集团收