如何利用ODSEDW提升企业数据质量.ppt

如何利用ODS/EDW提升企业数据质量,IBM 2019年7月15日,ODS/EDW系统 IBM机密 | 15-Jul-19,2,汤传俊个人介绍 MSN: ,IBM业务咨询服务部的信息技术架构师，专业集中在信息系统架构设计，业务流程分析和设计，应用系统设计和开发，数据架构设计，数据建模和项目管理。 十二年电信行业经验，93年进入电信，从96年就开始参与电信九七工程的建设，足迹覆盖大部分省份，参与或领导的项目、产品有九七工程、本地网计费系统、移动计费系统、联通综合营帐系统、宽窄带系统、IP网管系统、radius认证计费系统、大客户系统、邮政BOSS系统等，以及目前正在进行的EDA/ODS项目。 所参与的系统涉及的运营商包括中国电信、中国移动、中国联通、中国网通等。,主要的项目： 云南电信ODS系统 武汉电信计费帐务系统 长沙电信九七/计费系统 乌鲁木齐电信计费帐务系统 安徽全省本地网计费系统 宁夏全省本地网计费系统 上海移动综合计费帐务系统 河南网通大客户系统 中国联通综合营帐系统（联通BOSS） 广东邮政综合服务平台（邮政BOSS） 河南电信互联网客户管理与认证计费系统 IP网管系统 企业级VoIP网关,Name: 汤传俊(Tommy) MSN： Mobile:Office:2686 Email: ,ODS/EDW系统 IBM机密 | 15-Jul-19,3,文档内容,数据质量问题产生原因与分类 ODS/EDW在数据架构层面对数据质量的支撑 ODS/EDW在应用功能层面对数据质量的支撑 ODS/EDW在管理层面对数据质量的支撑 ODS/EDW数据质量管理案例（穿插）,ODS/EDW系统 IBM机密 | 15-Jul-19,4,数据的重要性不亚于业务功能,为什么我的电话 这么久没装好？,客户投诉我不是我的错！,两个系统的报表怎么不一致？,目标完成没有？ 未来趋势怎样？,客户,客户经理,管理者,领导,实际发生的损失 资金的流失 客户的流失 生产效率的影响 提升的障碍 客户服务质量提升 市场的扩展 利润的增长,不同的系统数据不一致 不知道数据应该以谁为准 数据的混乱状况处于发散状态,ODS/EDW系统 IBM机密 | 15-Jul-19,5,问题数据产生的原因架构上,前期建设重功能轻数据 前期采用统一规划分步建设思路，对如此庞大的系统这是唯一可行的方法，但谁建设谁管理的做法造成部门/系统割据，系统接口复杂，数据流向不清，缺乏像功能业务系统一样对数据的整体规划,我们需要像功能系统规划一样来规划数据，确定数据的整体架构，确定数据的归属划分，确定数据交互与共享规则，制定数据质量评价规则，建立完整的数据管理体系,ODS/EDW系统 IBM机密 | 15-Jul-19,6,问题数据产生的原因系统功能支撑上,虽然每个系统多少有一些数据质量管理的功能 但没有一个系统能够完整地、系统地提供数据质量管理的机制与功能 同时由于各系统数据是分离的、割据的，他们的数据质量管理功能受到本身机制上的制约,我们需要一个能够覆盖完整数据范围的系统提供相关的数据质量管理功能，以便能够在日常运营工作中进行数据质量的管控、操作、量化考核，以及数据的沉淀积累等,ODS/EDW系统 IBM机密 | 15-Jul-19,7,问题数据产生的原因管理上,缺乏专门的数据管理组织与相关的制度 经常性的临时突击对数据质量进行清理，但清理过后数据问题暂时缓解，随着时间的推移，数据又出现问题，如此反复 数据管理工作就像警察一样，需要长期存在，一直存在,我们需要专门的数据管理组织，将数据管理工作作为日常的工作，就像订单受理系统每天受理订单一样每天进行数据管理的日常工作 利用系统提供的功能，在工作流程上建立闭环机制：发现、分析、规则、执行、修正、考核,ODS/EDW系统 IBM机密 | 15-Jul-19,8,数据质量多重检查维度,数据的完整性,数据的一致性,数据的唯一性,数据的连续性,数据的完备性,数据的准确性,数据的逻辑性,数据的可用性,数据的清晰性,数据的正确性,数据质量保证体系,数据质量问题中的 职业道德和法律问题,数据质量,ODS/EDW系统 IBM机密 | 15-Jul-19,9,数据质量问题分类技术层面,单一系统数据质量 数据缺失、错误 数据非空、唯一 数据关联完整性 跨系统数据质量 数据关联完整性（无主帐单） 不同系统数据一致性 汇总指标数据质量 原始数据质量问题 汇总算法问题（非质量问题）,ADB单一系统数据质量保证 ODS跨系统数据质量保证 EDW数据汇总指标关联质量 ODS可以作为以上三类数据质量问题的最终管理者,ODS/EDW系统 IBM机密 | 15-Jul-19,10,文档内容,数据质量问题产生原因与分类 ODS/EDW在数据架构层面对数据质量的支撑 ODS/EDW在应用功能层面对数据质量的支撑 ODS/EDW在管理层面对数据质量的支撑 ODS/EDW数据质量管理案例（穿插）,ODS/EDW系统 IBM机密 | 15-Jul-19,11,企业数据架构(EDA),EDA,ODS/EDW系统 IBM机密 | 15-Jul-19,12,ODS,EDW,EDA/ODS/EDW关系数据质量管理的基础,ODS/EDW可以成为EDA的主要承载系统 拥有电信业务运营所需的完整的统一的数据视图 数据归属划分清晰 数据流向清晰 数据更新相对及时，反映数据最新状况 满足日常运营所需的数据交互与共享 可以扮演数据质量管理的关键角色 在此基础上建立所需的数据管理体系 组织机构 系统功能支撑 考核评测机制,可以看成数据的消费者，业务运营系统的一部分,系统数据交互、共享、沉淀的中心,没有单独建设ODS的省公司，可以将其功能纳入到EDW。主要在stagearea开放性、数据交互性加强,ODS/EDW系统 IBM机密 | 15-Jul-19,13,ODS/EDW数据架构工作内容,确定数据范围，建立统一数据视图：参与者、产品、帐务、市场营销、地域、资源、事件、财务 确定数据所有者以及数据单向流动原则，只有所有者能够修改数据 建立源数据到目标模型的数据映射关系 根据数据分类建立数据同步机制 建立数据关联、稽核机制，建立异常数据检测修正机制，随着时间的积累数据逐步逼近正确 确定数据访问机制，建立统一数据平台上的应用,所有这些是数据质量管控的基础， 只有在这些工作完成后，数据走向 混乱的趋势才有可能从根本上得到控制,ODS/EDW系统 IBM机密 | 15-Jul-19,14,ODS/EDW数据库,订单受理/业务开通,案例：确定了数据所有者以及数据单向流动原则，只有所有者可以修改数据,计费帐务系统,渠道系统,112系统,10000系统,网管系统,产品 定单 工单 静态表 卡片 客户,商品 套餐 用户 帐户 帐务 资源,故障 投诉 咨询,故障,客户群 客户经理 客户区域 渠道 用户群,帐务 资费 红黑名单 销账 信用度 预存,资源(小灵通基站),ODS/EDW系统 IBM机密 | 15-Jul-19,15,文档内容,数据质量问题产生原因与分类 ODS/EDW在数据架构层面对数据质量的支撑 ODS/EDW在应用功能层面对数据质量的支撑 ODS/EDW在管理层面对数据质量的支撑 ODS/EDW数据质量管理案例（穿插）,ODS/EDW系统 IBM机密 | 15-Jul-19,16,数据质量处理流程-闭环处理,发现问题,分析问题,规则方案,执行,异常数据,修正,工作考核,业务人员,经验积累,规则积累,归属系统,数据工位,数据管理组,数据工位,控制论，正反馈达到一定的程度，电路会产生自激而崩溃，保证电路的稳定性需要建立负反馈机制,目前数据质量在各个环节不断被放大、增加，处于发散的状态，通过闭环管理确保数据质量处于收敛的状态才能控制数据质量问题,ODS/EDW系统 IBM机密 | 15-Jul-19,17,案例：ODS系统数据修正闭环流程,参与人,产品,帐务,事件,资源,指标,统一数据视图,ETL,总控台,数据支撑,数据查询,异常数据处理,统计报表,外围属主系统,EAI,VIEW,规则检查,异常数据,ODS/EDW系统 IBM机密 | 15-Jul-19,18,案例：数据规则检查形成的汇总报告与异常数据详细记录，包括数据库逻辑异常和业务逻辑异常,ODS/EDW系统 IBM机密 | 15-Jul-19,19,案例：建立异常数据检测修正机制（规则可根据业务需要不断扩充），随着时间的积累数据逐步逼近正确,三户类 用户无所属客户 帐户无所属客户 用户应有对应帐户 用户应定义所有帐目类型的帐户归属 用户有效记录唯一性 帐户客户有效记录唯一性 托收用户稽核 产品服务类 产品服务收费不一致 无主帐单 无主投诉 无主故障 欠费停机 缴费复机 免停用户停机 临时电话(专线)时限、业务要求 拆机需冷号一定时间,收费类 下半月新装用户月租减半 减免收费信息不一致 计费状态信息不一致 费用未缴清不能办理业务,汇总指标类数据质量 需要经业务分析后形成 对原始数据的效验规则 如果本身平衡公式不存在， 则不能作为数据质量问题,跨系统数据质量问题,单一系统数据质量问题,ODS/EDW系统 IBM机密 | 15-Jul-19,20,案例：考核，建立了修正效果对比机制，可量化评测数据质量修正工作,数据检查规则的定义与维护 规则的执行与报告 提供异常数据对比跟踪,ODS/EDW系统 IBM机密 | 15-Jul-19,21,文档内容,数据质量问题产生原因与分类 ODS/EDW在数据架构层面对数据质量的支撑 ODS/EDW在应用功能层面对数据质量的支撑 ODS/EDW在管理层面对数据质量的支撑 ODS/EDW数据质量管理案例（穿插）,ODS/EDW系统 IBM机密 | 15-Jul-19,22,数据质量管理的组织机构,数据质量决策小组 主管业务的领导牵头 确定数据质量的目标 数据质量管理小组 市场部主任 企化部主任 与数据打交道的关键业务人员 熟悉现有系统数据的关键技术人员 提出数据质量具体要求 确定数据检查规则逻辑 决定数据冲突解决方案 数据质量执行小组 具体的工位 根据系统提供的功能生成异常数据报告 组织、监督、推动数据修正工作 考核数据修正指标,决策,管理,执行,反馈,需要管理和系统的结合 很多环节需要人为介入,将数据管理当成 日常的工作来做,ODS/EDW系统 IBM机密 | 15-Jul-19,23,案例：异常数据处理流程,A：EAI异常处理 B：ODS的ETL C：ODS的规则检查 D：ODS异常处理 E：MBOSS系统管理 F：其他系统管理员,ODS/EDW系统 IBM机密 | 15-Jul-19,24,案例：异常数据处理流程EAI,A：EAI异常处理 B：ODS的ETL C：ODS的规则检查 D：ODS异常处理 E：MBOSS系统管理 F：其他系统管理员,ODS/EDW系统 IBM机密 | 15-Jul-19,25,案例：异常数据处理流程ETL,A：EAI异常处理 B：ODS的ETL C：ODS的规则检查 D：ODS异常处理 E：MBOSS系统管理 F：其他系统管理员,ODS/EDW系统 IBM机密 | 15-Jul-19,26,案例：异常数据处理流程规则检查,A：EAI异常处理 B：ODS的ETL C：ODS的规则检查 D：ODS异常处理 E：MBOSS系统管理 F：其他系统管理员,ODS/EDW系统 IBM机密 | 15-Jul-19,27,数据质量提升的