数据管理知识体系.ppt

1、数据管理知识体系,数据管理的演进,2,风险回报： 风险非常高，因为数据问题会导致客户流失（因为错误理解客户价值）或不合理的业务流程；虽然没有制定相关的流程来分析孰是孰非，但还是有一些人成为替罪羊，从而受到指责；回报低，除了个别员工或部门获得成功之外，企业几乎没有从数据管理中获得任何收益,风险回报： 风险高，缺少数据整合，整个公司范围内数据的整体准确性不佳；偶尔会进行数据分析和更正，但涉及跨职能时仍然会发生一些数据错误； 回报有限，大多数都不确切；多数投资回报都是通过个体流程或员工个体取得的；公司层面几乎没有意识到数据管理的好处,风险回报： 风险中等到较低；通过提供更优信息提高了决策的可靠性，从

2、而降低了风险；回报中等到高；数据质量的改进通常只局限于某个职能领域，然后随着更多员工加入其中，质量改进会拓展到更宽泛的领域,风险回报： 风险低；数据完全统一，并被严格控制，帮助企业维护有关客户、前景、库存、产品的高质量信息；回报高；在全公司范围内执行数据管理，有助于更好地理解企业当前的业务概况，帮助管理层提高在根据数据做决策时的信心,当前保险企业普遍存在不少数据的问题，如：数据来源不唯一、数据共享性差、数据准确度低、指标口径不统一等.,国内保险企业数据管理现状分析-现状,新一代数据中心-目标,4,新一代数据中心定义 新一代数据中心是基于标准构建模块，通过模块化软件实现自动化724H无人值守计算

3、与管理，并以供应链方式提供共享的基础设施、信息与应用等IT服务 新一代数据中心特征 1：模块化的标注基础设施 2：虚拟化资源与环境 3：自动化管理 4：快速的可扩展能力 5：节能及节省空间 6：高IT资源利用率 7：高可靠性和低冗余 8：面向服务的计算平台,数据仓库设计-The Basic Structure of the CIF,5,External world,ERP,Internet,Enterprise transactions,Data acquisition,Reference Data,Applications,ERP(tx),Integration/ transformatio

4、n layer,ODS,Primary storage management,Historical Reference Data,Alternative storage,Data worehouse,Data delivery,Exploration warehouse,Data mining warehouse,Statistical Analysis,eComm,CRM,ERP(rpt),Bus Int,DSS applications,finance,sales,Marketing,Accounting,Data marts,Raw detailed data,External data

5、,Operational reports,数据仓库设计-CIF&MD体系结构比较,6,CIF体系结构,MD体系结构,准备数据仓（ODS）,DW,DM,DM,DM,。E/R模型 。主题域 。事务级细节 。斜线以上限制终端 用户存取,。多维设计和其他设计 。根据业务功能的数据集市设计 。汇总与细节级数据 。在一个数据库实例中可能有多个数据集市,准备数据区,数据仓库总线,原子DM,原子DM,聚集DM,聚集DM,个人DM,。多维的 。事务和汇总数据 。数据集市单主题域（即事实表） 。在一个数据库实例中可能有多个数据集市,。E/R设计或平面文件 。斜线以上禁止终端 用户存取,用户存取事务,数据的生命周期

6、如何映射到DW&其他系统,7,映射,数据标准-标准规范的应用&建设,8,数据管理-数据模型,9,模型设计阶段,模型建设方法,维度建模法,范式建模法,数据仓库,实体建模法,实体,事件,实体,说明,数据管理-ESB企业数据服务总线,10,S O A 基本结构,S O A 服务协作,服务描述,服务描述,服务,发现,发布,绑定、调用,企业数据服务总线,服务 管理,其他 服务,协作 服务,应用 服务,访问 服务,表示 服务,流程 服务,信息 服务,公共 服务,数据管理-数据交换平台功能架构,11,数据交换服务1,应用功能,数据交换服务2,数据交换服务3,数据交换服务4,数据交换服务,企业数据服务总线,元

7、数据管理,安全管理,平台监控,数据采集,数据采集任务调度,数据复制,ETL工具,全量复制,增量复制,全量抽取,增量抽取,数据清洗,数据转换,数据装载,数据存储,专用数据采集接口,数据管理-数据交换（纵向&横向）,12,一级数据交换平台,一级业务系统,一级业务系统,二级业务系统,二级业务系统,二级数据交换平台,三级业务系统,三级业务系统,三级数据交换平台,一级ODS/DW,二级ODS/DW,横向交换,横向交换,横向交换,纵 向 交 换,数据管理-元数据管理框架,13,元数据管理平台,系统管理,数据规则管理,变化管理,业务逻辑管理,数据展现管理,外部数据,灵活查询,多维分析,报表,数据挖掘,数据利

8、用,业务数据库,业务数据库,ODS,EDW,DM,数据管理-数据挖掘,14,原始数据,数据 集,目标数据,预处理数据,模 式,知 识,发现,集成,选择,预处理,数据挖掘,解释评价,运用,数据准备阶段,数据挖掘阶段,分析评价阶段,基本步骤,挖掘类型,挖掘算法,数据管理实施规划,数据管理实施规划,人/流程/策略/规划,建立 元数据管理机制,建立 企业数据标准,IT技术/系统,E-p平台数据服务,建立企业数据交换平台,建立企业数据模型,建立企业数据架构,设计一体化数据服务架构,建立决策支持系统,优化整合企业数据模型,建立销售管理系统,建立数据挖掘系统,建立数据分析平台,建立元数据管理平台,建立元数据质量管理平台,建立文档、内容管理平台,建立数据安全管理机制,建立数据灾难备份系统,建立ECIF系统,建立ACRM系统,建立OCRM系统,GBUTtem,17,* 资料来源：,新一代数据中