数据架构优化建设项目总体技术方案.ppt

1、中国电财数据架构优化项目 总体技术方案,2010年4月,中电财数据架构优化项目的应用框架对IT技术基础设施的关键需求 中电财数据架构优化的总体设计框架介绍 数据架构优化的设计概述 数据架构优化的总体方案设计 数据架构优化的系统设计 数据架构优化的门户集成设计 数据架构优化的运营维护设计,主要内容,未来应用系统的框架设计对支撑其运行的IT技术基础设施的设计提出了关键需求，提出以建设以数据中心为IT技术基础设施核心的设计思想,加强数据标准建设是落实集约化的必要基础,建立数据交换平台是实现信息共享的坚强保障,建立数据仓库是提升管理分析能力的有效手段,建立数据仓库系统，提供企业级统一数据视图，在数据仓

2、库的基础上尽量实现对外报送报表和内部固定报表的自动生成；实现自定义报表功能，满足业务部门灵活查询的需求；实现多维分析功能，满足预算集约调控和风险在线监测的要求。,通过数据标准的制定和管理，对统一公司范围内所涉及的各项数据的定义与业务含义的解释，达到业务数据定义和使用的一致性，促进信息集成具有重要意义。数据标准的制定和执行可以实现全公司范围内数据的一致性和正确性，满足财务集约化的“制定和执行统一的信息标准，促进公司各类信息的互相融合“的要求。,通过数据交换平台，对不同业务系统的数据进行整合和集成；数据交换平台实现总部各业务部门之间的横向共享以及公司总部与地方分公司和国网公司之间的信息共享，满足财

3、务集约化的”建立可靠、灵活、安全、稳定的数据交换平台“的要求。,中电财数据架构优化项目的应用框架对IT技术基础设施的关键需求 中电财数据架构优化的总体设计框架介绍 数据架构优化的设计概述 数据架构优化的总体方案设计 数据架构优化的系统设计 数据架构优化的门户集成设计 数据架构优化的运营维护设计,主要内容,中电财数据架构优化项目的应用框架对IT技术基础设施的关键需求 中电财数据架构优化的总体设计框架介绍 数据架构优化的设计概述 数据架构优化的总体方案设计 数据架构优化的系统设计 数据架构优化的门户集成设计 数据架构优化的运营维护设计,主要内容,在进行硬件估算时，充分考虑了未来数据容量和用户数。,

4、中电财数据架构优化所需硬件和软件的清单列表,数据库服务器（主机,4CPU,16G Ram） 应用服务器 （主机,4CPU,16G Ram） ETL服务器 （PC Server,2CPU,8G Ram） OLAP服务器（PC Server,2CPU,8G Ram） Web服务器（PC Server,2CPU,8G Ram） 磁盘阵列（600GB） 开发测试服务器 （主机,4CPU,16G Ram） 注：以上服务器仅是数据仓库应用系统理想情况下的配置，实际配置时可以根据系统性能要求，把若干项功能 组合起来，由一台服务器承担。,数据库软件（Oracle 10G RAC） ETL产品（Informat

5、ica-PowerCenter） OLAP产品（Cognos-Analysis Studio） 报表产品（Cognos-Report Studio） 中间件产品（Weblogic-Potal）,硬件清单,软件清单,中电财数据架构优化所需硬件清单列表,中电财数据架构优化所需硬件清单列表,中电财数据架构优化基础软件清单及其用途,中电财数据架构优化项目的应用框架对IT技术基础设施的关键需求 中电财数据架构优化的总体设计框架介绍 数据架构优化的设计概述 数据架构优化的总体方案设计 数据架构优化的系统设计 数据架构优化的门户集成设计 数据架构优化的运营维护设计,主要内容,一、数据架构优化的总体逻辑架构,

6、二、数据架构优化的总体物理架构,三、数据架构优化的网络拓扑架构,IBM通过主导数据架构优化建设的总体设计，提供业务需求的总体分析和技术上的总体架构，为中国电财未来持续实现数据架构的应用奠定基础，为未来持续发展提供战略层面的意见和建议。,四、数据架构优化的数据交换平台,基于中电财的现状设计出的数据架构优化的总体逻辑架构。,业务元数据 （账户/客户/交易数据）,应用层,信息展现层,数据源层,企业接口层,数据存储层,。,营业历史数据,资金历史数据 （与BOS的结构相同）,临 时 数 据 区,业务基础数据 （账户/客户/交易层事实表）,处理数据 （业务规则/配置参数/中间结果）,汇总数据 （维表/汇总

7、/账户/客户事实表）,基 础 及 汇 总 数 据 区,各类中电财业务的应用数据,资金数据集市,其他 数据集市,BOS-资金,BOS-营业,资金结算系统,财务系统,信贷系统,操作型数据存储(ODS是面向主题的、集成的、当前或接近的、不断变化的数据。),各个业务主题数据集市 （应用数据区）,资金其 他分析 。,风险 分析,营业其他分析。,财务 优化,营业账薄查询优化,资金调度展示室,报表,资金存款类 报表,多维分析,灵活查询,资金账户查询,其他灵活查询,营业账薄查询,统计 分析,分析预测,现金流量预测,其他分析预测,融资计划预测,信贷 分析,资金准确性分析,其他多维分析,营业结算量分析,管理提升,

8、其他 应用,银监会1104类 报表,其他业务报表,。,客户,业务人员,决策人员,分析人员,管理人员,用户访问层中电财企业信息门户(EIP),固定报表,多维分析,商业智能平台,财务系统,资金结算,CPFBOS,临时数据区,基础数据区,汇总数据区,应用数据区,数据仓库 Oracle 10gR2 RAC,灵活查询,数据抽取、转换、加载 （ETL）,ODS,其 他 部 门 应 用 分 析,数据交换平台,业务主题,客户管理,财务管理,信贷管理,风险管理,资金管理,分析预测,数据导出,P D F,X L S,数据管理人员,营业结算,.,手工数据,依据中电财总体逻辑架构，我们整理出分层次、可扩展的总体物理架

9、构图。,IP千兆网,应 用 层,SAN存储网,Web负载均衡,Firewall,总公司B/S用户,总公司B/S用户,分公司B/S用户,IP千兆网,IP千兆网,总公司DW数据库服务器集群,总公司报表数据库 + 分公司报表数据HA,历史数据管 理平台HDS (历史数据备份),存储阵列,总公司,分公司,总公司规则设置工作站,调度管理工作站,Web 服务器,应用服务器,总公司报表集中 部署平台,总公司报表 展现功能,分公司报表 展现功能,ETL,Informatica8.3,远程维护工作站,调度服务器,UAAP,统一认证,Web 层,用 户 层,数 据 库 层,存 储 层,基础设施架构,基于中电财的技

10、术架构规划的网络拓扑与硬件部署,数据交换平台的现阶段与未来实现,中电财数据架构优化项目的应用框架对IT技术基础设施的关键需求 中电财数据架构优化的总体设计框架介绍 数据架构优化的设计概述 数据架构优化的总体方案设计 数据架构优化的系统设计 数据架构优化的门户集成设计 数据架构优化的运营维护设计,主要内容,一、数据架构优化的系统接口设计,二、数据架构优化的系统应用设计,三、数据架构优化的数据层次设计,IBM通过主导数据架构优化建设的总体设计，提供业务需求的总体分析和技术上的总体架构，为中国电财未来持续实现数据架构的应用奠定基础，为未来持续发展提供战略层面的意见和建议。,四、数据架构优化的ETL架

11、构设计,接口灵活度解决方案,综合考虑中电财未来的业务发展以及IT系统新老系统的演进，我们从系统设计层级充分考虑 接口的灵活度，确保在外围系统变化更替过程中，对于本系统的影响程度最小，并能做到 快速应对外围源系统变化。,外围源系统通常的变化类型,接口灵活度应对措施,一、新增数据源系统 由于业务发展需要, 新建的业务系统, 而且 也需要作为信息披露或财务分析与预测的 数据源,二、新老系统的逐步割接 最复杂的情况是按照分行逐步割接, 在并行 期会出现部分分行的业务在新系统, 部分 在老系统,三、源系统自身的升级改造 源系统的升级改制, 也有可能造成对 提供的数据接口有影响,措施一 : 架构设计层级,

12、 采用中间层 标准数据模型, 隔离数据源发生变化 对于整个系统的影响,措施二 : 采用新旧线数据来源配置表, 通过参数化配置来应对新老系统逐步 隔接问题,措施三 : 采用专业ETL工具 (Informatica), 通过参数配置调整快速 应对接口变化,接口灵活度解决方案 - 措施一 :架构设计层级, 采用中间层标准数据模型, 隔离数据源发生变化对于整个系统的影响,基础数据区为标准数据模型，是综合金融行业主流的数据建模方法, 并结合IBM项目经验, 确保标准数据模型能够应对未来中国电财业务发展, 并在标准模型中预留足够的扩展字段来应对未来的需求.,架构设计中采用标准数据层模式, 将数据源变动限定

13、在数据预处理模块内部,通过与ODS的接口格式定义, 预先考虑接口变化需求, 预留一些将来可用的扩展字段,接口灵活度解决方案措施三 : 采用专业ETL工具(Informatica), 通过参数配置调整快速应对接口变化,以图形化、参数化等直观方式，实现快速优化调整， 应对数据源结构发生变化。,管理应用层,报表分析预测,信息展现层和信息发布门户,其他应用加工,各个业务部门,资金业务数据集市,数据集市,营业业务数据集市,WebLogic Potal,客户 贡献度,机构/渠道 贡献度,产品 贡献度,CPFBOS资金模块,其它 系统,数据源层 核心类系统,数据接口层 EAI/ETL,即时/批量（日终处理/

14、每周处理/月度处理）,ETL：Oracle Warehouse Builder,共享维度,临时存储区,PA数据库 （业务数据，计算数据、结果数据）,客户 单一视图,客户主数据,公共数据开放平台,数据仓库,数据库层,数据加工预处理,Oracle10G,Informatica PowerCenter,Cognos Business Intelligence Productions,中电财数据架构优化的总体系统应用设计架构,CPFBOS营业模块,资金结算系统,财务系统NC,基础数据区,数据汇总区,中电财数据架构优化的总体系统应用中Cognos应用：如：固定报表、多维分析、灵活查询、分析预测等,中电财

15、数据架构优化的总体系统应用中Cognos应用：固定报表,中电财数据架构优化的总体系统应用中Cognos应用：多维分析,中电财数据架构优化的总体系统应用中Cognos应用：灵活查询,中电财数据架构优化的总体系统应用中Cognos应用：分析预测,中电财数据架构优化的总体系统应用中的J2EE应用：如：数据补录、人工干预等模块,基于中电财数据架构优化的总体逻辑架构设计的整体数据层次设计以及指标库划分。,各个数据区的用途,元数据管理平台功能,元数据导入 从各种元数据导入元数据管理平台，供后续过程使用 元数据分析 依赖分析 通过元数据工具进行数据项之间自动关系分析或手工关系分析。同时，对指标的业务逻辑加工

16、进行回溯分析，用图形化展现指标之间的关系及数据口径说明； 影响分析 对某一数据项的更改，可以分析到对全局的影响，能使业务或开发人员通过系统和应用的单一全局视图，积极地评估更改的影响。可以确定实施更改所需的工作量。 元数据发布 应用元数据管理客户端，并通过客户化的定制，可以对需要展现的元数据分类显示 修改元数据 对需要展现的元数据进行相应的修改 浏览查询 使用标准Internet浏览器完成对元数据的浏览、查询、打印、下载等操作。,中电财数据架构优化项目的ETL架构设计:采用专业ETL工具(Informatica PowerCenter8),Informatica PowerCenter 8 Pl

17、atform,Informatica PowerCenter 8 Data Integration Hub,SAP,RDBMS,PeopleSoft,eBusiness Sources/XML,Mainframe,Additional Server Engines,Siebel,MQSeries,Mainframe,Informatica PowerCenter 8 Architecture,中电财数据架构优化项目的ETL架构设计:ETL工具(Informatica PowerCenter8)的逻辑架构,34,数据标准,流程管理,元数据,量化指标,数据管理制度化,代码标准,数据分类标准,数据组

18、织标准,随机状态,发现状态,管理控制,优化阶段,自动阶段,数据创建,数据处理,数据存储,数据应用,数据安全,归档与备份,数据所有权,数据标准分,元数据得分,流程化得分,在中电财数据架构优化的实施过程中各个环节的数据质量控制设计。,35,中电财数据架构优化的元数据管理：采用专业ETL工具(Informatica), 通过参数配置调整快速应对元数据的变化,Informatica的知识库管理以图形化、参数化等直观方式，实现快速优化调整， 应对元数据结构发生变化。,中电财数据架构优化项目的应用框架对IT技术基础设施的关键需求 中电财数据架构优化的总体设计框架介绍 数据架构优化的设计概述 数据架构优化的总体