银行ODS项目介绍V2.0.pptx

银行ods项目,银行ods项目组,项目背景,业务管理的问题 不能及时方便地获取想要的数据 获取的数据不够准确 从各源系统获取的数据不一致 各管理信息系统用户体验不一致，界面风格和操作习惯不同；系统权限管理不统一,在数据大集中之后，管理信息系统建设在业务管理和技术管理两方面存在诸多问题：,技术管理的问题 各管理信息系统直接访问源系统，重复开发，资源浪费 各管理信息系统分别独立建设，没有统一的技术架构 缺乏数据标准，相同数据项在不同源系统定义不同 各管理信息系统建设周期长，难以及时满足业务部门和分行的管理需求,ods和edw,定义 ods：操作型数据存储，operational data storage edw：企业级数据仓库，enterprise data warehouse 共同点 都是数据的集中、整合并向应用系统提供数据的平台 两者关系 ods设计上着眼于对业务系统的信息集成和标准化存储，以最大限度的满足事务型管理信息系统的需求 edw则主要着眼于满足分析型管理信息系统的需求，侧重于对业务数据的深度整合和重组，实现对数据的深度挖掘,ods和edw,差异 从数据组织上看，ods中保留的数据是贴近源系统的，而edw则对数据作了高度的抽象化和模型化处理 从数据的流向看，ods一般是edw的数据来源，由ods向edw提供清洗、标准化后的数据 从投资回报率上看，ods所需的软硬件投资较少，在较短的时间内就可以看到较为明显的效果；而edw往往需要巨大而长期的软硬件投资，它的建设应该是长期的，它的价值体现是一个缓慢、长期、持续过程,ods和edw,我行方案考虑因素 我行没有实施ods或edw的相关经验 我行的mis系统以事务型系统为主，分析挖掘类需求较少 大量业务需求及分行取数需求希望尽快实现 尽可能通过较少的投资解决面临的大部分问题 结论 本着降低风险、尽快见效以及务实原则，我行选择先建ods，再建edw,设计目标,统一存储：存储全行各业务系统的操作型数据。 统一模型：建立全行统一的操作型业务数据模型。 统一加工：统一etl调度、监控、配置。 统一管理：统一元数据管理、数据质量管理。 统一供数：为全行的管理和分析型应用系统提供数据。 统一认证：为基于ods架构的应用系统提供统一的用户认证服务。 统一展现：为基于ods架构的应用系统以及ods管理功能的前端展现提供统一的展现服务。 统一分发：为基于ods架构的应用系统提供统一的数据分发服务。,统一的数据服务,同步见效的应用系统,零售管理信息系统 风险资产计量系统 分行mis应用,设计目标,应用架构设计规范 应用集市模型设计规范 etl开发与管理规范,报表设计与发布规范 统一认证集成规范 前端展现集成规范 数据分发集成规范,一组管理规范,项目组织,实施周期,前期调研 2007.9 2008.4 项目启动 2008.5.4 需求分析 2008.5 2008.7 系统设计 2008.5 2008.8 系统开发 2008.9 2008.11 系统测试 2008.11 2009.4 历史数据追溯 2009.5 2009.6 正式上线 2009.7,系统架构,总体数据架构规划 ods逻辑架构 ods总行物理部署 ods分行物理部署,总体数据架构规划,13,交易处理系统,结果数据存储,业务统计报表,业务分析报表,管理门户,数据源,数据集中,数据集成,业务主题,管理报告与分析,数据输出,组合风险管理,分析型客户关系管理,ods / etl,业务管理系统,非现场审计,内部其它报表,对外信息报表,数据仓库,主题数据集市,报告与分析,元数据及数据管理,三大风险管理,管理会计,外部数据来源,资产负债管理,外送报表数据,总体数据架构规划,14,交易处理系统,结果数据存储,业务统计报表,业务分析报表,管理门户,数据源,数据集中,数据集成,业务主题,管理报告与分析,数据输出,组合风险管理,分析型客户关系管理,ods / etl,业务管理系统,非现场审计,内部其它报表,对外信息报表,数据仓库,主题数据集市,报告与分析,元数据及数据管理,三大风险管理,管理会计,外部数据来源,资产负债管理,外送报表数据,ods逻辑架构,ods总行物理部署,ods分行物理部署,按照统一的基础数据模型集成各源系统的数据，建立全行统一的操作数据存储中心 为管理信息系统提供统一的数据服务 具有标准化的批量数据分发功能 在分行层面从架构上支持分行ods设计，既可接收总行ods下发的数据文件，也支持分行差异化数据的处理，解决分行提供集中和个性化的数据需求 实现etl任务自动化调度 通过元数据管理平台进行元数据管理 通过数据质量管理平台进行数据质量管理 可按照统一的规范建设管理信息系统，包括技术平台、展示、报表、统一认证等等 同步建设零售管理信息系统、风险资产计量和分行mis三个应用系统,功能说明,功能模块齐全，基础平台和应用系统同步开发 通过建设通用展现平台和统一认证平台，统一了全行的mis系统开发规范 各个基础平台具备横向扩展能力 各类技术的灵活集成运用 etl作业开发、运行的高效性、流程化、自动化 支持管理信息类应用系统的快速开发、部署和横向扩展 为管理信息系统提供统一的用户认证和资源权限控制,技术特点,通过对系统上线以来运行情况的跟踪，系统运行稳定，性能良好，各项指标均已达到设计目标，截至今年5月份，各项性能指标如下： 当前数据库容量：约6t 每日数据库增量：日常约15.3g，月末约40g 每日抽取各源系统文本数据量：日常约225g，月末约240g 每日卸载待分发文本增量：日常约107g，结息日约120g，月末约200g etl任务数量：约9800余个（另有4000余个应用任务共用同一调度平台） 每日任务基本完成时间为凌晨7:30前（各源系统数据就绪时间各有先后，因此处理完成时间也各有先后）,系统运行状况,数据的统一、规范，为统计分析、决策分析提供强力支持。目前ods已经为39个全行级管理信息系统和33家分行的管理信息系统提供日常数据，一举解决了数据孤岛、口径不一等问题，为决策分析提供快速、准确的数据，有力促进了管理效率的提升。可使业务人员及时、准确地了解客户和产品相关信息，更加有针对性地开发新产品，并能针对不同的客户群体，做到差异化的产品营销，更好的挖掘客户、服务客户，获取产品带来的收益。 基于ods系统的一系列基础平台和架构规范，规范了全行各类管理信息系统的技术路线。确保了用户体验的一致性，可以支持系统的快速开发、部署，上线后的维护、培训更加简单，降低了成本，推动整个管理信息系统建设迈入快速发展阶段，必将进一步促进业务的发展。,经济效益,基于ods系统的一系列技术架构和规范，支持了零售管理信息系统、风险资产计