上海浦东发展银行基于数据仓库的数据集市解决方案_v1..doc

上海浦东发展银行 北京银丰新融科技开发有限公司，2007Page 1 of 27 上海浦东发展银行基于数据上海浦东发展银行基于数据 仓库的数据集市解决方案仓库的数据集市解决方案 上海浦东发展银行 北京银丰新融科技开发有限公司，2007Page 2 of 27 文件标识： SPDB-DATAMARKS 当前版本： V1.5 作 者： 文件状态： 草稿 正在修改 正式发布 完成日期： 2007-08-09 上海浦东发展银行 北京银丰新融科技开发有限公司，2007Page 3 of 27 版 本 历 史 版本/状态作者参与者起止日期备注 1.02007-7-27 1.12007-08-02 1.22007-08-02 1.32007-08-06 1.42007-08-08 1.52007-08-09 上海浦东发展银行 北京银丰新融科技开发有限公司，2007Page 4 of 27 目目 录录 1 1系统综述系统综述 .5 2 2总体解决方案总体解决方案 .5 2.1基于数据仓库建立数据集市 .5 2.2系统逻辑框架 .7 2.2.1原业务系统逻辑框架.7 2.2.2架设统一数据集市后的系统逻辑框架.8 2.3数据集市模型概述 .10 2.3.1统一数据集市模型概述.10 2.3.2ODS数据模型概述.11 2.4系统数据流程 .11 2.5数据存储方案 .12 2.6数据仓库到 ODS 的 ETL 数据采集方案 .12 2.7ODS 到数据集市转换方案 13 2.7.1公用数据部分.13 2.7.2应用特有数据部分.13 2.8应用时间窗口的解决方案 .13 2.9后续应用对原应用的影响分析 .14 2.10外部接口方案 .17 2.10.1数据仓库接口.17 2.10.2外部系统接口.17 2.11实施方案 .18 2.11.1工作界限划分.18 2.11.2实施方法.19 2.11.3实施计划.24 2.12系统软硬件建议 .26 2.12.1系统硬件.26 2.12.2系统软件.27 3 3系统建设目标系统建设目标 .27 上海浦东发展银行 北京银丰新融科技开发有限公司，2007Page 5 of 27 1系统综述 上海浦东发展银行数据仓库的建设目前已经初具规模，随着相关数据逐步 积累，数据仓库的资源已经完全可以满足各类分析系统的数据需求，按照浦发 银行的技术架构，数据集市的建设已经迫在眉睫。 数据集市的建立可以解决各系统数据获取得问题，并在集市范围内得到最 大程度的共享，数据集市可以根据各系统的数据需求，建设成一个高度整合的 业务系统数据平台，经过整合后的数据便于应用的掘取、操作，发挥最大的效 能。 数据集市的建立可以有效缓解数据仓库时间窗口的争用问题，加快各系统 数据获取的速度。同时统一的数据集市可以有效解决信息不对称等多方面的问 题，而且方便将来的统一管理，降低费用，提升效能、增进安全，使得行内系 统整体架构更加合理化、科学化。 2总体解决方案 2.1基于数据仓库建立数据集市 随着反洗钱系统、运行内控系统、审计系统等项目的启动，各个系统的技 术架构必然都统一规划为从数据仓库获取数据。 数据仓库的建设是以数据的整合、历史存储为主，数据本身无法直接满足 各类应用的需求，并且过多的应用直接访问数据仓库的并发需求对数据仓库造 成的负荷是很严重的，按照总体架构科学化、合理化以及本着行内应用架构统 一规划的大原则，建设统一数据集市的要求变得非常迫切，整个建设范围总体 上包括统一的 ETL 过程、统一的 ODS 模型和统一的数据集市模型，以满足外围 应用系统数据的需求，规范化以及合理化应用的系统框架。 上海浦东发展银行 北京银丰新融科技开发有限公司，2007Page 6 of 27 按照浦发银行技术架构，数据仓库的建设采用“自顶向下自顶向下”的建设思路， 即首先建设全行统一的数据仓库，在数据层面对全行数据进行整合，做到各类 数据的完整、统一、准确、规范；再从业务层面，基于数据仓库建设各类应用 的数据集市，满足应用的需求。 数数据据源源数数据据仓仓库库 数数据据集集市市 采采集集采采集集 核核心心 风风险险 财财务务 国国贸贸 人人力力资资源源 外外部部数数据据 Party Product Agreem ent Event Channel Finance 客客户户分分析析 报报表表分分析析 市市场场分分析析 数数据据分分析析 数据仓库的数据来源于各类业务系统及外部数据；数据集市的数据来源于 数据仓库；各类应用的数据源来自数据集市。从数据的采集路径与环节看，路 径清晰，环节简单，对原系统影响很小。数据集市的数据单一来源于数据仓库， 系统的安全性比较高，并且避免了重复的数据整合与转换工作。 因此浦发银行数据集市的建立必须基于数据仓库完成。 上海浦东发展银行 北京银丰新融科技开发有限公司，2007Page 7 of 27 2.2系统逻辑框架 2.2.1 原业务系统逻辑框架 原业务系统都具有一个 ODS 数据库和 DM 数据集市，ODS 用以装载从数据仓 库采集的数据，保证数据完整后再导入 DM 中供系统分析和使用，ODS 的作用是 起到一个缓冲，当从数据仓库中采集的数据由于种种意想不到的原因出现部分 数据不完整等情况时不会影响到当前应用系统的数据正确性，避免出现计算结 果无法从业务上得到解释的情况发生。 存在的问题：存在的问题： 1) 数据仓库窗口征用，各业务系统数据来源都来自数据仓库，且数据量大，将 大量占用数据仓库留给业务系统抽取数据的时间窗口，并且各应用抽取数据 中存在重复数据部分，若能将 ODS 进行整合，势必减少数据抽取总量，从而 减少数据抽取总时间花费； 上海浦东发展银行 北京银丰新融科技开发有限公司，2007Page 8 of 27 2) 繁多的 ETL 工程，对于每个应用必须单独开发 ETL 工程取数，当应用不断增 加，开发和维护 ETL 工程将变成不小的负担，如果能从设计上合理规划 ETL 过程达到各应用共用的目标，就可以减少 ETL 过程的数量； 3) ODS 数据冗余，各业务系统都拥有一个 ODS 数据空间，且以面向应用的形式 存储，造成空间的冗余； 4) 各 DM 存储的数据未最大程度利用，由于各业务系统需要用到一些相近甚至 相同的数据，所以各业务系统的 DM 中必然都存储着这些数据的”副本”， 如果能够互相访问这些数据，那么可以节省存储空间。 2.2.2 架设统一数据集市后的系统逻辑框架 建设统一的 ODS 逻辑数据结构，从数据仓库中采集的数据首先将进入统一 的 ODS 数据空间中，数据通过完整性和一致性验证后再进入统一数据集市，统 一数据集市将数据在逻辑上分为各应用系统特有数据和应用系统公用数据，在 物理上存储在统一的数据空间中，而应用系统的数据源直接应用于统一数据集 市上。 此框架中统一数据集市采用 SybaseIQ，利用其成熟的功能，可以设置多个 数据库引擎（节点）连接同一个数据存储，而各个逻辑数据部分通过不同的用 户进行访问，由于 SybaseIQ 仅支持 1 个可读写节点，所以需要将应用系统中的 上海浦东发展银行 北京银丰新融科技开发有限公司，2007Page 9 of 27 写操作和读操作分别连接相应的节点以达到良好的性能，后期可以扩展多个只 读节点，解决 CPU 和内存的瓶颈问题，使前端应用系统的查询等功能得到更快 的响应。 解决的问题：解决的问题： 1) 减少数据仓库窗口占用时间，整合 ODS 以后，装载数据的过程被统一成 1 个， 当后续增加新的系统应用时，只需要扩展 ODS 模型结构，整个 ETL 过程仍然 是唯一的； 2) 减少 ODS 的冗余，整合 ODS 后，原先的多个 ODS 重复数据占用的存储空间被 释放，同时由于数据在 ODS 中基本以面向主题的方式存储，冗余较小； 3) 最大程度的利用数据资源，整合 DM 以后，将划出公用数据部分，供所有应 用系统共同使用，这部分数据在存储中仅有 1 份，结合各应用特色部分数据， 确保了各应用系统的数据是完整的，在 SybaseIQ 中，各部分数据通过不同 的用户来区隔，通过灵活配置用户权限来达到安全性的要求，这种结构同时 可以很好的利用 SybaseIQ 在 I/O 方面的优势； 4) 良好的扩展性，当后续增加应用时，仅需要扩充 ODS 和统一数据集市模型以 及 ETL 过程，并不会影响到原有系统。 ODS 统一数据集市 反洗钱运营内控非现场审计报表系统 数据仓库 上海浦东发展银行 北京银丰新融科技开发有限公司，2007Page 10 of 27 2.3数据集市模型概述 2.3.1统一数据集市模型概述 统一数据集市模型将基于反洗钱、运营内控、非现场审计 3 个应用的数据 需求进行概要公用数据模型设计，未来在应用的扩充上以数据需求为驱动在模 型上进行丰富和扩展，公用数据模型设计的基本原则是能使后续应用能够很好 的融入这部分模型。 数据集市模型分为 4 个部分： 1) 公用数据部分，主要包括：客户信息、帐户信息、交易流水等公用属性 部分，以及地址(国家、地区、省份)、产品、机构和代码表等； 2) 运营内控特有数据部分，主要包括：指标数据、预警结果、预警规则配 置数据等； 3) 非现场审计特有数据部分，主要包括：统计数据、审计预警等； 4) 反洗钱特有数据部分，主要包括：指标结果、衍生数据等。 注：注： 具体数据模型需待分析各应用数据模型后才能完整提出。具体数据模型需待分析各应用数据模型后才能完整提出。 上海浦东发展银行 北京银丰新融科技开发有限公司，2007Page 11 of 27 2.3.2ODS 数据模型概述 ODS 数据模型采用面向主题的方法，按照第三范式规则进行设计，原则上与 数据仓库模型类似，减少数据的冗余，达到数据临时存储进行缓冲的目的，同 时可以减少甚至避免 ETL 在抽取过程中的转换过程，减少数据仓库时间窗口的 征用时间。 2.4系统数据流程 数数据据提提供供流流程程 需求阶段开发阶段生产阶段 数据仓库数据集市业务系统 2.分析数 据满足度 开始 结束 4.数据整合 与接口开发 3.验证 1. 编写数据 需求文档 5.验证满足 度 7.转换/计算 数据 6.数据抽 取 8.获取数据 整合进入统 一的数据集 市模型 1) 数据集市的建立是由实际的业务需求驱动的，随着各类业务需求的提出， 数据集市的建立会逐渐完善。 2) 数据集市会根据数据仓库的实际情况，对业务需求进行分析，明确业务满 足度； 3) 在数据集市需求分析期间，数据仓库提供充分的支持，并验证分析结果 （业务模型与数据仓库模型的映射）的正确性； 上海浦东发展银行 北京银丰新融科技开发有限公司，2007Page 12 of 27 4)4) 如果部分数据需求在当前数据仓库中没有，而在源系统中存在，建议数据如果部分数据需求在当前数据仓库中没有，而在源系统中存在，建议数据 仓库对这部分数据进行加载，使得获取数据的统一来源是数据仓库，保持仓库对这部分数据进行加载，使得获取数据的统一来源是数据仓库，保持 架构的统一；架构的统一； 5) 数据集市按照分析结果，将数据整合进数据集市模型，并由业务系统验证 数据的正确性； 6) 进入生产阶段，数据集市每日会根据各个业务系统的综合需求进行数据的 抽取。 2.5数据存储方案 从数据仓库采集数据到 ODS 过程中，将尽量减少转换等操作，以减少数据 仓库的征用时间，从 ODS 到统一数据集市过程中再进行衍生数据等的计算，之 后数据集市保存各应用需要的数据，而 ODS 中的数据在保存一段时间后将被删 除。 1) 数据集市数据获取以增量增量方式为主，对无法判断增量的数据以全量方式获 取； 2) 数据在 ODS 中保留 N N 天的时间（具体保留时间需要视应用需求而定），以 达到对业务系统数据提供的缓冲，同时避免当各个系统补数据时反复地从 数据仓库中抽取数据； 3) 每日从数据仓库获取的数据在 ODS 中以切片方式保存，在系统频繁增删的 情况下可以保持系统的高性能，避免产生大量数据碎片； 4) ODS 的数据空间要留有足够的冗余，以满足业务系统全量初始化的需求。 2.6数据仓库到 ODS 的 ETL 数据采集方案 在应用业务数据需求通过数据仓库验证后，数据集市小组需要开发从数据 仓库采集数据到 ODS 数据模型的 ETL 工程，通过优化和调试，确保 ETL 过程是 高效率、高稳定的，主要目标减少对数据仓库时间窗口的占用，ETL 过程将减 上海浦东发展银行 北京银丰新融科技开发有限公司，2007Page 13 of 27 少转换的过程。为了便于 ETL 过程批量加载，设计和开发 ETLETL 过程应避免依赖过程应避免依赖 性性，这样在调度策略上可以更加灵活。 随着基于数据集市的应用的增多，对于资源以及时间窗口争用的矛盾会变 得突出,在 ETLETL 过程调度策略过程调度策略上根据实际情况对各应用进行优先级排序，在 ETL 过程和 ODS 到数据集市的转换过程中避免应用间的依赖性，减少耦合性，这样 通过 2 个方面加快应用获取数据的效率： 1. 批量优先加载优先级高的应用所需要数据的那部分 ETL 过程； 2. 采用在 ETL 过程和 ODS 到数据集市的转换过程分步并行的方式，以保障优 先级高的应用对于数据需求时间点的要求。 例如：由于运营内控应用对于数据的需求时间点要求最高，可以优先加载 运营内控需求数据的这部分 ETL 过程，一旦满足运营内控需求部分的源数据到 达 ODS，便激活 ODS 到数据集市转换过程关于运营内控部分的脚本，而 ETL 过 程并不停止，执行脚本的过程可以充分利用 ETL 数据加载过程中闲置的 CPU 和 内存资源。 2.7ODS 到数据集市转换方案 2.7.1 公用数据部分 由于公用数据部分不涉及业务逻辑、算法等，也不包涵过多的转换等操作， 所以 ODS 到数据集市公用数据模型部分转换脚本由数据集市小组统一进行开发 和验证，结果与应用之间进行确认。 2.7.2 应用特有数据部分 各应用特有数据模型部分转换涉及到业务逻辑和算法，数据集市公布 ODS 数据接口和数据集市模型接口，由各应用定制完成特有数据部分的转换，在这 个过程中数据集市小组提供各应用足够的支持。 2.8应用时间窗口的解决方案 在整体框架中，应用系统获取数据需要有 2 步: 上海浦东发展银行 北京银丰新融科技开发有限公司，2007Page 14 of 27 1. 数据从数据仓库抽取到 ODS 中； 2. 再从 ODS 通过脚本转换到数据集市中。 如果后续需要添加应用到数据集市模型中，那么对于这 2 步产生的时间窗 口影响是完全不同的。 对于第 1 步数据从数据仓库抽取到 ODS 过程，随着应用的增加，一般数据 的抽取量会增加，势必将延长抽取耗费的时间，但是由于统一 ODS 模型中会含 有后续应用所需要的部分数据，所以总抽取数据量小于两边数据量之和，另外 由于 ETL 工具 DataStage 支持并行抽取，可以通过多台硬件服务器节点同时抽 取数据，在开发合理的情况下可以显著减少抽取总时间花费。 对于第 2 步，由于数据进入 ODS 以后通过脚本转入数据集市中是在 SybaseIQ 内部进行，SybaseIQ 素以 I/O 消耗小而著称，所以这步的时间消耗主 要受 CPU 和内存的影响。由于各个应用之间没有依赖性，故可以通过执行脚本 的先后来满足各应用之后的时间需求。 通过分析，可以预见时间窗口问题需要在整个解决方案中进行规划，并需 要与数据仓库沟通寻求解决办法。 2.9后续应用对原应用的影响分析 上海浦东发展银行 北京银丰新融科技开发有限公司，2007Page 15 of 27 数数据据仓仓库库ODSETL 数数据据集集市市 公公用用部部分分 数数据据模模型型 数数据据集集市市 X应应用用特特有有 部部分分数数据据模模型型 A: 基基准准时时间间T 脚脚本本1 脚脚本本2 脚脚本本3 t t1 1 B B: : T T+ +t t1 1 t t2 2 t t3 3 t t4 4 C C: : ODS 的 ETL Job； 开发 ODS-DM 公用模型的脚本； 与应用项目小组联合调试 ETL 和脚本； 根据应用整合测试反馈修改数据模型； 2) 应用项目小组 提交应用的数据需求； 提交应用的数据模型； 开发 ODS-DM 应用特有模型的脚本； 与数据集市小组联合调试脚本； 3) 数据仓库小组 验证数据集市小组整理后的应用数据需求； 在数据集市从数据仓库获取数据过程中提供充分的支持。 2.11.2实施方法 目前浦发需要应用统一数据集市的项目有 3 个，分别是反洗钱、运营内控、 非现场审计项目，所以在数据集市的建置方法上有 2 种方案供选择： 1.采用统一规划统一实施的原则建置，由各应用提交数据需求和数据模型， 数据集市小组进行全局分析和考虑，设计规划 ODS 模型和数据集市模型， 这样做的好处是模型的设计会更加成熟可靠，缺点是所有应用项目必须 等待数据集市建置完成后才能付诸实施，项目的延期必定造成损失。 2.采用循序渐进的原则建置，以某个具体应用为先行应用的方法，初步建 置数据集市，将来以陆续添加应用的方式扩展数据集市，这样做的好处 是可以结合目前项目的进度进行搭建，而不需要等待所有应用提交数据 需求和数据模型的时间，缺点是初期模型势必无法做到非常成熟。即便 上海浦东发展银行 北京银丰新融科技开发有限公司，2007Page 20 of 27 是采用这种方式，由于模型设计等时间是无法缩短的，所以需要浦发根 据目前应用的具体情况选择最合适的先行应用。 无论采用何种构建方式，最终都可以达成成熟的模型，需要结合浦发结合 实际情况进行选择。以下分别讨论 2 种方式。 2.11.2.1统一规划统一实施 统一设计和规划数据集市的开发和实施分成 3 个大阶段： 第 1 阶段，收集各应用数据需求和数据模型，从全局角度进行分析，并与 数据仓库就数据需求内容进行沟通，需要数据仓库验证是否满足应用需求，数 据集市小组结合各应用的数据需求和数据模型进行统一规划和设计数据集市和 ODS 的模型； 第 2 阶段，数据集市小组开发和调试从数据仓库采集数据到 ODS 的 ETL 过 程以及 ODS 到数据集市公用模型部分的转换脚本，同时公布 ODS 以及数据集市 的模型，由各应用定制从 ODS 加载数据到数据集市的脚本； 第 3 阶段，将各应用挂载到数据集市上进行测试，根据各应用的反馈进行 部分修改，通过稳定性观察后最终达成验收并正式运行。 2.11.2.2循序渐进构建 以一个具体应用为先行应用的方案，设计和建置统一数据集市，前期数据 集市设计公用数据模型和先行应用特有数据模型，后续再陆续添加其它应用， 这样可以减少对多个应用项目所造成的影响。前期的重点落在合理的、科学的 设计数据集市中公用数据模型部分，这样在后期添加应用时对于公用数据模型 部分可以控制到基本不修改或者修改幅度很小，同时还要考虑到其它尚未确定 的应用将来加入统一数据集市的情况，使得成果得到最大程度的利用。 以循序渐进的方式，规划数据集市建置分为多个步骤： 第一步：以一个具体应用为前期应用，设计数据集市模型，开发数据仓库 到 ODS 的 ETL 工程，此步意义在于通过实践确认切实可行的将应用迁移到 数据集市的方法； 上海浦东发展银行 北京银丰新融科技开发有限公司，2007Page 21 of 27 第二步，在前期应用构建的数据集市模型中添加后期应用数据模型，开发 ODS 不满足前期应用需求部分数据的 ETL 过程，在不影响已经上线使用中的 前期应用系统正常运行的前提下，将后期应用成功的纳入统一数据集市中， 此步另一层的意思在于验证添加后期应用到数据集市的流程、正确方法等， 为后续的应用开辟成熟的道路，后续应用的添加也要在之前的成功经验之 上进行复制，添加后续规划的其它应用到统一数据集市之上，随着基于数 据集市的应用的增多，对于资源以及时间窗口争用的矛盾会变得突出，所 以在添加应用之前必须对各应用的数据量和时间窗口进行评估。 上海浦东发展银行 北京银丰新融科技开发有限公司，2007Page 22 of 27 统一数据集市 设计阶段开发阶段测试阶段生产阶段 数据仓库小组先行应用项目组数据集市小组 分析各应用 数据模型 先行应用 数据模型 划分出公用 数据部分 先行应用 数据需求模型 分析数据需求 数据模型 设计ODS数 据需求接口 提交数据模型文档 提交数据需求模型 文档 验证数据仓库是否 可以提供 从数据仓库抽取数 据到ODS的ETL 开发和测试 定制ODS转换数据 到数据集市中应用 特有部分数据以及 数据集市公用部分 数据转换到应用特 有部分数据的脚本 开发ODS转换数据 到数据集市中公用 部分数据的脚本 加载到数据集市模 型中完成测试 数据获取和转 换计算成功 扩展其它应用正常运行 上海浦东发展银行 北京银丰新融科技开发有限公司，2007Page 23 of 27 如上图所示第一步以先行应用构建数据集市又可以分成多个阶段： 设计阶段，由各应用项目组提交应用数据模型和数据需求文档给数据集市 小组，数据集市小组并行进行以下工作： 分析和设计数据集市模型，数据集市模型分析主要精力集中在公用数据 模型部分，因为这部分的合理性和科学性直接影响数据集市的价值，要 使得公用部分模型能够满足后续应用的需求，所以需要在设计过程加入 必要的前瞻设计； 数据集市小组与数据仓库小组就先行应用数据需求进行分析验证和沟通， 确认当前数据仓库是否满足应用数据的需求，数据集市小组在分析验证 的结论上设计 ODS 数据模型，先行应用的数据需求将构成数据集市的全 部，而后续不论是增加哪个应用，对于数据仓库已提供的数据不会再提 出需求，可以避免数据仓库的重复工作； 开发阶段，在明确了 ODS 数据模型和前期数据集市模型的基础上，需要数 据集市小组和先行应用项目组并行开发从数据仓库采集数据到 ODS 的 ETL 过程以及 ODS 转换数据到数据集市的脚本，开发过程中可以相对独立，但 由于 ODS 数据来源于 ETL 的抽取过程，所以在调试、测试阶段需要安排联 调： 数据集市小组需要负责开发 2 块内容： a) 数据仓库抽取先行应用需求数据到 ODS 的 ETL 过程，将来扩展应用 时不再需要开发这部分相同的 ETL 过程； b) 转换 ODS 数据到数据集市公用数据模型部分的脚本； 先行应用项目组需要根据公布的 ODS 数据模型接口和数据集市数据模型 的接口，根据自身业务逻辑的需要定制开发转换的脚本； 测试阶段，由于模型的设计和搭建是一个过程，需要不可避免的对模型进 行修改，可以将这个过程穿插在先行应用项目的上线过程中，一方面既提 供了先行应用测试的数据，另一方面为也提供了一个“磨合”的过程，根 上海浦东发展银行 北京银丰新融科技开发有限公司，2007Page 24 of 27 据先行应用的反馈进行必要的修改，直至最终成功将先行应用装载到数据 集市模型中，通过稳定性观察后最终达成验收并正式运行； 生产阶段，在先行应用稳定步入生产阶段后，需要按照最初规划开始着手 扩展其它应用的事宜，借鉴先行应用的经验是相当重要的，力争后续应用 的添加过程更加合理、更加科学。 2.11.3实施计划 为使数据集市能稳定上线，并获得此实施案之最大效益保障，根据不同的 实施方法安排工作项目，每一阶段预估时程及各方配合事项需待各方进一步讨 论规划，部分工作项目可能根据实际情况并行或分步进行。 以下列举本项目之工作项目及各项目预计时程(理想情况下)，由于部分工 作项目是并行执行或需要数据仓库提供支持的不可预期性，总时间花费并不能 简单加总。N 表示所需工作日数。 注：注： 以下工作日数不包括应用系统相应的改造时间花费以下工作日数不包括应用系统相应的改造时间花费 2.11.3.1统一规划统一实施 统一规划统一实施需要根据应