银行数据仓库系统功能概述

商业银行数据仓库商业银行数据仓库商业银行数据仓库 系统功能规格系统功能规格系统功能规格 版本：1.0 (初稿) *商业银行数据仓库项目 . 系统功能规格 目 录 1.概述概述.4 1.1.系统介绍.4 1.2.系统架构.4 1.3.体系结构.5 1.4.数据仓库管理系统(DWMS) .5 1.4.1.数据采集模块.6 1.4.2.数据转换模块.6 1.4.3.增量计算模块.6 1.4.4.调度模块.6 1.4.5.配置模块.6 1.5.OLAP 逻辑模型.7 1.5.1.分析角度.7 1.5.1.1.公共维.7 1.5.2.分析主题.8 1.6.银行业数据仓库 E-R 模型 (Data Model) .10 1.6.1.贷款客户分析(Data Model).10 1.6.2.存款客户分析(Data Model).11 1.6.3.内部账号分析(Data Model).12 1.6.4.业务及流动性分析(Data Model).13 1.6.5.资产负债财务分析(Data Model).14 1.6.6.风险控制分析(Data Model).15 1.6.7.现金配钞分析(Data Model).16 1.7.例外处理.16 1.8.准确性.16 1.9.性能.17 1.10.数据容量.17 1.11.备份/恢复 .17 1.12.运行环境.17 1.12.1.数据仓库平台.17 1.12.2.数据仓库硬件平台.17 1.12.3.控制台平台.17 1.13.安全性.18 2.报表系统报表系统.18 2.1.业务分析.18 2.2.财务分析报表系统.18 2.2.1.资产业务分析（月）.18 2.2.1.1.资产规模增长情况分析.19 2.2.1.2.资产增量变化情况分析.19 2.2.1.3.资产结构变化情况分析.19 2.2.1.4.贷款资产专项统计.20 2.2.2.负债业务分析.20 *商业银行数据仓库项目 . 系统功能规格 2.2.2.1.负债规模增长情况分析表.20 2.2.2.2.负债增量变动情况分析表.20 2.2.2.3.负债结构变化情况分析表.21 2.2.2.4.存款负债专项统计.21 2.2.3.所有者权益分析.21 2.2.3.1.所有者权益增长情况分析.21 2.2.3.2.所有者权益增量变动情况分析.22 2.2.3.3.所有者权益结构变化情况分析.22 2.2.4.财务收支分析.22 2.2.4.1.收支规模增长情况分析.22 2.2.4.2.收支增量变动情况分析.22 2.2.4.3.当期收支情况分析.23 2.2.4.4.财务收支结构变动情况分析.23 2.2.4.5.财务收支计划完成情况分析.23 2.2.5.财务比率分析.24 2.2.5.1.各项财务比率分析表.24 2.3.资金计划业务需求.25 2.3.1.资金头寸统计.25 2.3.2.资金负债管理指标.25 2.3.3.现金管理.25 2.3.3.1.结算备付金统计.25 2.3.3.2.库存现金统计.26 2.3.3.2.1.即时余额统计.26 2.3.3.2.2.日均余额统计.26 2.3.3.3.业务量统计.26 2.3.4.票据贴现业务统计.26 2.4.综合统计分析.27 2.4.1.存款统计.27 2.4.1.1.存款结构统计.27 2.4.1.1.1.日均存款统计.27 2.4.1.1.2.存款即时余额统计.27 2.4.1.1.3.储蓄业务统计.27 2.4.1.2.存款明细统计.28 2.4.2.贷款统计.28 2.4.2.1.贷款结构统计.28 2.4.2.1.1.贷款日均统计.28 2.4.2.1.2.贷款即时余额统计.28 2.4.2.2.贷款明细统计.29 2.4.3.业务量统计.29 2.4.3.1.会计综合业务量统计.29 2.4.3.2.现金收付量统计.29 2.5.安全性.30 2.5.1.安全控制逻辑.30 3.客户经理服务系统客户经理服务系统(ASS).30 *商业银行数据仓库项目 . 系统功能规格 3.1.总体分析.30 3.1.1.分析角度.30 3.1.2.分析指标.30 3.2.安全性.30 4.附录附录.31 4.1.定义.31 4.2.资金头寸项目说明和计算公式.31 4.3.资金负债管理指标.32 4.4.术语说明.34 4.4.1.Data warehouse.34 4.4.2.Data mart.34 4.4.3.OLAP.34 4.4.4.ROLAP .35 4.4.5.MOLAP.35 4.4.6.Client OLAP .35 4.4.7.DSS.35 4.4.8.ETL.35 4.4.9.Ad hoc query.36 4.4.10.EIS.36 4.4.11.BPR.36 4.4.12.BI.36 4.4.13.Data mining.36 4.4.14.CRM.36 4.4.15.Meta Data.36 *商业银行数据仓库项目 . 系统功能规格 1. 概述概述 1.1. 系统介绍系统介绍 *商业银行数据仓库项目以 OLAP（在线分析处理）为主要技术技术，由业务数 据采集、清洗，转换，加载、OLAP 处理等步骤组成。 处理数据涵盖银行内部方方面面的 数据信息。通过对数据的重组、分类和关联，将银行内部分散的数据信息组织成一个高效 实用的数据仓库，并且用第三方 OLAP 前端和报表工具，提供了方便快捷的查询，发布。 1.2. 系统架构系统架构 缓 冲 区 企业级 数据仓 库 其它系统 综合统计系统 信贷系 统 数据仓库管理系统 (DWMS) 其它业 务系统 清洗，整 理，转换， 加载。 采集程 序 资金计划系统 会计分析系统 第三方 OLAP 前端和报 表工具,数据挖掘工具 OALP OLAP 处 理 综合业 务系统 *商业银行数据仓库项目 . 系统功能规格 1.3. 体系结构体系结构 用户界面层 WEB Browser/Windows APP 应用服务器层 Essbase/关系 DBMS/其它数据存取组件 数据仓库层 AS/400 数据转换模块 业务数据库 1 业务数据库 2 其它数据库 (系统体系结构) 1.4. 数据仓库管理系统数据仓库管理系统(DWMS) 1、 负责数据采集参数的配置，如：采集的数据源，采集的时点等； 2、 负责数据的采集，转换，加载及 OLAP 处理任务的调度； *商业银行数据仓库项目 . 系统功能规格 3、 负责数据转换过程中转换参数的配置，如数据字典的定义，对应关系的设置等； 4、 负责报表查询的参数的定义，如报表格式，查询组合的定义； DWMS 包括以下几个模块 1.4.1.数据采集模块数据采集模块 负责从银行的业务系统中采集建设数据仓库所需要的源数据。由于银行数据的安全性，在 本系统设计过程中，采用 NA SERVER 用 CGS 中间件采集成文本文件。 1.4.2.数据转换模块数据转换模块 数据仓库中的数据来源于联机事务处理系统（OLTP） ，这些系统由于建立时间不同，系统 选型不同，开发人员不同等原因，使得各个业务系统的硬件环境和软件环境各不相同，数 据结构不统一，要将这些系统中的有用数据提取出来，进行净化、整理、综合、概括，去 掉没用的数据项，转换成统一格式加载到数据仓库中。数据转换模块负责将源数据经过清 洗，整理，转换，编码后加载到数据仓库中。 1.4.3.增量计算模块增量计算模块 每天所采集的增量数据，加载到数据仓库后，处理 OLAP 的增量计算，加载这部分数据到 OLAP 数据库。 1.4.4.调度模块调度模块 负责每天数据转换(ETL)的调度 1.4.5.配置模块配置模块 各种参数的配置 *商业银行数据仓库项目 . 系统功能规格 1.5. OLAP 逻辑模型逻辑模型 1.5.1.分析角度分析角度 1.5.1.1.公共维公共维 分析角度描述层次来源取值 机构总行 分行 营业网点 业务系统*商行总行 科目科目种类 一级科目 二级科目 业务系统资产类，负债类，损益类等 100、210 等 10001、30212 等 时间年 半年 季 月 旬 日 自定义 时间段自定义8-9 时、9-10 时等 货币货币类型人民币、美元等货币 存款期限结构存款种类 存储类型 期限 业务系统企业、储蓄、其他 活期，定期 6 个月，1 年等 贷款期限种类贷款类型 期限 业务系统信用、保证、抵押质押、消费 贴现、逾期贷款 短期、中长期 客户等级业务系统 凭证类别业务系统 企业性质业务系统私营、国营、三资等 所有者权益项目项目大类 项目小类 实收资本、资本公积、盈余公 积 本年利润、利润分配 国家资本金等 等 行业结构工业、商业、建筑业、农业、 乡镇企业等 帐户类别对公账户、储蓄帐户、贷款帐 户 帐户种类基本帐户、一般帐户、临时帐 户 专用帐户 支取方向存入、取出 交易类别 利率代码业务系统 券别类型券别类型业务系统10 元、50 元等 资产结构按客户资产结构区 分 可由用户设定 *商业银行数据仓库项目 . 系统功能规格 资产类型项目盈利类型 资产分类 业务系统盈利资产 贷款资产、存放同业同行 拆借及债券投资、其他 非盈利资产 注 1：”可由用户设定” 由用户将设定类型对应到原有交易系统中一个或多个类型值。 注 2：OLAP 分析粒度到账号还是科目对于公共维的设计存在着差异 注 3：数据仓库模型中所存储的数据的粒度将对信息系统的多方面产生影响。事实表中以 各种维度的什么层次作为最细粒度，将决定存储的数据能否满足系统分析的功能需 求，而粒度的层次划分、以及聚合表中粒度的选择将直接影响查询的响应时间。 1.5.2.分析分析主题主题 主主 题题 指标指标机 构 时 间 资 产 项 目 分 类 科 目 期 限 贷 款 种 类 方 式 贷 款 种 类 行 业 贷 款 种 类 利 率 贷 款 种 类 负 债 项 目 类 型 期 限 存 款 种 类 方 式 贷 款 种 类 资 金 来 源 种 类 利 率 贷 款 种 类 所 有 者 权 益 项 目 客 户 类 型 支 取 方 向 货 币 企 业 性 质 行 业 结 构 余额XXX 日均余额XXX 增减量XXX 增减幅度XXX 增减变动量XXX 增减变动量差异XXX 占比XXX 客客 户户 存存 款款 分分 析析 占比增减量XXX 余额XXXXXX 日均余额XXXXXX 增减额XXXXXX 增减幅XXXXXX 占比XXXXXX 客客 户户 贷贷 款款 分分 析析 余额XXX 日均余额XXX 增减量XXX 增减幅度XXX 增减幅度的差异XXX 增减量的变化量XXX 负负 债债 业业 务务 分分 析析 占比XXXXXXX 余额XXXX 日均余额XXXX 增减额XXXX 存存 款款 余余 额额 统统 计计 增减幅XXXX 余额XXX 增减量XXXX 增减幅度XXXX 差异XXXX 所所 有有 者者 权权 益益 增减的变动量XXXX *商业银行数据仓库项目 . 系统功能规格 主主 题题 指标指标机 构 时 间 资 产 项 目 分 类 科 目 期 限 贷 款 种 类 方 式 贷 款 种 类 行 业 贷 款 种 类 利 率 贷 款 种 类 负 债 项 目 类 型 期 限 存 款 种 类 方 式 贷 款 种 类 资 金 来 源 种 类 利 率 贷 款 种 类 所 有 者 权 益 项 目 客 户 类 型 支 取 方 向 货 币 企 业 性 质 行 业 结 构 变动差异XXXX 占比XXXX 占比的增减量XXXX 分分 析析 占比的差异XXXX 余额XXXX 增减量XXXX 增减幅度XXXX 增减的变动量XXXX 变化差异XXXX 增减的变动量XXXX 财财 务务 收收 支支 分分 析析 占比XXXX 财财 务务 比比 率率 分分 析析 利利 率率 分分 析析 利率XX *商业银行数据仓库项目 . 系统功能规格 贷款账户明细表 1.6. 银行业数据仓库银行业数据仓库 E-R 模型模型 (Data Model) 1.6.1.1.6.1. 贷款客户分析贷款客户分析(Data Model) 客户状态客户类型行业结构 分行 总行 客户 网点 账号 协储员 日期 旬 月 季 半年 年 利率期限 帐户类别币种 科目 *商业银行数据仓库项目 . 系统功能规格 存款帐户明细表 表 1.6.2.存款客户分析存款客户分析(Data Model) 客户状态客户类型行业结构 分行 总行 客户 网点 账号 协储员 日期 旬 月 季 半年 年 利率期限 帐户类别币种 科目 *商业银行数据仓库项目 . 系统功能规格 内部帐户明细表 表 1.6.3.内部账号分析内部账号分析(Data Model) 客户状态客户类型行业结构 分行 总行 客户 网点 账号 协储员 日期 旬 月 季 半年 年 利率期限 帐户类别币种 科目 *商业银行数据仓库项目 . 系统功能规格 交易明细表 1.6.4.业务及流动性分析业务及流动性分析(Data Model) 方向业务类型凭证类型时间段 币种 账号科目柜员日期 客户 客户状态 协储员 网点 分行 总行行业结构客户类型 账号类型 旬 月 季 半年 年 *商业银行数据仓库项目 . 系统功能规格 总账户表 1.6.5.资产负债财务分析资产负债财务分析(Data Model) 科目 贷款项目 负债项目 贷款方式 存款项目 存款方式 资产项目 权益项目 支行 网点 总行 币种日期 旬 月 季 半年 年 *商业银行数据仓库项目 . 系统功能规格 贷款借据信息表 1.6.6.风险控制分析风险控制分析(Data Model) 还款方式记息类型贷款类型 账号 币种客户账户状态协储员 行业结构客户类型客户状态 网点 支行 总行 日 旬 月 季 半年 年 *商业银行数据仓库项目 . 系统功能规格 配钞明细表 1.6.7.现金配钞分析现金配钞分析(Data Model) 注： 1、 黑点方向表示一对多关系 2、 兰色实体均为实事表 3、 灰色实体关系表示须保留动态变更 1.7. 例外处理例外处理 1.8. 准确性准确性 对下面变更，系统的各项统计计算应能准确反映： 1.客户资产结构的变更 2.客户所属协款员的变更 3.客户状态变更 4.客户所属行业的变化 网点 币种券别借贷标志 柜员日期 分支 总行 *商业银行数据仓库项目 . 系统功能规格 1.9. 性能性能 1、日数据处理时间 3Hours 2、 客户端查询响应 一般查询 15 秒 3、 数据即时性 每天日结以后从业务系统中抽取数据到数据仓库，所以只能查询前一交易日以前的数 据。即时性的数据直接从业务数据中查询。 1.10.数据容量数据容量 数据要求处理容量(记录数) 帐户数100 万 1.11.备份备份/恢复恢复 1.12.运行环境运行环境 1.12.1.1.12.1. 数据仓库平台数据仓库平台 操作系统： AIX4.3 数据库系统：使用 IBM DB2 产品。 建模工具：ERWIN。 数据采集及转换工具：Visual Warehouse 多维数据库：DB/2 OLAP Server 前端分析工具：BRIO、MS Excel(Vba 编程)。 1.12.2.1.12.2. 数据仓库硬件平台数据仓库硬件平台 硬件平台推荐使用 IBM 的 AS400 系列产品。 1.12.3.1.12.3. 控制台平台控制台平台 操作系统： WINDOWS 98，WINDOWS NT 4.X，WINDOWS2000 *商业银行数据仓库项目 . 系统功能规格 硬件平台： 586CPU，256M 以上内存，10G 以上硬盘空间。 显示器分辨率： 缺省支持 800X600，但在其他模式下也应能显示正常 1.13.安全性安全性 角色 DWMS 管理员数据仓库的修改、OLAP 的修收 DWMS 操作员运行 DWMS 控制程序 2. 报表系统报表系统 2.1. 业务分析业务分析 业务分析的方法主要是多维分析法，根据业务决策的需要，可进行各种分析。利用 多维分析的方法，可以对统计及明细记录进行分析、对比、排序，各种分析结果可以通 过图表直观的反映。利用业务分析功能，可以及时、明了的掌握银行业务工作各方面的 情况和进展。 DB2 OLAP 服务器，提供 100 多种内置的财务、统计或者数学功能，可以进行复杂 的趋势分析、创建比率等。同时，DB2 OLAP Server 拥有几种 API 和一组可用于构建 定制应用程序的 ActiveX 控件。选择何种 API 将取决于应用程序的复杂程度。使用 Wired for OLAP(Hyperion Analyzer)，可以非常快地构建一个简单的主管信息系统(EIS Executive Information System)应用程序。使用电子表格如 MS Excel 或 Lotus 123 的 Add- In，可以构建相当复杂的应用程序。Essbase Objects 是一组非常灵巧的 ActiveX OLAP 控件，可以将其置入到 Visual Basic 应用程序（可以按传统方式或通过网络部署）中。 此外，还可以使用 C API 和 Visual Basice API 定制应用程序。 2.2. 财务分析报表系统财务分析报表系统 2.2.1.资产业务分析资产业务分析（月）（月） 资产项目分类资产项目分类描述描述 资产总额资产负债表中的总资产 贷款资产122+123+124+125+126+127+128+129+130 存放央行及同行110+111+113+114+115+116+（407、408、411、412、41 3、414、451、452、453、454 科目借贷轧差数） 拆借及债券投资120+121+140+141+142+145 *商业银行数据仓库项目 . 系统功能规格 盈利资产贷款资产+存放央行及同行+拆借及债券投资+其他盈利 资产 非盈利资产资产总额 - 盈利资产 2.2.1.1.资产规模增长情况分析资产规模增长情况分析 多维分析表格分析角度或指标 列分析指标(日均金额、月末余额) 行资产类型项目 选择字段日期（月） ，分支机构 计算指标增减量：比上期（上年同期）的增减量 增减幅度：增减量 / 上期（上年同期）的实绩 * 100% 增幅的差异：当期全行平均增幅 比较分析比上期，比上年同期 缺省图形风格 2.2.1.2.资产增量变化情况分析资产增量变化情况分析 多维分析表格分析角度或指标 列分析指标(本期与上期比较的增量) 行资产类型项目 选择字段日期（月） ，分支机构 计算指标增减变化量：比上期（上年同期）的增减变化量 增减变化幅度：增减变化量 / 上期（上年同期）的实绩 * 100% 增幅的差异：当期全行平均增幅 比较分析比上期，比上年同期（增减变化量，增减量变化差异） 缺省图形风格 2.2.1.3.资产结构变化情况分析资产结构变化情况分析 多维分析表格分析角度