计算机理论论文基于数据仓库项目的银行领域系统的设计与实现.doc

基于数据仓库项目的银行领域系统的设计与实现 摘要：银行是国民经济资金活动的枢纽，直接服务于国民经济各部门。为国民经济各单位、各部门和个人办理资金收付。随着信息化技术的不断推进，我国政府部门特别是银行业系统的信息化建设的同时，也带来了1些新的问题。各级分行、总行在多年工作中各个系统（某银行目前上线系统就30多个，积累了大量的业务数据，但由于缺乏有效的技术手段，决策者很难从这些数据中获得深入、有价值的信息。如何从海量的用户信息中分析出个人用户的投资偏好，然后有针对性地提出投资方案；如何对海量的信息进行科学的分析处理，推出新业务，以及时为决策者提供决策支持，并适应激烈的市场竞争，成为摆在金融企业面前的新课题。“数据仓库系统”的建立与推广，是实现国家金融统计管理和决策科学化的基础，是防范金融风险的重要手段。毕业论文 论文网关键词： 数据仓库 数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。 数据仓库模型 星型模型：是1种多维的数据关系，它由1个事实表(fact table)和1组维表(dimension table)组成。通过事实表将各种不同的维度表连接起来，各个维度表都连接到中央事实表。 雪花模型：雪花模型是对星型模型的扩展，每1个维度都可以向外连接到多个详细类别表。雪花模型对星型模型的维度表进1步标准化，对星型模型中的维度表进行了规范化处理。 etl 过程 在源系统数据分析的基础上，按照源系统数据和数据仓库数据之间的映射关系，经过数据的抽取(extraction)、转换 (transformation)和加载(loading)等环节方可进入数据仓库，这个过程简称为etl处理。其中etl过程工具主要为：informatica， datastage， dw automation(ncr)引言 随着数据库技术的迅速发展以及数据库管理系统的广泛应用，银行业领域积累的数据越来越多。激增的数据背后隐藏着许多重要的信息，人们希望能够对其进行更高层次的分析，以便更好地利用这些数据。目前的数据库系统可以高效地实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势。 数据仓库是“1个面向主题的、集成的、随时间变化的、非易失性数据的集合，用于支持管理层的决策过程”。 数据仓库的基本功能包含：数据抽取，数据筛选、清理，清理后的数据加载，设立数据集市，完成数据仓库的查询、决策分析和知识的挖掘等操作。国内现行的数据仓库系统，并没有百分之百的发挥出数据仓库的优势，而更多的希望数据仓库系统完成业务上的查询的功能，因此在系统需求业务的定义的初期已经将数据仓库系统与业务系统靠的很近，以至最种没有发挥中分析的功能。本人参加了，上海太平人寿数据仓库项目、某银行信贷咨询数据仓库项目、某银行总行dw&mis项目等系统需求、模型、开发、测试等不同阶段。1。1 数据仓库构架图 数据仓库系统主要由数据源、etl过程、数据仓库平台、bi服务器、前端报表展示和分析系统（web服务器）组成，框架图如下图：说明：主要涉及三个层次：数据获取层、数据存储层、分析展示层。而etl（抽取、转换、加载）占据了整个项目的60%70%左右。1。2 数据仓库的开发步骤 概念模型设计 技术准备工作 逻辑模型设计 物理模型设计 数据仓库生成 数据仓库运行与维护1。2。1。 概念模型设计进行概念模型设计所要完成的工作是： 界定系统边界 确定主要的主题域及其内容 在这1步中，要确定系统所包含的主题域，然后对每个主题域的内容进行较明确的描述，描述的内容包括： 主题域的公共码键、 主题域之间的联系、充分代表主题的属性组 。值得说明的是，每个厂商对每个行业的划分的主题域是不相同的，例如ncr、ibm 等知名厂商。1。2。2。 技术准备工作 这1阶段的工作包括：技术评估，技术环境准备。对现有的技术方案进行评估，以确保方案的可行性；如果方案可行性成立的话，要对方案中所涉及到的环境进行准备。1。2。3。 逻辑模型设计 分析主题域 粒度层次划分 毕业论文 论文网 确定数据分割策略 关系模式定义1。2。4。 物理模型设计这1步所做的工作是确定数据的存储结构，确定索引策略，确定数据存放位置，确定存储分配。 确定数据的存储结构 确定索引策略 确定数据存放位置 确定存储分配1。2。5。 数据仓库生成在这1步里所要做的工作是接口编程，数据装入。这1步工作的成果是，数据已经装入到数据仓库中，可以在其上建立数据仓库的应用，即dss应用。 设计接口 数据装入 在这1步里所进行的就是运行接口程序，将数据装入到数据仓库中。主要的工作是：确定数据装入的次序；清除无效或错误数据；数据“老化” ；数据粒度管理；数据刷新等。1。2。6。 数据仓库运行与维护 在这1步中所要做的工作有建立dss应用，即使用数据仓库理解需求，调整和完善系统，维护数据仓库。建立企业的体系化环境，不仅包括建立起操作型和分析型的数据环境，还应包括在这1数据环境中建立起企业的各种应用。1。3 某银行dw&mis项目数据仓库简介1。3。1。 dw&mis项目的背景和目标 为建设成为国际1流的商业银行，某银行拟建设dw&mis系统，该系统建设目标在于建成“1个能解决跨部门、跨业务、跨时间和跨信息平台的复杂的信息整合问题，可支持复杂的信息检索及在线访问、可处理海量数据的系统，即基于数据仓库的管理信息系统；该管理信息系统将以规范的形式集中全银行的信息资源，强调数据视图在全行范围的1致有效和充分共享，能够全面反映银行的资产负债和财务收支状况，反映机构、渠道、产品和客户的盈利能力和风险状况，为管理科学化提供基础信息”。1。3。2。 dw&mis项目任务 dw&mis项目（1期）企业级数据仓库基础建设的基本任务是整合银行dcc系统、cmis系统、个贷系统、国际卡系统、总帐系统、网上银行等30多个现行业务系统的数据， 定义并开发etl脚本及工作流程，开发设计银行逻辑数据模型、物理数据模型，构建企业级数据仓库存储和海量数据处理分析展现平台，实现银行外部监管业务需求和部分内部管理业务需求，为资产负债管理、内部风险评级系统和erpf系统提供数据支持。1。3。3。 dw&mis项目环境配置 硬件环境ncr wes 6288；ncr5251 mpp 软件环境数据库：teradata（ncr）；olap分析工具cognos（前端展现）数据仓库模型：ldm(ncr) 备注：etl服务器：安装teradata 数据库做etl采集；olap查询报表服务器：安装cognos软件极其相应的组件。组件包括了：transformer、powerplay server、upfront server、reportnet等。1。3。4。 dw&mis项目逻辑框架图1。3。5。 dw&mis项目模型介绍 逻辑数据模型ldm是1种图形化的展现方式，1般采用面向对象的设计方法，有效组织来源多样的各种业务数据，使用统1的逻辑语言描述业务。全球数据仓库解决方案领导者-ncr teradata 推出了金融服务逻辑数据模型ldm。下图以agreement。automatic payments 主题为例，该区域er图如下：说明：dw&mis项目模型采取了星型模型这种方式。1。3。6。 dw&mis项目物理存储 项目物理数据库说明dwods库：存放每个系统的历史数据，用来加载数据的历史信息。系统上生产之后随之删除。dwqdata库：用来对数据进行质量检查的库。dwsdata库：存放每个系统发过来的最新数据。dwpmart库：用来存放指标层的指标数据。dwmeta库：用来存放olap分析数据，用于前端展示。dwpddl库：该库与dwpmart结构1致，保持与dwpmart同步。 dw&mis项目物理数据流图数据流图1。4 结束语 本人从事数据仓库方面的工作，有4年的时间了，每1个项目的完成对数据仓库的理解都会有更深1步的认识。对于数据挖掘，国内在这方面的实施还是很少，数据仓库的项目国内已经开始慢慢的起步，但是更正的做到分析，使之能为决策者提供强有力决策帮助，还是有很远