版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
河北省工商银行数据仓库系统建设方案建议书北京世纪明日网络科技有限公司二零零零年三月河北省工商银行数据仓库系统建设方案目录前言数据仓库进展史竞争日趋激烈的金融市场中国专业银行面临的挑战中国专业银行实施数据仓库的意义中国专业银行实施数据仓库已具备的条件数据仓库总体概述2.1数据仓库基础2.2数据仓库技术概述2.3一个可扩展数据仓库的基本框架2.4一个数据仓库实施流程系统体系结构设计3.1系统设计指导思想3.2方案总体框架图3.3系统体系结构设计3.4系统方案的组成第四章银行数据仓库的建设4.1面对应用的OLTP系统和面对主题的OLAP系统4.2共性化服务的定义4.3业务探究/业务发掘4.4建立市场客户信息基础4.5利用数据仓库实现的基本模块4.6更高层次的开发应用4.7综合信息发布第五章方案实施建议5.1开发模式5.2组织机构5.3项目实施进程5.4项目进度方案第六章产品报价6.1软件产品报价6.2硬件产品报价6.3项目开发实施费用第一章前言1.1数据仓库进展史相对于很多行业而言,信息处理技术还是一门新兴的技术,但是其进展速度却几乎是最快的。随着计算机硬件技术的飞速进展,软件技术也是日新月异。很多企业和机构已经建立了相对完善的OLTP(联机事物处理)系统。随着时间的推移,这些系统中积累了大量的历史数据,其中蕴含了很多重要的信息。通过对这些历史数据的分析和综合处理,可以找到那些对企业进展至关重要的业务信息,从而挂念有关主管和业务部门作出更加合理的决策。70年月中期消灭的MIS(管理信息系统)实际上就是在这种背景下产生的。但MIS具有极大的局限性。首先,它是按预先定义好的流程对数据作相应的处理,因此只能对预先描述好的业务问题进行回答。其次由于开发工具的限制,对它的修改也不大便利,特殊是业务流程发生变化,模型需要调整,这种修改更加困难。最终数据的不断积累和数据量快速增加,一般的商用数据库(即OLTP数据库)难以处理,系统的扩展存在很大限制。在这种状况下MIS逐步进展到了数据仓库。世界上最早的数据仓库是NCR公司为全美、也是全世界最大的连锁超市集团Wal*Mart在1981年建立的,经过二十年的进展,该系统已经格外完善,数据量扩展到27TB,成为迄今为止世界上最大的数据仓库。1.2竞争日趋激烈的金融市场依据TowerGroup公司1998年10月的争辩,1999年全球金融机构将投资54亿美金实施数据仓库系统,其中欧美地区占八成的市场份额,其次为亚太地区,在美国实施数据仓库的单位以大型银行为主,基础上启动的资金为五百万美金以上;1998年在全球前500家银行中已经有近九十家的数据仓库数据量超过500GB,猜测在1999年将有150家,2000年有260家;数据仓库是金融机构实现客户关系管理(CustomerRelationshipManagement)的核心技术,也是金融业竞争优势的来源,主要的应用业务部门为信用卡部、信贷部、市场部和零售业务部等,应用领域是以客户为中心的分销渠道管理、客户利润分析、客户关系优化和风险控管。造成欧美地区金融机构接受数据仓库技术,供应以客户为中心的共性化服务(OnetoOneMarketing)的背景缘由如下:金融服务市场的开放竞争。如AT&T电话公司的电话卡可以透支打电话、福特汽车公司的购车信用分期付款、零售业的透支分会员卡和贵宾卡、信用卡公司发行信用卡、ESD建立ATM网、GE公司的贷款服务,保险公司的储蓄型保险单和保单贷款等,允许银行业的并购,影响银行的业务收入和利润。上述的开放市场,业者会推出多样化的产品和服务,让顾客有更多的比较和选择的机会。造成顾客购买的因素,除了价格以外,还应考虑便利性、可用性等,形成共性化服务的需求。银行需要更进一步了解客户,才能满足客户需求,进而留住客户,增加利润。信息技术(如海量并行处理的技术)的突飞猛进,使得快速地分析客户具体的历史交易数据成为可能,从而可以更好地了解、模拟和猜测客户的消费行为、偏好等。另外移动通信技术的进步,让客户访问信息服务的方式不受时空的限制。这些技术让银行业务用户可以准时响应各种突发的简单的经营问题。银行现有的管理制度和业务流程,都是以产品(Product)为中心来进行客户服务,不同的帐号信息分散在不同的计算机系统内,缺乏对客户统一的全面了解。现有的生产系统是银行营运和客户的基础设施,无法供应多用户对大量历史数据同时进行突发的简单的决策分析,所以建立另外一套以客户为中心的数据仓库决策支持系统是实现共性化服务的必要手段。1.3中国专业银行面临的挑战1984年人民银行成为中心银行的角色,成立了四家国有专业银行:工商银行、农业银行、中国银行和建设银行。后来又成立交通银行、中信实业银行、光大银行等十一家股份制商业银行。1996年改组城市信用合用社建立股份制城市商业银行。国有专业银行长期在方案体制下运转,其经营行为和经营意识带有很强的行政颜色,正向商业银行化进行过渡。随着经济的增长和国民生活水平的提高,社会保障制度的改革,政府扩大内需的政策等,国有专业银行和股份制商业银行的零售业务,如住房贷款、退疗养老金、消费贷款和信用卡业务等,将成为银行业务和利润的增长点。如何争取零售业务的市场机会,发掘信用好风险低的客户已成为银行关注的焦点。在将来零售业务的迅猛进展,改善银行的获利力量,将加速国有专业银行转型成为商业银行的进程。在现阶段,主要是国有专业银行和股份制商业银行、邮政银行之间的竞争,其他服务业和外资银行尚未构成全面性的威逼。虽然,国有专业银行具有掩盖全国营业网点的优势,但受历史包袱的影响,期盼扩大零售业务,以提高获利力量;股份制商业银行规模相对小,只能供应地区性的服务,零售业务是主要的收入来源,从国有专业银行和邮政银行中争取更多的新客户,将是主要的经营策略;邮政银行的优势在营业网点、客户基础和更多的增值服务,竞争的策略是留住有利润的客户和争取新客户,所以邮政银行也将是现阶段国有专业银行和股份制商业银行的重要竞争对手。1999年11月15日,中国与美国签署加入世界贸易组织的双边协议,中国将自加入世界贸易组织起,逐步开放金融市场,入世两年后开放外资银行经营对公业务,五年后开放对私业务和设立营业网点。在可预见的将来,国内的金融机构将同世界级的外资银行发生面对面的激烈竞争。届时,客户有更多的选择,竞争会更加的激烈。世界级的外资银行为加速取得和扩大在中国的市场份额,将引进其在国外实施多年的以客户为中心的数据仓库决策支持系统,推出更多样化的金融产品和服务来争取高利润的客户。因此,了解客户需求和客户对银行的利润贡献度、供应有竞争性的产品或服务、经由客户喜好的渠道、在适当的时机对客户进行销售或服务,这种共性化服务的策略将是国内商业银行在目前竞争优势的来源,同时也是将来与外资银行竞争必备的武器。如何建立共性化服务的数据仓库系统,已经成为国内银行现阶段最重要的课题。1.4中国专业银行实施数据仓库的意义从现在和将来专业银行所面临的市场环境来看,实施以客户为中心的数据仓库决策支持系统,将对国内银行业现在和将来的进展产生深远的影响,且具有重大的战略意义。首先是增加国内银行的竞争力,在激烈的竞争中维持获利。无论现在或是将来,银行将面临着一个激烈竞争的态势,必需对市场多变的需求作出准时响应,才能持续生存和进展。依据国外商业银行的阅历,在金融市场开放环境中,银行竞争优势的来源是对每一位客户供应共性化服务。然而银行有数以千百万计的客户,如何将客户细分到以客户为中心的客户单一市场呢?也就是如何设计大量共性化的产品或服务。银行只有通过以客户为中心(CustomerCentric)的决策支持系统,才能使用科学的方法实现共性化服务。数据仓库系统存放每一位客户同银行往来的具体的历史交易明细数据,对客户有统一的视图,能挂念银行业务用户以科学的手段快速地分析、模拟和猜测客户的共性化需求,进而设计符合客户需求的产品或服务。通过客户喜好的渠道完成交易,是增加专业银行竞争力量最有效的手段。其次是提高专业银行整体运作与管理水平。数据仓库决策支持系统是专业银行管理模式进展的结果。随着各个历史时期经济金融环境的变化,专业银行的经营管理模式在演化,最初强调资产管理,是由于来源比较狭窄,主要是活期存款,而工商企业的资金需求也较简洁,接受会计记帐设备提高生产力;到了六十年月,产生负债管理理论,强调要通过负债管理保持银行的流淌性,主动从市场、银行业来调剂资金余缺,开头引进会计系统计算机化;七十年月末期,消灭了资产负债综合管理理论,重点在资产负债风险管理、信贷风险管理、投资风险管理和外汇交易风险管理,MIS和分行自动化成为核心系统;九十年月,金融市场的开放,低利率和信用扩张刺激消费,零售业务成为银行的主要业务和收入,客户对金融产品和服务的要求越来越高,银行业务部门和管理层首要关怀的问题在于如何降低风险和增加利润,以客户为中心的数据仓库决策支持系统可以快速地了解每一项交易、每一个帐号、每一个分销渠道、每一位客户的风险和利润,让银行作出正确的业务决策,准时响应每一位客户的现在和将来需要,提高整体运作和管理水平。最终是增加专业银行应变力量。订立金融市场开放时间表,让国内银行有充分的时间预备来提高自己的竞争实力,以应付外资银行在将来的竞争。人民银行会逐步放松管制政策和增加国内银行可以经营的业务范围,让国内银行生疏市场经济的运作规章。当外资银行可以在国内经营零售业务时,假如国内银行已经完全把握客户的行为和需求,了解各种金融产品的的操作和管理,那么对国内银行的冲击就比较小。问题在于,国内银行如何在这么短的时间内完成这么多的事情。假如没有足够的企业和客户信息,国内银行如何了解人民银行推出的新政策对银行的影响呢?又如何向人民银行建议新业务和服务呢?或是应付外资银行的竞争呢?企业级的数据仓库系统,存放银行各种主题,如客户、帐号、部门、金融产品、商业活动、位置、渠道和交易大事等,可以快速地分析、模拟和猜测新业务和新政策对银行整体的影响,让银行的领导准时制定策略和战术,应变突发的简单的经营问题。1.5中国专业银行实施数据仓库已具备的条件近年来,中国专业银行在管理上已逐步形成了一套快速适应市场变化、满足用户需求的内部运行机制。概括来讲,中国专业银行实施共性化服务数据仓库系统具备了以下条件:企业有一支较高素养的管理人才和技术队伍,具备参与信息建设的丰富阅历,为基础上实施供应了人才的保证。完善的信息技术基础设施,如ATM网络、电话银行、传真服务、呼叫中心、网上服务、POS系统、企业内部网、人行的电子清算系统等,确保交易信息源能准时的获得,数据仓库建成后使用便利。企业已建设或正在建设的全行范围的业务系统,包括储蓄、定期、贷款、汇款、外汇、信用卡、支票、信用证、国际业务等,已积累了完整而且具体的客户交易记录,为数据仓库的启动供应了基本的数据来源。多数的企业有实施先进管理制度和思想的阅历,如成立市场部统筹银行的形象和市场定位的宣扬与规划、经营效益与员工收入挂钩、服务时效的承诺、客户满足调查等,简洁接纳新学问,对数据仓库的实施和推广应用起到乐观的作用。其次章数据仓库总体概述2.1数据仓库基础数据仓库的概念最早将数据仓库提升到理论高度加以论述的是有名学者、被尊称为数据仓库之父的BillInmon。他对数据仓库所下的定义是:数据仓库是面对主题的、集成的、稳定的、随时间变化的数据集合,用以支持管理决策的过程。由此可见,数据仓库是一个综合的解决方案,是对原始的操作数据进行各种处理并转换成有用信息的处理过程,它主要用来挂念有关主管部门作出更符合业务进展规率的决策。数据仓库的查询特点针对生产系统的查询都格外简洁,一般不会使用表的连接操作,每次返回的数据量很小,这类问题的特点是知道自己要找什么。数据库大小对系统性能影响不大。数据仓库系统的查询大都格外简单,主要有两种:一种以报表为主,从数据库中产生各种形式的业务报表。这种查询是预先规定好的(Pro-definedQuery)。另一种查询是随机的、动态的查询(Ad-Hocquery),对查询的结果也是不能预料的。数据仓库中的查询由于其简单性,会经常使用多表的联接、累计、分类、排序等操作,这些大都要对整个表进行搜寻(FullTableScan)。每次查询返回的数据量一般很大,对于动态查询而言,经常需要依据上次查询的结果进行进一步的搜寻,这个过程称为数据挖掘(DataMining)。依据这些特点,数据库大小对数据仓库的性能影响很大。当数据仓库投入使用后,各业务部门的要求会越来越多,使得数据仓库中数据量的增长很快。因此设计数据仓库时,系统的可扩展力量是必需考虑的重要因素之一。系统的并行处理力量是另一个要考虑的重要因素。由于查询的简单性,每个查询将占用很多的系统资源,假如系统资源不够、并行处理力量不强,当多个用户同时发出事物恳求时,响应时间很长令人无法容忍。数据仓库应单独建立。由于假如在生产系统上再实施数据仓库,由于数据仓库的查询经常占用很多系统资源,将严峻影响生产系统的运行2.2数据仓库技术概述作为决策支持系统(DSS)的一种有效、可行的体系化解决方案,数据仓库包括了三个方面的内容:数据仓库技术(DATAWAREHOUSE,DW)、联机分析技术(ON-LINEANALYTICALPROCESSING,OLAP)、数据挖掘技术(DATAMINING,DM)数据仓库技术(DW)需要以下数据库技术的支持:高性能数据库服务器数据仓库的应用不同于传统数据库的OLTP应用。传统数据库的应用是操作型的,而数据仓库的应用是分析型的,它需要高性能的DBMS核心的支持,以便较快地获得分析结果,这通常需数秒至数分钟的时间。虽然比OLPT的响应时间长一些,但由于分析型应用涉及的数据量大,查询要求简单,因此对DBMS核心的性能要求更高,同时,DBMS必需具有良好的查询优化机制并行数据库技术数据仓库中的数据量大,而且随着时间的增长,新的数据还会不断进入,基本成指数增长。数据仓库中的数据库通常是GB甚至TB级的,可谓是超大规模数据库(VLDB)。而并行数据库技术是存储管理VLDB,并供应对VLDB简单查询处理的有效技术。数据库互操作技术数据仓库中的数据大多来自企业或行业中业已运行的OLTP数据库或外部的数据源。这些数据库经常是异构的,甚至是文件系统中的数据。数据仓库必需从这些异构数据源中定期抽取、转换和集成需要的数据,并把它们存入数据仓库中。因此,异构数据源之间的互访和互操作技术是必需的。联机分析(OLAP)技术OLAP是一种实现多维分析的工具。简洁地可以理解为它是位于数据仓库基础之上的一个多维立方体,它面对分析决策所关怀的综合性数据,以便从更高层次、多个维度来了解数据。它从规律上或物理上以多维方式从数据仓库里提取数据并组织数据,便于前端用户进行多维数据分析。依据实现技术和存储数据的位置不同,又可分为多维数据库OLAP(MDB-OLAP)、基于关系数据库的OLAP(ROLAP)和桌边形的OLAP(DESKTOPOLAP)。OLAP的目的是为了提高多维分析的速度。数据挖掘(DM)技术数据挖掘是从数据仓库中发觉并提取隐蔽在其中的信息的一种新技术。目的是挂念决策者查找数据间潜在的关联,发觉被忽视的要素,这些信息对猜测趋势和决策行为或许是格外有用的。数据挖掘技术涉及数据库、人工智能、机器学习和统计分析等多种技术。数据挖掘技术使决策支持系统跨入了一个新阶段。传统的决策支持系统通常是在某个假设的前提下通过数据查询和分析来验证或否定这个假设,而数据挖掘技术则能够自动分析数据,进行归纳性推理,从中发掘出潜在的模式,或产生联想,建立新的业务模型,挂念决策者调整市场策略,并找到正确的决策。总结数据仓库技术是以数据仓库为基础、以OLAP和数据挖掘工具有手段的一整套可操作、可实施的方案。建立一个数据仓库是一个比较简单的过程,它需要细心的规划、渊博的学问、丰富的行业管理阅历、极强的业务沟通力量和全面的IT要素。建立数据仓库要选择合适的数据仓库引擎、硬件平台、软件工具、应用程序和行业专业服务2.3一个可扩展数据仓库的基本框架操作数据操作数据/源数据提取过滤净化家庭关系识别加载企业中心数据仓库复制与传播从属数据集市数据转换数据挖掘分类统计人工智能决策树信息存储工具业务用户IT用户数据装载数据管理信息访问整个框架组成部分数据装载:把所谓的操作数据和源数据利用肯定的方法如提取、过滤、清理、家庭关系识别等,从生产关系中转换到中心数据仓库中。这种转换分为规律与物理两部分,即先依据业务问题建立数据库规律模型,然后在此基础上构造物理模型,将操作数据加载到物理表中。规律建模应基于要解决的业务问题进行,而不是基于目前的系统能供应什么数据进行。换而言之,数据仓库的动身点是解决业务问题,而不是单纯的一个信息转换与访问的工具。数据管理:这一部分是整个数据仓库的心脏,依据数据仓库的特点,它必需接受一个具有并行处理性能的关系数据库管理系统。当数据仓库格外浩大时,为提高性能,可建立一些面对部门应用的数据集市,这些数据集市中的数据是从中心库中通过复制与传送等手段拷贝过来的。信息访问:这一部分是前端工具,主要供应应有关业务部门访问数据仓库中的信息使用,在这一部分一般都接受图形界面、交互功能强的查询工具。2.4一个数据仓库实施流程业务业务探究数据仓库询问信息采集与挖掘规律建摸数据仓库结构设计数据仓库解决方案就绪学问探索建模物理模型设计数据仓库管理(过程与操作)数据转换C/S应用开发数据挖掘与分析数据仓库解决方案集成系统支持规律建模回顾物理建模回顾数据仓库调整数据仓库容量规划数据仓库审计数据仓库规划数据仓库设计与实施数据仓库支持与完善第三章系统体系结构设计3.1系统设计指导思想制定合理的系统目标在数据仓库建设的规划阶段,不能求胜心切,应当制定切合实际的系统目标,将扩大决策支持系统的数据源、改善用户获得信息的手段、为用户供应更加精确、牢靠和全面的信息作为系统建设的根本动身点。循序渐进在银行中使用数据仓库技术应本着循序渐进的原则进行。首先,在涉及某一类银行业务的单项应用领域开展,逐步进展到在涉及不同银行产品的几个单项应用领域开展,最终,再建立全行的数据仓库,将数据挖掘的范围扩展到多项银行活动。而不要一开头就期望把银行全部的数据都装载到数据仓库中,建立一个大规模的全银行范围内的数据仓库,这样会使银行隐入规律、行政和财政的逆境而不能自拔。数据仓库不是越大越有效,初始时从建立较小的数据集市入手,一方面可以降低开发成本,缩短实现周期,另一方面还有助于为将来数据仓库的全面启动培训IT人员。将相关信息集成到数据仓库中80年月,美国曾做过一次对企业高层管理人员的问卷调查,以争辩高层管理人员获得经营管理信息的途径。结果出人意料,管理人员的级别越高,他就越少通过内部数据来获得经营管理信息:大型企业的最高决策者95%的经营管理信息来自企业外部。数据仓库系统不是简洁的企业内部数据集成,而是为决策支持供应集成的数据源,因此,必需在关注企业内部数据的同时,将外部信息集成到数据仓库中;此外,与数据信息相比,图形、图像信息更为直观、易于理解,也应当集成到数据仓库中。当前目标与长远目标相结合数据仓库建设不是一劳永逸的事情,应当树立长远的进展眼光。即使在建立第一个面对特定部门或特定应用的数据集市时,也肯定要保证现在使用的数据模型能够向将来所使用的全银行范围的数据存储扩展,以便于将来其他数据集市和战略性数据仓库的实现。必需在部门之间进行全都性的数据定义,并通过这些定义上的全都性协议使以后部门间的数据联合成为有效、可行。统计结果显示,数据仓库的数据量会以每年大约40%的速率增长,由于在设计阶段很难精确地预料到系统初始和将来的负载状况,所以,应当在设计开头时考虑系统可伸缩性,以便能够容纳更多的客户、进程和存储,应尽可能精确地选择与用户需求相适应的系统并适当地留出余地,以免因系统过大而超出其适用范围,白白铺张投资。不追求尽善尽美进行数据仓库建设时,在定义了系统目标、明确了关键的成功因素、合理把握了数据仓库规模的基础上,就应当尽快行动起来,尽快猎取数据仓库投资带来的回报。当客户需要更多的信息和更具体的细节时,就应马上着手进行数据仓库的进展和扩建工作,不应拘泥于“完善”不放,应在不断修改的同时不断进展。以不影响正常业务为前提由于数据仓库的查询是一种不规章的查询运作,在考虑数据仓库方案时,应以不防碍正常的银行业务处理为原则,可考虑把数据仓库的系统平台与生产系统的系统平台分隔开来,放在并行的主从服务器上分别运行。3.2方案总体框架图方式:扫瞄器对象:信息发布、网上报表、各级领导网上查询Web服务器多维分析数据挖掘RedBrick数据仓库提取过滤条件压缩清理家庭关系识别数据加载……信用卡对公系统储蓄系统方式:扫瞄器对象:信息发布、网上报表、各级领导网上查询Web服务器多维分析数据挖掘RedBrick数据仓库提取过滤条件压缩清理家庭关系识别数据加载……信用卡对公系统储蓄系统3.3系统体系结构设计为了实现各种功能,我们建议分别接受了组件技术,WEB技术,OLAP技术,并在整个应用系统的体系结构上接受了三层体系结构来进行设计。三层体系结构针对河北省工商银行数据仓库系统,我们建议接受的三层体系结构(BWD),即数据库,WEB服务器,扫瞄器表现层。早在1980年第一个数据库管理系统消灭时,数据库的世纪就已悄然开头。那时的观念是由应用程序把握关系型数据库,这种数据处理的模式一般称为单层结构(1-Tier)。由于这种结构的数据库程序占用计算机资源较多,于是在80年月中期,数据库应用开头转向C/S结构,也就是所谓的两层结构(2-Tier)。这种结构在近十年内不但得到了广泛的运用,而且相当成功。然而,在两层结构成功的背后却渐渐暴露出其构架上的缺陷。其中最明显的问题表现在应用程序的伸缩性和维护方面。例如,如何把数据库管理系统及其应用程序分散到格外缓慢的网络上,如何把握数据的统一性和完整性;一旦应用程序有任何改动,维护人员就必需修改每一个客户端上的应用。新一代数据库管理系统在传统的C/S结构中,增加了应用程序服务器――这种新的结构就是所谓的n—Tier或Multi-Tier。应用程序服务器包括了统一的界面、业务规章的制定和数据处理规律的规定等等。多层应用服务技术允许分割应用程序,本地计算机上无须安装一套数据库工具,就可以在另一台机器上存取数据。同时它允许对业务规章和进程进行集中管理,并在整个网络上分发、实现进程负载的动态调整。在三层体系结构的第三层,即表现层,可以分为三大类,应用程序的客户端,扫瞄器,第三方厂商供应的前端表现工具。组件技术在整个体系结构的设计中,我们留意了组件的应用,接受积木法来进行设计。先构筑系统的总体框架,然后构造各个构件,并依次把构件安装到系统中去。大部分应用系统,在功能上有类似之处,因而利用软件的重用技术就可以把开发过程大大简化。在确定系统总体框架、构筑总体框架、构造构件以及修改构件等阶段,都同一个叫做“软构件集合”的实体打交道,这个软构件集合也被称为“软件构件库”。在开发之初就应当着手预备这个软构件集合,比如可以搜集一些已经开发的系统的总体设计、规范、局部流程以及某些人机界面、通用功能模块、简洁开发工具。每开发出一个组件,都要把该组件及其功能、调用接口等信息放入软构件集合。我们接受ActiveX来完成组件的设计。在应用程序的客户端,扫瞄器上的ActiveX用dcom协议或CORBA协议与应用服务器进行通信,由DcomServer或CORBAServer负责向数据库提交请示,并取得相应数据。WEB技术WWW是Internet上进展最快、应用最广泛也最有用的超文本信息通信系统。服务器端通过WebServer可以供应各种服务;客户端可以通过扫瞄器(Browser)访问多种协议的多媒体信息,依据用户的需要组织和传递信息。人们可以通过WWW扫瞄器扫瞄和检索WWW站点的信息,这就使得信息的共享与沟通越来越快速、越来越便利,正由于如此,才成为了目前Internet/Intranet上信息发布与出版的重要途径。WWW的最大特色在于为用户供应良好的信息查询界面。WWW把各种形式的信息,如文本、图像、声音、视频等无缝隙地集成在一起,用户只需要提出自己的查询要求,具体到什么地方、如何取回信息都由WWW自动完成。通过扫瞄器,用户只需用鼠标点击显示屏上高亮度或有下划线的词语,就可将与该词语相关联的文件取回并显示在屏幕上,用户无需关怀这些文件存放在Internet/Intranet上的哪台计算机中。OLAP技术OLAP是On-lineAnalyticalProcess(在线分析)的首字母缩写。OLAP是使用户能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真正反映企业维特性的信息进行快速、全都、交互地存取,从而获得对数据的更深化了解的一类软件技术。OLAP的目标是满足决策支持或多维环境特定的查询或报表需求,它的技术核心是“维”的概念,因此OLAP也被称为多维数据分析。3.4系统方案的组成该方案包括:可扩展的高性能的系统硬件平台;适合简单数据分析处理的数据仓库引擎;数据抽取和转换工具;数据挖掘和分析工具;前端的商业智能工具IBM/RS6000地市网点IntranetWebServerNTServer:IISBrio.OnDemandFrontPage数据分析/挖掘数据仓库数据库:RedBrick软件:Datastage省行中心机房IBM/RS6000地市网点IntranetWebServerNTServer:IISBrio.OnDemandFrontPage数据分析/挖掘数据仓库数据库:RedBrick软件:Datastage省行中心机房RAIDRAIDInformixInformixMetaCube4.2Brio.QueryDesigner操作系统:WindowsNT/95/98操作系统:WindowsNT/95/98扫瞄器:IE、IIS软件:Brio.Insight系统软硬件配置图3.4.1数据仓库的操作系统平台和数据库平台我们选择作为数据仓库的操作系统平台。IBM作为世界范围高质量服务的UNIX系统供应商,它推出的AIX操作系统主要特征:同时支持32-位和64-位应用多线索内核;PageableKernel(动态可交换内核);JFS(日志文件系统);LVM(规律卷管理);OSLevelMirroring(操作系统镜像);SMIT(易用型管理工具,支持图形和Web);WorkloadManager(工作负荷管理)。我们选择RedBrickWarehouse作为数据仓库的数据库平台RedBrickWarehouse是一种特地的服务器技术,针对分析性数据集市解决方案、简单查询、快速加载性能、高容量/高性能以及超大数据库的有效管理等方面进行了设计和优化。关键特色:TableManagementUtility(TMU)完成全部必要的任务,以确保数据就绪,同时还支持数据转化和清洗、插入数据行、检查参照完整性、更新全部相关索引和创建聚集等功能,可以在单个加载过程中完成全部操作。ParallelTableManagementUtility(PTMU)能用SMP并行机制来大大加速数据加载,并行机制来大大加速数据加载,并行地实现全面的参照完整性检查和创建索引。数据库的设计者加以选用STAR、TARGET、以及B-Tree索引来优化他们的特定处理环境。AutoAggregateLoad与TMU或PTMU共同使用,集成聚集表并在常规的更新过程中生成。这种过程可以大大削减维护管理聚集记录的成本。STARindex将多个表连接起来,以实现最佳的查询响应力量和高性能的增量更新。STARindex接受了InformixRedBrickWarehouse独特的高级算法,可以使每个索引占据更小的磁盘空间。STARjoin一种独特的多表连接算法技巧,针对star模式优化,可以为数据仓库查询的多维分析供应更快的反应速度。TARGETindex可不断调整的TARGETindex是一种位图索引技术,特地为以极快速度从大型的表中选择记录而设计。TARGETjoin允许用户在查询中对多个表并行地接受多套限制,供应更加聚焦、更具目标的数据视图。RISQLExtensions使商务用户可以便利地利用SQL表达常见的业务问题,并进行包括排序和排列的多种形式比较。Vista一种聚集管理系统,集成于服务器内,供应了全面的聚集创建、管理和查询优化功能。它可以使频繁访问的数据更有强大的功能。ParallelonDemand防止过多的并行处理,使用户不必花费贵重的时间去优化单个的查询。DynamicIncrementalOptimization动态增量优化在查询执行过程中,利用从即时结果获得信息,重新评估和调整查询和执行方案。SuperScan使多个用户利用同一个I/O流,大大削减大量用户和查询时的I/O操作。TableSegmentation表分区可以对一个表或索引进行物理上的划分,使其分布在不同的设备或文件系统上,同时保持单个表时在管理和可用性方面的全部优势。Time-CyclicDataManagement通过将旧的数据分区清除掉,用于存储新的数据分区,挂念用户有效地处理时间敏感的数据。InformixRedBrick平安性功能通过供应层次化,基于角色的平安性和丰富的日志来支持管理、优化和计费功能,便利了大规模数据库管理。Query-PriorityConcurrcy这种独特的多任务机制特地针对决策支持环境设计,从而使查询的执行在数据更新和加载操作中不受影响。SQLBacktrack供应全面和机敏的解决方案,以快速、简捷、平安地备份和恢复数据库。InformixRedBrickWarehouseAdministrator一种图形化,基于Windows的工具,可以简化管理并提高效率。它为学习如何管理InformixRedBrickWarehouse供应便利的学习方法,并可引导有阅历的管理员完成不常见的任务。同时,它还支持“whatif”试验和增量模式进展数据抽取、转换、和装载软件-DtaStage要想实施有效的决策应用,应首先必需拥有能够从不同数据源中抽取数据、净化数据、并把数据装入数据仓库环境中的功能强大、技术成熟的工具。InformixDatastage是一套特地对多种操作数据源的数据抽取、转换和维护过程进行简化和自动化,并将其输入目标数据库的集成工具。在线分析和数据挖掘工具MetaCubeMetaCube能够:供应相关数据仓库中数据的直观、易于导航的多维视图;供应多数据库平台支持;供应一整套高级的管理工具集,简化数据仓库管理;供应全面的、基于Web的ROLAP解决方案。MetaCube的优势:在数据仓库实施中使用MetaCube能为用户带来很多好处:增加数据仓库投资的收益和回报;提高企业的学问水平和生产力;挂念决策着做出更明智的决策;更快速、更高效地把握不行猜测的、面对主题的信息;实现分布式的决策。3.4.4Web服务器WindowsNT供应了一些支持Internet和Intranet出版和访问服务的工具,例如IIS(InternetInformationServer、即Internet信息服务器),IE等。Internet上的核心网络服务之一是WorldWideWeb(WWW或Web),它为用户供应图形的,易于扫瞄的界面,使用户能够确定Internet上信息的位置,这些网面连在一起组成了一个信息网。IIS为基于WindowsNT的计算机了供应了Internet上发布资源和服务的力量,使用IIS可进行发布服务,例如超文本网页,客户机/服务器应用程序等。使用超文本传输协议(HTTP),文件传输协议(FTP)在Internet和Intranet上供应发布信息和服务。使用这些网络服务,可以发布网页,交互式应用程序,客户名目,在WWW上读取数据库。3.4.5前端分析工具:Brio产品在三层结构中的表现层,可以利用第三方厂商供应的产品实现简便,机敏的查询,报表生成功能,并利用这些工具,对数据库中的信息进行分析和查询。Brio是供应的前端表示工具,它们桌面OLAP分析的建模工具,OLAP分析工具,及对库的查询,报表的生成。Brio企业版的服务器:OnDemand服务器是一个网络应用服务器。网上进行查询、集中管理客户、平安性和“适应性报表”(AdaptiveReports)。允许使用Web的用户便利并平安的访问存在企业业务数据库、数据集市和数据仓库中的商业信息Brio的Client/Server客户端工具:BrioQueryDesigener是查询、分析及报表工具。具有数据库管理功能、平安性、审计和“存储仓库”(Repository)设置(供信息技术部门使用)Brio的Web/Intranet客户端工具:Brio.Insight是基于Web扫瞄器的查询、分析及报表工具。依据报表信息和用户平安的需要而具有不同层次的功能。3.4.6编程工具Deliphi自从Borland推出了Deliphi之后,深受程序设计人员的青睐。Deliphi的每一个新版本都给用户供应了更新、更好的功能,。例如Deliphi1.0版本给用户供应了一种全新的可视化编程环境,使用户能快速开发Windows3.1的应用程序。Deliphi2.0中增加了数据模块(DataModule)等多种高效的数据重用功能。现在每三代版本Deliphi3,4多层结构的32位快速开发工具又给开发人员带来了全新的多层结构概念,并推出了开发多层结构所需的技术和工具集。MIDAS是开发服务器级的应用程序,即体系结构中的应用服务器和表现层的抱负工具之一3.4.7网页设计工具InterDev是为有肯定编程力量的程序人员设计的网页设计软件。它供应端到端的调试功能,现场设计和管理工具,数据库连接工具,编程资源库,并可便利引入用ActiveX组件等功能。Frontpage是美化页面的工具Photoshop用来完成图片的设计第四章银行数据仓库的建设数据仓库系统与传统的OLTP系统有很大的区分,因此需要丰富的实践阅历才能保证系统的成功实施。北京天恩科技有限公司作为特地从事银行业务信息化的企业,通过多年来对银行业务的深化争辩,以其雄厚的技术实力为客户供应从系统平台、网络方案到银行应用系统全套的解决方案。天恩科技公司经过多年的银行应用软件的开发,实现了对公、储蓄及信用卡帐目的管理,并建立一套完善的办公自动化系统、风险监督系统以及其他帮助子系统。利用银行系统项目开发工作中积累了很多贵重的阅历,同时结合国外先进的数据仓库的实施方法论和数据仓库的完整框架结构,作为国内银行实施数据仓库的管理机制与技术指南。4.1面对应用的OLTP系统与面对主题的OLAP系统对银行而言,一般都针对其各项业务开发了相应的OLTP系统,用来解决银行日常的生产自动化问题,如储蓄系统、信用卡系统等。这些系统都是解决特地的业务问题数据仓库则是面对主题的,对银行来讲,客户是一个永恒的话题,要争辩客户的消费行为和心理,对客户进行各种分类,如哪些客户的信用好,哪些客户的风险大,等等诸如此类的问题。另外,银行的产品也是一个值得争辩的主题,据此来分析这些产品的市场定位等从数据库结构来看,两者的区分可以用下图来表示。生产系统生产系统贷款储蓄信用卡面对应用面对主题数据仓库系统客户产品分销渠道4.2共性化服务的定义我们首先对共性化服务进行定义,这种定义可以从客户和银行的两个方面的观点来看:对公和对私客户认为共性化服务是:银行知道我(who)在什么时间(when),需要什么产品或服务(what),以我可以接受的价格(howmuch),经由我宠爱的分销渠道(where),对我供应销售。银行的定义是:以有竞争性的产品或服务(what),在适当的时间(when),通过适当的分销渠道(where),对信用好风险低的客户(who),以合理的价格(howmuch)和利润(profitable)完成销售。两者都在精打细算的前提下,以达成自己的需求和目标。然而银行现有的信息技术和体系结构,都是以帐号为中心的客户档案和历史的交易明细,在设计时考虑以最快的速度处理业务流程的交易,所以不同业务的生产系统只储存与此应用相关的交易明细数据,其他应用的历史数据都已备份在流带或存储在不同的生产系统中,无法满足以分析为向导的共性化服务的业务需要。为不影响银行现有以业务为流程为向导的生产系统的处理速度,需要建立一套全新的数据仓库信息技术才能满足以分析为向导的共性化服务的业务需求,达成上述客户和银行的各自要求。4.3业务探究/业务发掘业务需求发掘是个简单的询问服务过程,对银行有极大的业务价值,它将促使银行确定和评价相关项目的优先级程度以及投资核算的成本,更清楚的了解自身现有什么样的数据信息、数据质量、具有什么样的IT基础架构等等。了解如何实施数据仓库解决方案实施银行的CRM方案并达到什么样的结果,这些结果将是可以定量描述的,可以在规定的时间内达到。业务需求发掘过程将由天恩科技有限公司金融业资深顾问负责,在银行信用卡部、市场部、规划部、科技部等相关业务部门的亲密协作下完成。最终业务需求发掘报告将确定银行多种业务中目前最重要的目标和达到这些目标需要的信息。4.4建立市场客户信息基础(MCIF,MarketingCustomerInformationFoundation)。MCIF是整个数据仓库应用的基础。我们将现有业务系统中有关客户的交易数据,加载到中心的市场客户信息库,建立以客户为中心的数据仓库基础环境。现有银行业务系统的设计都是以产品为中心,客户与银行的往来业务不同,需要使用不同的帐号;另外银行的业务系统随时间的演化,会增加新系统和修改旧系统,数据存放在不同的磁盘上;再者由于使用不同的数据库系统在不同的硬件平台和操作系统上运行,造成字段的名称和格式代码都不全都,数据的冗余性很高。现有这些状况,是现有生产系统无法供应业务用户进行以客户为中心数据分析的主要缘由。在市场客户信息库建立完成后,银行的各业务部门将对全行客户有统一的视图(SingleVersionofTruth),从而能够以客户为单位分析银行的业务状况,知道客户的人数,客户与银行往来的状况、客户的基本分类、了解客户的基本需求,或其他和客户有关的简单的查询与报表,如趋势分析、集群分析等。这一阶段的关键是:规律数据模型和RedBrick数据库管理系统,建立客户市场营销信息文件,供应动态查询等。4.5利用数据仓库实现的基本功能模块依据北京天恩科技有限公司在银行业多年的实践阅历,我们建议河北省工商行银行各级领导留意考虑在以下几种功能模块:报表查询与分析:调用用户发布到网上的报表模板,查询所需报表,同时,还能将已生成的报表图示化,对报表数据进行图示分析。报表查询与分析方法供应的是较为宏观的分析方法。指标查询分析:指标查询与分析方法是以指标方式进行的查询分析方法,与报表查询查询方式不同,指标查询分析供应的是较为微观的分析方法,每次关注的是一个或几个指标的状况。地理方式指标查询:该模块供应一个生动直观的地图界面,在地图界面上,用户可以选择相应的地区,该地区的经营指标,并且,还能进行图示化的对比分析、构成分析、时间序列分析等分析。该模块能通过WEB扫瞄器从网上调用。指标采摘分析:该模块供应指标之间的关联查询与分析,用户在查询到某条指标时,可以通过后台的指标关系服务器,联想也与该指标有关联的其他指标。财务分析财务比率分析:列出全部财务比率,并可以通过某项财务比率指标,进行OLAP钻取,查询到影响该比率指标的其财务指标。资产负债结构分析:银行对自己的资金从资产和负债两个方面进行统一的协调和管理,实现两者在期限和利率上的最佳组合,以确保资金的平安性和流淌性,并在此基础追求最大化利润。利用在线分析(OLAP)技术和产品建立资产负债分析的模型,供银行有关业务人员进行多维的资产负债结构分析。具体说,利用该模块,业务人员可进行如下分析:资产的总体结构分析;负债的总体结构分析;某类资产如贷款的地区结构、行业结构、品种结构、期限结构分析;某类贷款如不良代款(次级、可疑、损失贷款)的地区结构、行业结构、期限结构;某类负债如存款的地区结构、行业结构、品种结构、期限结构分析;某类存款如定期存款的地区结构、行业结构、期限结构分析等等。存款结构分析:接受OLAP技术,分析银行各项存款的分布状况,如存款行业分布,存款期限分布,存款利率分布等。现金收支分布状况分析:接受OLAP技术,分析银行现金收支分布状况。贷款结构分析:接受OLAP技术,分析银行各项贷款的分布状况。如贷款行业分布,贷款性质分布,贷款期限分布等期限匹配的资产负债差额分析:将全部资产按到期日的长短由少到多排列,按加权平均(比如以资产数额作为权重)的方法计算出资产的平均到期日。然后以同样方法计算出负债的平均到期日。两者之间的差额称为期限匹配形成的差额。若这个差额为正数,即资产的平均到期日大于负债的平均到期日,说明银行的资金应用过多了,到时侯可能消灭支付力量不足的状况,而银行却不能依靠贷款的收回来支付到期的负债,只能想方法来查找新的资金来源或调整负债结构,此时银行的经营就会消灭比较大的风险;若差额为负数,即资产的平均到期日小于负债的平均到期日,说明银行资金运用得不足,可能会消灭资金的闲置,影响银行的盈利。因此,银行应尽可能使得此差额接近于零,这样既能保证资金的流淌性,又能保持较高的盈利。该模块可自动计算该差额,并要求有关分析人员填定一份固定格式分析报告,对差额产生的缘由、可能造成的后果,以及解决的措施,作出简要的分析。从而为有关决策供应依据。决策支持这里供应所需的统计分析和决策分析功能,为银行各级决策人员供应决策支持。决策支持所要求的功能。聚类分析:该模块可供银行内部有人关人员进行银行各经营要素的聚类分析,如可以依据几个重要指标,如利润总额、存款余额、贷款余额对所辖各支行运行进行分类。相关性分析:该模块可供银行内部有关人员进行银行各经营要素间的相关性分析,如银行各类资产总额与利润总额之间相关性,各类贷款总额与利息收入总额的相关性,利率水平与存贷款总量的相关性,揭示其内在联动关系,从而为银行的有关决策供应依据。猜测分析:该系统可供银行有关人员对银行将来的经营状况进行猜测,从而为银行的有关决策供应依据。贷款需求猜测:猜测将来一段时间的贷款需求量状况。资金筹措力量猜测:猜测将来一段时间的存款余额状况。资金需求状况猜测:猜测将来的段时间的资金需求状况。今日动态这里列出银行每日管理中格外关怀的一些经营信息及分析。今日头寸:列出当日数,并可选择得到过去和猜测将来的一段时间序列曲线。今日存款余额:列出昨日末存款余额,并可得到过去和猜测将来一段时期的存款发生额、取款发生额、存款余额时间序列曲线,也可细化得到各种分类的存款余额。今日贷款余额:列出昨日末贷款余额,并可得到过去和猜测将来十天的存款发生额、取款发生额、存款余额时间序列曲线,也可细化得到各种分类存款余额。今日到期存款状况:列出今日到期的存款额今日到期贷款状况:列出今日到期的贷款额今日预警信息:对比较重要的指标设定警戒值,由预警服务器不断检测预警指标,当发觉有指标超出警戒值时,将超出警戒值的指标排列出来,以醒目(或其他能提示人留意)的方式,报告给用户。管理数据信息库:依据报表信息和用户平安的需要,对各级用户设定管理权限供应在线的联机挂念4.6更高层次的开发应用客户利润分析(ValueAnalyzer):开发和实施细化的客户利润分析模型,依据我们多年的开发阅历,将基于五个因素的利润分析模型,这五个因素是:净利润收入,其他收入,直接成本,间接成本和风险成本。客户利润分析将结合银行特有的业务和它的客户供应一套全都的,精确的利润利润分析方案。这些细化的利润分析指标可以被银行各部门,如市场、财务、规划、风险和产品管理,挂念各部门作出更合适的业务决策。建立利润评测模型,需要收入和成本的的确金额,,因此需要加载会计系统的财务数据到中心数据库中。在收入方面分两类,主要是与贷款和存款有关的净利息收入,以及和手续费年费等有关的其他收入;在费用方面分成三部分,直接成本可以是基于活动的成本核算和分摊的方式,间接成本如银行日常运行的生产成本,和风险成本如坏帐预备金的提拔等。当利润评测模型建立完成后,银行可依照组织、客户和产品三种维度分析利润贡献度。银行依照客户的利润贡献度,合理支配适当的分销渠道供应服务和销售,知道哪些有利润的客户要留住,接受什么方法留住客户,交叉销售改善客户的利润贡献度,哪些客户应当争取等。客户分段(CustomerSegmentation)分析模型可使银行真正从产品为中心转向以客户为中心。利用MCIF,动态查询和客户利润分析等来依据客户的利润状况进行分段分析。找出乐观的和消极的因素,分析不同的客户群在产品和渠道使用方面的特定方式,制定针对不同客户群的业务进展方案。客户/渠道交易行为分析(BehaviorExplorer)通过对客户交易以及所使用渠道,比如柜台、ATM、POS、CallCenter、InternetBanking等大量数据的分析来发掘客户和他们所选择的分销渠道之间的相互关系。银行的业务用户可以分析客户使用分销渠道的状况和分销渠道的容量,如客户类型与位置和渠道的关系、什么地区的渠道最受什么类型的客户喜好、银行分销渠道与产品和服务的关系、分销渠道的容量和生产力的比较、促销对客户和渠道的影响、时间段分析和比较等。该项目完成后,银行已知道客户、渠道、产品或服务三者之间的关系,了解客户的购买行为,客户和渠道对业务收入的贡献、哪些客户比较宠爱经由什么渠道在何时和银行打交道,目前的分销渠道的服务力量如何,需要增加哪些分销渠道才能达到预期的服务水平。客户关系优化(RelationshipOptimizer)它是银行在什么时间主动与客户建立更好的关系。客户关系优化将使银行能够开展一对一的市场营销活动。客户在每一次交易中假如主动地告知银行需要什么产品或服务,例如定存是期望退疗养老使用、申请信用卡需要现金消费、询问放款利息需要住房贷款等,这些都是银行供应产品或服务最好的时机。依照国外银行的阅历,客户行为的转变都是增加客户满足和银行收入的最佳时机,这些行为包括生活的转变如结婚、生小孩、搬家或继承,职业的变动如工作单位、晋升、降职、离职、调职,财政和社会保障如退休金制度、所得税规定,经济因素如利息、通货紧缩或膨胀,产品条款的转变如年费、手续费,帐号变化如余额增加或削减、开关帐号、定存到期,交易次数或金额的变化,信用透支等,银行假如在24到48小时内没有实行行动,就失去了贵重的商机。银行需要将帐号每天发生的交易明细,以实时或定时方式加载到中心数据仓库系统,核对客户行为的变化。当有上述变化时,马上生成大事,银行业务部门然后利用客户购买倾向模型、渠道喜好模型、利润贡献度模型、信用和风险评分模型等,主动地对客户沟通并进行交叉销售,达成
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 西医护理护理职业素养
- 2024-2025学年广东深圳红岭中学初三一模英语试题含答案
- 在职IT工程师网络安全防护知识指导书
- 2024-2025学年度执法资格模考模拟试题附答案详解【夺分金卷】
- 2024-2025学年全国统考教师资格考试《教育教学知识与能力(小学)》高频难、易错点题含完整答案详解(名校卷)
- 2024-2025学年度一级建造师考前冲刺试卷及答案详解(易错题)
- 2024-2025学年信阳航空职业学院单招考试文化素质数学试卷附完整答案详解【网校专用】
- 2024-2025学年度法律硕士模拟试题附答案详解【B卷】
- 2024-2025学年度公务员(国考)真题完整参考答案详解
- 2024-2025学年度机械设备制造修理人员考试历年机考真题集【综合题】附答案详解
- 中考英语1600词汇(背诵版)
- 大数据赋能企业财务分析的效率提升路径
- TD/T 1033-2012高标准基本农田建设标准
- 阳光房安装施工合同协议
- 浙商银行不良资产管理办法
- DB34-T 4521-2023 国资国企在线监管信息系统数据交换规范
- GB/T 13511.1-2025配装眼镜第1部分:单焦和多焦定配眼镜
- 2025年江西工业贸易职业技术学院单招职业技能测试题库带答案
- 邮政快递安全培训课件
- 主动防护网施工方案
- 《大学物理绪论》课件
评论
0/150
提交评论