（计算机应用技术专业论文）银行卡决策支持系统的设计与实现.pdf

i l l l l l1 1 1 1 l l li i il l l l l1 i l li l l l i ii y 1812 7 9 6 摘要 决策支持系统是支持决策活动的具有智能作用的人机系统。数据仓库、联机分析和 数据挖掘技术的产生与发展，为新一代决策支持系统提供了强有力的支持。决策支持系 统在许多领域都有广泛应用，例如金融、保险和电信等。在金融领域，快速增长的银行 卡业务作为一个新的亮点引起了各界的关注。对于银行卡业务产生的大量数据，需要进 行各种查询、分析和知识提取；而基于数据仓库的，包含了联机分析和数据挖掘的决策 支持系统无疑是解决这一问题的有效手段。本文介绍的基于数据仓库的银行卡决策支持 系统，以银行卡业务为背景，为以上问题提供了一套有效的解决方案，同时在某些技术 应用方面做出有益尝试。 本文首先介绍了决策支持系统的概况、涉及的课题背景和国内外应用现状；其次介 绍了数据仓库、联机分析和数据挖掘的定义、特征、体系结构和分类，同时对联机分析 挖掘和神经网络在数据挖掘中的应用进行了讨论。 接下来本文详细分析了银行卡业务和数据模型，并且根据业务需求，设计了数据仓 库的元数据结构、概念模型、逻辑模型和物理模型。这一过程包含了主题划分、数据组 织、数据采集和集成的策略等。然后介绍了本研究室的数据仓库建立工具，和利用该工 具建立银行卡数据仓库的过程。本部分包含了需求分析、设计、建立实例等步骤，完成 了银行卡数据仓库的设计与实觋，是全文的重点之一。 本文的下一部分介绍了基于数据仓库的银行卡决策支持系统的应用。该决策支持系 统包括了联机分析平台和数据挖掘模块。本部分重点讨论的是挖掘模块中的时间序列预 测功能的实现和在银行卡趋势预测中的应用。主要包括神经网络b p 算法结构原理介绍、 b p 算法在时间序列预测上的应用、一个预测实例及其结果分析、时间序列预测在本系统 中的意义等。同时我们介绍了包括时间序列预测功能在内的挖掘模块的其他功能。本部 分利用b p 算法进行时间序列的趋势预测，并且进行了学习效果检验，收到良好效果，有 广阔的应用前景。本部分也是全文的另一个重点。 本文最后对全文所做工作做出总结，并且对下一步工作进行了展望。 关键词；决策支持系统；数据仓库：联机分析；数据挖掘；b p 算法；时间序列预测 -r a b s t r a c t d e c i s i o ns u p p o r t i n gs y s t e m ( d s s ) i sa l li n t e l l i g e n tm a n - m a c h i n es y s t e ma s s i s t i n gi n d e c i s i o n - m a k i n g d a t aw a r e h o u s e ( d w ) ，o l a pa n dd a t am i n i n g ( d m ) a r et h r e eb a s i c e l e m e n t so fn e wd s s d s si sw i d e l ya p p l i e di nm a n yf i e l d ss u c ha sf i n a n c e ，i n s u r a n c e ， t e l e c o ma n ds oo n t h er a p i d l y - d e v e l o p e dc r e d i tc a r ds y s t e mi nt h ef i e l do ff i n a n c ei s i n c r e a s i n g l ya t t r a c t i n gp u b l i c a t t e n t i o n a n dav a r i e t yo fq u e r y , a n a l y s i sa n dk n o w l e d g e d i s c o v e r ya r en e e d e di nt h es y s t e m t h e ni ti sa ne f f e c t i v ew a yt os o l v et h ep r o b l e m sw i md s s b a s i n g o nd w ，o l a pa n dd mt e c h n o l o g y w i t l lt h ea p p l i c a t i o nb a c k g r o u n do ft h e d e v e l o p m e n to fb a n ko fc o m m u n i c a f i o n sq i n g d a ob r a n c h c r e d i tc a r dd s ss y s t e m w h i c h i sb a s e do nd w t e c h n o l o g y , as o l u t i o nf o rt h e s ep r o b l e m si si n t r o d u c e di nt h ep a p e r d e f i n i t i o n s ，c h a r a c t e r sa n da r c h i t e c t u r e so fd s s ，d w , o l a pa n dd ma r ei n t r o d u c e di n t h ep a p e r , a n dt h ea p p l i c a t i o nb a c k g r o u n di sa l s oi n d i c a t e d i na d d i t i o n ，o l a ma n d a p p l i c a t i o no fn e u r a ln e t w o r k o nd w a r ea l s om e n t i o n e d c r e d i tc a r ds y s t e mo ft h eb a n ki sa n a l y z e di nt h ep a p e rt o g e t h e rw i t hi t sd a t am o d e l t h e d e s i g no fm e t a d a t am o d e l ，c o n c e p t u a lm o d e l ，l o g i c a lm o d e la n dp h y s i c a lm o d e la r ea l s o d i s c u s s e da c c o r d i n gt ot h e a n a l y s i sa b o v e ，n l ed e s i g ni n c l u d e ss u b je c tp a r t i t i o n ，d a t a o r g a n i z i n g ，d a t ac o l l e c t i o na n da g g r e g a t i o ns t r a t e g y m o r e o v e r , a ne x a m p l eo fb u i l d i n gc r e d i t c a r dd ws y s t e mb vd wt o o l si ss h o w ni nt h i sp a r t t h ed e s i g na n dr e a l i z a t i o ns c h e m eo ft h e c r e d i tc a r dd wa r eg i v e ni nt h i ss e c t i o n ，w h i c hi so n eo ft h ee m p h a s e so ft h ep a p e r t h ea p p l i c a t i o no fd s ss y s t e mo nc r e d i tc a r dd wi sa n o t h e re m p h a s i so ft h ep a p e r t h e a p p l i c a t i o no ft i m es e r i e sf o r e c a s t i n go nc r e d i tc a r dd s ss y s t e mb a s i n go nd w t e c h n o l o g yi s d i s c u s s e di nt h ep a p e r t i m es e r i e sf o r e c a s t i n gi so n eo ft h ei m p o r t a n tf u n c t i o no fd m ，a n dt h e r e a l i z a t i o ns c h e m eo ft h ef u n c t i o nb yb pa r i t h m e t i ci sg i v e ni nt h ep a p e r t h i sp a r ti s c o m p o s e do f5s e c t i o n s ：i n t r o d u c t i o no fb pa r i t h m e t i ca n dn n ，a p p l i c a t i o no nt i m es e r i e s f o r e c a s t i n g ，a ne x a m p l ea n dr e s u l ta n a l y s i s ，v a l u eo ft h ef u n c t i o n ，a n di n t r o d u c t i o no fo t h e r f u n c t i o n so fd mp l a t f o r m a p p l i c a t i o no fd mo nd a t aw a r e h o u s ei san e wf i e l dw h i c hw i l l u n d o u b t e d l yh a sap r o m i s i n gf u t u r e 。t h ec o n c l u s i o na n de x p e c t a t i o na r eg i v e ni nt h ep a p e ri n t h ee n d k e y w o r d s ：d e c j s i o ns u p p o r t i n gs y s t e m ；d a t aw a r e h o u s e ：o l a p ；d a t am i n i n g ： b pa r i t h m e t i c ：t i m es e r i e sf o r e c a s t ；n g i i 目次 0 0 前言1月i j 置1 1 决策支持系统概述1 1 1 决策支持系统定义与特征1 1 2 决策支持系统体系结构1 1 3 研究内容及现状2 1 4 本文的课题背景2 1 5 本文的主要工作及内容安排3 2 数据仓库系统概述5 2 1 数据仓库的定义与特征5 2 2 数据仓库的体系结构5 2 3 研究内容及国内外现状一7 3 联机分析及数据挖掘概述8 3 1 联机分析定义与特征8 3 2 联机分析的体系结构和分类9 3 3 数据挖掘与相关算法介绍一1 0 3 3 1 数据挖掘介绍1 0 3 3 2 神经网络b p 算法简介1 1 3 3 3 神经网络算法与o l a p 、d m 之间关系1 2 3 3 4 目前应用现状1 3 4 业务模型分析与设计1 5 4 1 银行卡业务分析1 5 4 1 1 业务概况分析：1 5 4 1 2 源数据库结构分析1 6 4 2 银行卡数据仓库设计1 8 4 2 1 元数据的设计1 8 4 2 2 概念模型设计1 9 4 2 3 逻辑模型设计一2 1 4 2 4 物理模型设计2 6 5 基于数据仓库的银行卡d s s 系统实现3 2 5 1 系统体系结构。3 2 l j | ， 5 2 数据仓库的构建3 2 5 2 1 数据仓库建立工具介绍3 2 5 2 2 银行卡数据仓库建立实例3 3 5 3 联机分析的构建j 3 7 5 3 ，1 联机分析工具介绍3 7 5 3 2 联机分析应用实例3 8 5 4 数据挖掘功能的构建3 9 5 4 i b p 网络的结构与原理3 9 5 4 2 在时间序列预测上的应用j 4 2 5 4 3 预测实例数据结果及分析4 4 5 4 4 预测结果的意义4 7 5 4 5 联机分析挖掘平台介绍4 8 6 结论与展望4 9 6 1 总结全文4 9 6 2 下一步工作4 9 6 2 1 技术平台的移植4 9 6 2 2 挖掘功能的强化一5 0 6 2 3 应用领域的拓展5 0 参考文献5 1 致谢5 4 攻读硕士学位期间参加的科研项目与发表的学术论文5 5 工v j _ l 。- 一 u 月i j 旨 随着市场竞争的加剧和信息社会需求的发展，从大量数据中提取制定市场策略的信 息来辅助决策显得越来越重要，决策支持系统【1 1 应运而生。当前的决策支持系统涉及大 量用于决策的数据，传统的数据库系统已无法完全满足这种需求。数据仓库是计算机应 用领域的新概念，是一个面向信息管理的方法，旨在通过通畅、合理、全面的信息管理， 达到有效的决策支持。数据仓库是面向主题的、集成的、随时间变化的、稳定的数据集 合，是建立在业务系统的海量数据基础上的。为了在大量的数据中迅速、准确地提取出 有助于决策的信息，就需要建立一个全局化的、综合的信息集成和预测、分析系统，这 种有效的机制称为数据仓库1 6 j 。 1 9 9 3 年“关系数据库之父”e f c o d d 提出了联机分析处理( o n l i n ea n a l y t i c a l p r o c e s s i n g ，简称o l a p ) 的概念，联机分析处理是以多维分析为基础，刻画了在管理和 决策过程中对数据进行多层面、多角度的分析处理的要求【l4 1 。联机分析是指对数据进行 一系列交互的查询过程，在这一过程中对数据进行多层次、多阶段的分析处理，获得高 度归纳的信息。联机分析可以建立在集成的数据环境即数据仓库之上，进行更加高效率 的分析。 由于数据仓库的出现，使得海量数据的存储成为可能。数据挖掘是指计算机以确定 的算法和大量历史数据为基础，经过对数据的清洗和预处理，进行发掘，最终发现数据 记录中隐藏的大量规律，得到知识，从而辅助决策的制定。数据挖掘技术是目前发展极 为迅速的一个研究领域，结合了机器学习，统计分析和数据库、数据仓库技术，能够高 度自动化地分析原有数据，做出归纳性的推理，帮助决策者最终认识数据的真正价值。 数据仓库将决策支持所需的信息从企业的日常营运数据中分离出来，为决策支持提 供一个更好的环境。联机分析是在此之上的分析、查询、统计工具，是决策支持的有效 支撑。而数据挖掘则能够在数据仓库集成数据环境下进行规则提取和知识发现，是决策 支持的有力工具。同时数据挖掘的某些预测结果由联机分析来进行验证。数据仓库的集 成数据环境、联机分析的分析功能和数据挖掘的知识发现工具是高效的智能决策支持系 统不可缺少的组成部分。 在金融、保险、电信等领域，企业在多年的业务过程中积累了大量的数据，如何将 这些数据有效地用于分析、查询、知识提取，最终提供有效决策支持，是急需解决的一 个问题。本文给出一种解决这一问题的方案，以建立行业数据仓库为基础，并在此之上 构建决策支持系统，包括联机分析和数据挖掘功能。希望以此能够盘活积累的大量数据， 提高分析统计能力，达到辅助决策的目的。本文以青岛交通银行银行卡业务系统为研究 背景，综合运用数据仓库、联机分析和数据挖掘技术，建立银行卡决策支持系统并付诸应 用，为卡管理人员提供了有效的决策支持手段。本文阐述了系统的体系结构、功能描述 及其各组成部分的设计实现方案。 j 1 决策支持系统概述 1 1 决策支持系统定义与特征 决策支持系绀1 1 ( d e c i s i o ns u p p o r t i n gs y s t e m ，简记为d s s ) ，是以管理科学、运 筹学、控制论和行为科学为基础，以计算机技术、仿真技术和信息技术为手段，针对半 结构化的决策问题，支持决策活动的具有智能作用的人机系统。 d s s 的基本特钳z j l 3 j 可以描述为以下几个方面： ( 1 ) 决策支持系统帮助管理者完成结构化程度不高、说明不够充分的问题。这些问 题很少得到或得不到m i s 的支持，而d s s 可以解决一部分分析工作的系统化问题，但对 这一过程的控制还需要决策者的洞察力和判断力。 ( 2 ) 决策支持系统能够把模型或分析技术与传统的数据存取技术及检索技术结合 起来。 ( 3 ) 决策支持系统是一个人机交互系统，它通过人机交互接口为决策者提供辅助功 能，交互式的友好的接口易于为非计算机专业人员使用。 ( 4 ) 决策支持系统强调对环境及用户决策方法改变的灵活性和适应性。决策支持系 统能在整个决策过程中，根据决策者的需要在不同阶段提供不同形式的帮助。 ( 5 ) 决策支持系统是辅助和支持管理者进行决策，而不是代替管理者进行判断。因 此，不应试图由计算机提供“答案”，也不应强加给决策者一套预先规定的分析程序。决 策支持系统是跟踪和适应人的决策过程，而不是要求人去适应系统。 1 2 决策支持系统体系结构 图1 决策支持结构模型 f i g u r e1a r c h i t e c t u r eo fd s s l 银行卡决策支持系统的设计与实现 决策支持系统本身也在不断发展之中，如图1 所示为决策支持系统体系结构【4 j 例， 由数据仓库、联机分析和数据挖掘几部分组成。底层的数据仓库是整个决策支持系统的 基础数据平台，在元数据指导下，通过对业务数据进行抽取、集成和转换，以主题形式 进行组织，存放到数据仓库中。联机分析和数据挖掘是整个决策支持系统的顶层分析工 具，对数据仓库中的主题数据进行各种查询、分析和挖掘，将得到的知识用于辅助用户 进行各种决策。各个组成部分的具体结构和实现将在后续章节进行详细阐述。 1 3 研究内容及现状 + 随着数据库应用的不断推广和各种应用不断开展，对数据的处理呈现多层次的特点。 l 数据处理一般可以分为事务处理和分析处理。事务处理一般都是用于业务系统日常操作， 这种环境要求有较好的系统响应性能。分析处理一般用于决策分析。传统的d s s 一般是 建立在事务处理的环境下，随着用户对信息需求的不断增强，一些问题渐渐显露【5 j ： ( 1 ) 传统d s s 面向事务处理，事务型环境下的数据很难适应较大规模处理，并且数据 未经集成，缺乏可靠性，不适应大规模的d s s 数据分析处理。 ( 2 ) 传统d s s 缺乏有力的分析工具，往往停留在理论方法上，缺乏有效的分析工具。 ( 3 ) 事务处理的大量细节数据影响进一步决策支持的效率，缺乏有效综合。 ( 4 ) 传统的d s s 没有充足的数据源支持，缺乏充足的历史数据和集中的数据组织。 决策支持系统的功能是灵活可伸缩的，数据仓库、联机分析和数据挖掘技术为新一 代决策支持系统提供了有效的解决方案。鉴于此，本文设计的决策支持系统就是建立在 集成，综合的数据环境之上的，即建立在数据仓库之上的，具体包含了联机分析模块和 数据挖掘模块。由于引入了新的数据环境一一数据仓库，联机分析和数据挖掘有了更加 高效而又清洁的数据源，大大提升了决策支持的效率。目前基于数据仓库环境的决策支 持系统已经开始应用，在金融、保险等领域，在数据大集中完成之后，数据仓库和决策 支持的应用已经成为了一个热点。本文的背景为金融领域中银行卡决策支持系统项目， 该系统建立在数据仓库基础上，以联机分析和数据挖掘模块为主要决策支持手段。 在实际商用领域，近年来出现了很多用于完成实际决策问题所需的各种查询检索工 具、多维数据的o l a p 分析工具、d m 工具等，为实现决策支持系统的各种要求提供了支 持。主要的通用产品有：i b md b 2 的i n t e l l i g e n tm i n e r 、d b m i n e rt e c h n o l o g y 的d b m i n e r 、 s a s 的e n t e r p r i s em i n e r 、s p s s 的c l e m e n t i n e 产品。这类产品的特点是提供多种数据 挖掘算法，同时也包括数据的转化和可视化，并不面向特定的应用，而是通用的算法集 合。同时也有大量纵向决策支持工具及方案，主要提供商有k d l ( 主要用于零售业) 、 o p t i o n s & c h o i c e ( 主要用于保险业) 和h n c ( 欺诈行为侦测) 等。这种纵向解决方案有 很强的针对性，能够满足特定需求，但是在灵活性和适应性方面不够。在国内许多领域， 基于数据仓库的决策支持系统也开始从理论走向应用，例如在银行领域，出现了不少用 于分析银行海量数据的d s s 。在本文涉及的银行卡领域，应用也开始展开，例如复旦德 门已经有了成型的基于数据仓库的d s s 系统。 1 4 本文的课题背景 交通银行青岛分行是一家国有省级商业银行。该行发行的太平洋卡是一种以人民币 2 第一章决策支持系统概述 结算的金融支付工具，持卡人可依据其发卡银行账户的存款额在特约商户直接消费或在 交行营业网点办理存、取款及转账。随着银行卡业务的发展，银行积累了大量的客户交 易数据，如何利用客户的特征数据和行为数据，获得客户的行为模式，从而更好地为客 户服务，是银行卡分析需要迫切解决的问题。当前的银行卡分析大多采用传统的统计技 术，这些技术是验证型的技术，难以系统地分析数据和获得隐藏在数据背后的知识。为 此，受该行委托，针对以上问题，我们开发了基于数据仓库的银行卡决策支持系统。本 系统通过对大量银行卡业务数据进行抽取集成转换，建立了银行卡数据仓库，以星型 雪花混合模型进行建模，以主题形式组织数据，在此基础上综合运用0 l a p ( 联机分析) 和d m ( 数据挖掘) 技术对各个主题进行分析与知识挖掘，得到知识用于辅助用户进行决 策。 本文在数据仓库、联机分析和数据挖掘技术的实际应用方面，进行了一定的探索， 设计并实现了银行卡决策支持系统。通过这个系统，我们希望能够帮助使用者提高决策 的科学性、高效性，把握业务发展的趋势，挖掘隐藏在业务数据中的一些内在规律，对 业务发展进行分析及预测，从而建立从业务数据到分析数据再到决策支持的有效途径， 获得竞争优势。 具体针对交通银行银行卡系统，我们希望能达到以下几个目标：1 ) 利用集成的数据 和分析系统科学指导市场决策，避免决策的随机性和盲目性；2 ) 利用分析和预测功能对 某些业务进行量化评估，控制信贷风险，平衡收支；3 ) 利用分析功能对客户及客户服务 进行分析，发现重点客户群，细分服务等级；4 ) 对资金运营情况进行及时的监督分析。 同时也希望我们设计和实现的这套系统具有较好的适应性和较长的生命周期。为将 来可能的升级与应用于新的领域打好基础。 1 5 本文的主要工作及内容安排 针对银行卡决策支持系统各个组成部分一一数据仓库、联机分析和数据挖掘，我们 做了如下的设计、开发和研究工作： 1 ) 根据业务资料和原始数据理清业务脉络，并结合需求确定需要分析的主题和元数 据。 2 ) 确定综合数据库的结构，使用本实验室的数据仓库管理系统中数据采集工具进行 数据采集，这里的综合数据库是指在业务数据库和数据仓库之间建立的中间数据 库。 一 3 ) 设计并最终确定银行卡数据仓库的结构，确定抽取策略并利用本研究室的数据仓 库管理系统中e t lt 具，按照确定的主题进行数据清洗、集成。 4 ) 开发并完善基于数据仓库的联机分析子系统，并在此基础上新增挖掘模块，使其 不仅具有完备的0 l a p 功能，同时也能完成的某些数据挖掘工作。 在研究室开发本系统的过程中，本人完成了数据及业务分析，数据仓库的设计、建 立和联机分析、数据挖掘的部分开发，尤其在联机分析系统完善和挖掘模块实现中融入 了自己的研究内容，具有一定的实用价值。 该系统已成功应用于青岛交通银行银行卡业务系统当中，为相关分析人员提供了有 序列预测的实现 0 步研究和解决的 2 数据仓库系统概述 2 1 数据仓库的定义与特征 数据仓库( d a t aw a r e h o u s e ，简称d w ) 之父w h i n m o n 指出数据仓库是面向主题的、 集成的、随时间变化的、稳定的数据集合，用于支持管理层的决策制定【6 】【7 】【8 】【1 2 】【1 3 】。数 据仓库将分布在企业不同站点的事务型数据经过采集和清洗等处理后集成到一起并加以 管理，从而有效地为决策者提供各种类型的、有效的数据分析，起到决策支持的作用。 在数据仓库的基础之上，可以建立多种分析决策工具，如o l a p ( 联机分析处理) 和数据 挖掘工具等，以提供各种决策支持服务。 1 ) 面向主题的 数据仓库中的数据是根据面向主题的方式组织的，与传统数据库面向应用相对应。 主题是用户所关心的数据对象，每个主题基本上对应一个宏观分析领域，如客户、商店 等。在o l t p 系统中数据是根据业务流程进行组织的。而在数据仓库中数据是根据主题组 织的，同一主题的数据往往在一个事实表中，并且只有符合主题的数据才可进入数据仓 库。基于主题组织的数据被划分成为各自独立的领域，每个领域有自己的逻辑内涵互不 交叉。 2 ) 集成的 数据仓库中的数据是集成的。数据仓库的源数据可能是跨操作系统，跨数据库，跨 存储媒体，跨数据媒体的，这些源数据在进入数据仓库之前必须经过加工清洗和集成。 首先，要统一原始数据中的所有矛盾之处，还要进行数据综合和计算，总之要将原始数 据结构做一个面向应用到面向主题的转变。比如业务系统一天就产生几万条源数据，在 进入数据仓库时需依据用户的辅助决策需求进行综合汇总运算，这样的预处理就节省了 用户查询时所需的时间，也提高了查询的速度。 3 ) 随时间变化的 数据仓库中的数据是随时间变化的。数据仓库中的数据并不只是关于企业当时或某 一时间点的信息，而是记录了企业从过去某一时间点到目前的各个阶段的信息。当业务 系统产生新的数据时，数据仓库经常是以周为单位从业务系统中抽取数据。同时当数据 仓库中的数据历史年代太久远，缺乏参考价值时，也会把这些数据从数据仓库中删掉。 数据仓库中的数据是有一定的生命周期的。 4 ) 稳定的 数据仓库的数据不是实时更新的，但并不是永远不变的，也要随着时间的变化不断 地更新、增删和重新综合。数据仓库保存数据时限较长是为了适应d s s 进行趋势分析的 要求。数据一旦进入数据仓库以后，一般情况下将长期保留，直到数据的生命周期结束 为止。 2 2 数据仓库的体系结构 数据仓库系统的体系结构如图2 所示【9 】。 银行卡决策支持系统的设计与实现 ! 东二z - 匿弋嫂。篓兰弋蝌一弋多z 兀 数据 仓库 数_ - 管理 系统 据 h f ：= = = = i 数据集市 i 数据存储层 - - - _ - _ - _ _ _ _ 。_ _ _ - _ ， 四 【e t l 模块1 综合数据库 - 【数据桑集模块 图2 数据仓库体系结构 f i g u r e2a r c h i t e c t u r eo fd a t aw a r e h o u s e 数据获取层 源数据层 数据仓库的体系结构从总体上可分为源数据层、数据仓库层与客户端层。 数据源是数据仓库系统的基础，是整个系统的数据源泉，数据源本身可以是异构的、 分布的，可以来源于多种渠道，包括o l t p 系统中的数据、报告及各种文档之类的外部数 据和知识库等。 数据仓库层又可细分为数据获取层和数据存储层。 由于源数据将不断地进行更新，因此需要数据采集模块把分散在各数据源中的数据 按照预定的方式录入到综合数据库。决策分析需要大量经过良好组织和综合的数据，数 据挖掘尤其依赖于经过一定预处理的清洁的数据。e t l ( e x t r a c tt r a n s p o r tl o a d ) 模块 将综合数据库中数据进行抽取、转换、清洗和汇总，装载到数据仓库中去。这些工作由 数据获取层来完成。 数据存储层就是数据仓库本身，还可以包含若干个数据集市。数据仓库中的数据是 面向主题进行组织的。针对不同的用户群，从数据仓库中提取数据，生成主题化更高、 聚集程度更大的数据集市分发给各用户群以供有较大差异的用户群使用。数据集市是数 据仓库内容的子集，包含针对部门级或特定业务领域的数据，适合部门级的业务需求并 为特定用户服务1 6 j 。 客户端层包含决策支持( d s s ) 、联机分析( o l a p ) 和数据挖掘( d m ) 。该层是整个模 型中的最高层，也是用户最关心的一层。数据仓库中的大量集成数据要为用户所用，所 用的基于数据仓库和数据集市的联机分析、数据挖掘和决策支持功能就在这一层通过各 种分析和挖掘工具来实现。 元数据是关于数据的数据，用于存储数据模型i l o l 和定义数据结构、转换规则、仓库 结构、控制信息等。数据仓库层中的数据仓库管理系统通过元数据控制数据采集模块、 e t l 模块进行数据采集和集成，并对进入数据仓库和数据集市中的数据进行管理。 6 第二章数据仓库系统概述 2 3 研究内容及国内外现状 作为一个新兴领域，数据仓库技术已经取得了长足的进展，出现了不胜枚举的商业 系统和工具。比如c a ( c o m p u t e ra s s o c i a t e s ) 公司的d e c i s i o nb a s e 、i b m 公司的d b 2 、 o r a c l e 公司的o r a c l ew a r e h o u s eb u il d e r 、i n f o r m i x 的d a t a s t a g e 、微软的s q ls e r v e r 以及n c r ( n a t i o n a lc a s hr e g i s t e r ) 公司的s c a l a b l ed a t aw a r e h o u s e 等都提供了各 自的数据仓库解决方案，在业界出现了百家争鸣的局面。 目前，数据仓库技术已经在证券业、银行领域、税务领域、保险业、控制金融风险 领域、客户服务及营销领域、保健领域、高端信息系统领域、空间信息领域得到了广泛 的应用。在国内，数据仓库技术也已经得到了初步的应用。如深圳国信证券，菲奈特与 深圳华安保险公司，中国银行省、市两级金融管理信息系统采用数据仓库技术，南京市 利用数据仓库技术实施贷款证制度等。 数据仓库技术的研究方兴未艾，但是业界尚不存在可靠的、完善的、被广泛接受的 数据仓库标准i l ，影响了数据仓库项目的实施。数据仓库技术以及o l a p 、d m 应用还缺 乏准确的、共同认可的数学理论基础与数据模型【1 0 1 。同时又在各个领域有着大量的灵活 的需求，尤其是在金融、保险、电力等领域。在这种背景下，在了解银行卡业务，熟悉 其数据的基础上，我们开发的这套基于数据仓库的银行卡决策支持系统，建立了一个比 较完备的银行卡数据仓库，同时我们将神经网络等算法应用在挖掘模块中，收到了不错 的效果，较好的满足了委托方提出的需求，可以说是在传统d s s 之上的一个补充和有益 尝试。 3 联机分析及数据挖掘概述 3 1 联机分析定义与特征 联机分析处理o l a p ( o n l i n ea n a l y t i c a lp r o c e s s i n g ) 最早是由关系型数据库技术 的泰斗之一的e f c o d d 在1 9 9 3 年提出的。他指出联机分析处理是以多维分析为基础， 刻画了在管理和决策过程中对数据进行多层面、多角度的分析处理的要求【1 4 】【1 5 】。他所提 出的联机分析处理概念，明确描述了信息处理技术的一个新领域。 o l a p 是一类软件技术，它使分析人员、经理、管理人员从多种可能的观察角度对信 息进行快速、一致和交互性的存取以获得对信息的深入理解。根据o l a pc o u n c i l 的白皮 书的定义【l3 j 【l 酬，o l a p 技术可以对存放在数据库中的数据进行分析处理，并以多维视图的 形式呈现给数据分析人员、管理人员等需要对原始数据进行统计分析的用户。这种以“事 实”为中心的多维视图比传统的二维关系模型更能真实、直观的反映出现实中某一实体 与其他相关实体之间的关系。因此，用户通过o l a p 技术这一快速而又可靠的途径可以方 便的对数据进行更深入的访问，获取隐藏在海量数据中的重要信息。 o l a p 的特征可以概括为多维性( m u l t i d i m e n s i o n a l ) 、快速响应性( f a s t ) 、分析性 ( a n a l y s i s ) 、信息性( i n f o r m a t i o n a l ) 和共享性( s h a r e d ) 【l7 。 1 ) o l a p 的显著特征是它能提供数据的多维视图。数据仓库中数据的多维组织方式 使得o l a p 的多维视图成为可能。在现实世界中人们观察分析问题时是从多个不同的角度 出发，而o l a p 就是模仿人们的这种观察方式，对数据仓库中的数据建立多维视图的查询 方式。多维视图使用户可以从多角度、多侧面、多层次考察数据库中的数据，从而深入 理解包含在数据中的信息和内涵。以多维视图的方式把数据呈现给用户，既迎合了用户 的思维模式，方便了用户的操作，又减少了用户出错的可能性。 2 ) o l a p 的第二个特征是它能快速响应用户的分析请求。数据仓库中的数据经过预 处理操作，其中大多是综合汇总数据，这使得联机分析处理可以快速响应用户的分析请 求。 3 ) o l a p 的第三个特征是它的分析功能。系统应能处理与应用有关的任何逻辑分析 和统计分析，用户无需编程就可以定义新的专门计算，将其作为分析的一部分，并以用户 理想的方式给出报告。用户可以在o l a p 平台上进行数据分析，也可以连接到其他外部分 析工具上，同时应提供灵活开放的报表处理功能，以保存分析结果。o l a p 提供给用户的 基本操作有切片( s 1 i c e ) 、切块( d i c e ) 、向上钻取( d r i l l - u p ) 、向下钻取( d r i l l d o w n ) 、 旋转( p i v o t ) 。它还提供给用户强大的统计分析功能( 如时间序列分析、成本分配、货币 兑换、非过程化建模、多维结构的随机变化等) 和报表功能，及回答用户提出的“假设 一分析 ( w h a t - i f ) 问题。 4 ) o l a p 的第四个特征是它的信息性，指o l a p 分析所需的数据及其导出的有用信息。 不论数据量有多大，也不管数据存储在何处，o l a p 系统应能及时获得信息，并且管理大容 量信息。这里有许多因素需要考虑，如数据的可复制性、可利用的磁盘空间、o l a p 产品 的性能及与数据仓库的结合度等。 5 ) o l a p 的第五个特征是它的共享性。这意味着系统要能够符合数据保密的安全要 8 第三章联机分析及数据挖掘概述 求，即使多个用户同时使用，也能够根据用户所属的安全级别，让他们只能看到他们应 该看到的信息。 3 2 联机分析的体系结构和分类 联机分析系统的体系结构如图3 所示【6 】。o l a p 是一种多用户的结构，该结构的优点 在于将业务逻辑，g u i 及d b m s 严格区分开，复杂的应用处理不是分布于网络上的众多p c 机上，而是集中存放在o l a p 服务器上，由服务器提供高效的数据存取，安排后台处理以 及报表的预处理。它由数据源( 数据仓库或o l t p 数据库) 、o l a f 服务器、o l a p 客户机及 客户端应用软件组成。 o l t p 数据库o l a p 服务器w e b 服务器客户端软件 图3 联机分析体系结构 f i g u r e3a r c h i t e c t u r eo fo l a ps y s t e m o l a p 是以数据仓库或数据库为基础的，其数据源是底层的o l t p 数据库系统，数据 仓库是o l a p 的主要的数据源。这是因为o l a p 要求对用户的任何分析请求都要在一个稳 定一致的时间范围内给予响应。底层o l t p 数据库在需要时( 如企业数据仓库还未建立好 时) 也可为o l a p 的分析操作提供数据。 o l a p 服务器是专门为支持和操作多维数据结构而设计的高性能、多用户数据处理引 擎。o l a p 服务器可以迅速地响应用户的各种分析要求，并能根据数据之间公式化的关系 对数据进行快速、灵活的计算和转换。如果客户端存在于广域网上，o l a p 服务器和客户 端之间还可以存在w e b 服务器，作为处理其他客户请求的工具。客户请求经过各类w e b 服务器最终到达o l a p 服务器的时候一般都体现为各种脚本语句。 o l a p 客户端是指用户所使用的各种应用软件。这些软件可以从o l a p 服务器得到所 需的数据切片并提供二维或多维的显示。用户可以利用这些软件对数据进行更改、选择、 复杂的计算等操作。客户端也可以是其他查询和报告工具、分析工具和数据挖掘工具( 比 如趋势分析、预测工具等) 。o l a p 客户端操作的对象是数据仓库和数据集市中的数据立 方体( d a t ac u b e ) ，它是数据仓库和联机分析处理的核心概念之一，是多维数据库和以多 维分析为基础的联机分析处理技术的核心机制【1 8 j 【l9 j 【2 0 】。 o l a p 系统按照其存储器的数据存储格式可以分为关系o l a p ( r e l a t i o n a lo l a p ，简 9 银行卡决策支持系统的设计与实现 称r o l a p ) 、多维o l a p ( m u l t i d i m e n s i o n a lo l a p ，简称m o l a p ) 和混合型o l a p ( h y b r i do l a p ， 简称h o l a p ) 三种类型【o 儿引j 。 1 ) r o l a p r o l a p 以关系数据库为核心，用关系数据库中二维表来组织数据，表达多维概念。 r o l a p 一般采用星型模型和雪花模型来组织数据。r o l a p 将分析用的多维数据存储在关系 数据库中，并根据应用的需要有选择的定义一批实视图作为表，存储在关系数据库中。 不必要将每一个s q l 查询都作为实视图保存，只定义那些应用频率比较高、计算工作量 比较大的查询作为实视图。对每个针对o l a p 服务器的查询，优先利用已经计算好的实视 图来生成查询结果以提高查询效率。 2 ) m o l a p m o l a p 将o l a p 分析所用到的多维数据物理上存储为多维数组的形式，形成“立方 体”的结构。维的属性值被映射成多维数组的下标值或下标的范围，而总结数据作为多 维数组的值存储在数组的单元中。由于m o l a p 采用了新的存储结构，从物理层实现起， 因此又称为物理o l a p ( p h y s i c a lo l a p ) ：而r o l a p 主要通过一些软件工具或中间软件实 现，物理层仍采用关系数据库的存储结构，因此称为虚拟o l a p ( v i r t u a l0 l a p ) 。 3 ) h o l a p 由于m o l a p 和r o l a p 有着各自的优点和缺点，且它们的结构迥然不同，这给分析人员 设计o l a p 结构提出了难题。为此一个新的o l a p 结构混合型o l a p ( h o l a p ) 被提出， 它能把m o l a p 和r o l a p 两种结构的优点结合起来。迄今为止，对h o l a p 还没有一个正式 的定义。但很明显，h o l a p 结构不应该是m o l a p 与r o l a p 结构的简单