（计算机应用技术专业论文）基于数据仓库的数据挖掘与联机分析处理.pdf

摘要 随着各个行业尤其是金融企业中计算机应用范围的扩展，用户对于计 算机的应用提 出了更高的要求。用户越来越不仅仅满足于对于事务处理的 电子化与 自动化 ，还希望能够 更多的对于数据进行分析 、统计、趋势预测， 从而对于用户的经营 决策提供支持 。在这个背景下，对于数据仓库及其相 关技术的研究的需求就变得 日益紧迫，而且也必定发挥越来越大的作用。 本文是以基于数据仓库技术的金融企业客户关系管理系统为基础，从 数据仓库软件系统开发方法，数据仓库存储模型设计，联机分析处理技术， 数据挖掘技术等多个角度介绍了数据仓库软件系统相关的技术。 其 中，在数据仓库软件 系统开发方法论角度 ，介绍 了数据仓库软件系 统和传统的事务处理系统开发方式的不同，着重介绍了数据仓库软件系统 常用的螺旋式开发模型的开发过程和步骤。 在数据仓库存储模型角度，介绍了数据仓库的基本概念，存储模型设 计的方法和原则，以及数据仓库数据抽取的相关技术等等。 在联机分析处理技术方面，介绍了联机分析处理的存储方式和操作特 ,胜，以及几种典型的分析模型。 在数据挖掘技术方面 ，介绍 了数据挖掘的概念 以及相关技术，着重介 绍了分类挖掘在金融企业客户关系管理系统中的应用，以及相关的决策树 算法及其实现。对于数据挖掘结果的可视化展现，提出了一种新的软件结 构 ，采用该软件结构 ，可 以改善数据挖掘结果的展现形式 ，提高用户访 问 时的响应速度 。 关键字;客户关系管理系统，数据仓库，联机分析处理 ，数据挖掘 一-一一一一 i 山 东 太 学 硕 士崖1 立i t 文 a b s t r a c t a s t h e e l e c t r o n i c d e g r e e o f h u m a n s o c i e t y a n d e c o n o m y l i v i n g h a s b e e n p r o c e e d i n g c o n t i n u o u s l y ，t h e u s e o f d a t a b a s e s i n v a r i o u s d o m a i n s e x p a n d s g r e a t l y . u s e r s e x p e c t m o r e a n d m o r e t o g e t f r o m t h e u s a g e o f c o m p u t e r , f o r e x a m p l e , t h e y n e e d t o d o d e e p a n a l y z e o f d a t a t o m e t t h e i r r e q u i r e . s o a n a l y z e , s t a t i s t i c , a n d t h r e a d p r e d i c t i o n i s b e i n g u r g e n t r e q u i r e m e n t a t t h i s t i m e . u n d e r t h i s b a c k g r o u n d , t h e e s t a b l i s h i n g o f d a t a w a r e h o u s i n g s o f t w a r e s y s t e m b e c o m e a n d u r g e n t t a s k f o r m a n y e n t e r p r i s e s . t h i s t h e s i s i s a b o u t t h e c r m s y s t e m b a s e d o n d a t a w a r e h o u s i n g t e c h n o l o g y i n a b a n k . a n d i n t r o d u c e d r e l a t e d t e c h n o l o g y o f d a t a w a r e h o u s i n g s o f t w a r e s y s t e m s u c h a s d e v e l o p i n g m e t h o d o f d a t a w a r e h o u s i n g s o f t w a r e s y s t e m , t h e d e s i g n o f d a t a w a r e h o u s i n g , o l a p , d a t a m i n i n g a n d s o o n . c o n c e r n i n g t o t h e d e v e l o p i n g m e t h o d o f d a t a w a r eh o u s i n g s o f t w a r e s y s t e m , t h i s t h e s i s i n t r o d u c e d t h e d i f f e r e n c e b e t w e e n d e v e l o p i n g d a t a w a r e h o u s i n g s o f t w a r e s y s t e m a n d t r a n s a c t i o n p r o c e s s s y s t e m a n d t h e e m p h a s i s i s t h e s p i r a l m o d e l u s e d i n t h e d e v e l o p m e n t o f d a t a w a r e h o u s i n g s y s t e m . c o n c e r n i n g t o t h e s t o r a g e m o d e l ，t h i s t h e s i s i n t r o d u c e d t h e c o n e 叩t o f d a t a w a r e h o u s i n g , t h e d e s i g n o f s t o r a g e m o d e l ，a n d r e l a t e d t e c h n o l o g y o f e t l . c o n c e r n i n g t o t h e t e c h n o l o g y o f o l a p , t h i s t h e s i s i n t r o d u c e d t h e s t o r a g e m o d e l t o a n a l y z e a n d t h e o p e r a t i o n o f o l a p . c o n c e r n i n g t o t h e d a t a m i n i n g t e c h n o l o g y , t h i s t h e s i s i n t r o d u c e d t h e c o n c e p t o f d a t a m i n i n g a n d r e l a t e d t e c h n o l o g y , t h e e m p h a s i s i s t h e a p p l i c a t i o n o f c l a s s i f i c a t i o n a n a l y z e i n t h e c r m s y s t e m a n d t h e r e a l i z e o f d e c i s i o n t r e e a l g o r i t h m . a n d a n e w s o f t w a r e s t r u c t u r e a b o u t t h e v i s u a l i z a t i o n o f d a t a m i n i n g r e s u l t w a s i n t r o d u c e d , t h e 书 -. -. 一-. -. . - -.-. - -. . 一 一l la t r. t蕊iil k一一 u s e o f t h s s o f t w a r e s t r u c t u r e m a y i m p r o v e t h e e f f e c t o f d i s p l a y o f t h e d a t a m i n i n g r e s u l t a n d r e d u c e t h e r e s p o n s e t i m e w h e n u s e r a c c e s s t h e d a t a m i n i n g r e s u l t . k e y wor d s : c r m, d a t a wa r e h o u s i n g , ol ap , d a t a mi n i n g . - - -. . . . . 白 . . 山. . . . . . . 自.自.自. . . . . 自 山. 自 . 自 . 目白 . 自山 . . . . . . .妇. i i i 原创性声明和关于论文使用授权的说明 原 创 性 声 明 本人郑重声明:所呈交的学位论文，是本人在导师的指导下， 独立 进行研究所取得的成果。 除文中己经注明引用的内容外， 本论文不包含 任何其他个人或集体已经发表或撰写过的科研成果。 对本文的研究作出 重要贡献的个人和集体， 均已在文中以明确方式标明。 本声明的法律责 任由本人承担。 论文作者签名:日期: 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意 学校保留或向国家有关部门或机构送交论文的复印件和电子版，允 许论文被查阅和借阅:本人授权山东大学可以将本学位论文的全部 或部分内容编入有关数据库进行检索，可以采用影印、缩印或其他 复制手段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定 ) 论文作者签名:导师签名: 玉 少叮日 期 :1 . , /0 , / 第 一 章引言 1 . 1 本课题的研究背景和应用前景 本课题的研究是基于金融企业客户关系管理系统的数据仓库及其相关 技术的应用研究 。在课题研 究过程中，主要是基于金融企业的实际的客户 关系管理系统项 目，在项 目的具体实施和实践过程中，从技术和应用的角 度展开数据仓库相关技术及其实际应用领域的研究。 1 . 2 客户关系管理系统的背景介绍 在企业间竞争日趋激烈的今天，客户关系无疑己成企业最重要的资产， 这促使企业关注的焦点逐渐由过去单纯的以产品为中心转移到以客户为中 心上。与此同时，信息科技的长足发展从技术上为企业实现以客户为中心 的转移提供了强有力的支持，客户关系管理系统 ( c r m )的出现则无疑向以 客户为中心的企业转型提供了加速器。客户关系管理系统就是借助先进的 信息技术和管理思想，通过对企业业务流程的重组来整合客户信息资源， 并在企业内部实现客户信息和资源的共享，为客户提供更经济、快捷、周 到的产品和服务，改进客户价值、满意度、燕利能力以及客户的忠实度， 保持和吸引更多的客户，最终实现企业利润的最大化。因此，客户关系管 理的中心思想是:从传统的以产品为中心的观念转变到现代的以客户为中 心的观念 。 客户关系管理要解决三个基本问题，即如何得到客户，如何留住客户 和如何极大化客户价值。在这种情况下，对于金融客户数据进行深度的分 析也具有了直接的意义。比如，一个有意义的发现是;只有活期存款的客 户在一年内有一半可能走掉，同时有活期和定期存款的客户有三分之一的 可能走掉，而有二种或以上产品的客户离开的概率可能会下降到 1 0 % o也 就是说 ，以客户为中心不仅可 以在短期增加产品销售 ，而且可 以在长期留 住客户 。客户 关系 管理 的最 高境界是:根据 客户 的整个 生命周期 ，为客户 创造 一生的最 大价值 ，并为企业 得到最 大的回报 。例如 ，当一个人是青年 学生时 ，可 能最 需要 教育/ 留学贷款 :毕业后 需要 汽 车贷 款和保 险及投 资管 理;结婚后 需要住房贷款和财产保险等。 . . . . . . . . . . . . . . . . i 第 一 章引言 1 . 1 本课题的研究背景和应用前景 本课题的研究是基于金融企业客户关系管理系统的数据仓库及其相关 技术的应用研究 。在课题研 究过程中，主要是基于金融企业的实际的客户 关系管理系统项 目，在项 目的具体实施和实践过程中，从技术和应用的角 度展开数据仓库相关技术及其实际应用领域的研究。 1 . 2 客户关系管理系统的背景介绍 在企业间竞争日趋激烈的今天，客户关系无疑己成企业最重要的资产， 这促使企业关注的焦点逐渐由过去单纯的以产品为中心转移到以客户为中 心上。与此同时，信息科技的长足发展从技术上为企业实现以客户为中心 的转移提供了强有力的支持，客户关系管理系统 ( c r m )的出现则无疑向以 客户为中心的企业转型提供了加速器。客户关系管理系统就是借助先进的 信息技术和管理思想，通过对企业业务流程的重组来整合客户信息资源， 并在企业内部实现客户信息和资源的共享，为客户提供更经济、快捷、周 到的产品和服务，改进客户价值、满意度、燕利能力以及客户的忠实度， 保持和吸引更多的客户，最终实现企业利润的最大化。因此，客户关系管 理的中心思想是:从传统的以产品为中心的观念转变到现代的以客户为中 心的观念 。 客户关系管理要解决三个基本问题，即如何得到客户，如何留住客户 和如何极大化客户价值。在这种情况下，对于金融客户数据进行深度的分 析也具有了直接的意义。比如，一个有意义的发现是;只有活期存款的客 户在一年内有一半可能走掉，同时有活期和定期存款的客户有三分之一的 可能走掉，而有二种或以上产品的客户离开的概率可能会下降到 1 0 % o也 就是说 ，以客户为中心不仅可 以在短期增加产品销售 ，而且可 以在长期留 住客户 。客户 关系 管理 的最 高境界是:根据 客户 的整个 生命周期 ，为客户 创造 一生的最 大价值 ，并为企业 得到最 大的回报 。例如 ，当一个人是青年 学生时 ，可 能最 需要 教育/ 留学贷款 :毕业后 需要 汽 车贷 款和保 险及投 资管 理;结婚后 需要住房贷款和财产保险等。 . . . . . . . . . . . . . . . . i 山 东 大 学 硕 士 尝 1迄匹 从 技 术 角 度 讲， 客 户 关系 管 理 系 统 包 括 操 作 性客 户 关 系 管 理系 统、 分 析 性 客 户 关 系 管 理 系 统 及 协 同 性 客 户 关 系 管 理 系 统。 在 此 我 们 所 讨 论 的 主 要 是 分 析 型 客 户 关 系 管 理 系 统。 分 析 性 客 户 关 系 管 理系 统以 数 据 仓 库、 o l a p . 数 据 采掘 技术 及金 融 学 模 型 为 基 础。 它 提 供客户分 类， 可 进 行 营 业 收入、 风 险 和 成 本 等的 相关 因 素分 析、 预 测 及 优 化。 可以 根 据事 先 设 定 的 标 准找 到 符合 条 件的 客 户群， 也 可以 把客 户 进行 聚类分析 而 让 其“ 自 然” 分 群。 我 们 可以 还 可以 对客 户 进行 分 类， 以 确定 什么 样的 客 户 最 有 可能 购 买和 使 用某 种产品。 一个简单而重 要的 应用是: 将所有客 户按价 值分 类; 当 呼叫中 心的 服务人员 接到客 户的电 话时， 该客 户的“ 价值” 和“ 爱 好” 就会显示在她的电脑屏幕上，并因此而会受到不同的“ 接待” 而作为服务密集型行业的金融业，所面临的是一场服务的竞争，是为 服 务加上更多的 价值， 如建立联系通道， 创建服务的互动， 注重顾客关系 和服务管理，提高顾客忠诚度。 传统的银行部门按产品设置，例如活期存 款、 定期存款、 信用卡、 贷款和资产管理等独立分设客户需要几个产品， 就需要去几个部门， 提供几次信息。客户查询也要找不同部门， 而且可能 会 得到 不同的答案。 在 这种 情况 下， 对于客户 数 据和业务 数据进行以 客户 为中心的数据整合，创建完善的客户关系管理系统，成为企业改进服务， 创造效益的一个途径。 同时，由于中国的金融企业己 经有了多年的电子化应用的经验， 积累 了大量的客户数据和帐户信息，目 前各大金融机构也在进行数据集中的工 作，而这种数据集中的模式，标志着银行业正在加快从粗放性经营向集约 化经营的转变。并且也为金融企业创建基于数据仓库相关技术的客户关系 管理系统创造了条件， 这样，就可以在数据积累的基础上，采用数据仓库 数据挖掘等技术找出最有价值的客户并提供更加个性化的服务客户关 系管理系统的先进管理理念与技术的运用将全面提升中国银行金融企业竞 争力，以迎接入世挑战和防范金融风险。 因此，目前的国内金融机构纷纷建立客户服务中心和客户关系管理系 统，体现了信息科技在这一场竞争中的作用。建立客户服务中心，是为了 提高服务质量，充分利用现有资源，开发新业务，拓展新市场。在金融业 愈加关注客户关系的同时，其他行业也意识到客户的重要性，开始从以产 品为中心转 向以客户为 中心 . . -. ， . . . . . . . . 即 月 . 阅 . . . 口 . . . 甲 . . . . . . . . . . 一. 2 一一一一一一一火续浮髯蓦鱼过止色 总之，客户关系管理是指企业通过有意义的交流和沟通，理解并影响 客户行为，最终实现提高客厂 获得、客户保留、客户忠诚和客户创利的日 的的方法。目前，客户关系管理系统随着数据仓库技术的快速发展，获得 了迅速 的普 及 。采用 客户关系管理 系统之后 ，通常 能够给 企业带来 大量 的 利益，具体来说 ，客户关系管理系统能够给企业带来的收益有 : 获得客户的成本更低，有效地降低了市场营销的成本; 不必获得过多的客户就能够保持稳定的业务增长; 减少了销售成本，统计表明，从一个新客户手中获取利润比从老客户手中获取 同样的利润所需的成本高出 1 0 倍; 更高的客户创利能力， 能够从老客户中获取更多的购买权限， 更多的后续销售， 更多的来自 满意客户的推荐，更多的服务等; 极大地提高客户的保留度和忠诚度，增强了客户创利能力; 有效地评估客户创利能力。根据二八规则，2 0 % 的客户将带来s o % 的利润，客户 关系管理系统将帮助企业分析哪些客户是最有价值的客户。 1 . 3 数据仓库相关技术产生的技术背景 在我国金融等行业，由于较早的引入了计算机应用，现在已经基本实 现 了操作的电子化 ，数据处理与统计的 自动化。 目前，这种数据库应用主 要表现为事 务型处理应用 ，比如对 于信用卡交易事务的处理等等，在事务 型应用当中，人们所要求 的首先是事务处理流程的规范性，数据计算与存 储的准确性 ， 以及事务 响应 的及时性 。 但是，随着计算机应用，特别是数据库技术应用的发展，用户对于数 据的应用提出了更高的要求1用户现在己不仅仅满足于对于事务处理的电 子化与自动化，还希望能够更多的对于数据进行分析、统计、趋势预测， 从而对于用户的经营决策提供支持。而在金融等行业，经过多年的电子化 应用，已经积累了大量的用户数据、金融业务交易数据，这就为数据的深 层 分析提供 了数据 基础 。 因此，从总体来说，当前的数据处理大致可以划分为两大类:操作型 -. - .-一一曰目.妇目曰目山画目曰.自如 . 山 . . . . 曰 . . 妇 . . . . 3 一一一一一一一火续浮髯蓦鱼过止色 总之，客户关系管理是指企业通过有意义的交流和沟通，理解并影响 客户行为，最终实现提高客厂 获得、客户保留、客户忠诚和客户创利的日 的的方法。目前，客户关系管理系统随着数据仓库技术的快速发展，获得 了迅速 的普 及 。采用 客户关系管理 系统之后 ，通常 能够给 企业带来 大量 的 利益，具体来说 ，客户关系管理系统能够给企业带来的收益有 : 获得客户的成本更低，有效地降低了市场营销的成本; 不必获得过多的客户就能够保持稳定的业务增长; 减少了销售成本，统计表明，从一个新客户手中获取利润比从老客户手中获取 同样的利润所需的成本高出 1 0 倍; 更高的客户创利能力， 能够从老客户中获取更多的购买权限， 更多的后续销售， 更多的来自 满意客户的推荐，更多的服务等; 极大地提高客户的保留度和忠诚度，增强了客户创利能力; 有效地评估客户创利能力。根据二八规则，2 0 % 的客户将带来s o % 的利润，客户 关系管理系统将帮助企业分析哪些客户是最有价值的客户。 1 . 3 数据仓库相关技术产生的技术背景 在我国金融等行业，由于较早的引入了计算机应用，现在已经基本实 现 了操作的电子化 ，数据处理与统计的 自动化。 目前，这种数据库应用主 要表现为事 务型处理应用 ，比如对 于信用卡交易事务的处理等等，在事务 型应用当中，人们所要求 的首先是事务处理流程的规范性，数据计算与存 储的准确性 ， 以及事务 响应 的及时性 。 但是，随着计算机应用，特别是数据库技术应用的发展，用户对于数 据的应用提出了更高的要求1用户现在己不仅仅满足于对于事务处理的电 子化与自动化，还希望能够更多的对于数据进行分析、统计、趋势预测， 从而对于用户的经营决策提供支持。而在金融等行业，经过多年的电子化 应用，已经积累了大量的用户数据、金融业务交易数据，这就为数据的深 层 分析提供 了数据 基础 。 因此，从总体来说，当前的数据处理大致可以划分为两大类:操作型 -. - .-一一曰目.妇目曰目山画目曰.自如 . 山 . . . . 曰 . . 妇 . . . . 3 处理和分析型处理。操作型处理也称事务处理，是指对数据库的日常操作， 通常是对 一 个或一组记录的查询和修改，主要是为企业的特定应用服务的， 用户所关心的是响应时间，数据的安全性和完整性。分析型处理则用于管 理人员的决策分析，经常访问大量的历史数据，所关心的往往是对于数据 趋势的预测 ，数据 的分析等等。 传统的数据库系统作为数据管理的手段，主要是用于事务型处理。经 过多年的系统的运行，企业数据库中往往保存了大量的日常业务数据，如 果采用传统的联机事务处理的模式，这些宝贵的数据资源将难以进行充分 合理的应用，甚至有可能成为企业业务系统运行的负担，造成服务器速度 降低，操作响应时间延长等不良后果。在这种情况下，数据仓库技术就应 运而生，这种技术是以分析型操作为主，主要是利用企业数据库中的大量 的历史数据资源，面向企业管理人员，对于企业的决策起着提供数据支持 的作用 。 具体来说，事务型处理环境不适宜 d s s 应用的原因概括起来主要有以 一 几 点: 事务处理和分析处理的性能特性不同 在事务处理环境中，系统可以允许多个用户按分时方式使用系统资源 同时保持较短的响应时间，o l t p是这种环境下的典型应用 。在分析处理环 境中，某个应用程序却有可能需要连续运行几个小时，从而消耗大量的系 统资源。将具有如此不同处理性能的两种应用放在同一个环境中运行显然 是不恰当的。 数据集成问题 数据分析往往需要集成的数据 、全面而正确的数据是有效的分析和决 策的首要 前提 。相关数据收集的越完整，得到的结果就越可靠 。事务处理 一般只需要本部 门业务有关的当前数据 。而 当前绝大部分企业 内数据的真 正状况是分散而非集成 的。 数据集成的动态问题 每次分析都进行数据集成的开销太大，一些应用仅在开始对所需数据 进行集成，以后就一直以这部分集成数据作为分析基础，不再与数据源发 . - . - -， ， ， ， . 叫 钾 . 只 ， 砚 ， . ， ， ， ， ， . ， . . . . . . 口 . . .-一 .-. - a _ _山 东 太 堂 fr 士兰盆9 i t 盆.一 一 一 生联系，我们称之 为静态集成。其最大缺点是决策者 访问时无法及时 了解 当前的数据情况而正确的数据集成策略应该是以一定周期对 于集成数据 进行动 态刷 新 ，即实现数据 的动 态集成 。事务处理 系统 则难 以具备动态集 成 的能 力 ， 历史数据问题 事务处理一般只需要当前数据，在数据库中一般 也只存储短期数据， 较 多的历史数据有 p j 能会影响 事务处理的效率而对 于决策分析而言，历 史数据是十分重要的，许多分析 乃法必须以大量的历 史数据为依托。所 以 事务处理型数据库系统将难以满足对于数据分析和决策支持的需要。 以上这些问题表明，在事务型环境中将难以直接构建满足用户需求， 并具有 良好的分析效果的分析型应用。而数据仓库技术在本质上为这些存 在的问题提供了良好的解决方案。由于市场商业经营行为的改变，市场竞 争产生了要求捕获和分析事务级的业务数据的实际需求 。建立在事务处理 环境上的分析系统无法达到这一要求，必须把分析型数据从事务处理环境 中提取 出来 ，按照 d s s处理 的需要进行 重新组织 ，建立单独的分析处理环 境，数据仓库正是为 了构建这种新的分析处理环境而出现的一种数据存储 和组织技术(沪因此，数据仓库技术是由数据库技术发展起来的，但是又不 同于传统数据库系统，它不论在相关技术上，存储方 一 式上以及体系结构上 都面向用户数据的分析和决策支持应用数据仓库的组织适合用户进行多 种形式、多种角度的数据分析，并且对于历史数据的存储以及基于数据的 多种分析技术都有较好的支持特性 数据挖掘 则是希望能让计算机 自动智能地分析数据库或数据仓库 中的 火量数据以获取有用的信息。随着公司数据库的猛增，特别是数据仓库的 出现，原有的数据库工具己无法满足用户的需求，用户不仅需要一般的查 询和报表工 具，更需要的是那些能够帮助他们从浩瀚的数据海洋中提取出 高质量信息 ( 综合分析与预测性)的上具，数据挖掘的出现和发展正符合 了这一潮流 ，通过对于存储于数据库或者数据仓库中的数据的有效的数据 挖掘，可以主动的去发现数据中存在的知识与规则，或者对于未来数据发 展趋势进行预测，这样就为用户科学的制定经营策略提供了依据。 . . . . . . . . . . . . . . . . 5 一一一一一一 w-14 . ) * ) t*1 1ii 第 二 章基于数据仓库的软件系统开发方法论 2 . 1 基于数据仓库的软件系统开发工程模型选择 传统的软件项目的开发所采用的是瀑布模型 ( 19 a t e r p a i i m o d e l ) ,即 将软件生存期划分为需求评估及项目可行性分析、需求分析、设计、编码、 测试 、应用 与推厂六个阶段 。六个阶段首尾相接 ，逐步实施 ，最后一个阶 段的完成往往就是软件 开发阶段 的结束。采用瀑布模 型的软件 开发过程如 下 图所示 : 开发阶段 编码 一 、 - 一测试 下 _ _ 卫 -_ 今 维护阶段运行 ， 维护 甲 图 2 - 1软件开发瀑布模型 瀑布模型比较适合于需求明确而且需求变化不大的软件系统，比如事 务处理软件系统 的项 目，属于需求驱动型的软件开发模式 ，这种模式的工 作重点将 放在 需求 分析和 设计阶段 ，这两 个阶段 的失误有可 能带来整个软 件系统开发的灾难性后果。 而与传 统 的事务 处理数 据库 项 目相 比，数据仓库 系统 不是 以业务为中 心的在线交易系统，而是以数据为中心的数据分析系统。它的需求往往具 有相对的不明确性和很强的扩展性，数据仓库软件系统建设中强调的往往 是循环性与渐进性混合的方法，即首先确定用户的部分分析需求，然后进 行软件开发，并通过展现给用户的分析结果逐步启发用户提出新的分析需 犷 -一 一一一一一一 w-14 . ) * ) t*1 1ii 第 二 章基于数据仓库的软件系统开发方法论 2 . 1 基于数据仓库的软件系统开发工程模型选择 传统的软件项目的开发所采用的是瀑布模型 ( 19 a t e r p a i i m o d e l ) ,即 将软件生存期划分为需求评估及项目可行性分析、需求分析、设计、编码、 测试 、应用 与推厂六个阶段 。六个阶段首尾相接 ，逐步实施 ，最后一个阶 段的完成往往就是软件 开发阶段 的结束。采用瀑布模 型的软件 开发过程如 下 图所示 : 开发阶段 编码 一 、 - 一测试 下 _ _ 卫 -_ 今 维护阶段运行 ， 维护 甲 图 2 - 1软件开发瀑布模型 瀑布模型比较适合于需求明确而且需求变化不大的软件系统，比如事 务处理软件系统 的项 目，属于需求驱动型的软件开发模式 ，这种模式的工 作重点将 放在 需求 分析和 设计阶段 ，这两 个阶段 的失误有可 能带来整个软 件系统开发的灾难性后果。 而与传 统 的事务 处理数 据库 项 目相 比，数据仓库 系统 不是 以业务为中 心的在线交易系统，而是以数据为中心的数据分析系统。它的需求往往具 有相对的不明确性和很强的扩展性，数据仓库软件系统建设中强调的往往 是循环性与渐进性混合的方法，即首先确定用户的部分分析需求，然后进 行软件开发，并通过展现给用户的分析结果逐步启发用户提出新的分析需 犷 -一 一一一一一一 lutt . * u生 *1ii 求，并不断进行系统扩展与开发工作，这属于一种结果驱动型的软件开发 模式_因此所适合的软件开发模型是螺旋模型 ( s p i r a l m o d e l ) ,通常所采 用模式是首先开发原型系统 ( p r o t o t y p e s y s t e m ) ,然后在原型系统基础上 逐步扩展需求和应用开发的方法进行。采用螺旋模型的软件开发过程如下 图所 示 : 制定i 十 , 9 累计成本 风险分析 扮 尸 一扮一 、 决定目标、 方案和限制 风 险 分 析 一 仁 一 一 评价方案 识 别风险、 消除风险 风险分析 像 / 提交线 一 一 . 一 一 ( 一 出/r 设j厂/ 姻编码 原型3 1-、1 、1、 审 评 产计/ 件设/ 装与测试 一_ 止daj. 味、 设计确认 与验证 纂 客户评估 一下 实 现 一 行 一 尹 睑收a 明 试/ 实施s穆 开发. 验证 下一产品 图2 一软件开发螺旋模型 在该模型 图中，螺旋模型沿着螺线旋转 ，在笛卡尔坐标 的四个象限上 分别表达 了四个方面的活动 ，即 制定计划 确定软件目 标， 选定实施方案，弄清项目 开发的限制条件: 风险分析分析所选方 一 案，考虑如何识别和消除风险: 实施工程 实施软件开发; . . . . . . ， . . . . . . . . . . . 日 . . . . . . . 7 山 东 大_ 学 硕 士 学 位 论 文 客户评估 评价开发工作，提出修正建议。 在 上图中，沿螺线 自内向外每旋转一圈都是一个更为完 善，融 合了更 多用户需求的软件版本。例 如，在第 一圈，首先确 定 了初步 的 目标 、方案 和限定条件以后，转入右上象限，对风险进行识别和分析。如果风险分析 表明，需求具有不确定性，那么在右下的工程象限内，所建的原型会帮助 开发人 员和客户，考虑其他 开发模型 ，并对需求作进 一步的修 正 ， 客户在对于工程成果做出评价之后，给出修正建议，从而开始下一循 环的开发周期。在此基础上再次进行计划，并进行分线分析，在每一圈螺 线上，风险分析的终点做出是否继续下去的判断。如果风险过大，开发者 和用户无法承受，项 目有可能终止。多数情况下沿螺线的活动会继续下去， 有内向外，逐步延伸，最终得到所期望的系统。 在螺旋模型的每个开发周期中，所采用的开发要素仍然和瀑布模型的 开发要素相同，数据仓库系统开发的方 一 式可以通过以下的框图形式更为具 体的表 示 : 一 一 耀 瓤 瓢一耀 黝 食 _ 黔馨卜一一 图2 - 3数据仓库软件系统开发周期图 从技术角度讲，在每一个开发周期中，基于数据仓库应用软件项目的 _ _也 东 大 学 硕士崖 立业 .文_ _ _ 开发 与实施 都将 分为 以下七 个的阶段 。1 2 . 2 需求评估及项目可行性分析阶段 2 . 2 . 1任务定义 第一阶段准备的任务就是要确定用户是否具备进行数据仓库项 目的必 要性、可行性 ，并且要明确项 目实施中的重点和难点。本阶段的参加人员 包括系统用户 、系统 需求提 出人员、软件设计人员 。 2 . 2 . 2 工作步骤 系统可行性的初步调研 走访业务部门，了解业务部门目前对数据分析的要求、现有手段及方 法、运行情况 、存在的 问题 以及解决问题的迫切性 。 项目总体目标的制定 根据现有业务的运行情况和问题，初步确定项 目要实现的业务目标和 技术 目的 。 实施策略的确定 分析业务 系统与数据仓库 系统的区别以及现有技术的发展和走向，确 定数据仓库系统实现的 目标 ，从而建立一套可行的实施策略。 项目总体工作计划制定 项目总体工作计划包括:项 目_ 作环境确定、 目一 _ 作计划和项 目管理规范、方法 以及标准的制定 项 目组织结构确定、项 ( j :i l 目 可行性报告的编写 项 目评审 项 目可行性报告通过评审作为本阶段的完成标志。 如果不符 合要求 ，则项 目中断或提 出新的需求及实现策略 。 2 . 2 . 3 提交文档 .-一-一.一 g _ _也 东 大 学 硕士崖 立业 .文_ _ _ 开发 与实施 都将 分为 以下七 个的阶段 。1 2 . 2 需求评估及项目可行性分析阶段 2 . 2 . 1任务定义 第一阶段准备的任务就是要确定用户是否具备进行数据仓库项 目的必 要性、可行性 ，并且要明确项 目实施中的重点和难点。本阶段的参加人员 包括系统用户 、系统 需求提 出人员、软件设计人员 。 2 . 2 . 2 工作步骤 系统可行性的初步调研 走访业务部门，了解业务部门目前对数据分析的要求、现有手段及方 法、运行情况 、存在的 问题 以及解决问题的迫切性 。 项目总体目标的制定 根据现有业务的运行情况和问题，初步确定项 目要实现的业务目标和 技术 目的 。 实施策略的确定 分析业务 系统与数据仓库 系统的区别以及现有技术的发展和走向，确 定数据仓库系统实现的 目标 ，从而建立一套可行的实施策略。 项目总体工作计划制定 项目总体工作计划包括:项 目_ 作环境确定、 目一 _ 作计划和项 目管理规范、方法 以及标准的制定 项 目组织结构确定、项 ( j :i l 目 可行性报告的编写 项 目评审 项 目可行性报告通过评审作为本阶段的完成标志。 如果不符 合要求 ，则项 目中断或提 出新的需求及实现策略 。 2 . 2 . 3 提交文档 .-一-一.一 g _ _也 东 大 学 硕士崖 立业 .文_ _ _ 开发 与实施 都将 分为 以下七 个的阶段 。1 2 . 2 需求评估及项目可行性分析阶段 2 . 2 . 1任务定义 第一阶段准备的任务就是要确定用户是否具备进行数据仓库项 目的必 要性、可行性 ，并且要明确项 目实施中的重点和难点。本阶段的参加人员 包括系统用户 、系统 需求提 出人员、软件设计人员 。 2 . 2 . 2 工作步骤 系统可行性的初步调研 走访业务部门，了解业务部门目前对数据分析的要求、现有手段及方 法、运行情况 、存在的 问题 以及解决问题的迫切性 。 项目总体目标的制定 根据现有业务的运行情况和问题，初步确定项 目要实现的业务目标和 技术 目的 。 实施策略的确定 分析业务 系统与数据仓库 系统的区别以及现有技术的发展和走向，确 定数据仓库系统实现的 目标 ，从而建立一套可行的实施策略。 项目总体工作计划制定 项目总体工作计划包括:项 目_ 作环境确定、 目一 _ 作计划和项 目管理规范、方法 以及标准的制定 项 目组织结构确定、项 ( j :i l 目 可行性报告的编写 项 目评审 项 目可行性报告通过评审作为本阶段的完成标志。 如果不符 合要求 ，则项 目中断或提 出新的需求及实现策略 。 2 . 2 . 3 提交文档 .-一-一.一 g 一一w 遥 ) *9t*aiilx一一 项目总体计划 项 日总 体 计 划的 源 计划 、开发进 度 、 目的是确定项 目开发过程 中组织结构 图以及人力资 所需经费预算、所需软硬件条件等该总体计划要在 以后的阶段 中逐步细 化 。 项 目启动报告 项目启动报告的目的是:使用户和软件开发者对该项 目的初始规定有 个共同理解 ，使之成 为整个项 目开发 1 一 作的基础 。 2 . 3 需求分析阶段 预备条件 :项 目总体计划 、项 目启动报告 2 . 3 . 1 任务定义 系统需求分析的任务就是要确定系统做什么，其最终 目标是在业务目 标的基础上确立一个完整 的能够反映各个管理层管理和决策需求的数据仓 库系统的技术目标，包括系统的功能模型和数据模型，以及性能指标和运 行环境。系统的需求分析阶段参加人员应该包括以下人员:系统用户、系 统需求提 出人员、软件设计 人员。 2 . 3 . 2 工作步骤 l lj i 平 目 策略 项 目启动 f组人员到位，项 目环境q置和技术准备完毕。明确项 目建设万法 作规范和标准 业务需求的细化 走访业务部门，采用会谈的方式明确信息分析系统的具体业务需求 其中包括:分析 目标 、分析方法 及流程 、评价标准等 数据仓库系统主题的建立 分析业务系统与数据仓库系统的关系，确定数据仓库分析系统实现的 目标，从而建立系统的主题模型。以此为基础确定数据仓库系统的规模、 成本及投 入，、 一. . i 0 一一w 遥 ) *9t*aiilx一一 项目总体计划 项 日总 体 计 划的 源 计划 、开发进 度 、 目的是确定项 目开发过程 中组织结构 图以及人力资 所需经费预算、所需软硬件条件等该总体计划要在 以后的阶段 中逐步细 化 。 项 目启动报告 项目启动报告的目的是:使用户和软件开发者对该项 目的初始规定有 个共同理解 ，使之成 为整个项 目开发 1 一 作的基础 。 2 . 3 需求分析阶段 预备条件 :项 目总体计划 、项 目启动报告 2 . 3 . 1 任务定义 系统需求分析的任务就是要确定系统做什么，其最终 目标是在业务目 标的基础上确立一个完整 的能够反映各个管理层管理和决策需求的数据仓 库系统的技术目标，包括系统的功能模型和数据模型，以及性能指标和运 行环境。系统的需求分析阶段参加人员应该包括以下人员:系统用户、系 统需求提 出人员、软件设计 人员。 2 . 3 . 2 工作步骤 l lj i 平 目 策略 项 目启动 f组人员到位，项 目环境q置和技术准备完毕。明确项 目建设万法 作规范和标准 业务需求的细化 走访业务部门，采用会谈的方式明确信息分析系统的具体业务需求 其中包括:分析 目标 、分析方法 及流程 、评价标准等 数据仓库系统主题的建立 分析业务系统与数据仓库系统的关系，确定数据仓库分析系统实现的 目标，从而建立系统的主题