（工商管理专业论文）数据仓库与决策支持.pdf

| 4 璎蛩单擎乒e 增摘要通过对数据仓库的技术及其在企业信息化中的应用的阐述，使大家了解数据仓库的组成、应用现状及其发展前景。了解其工作原理及其在决策支持系统中的核心作用。使企业管理层了解为什么使用数据仓库，数据仓库对企业的意义。同时，分析了当今世界上的数据仓库的发展态势，及在中国目前的发展现状。并列举了一些国内外企业采用数据仓库的成功案例。指明中国国内企业在加入w t o 之后，在企业管理信息化的历程中所面临的新的挑战。关键词：数据仓库决策支持f_ =一a b s l r a c ta b s t r a c tt h i sp a p e rd e s c r i b et h et e c h n o l o g yo fd a t aw a r e h o u s e( d w ) a n di t sa p p l i c a t i o ni ne n t e r p r i s e i ts h o wu st h ec o m p o n e n t so fd wa n dt h ea c t u a l i t ya n df u t u r eo fd w w ec a l lu n d e r s t a n d et h ec o r ep r i n c i p l eo fd wa n dh o wt oa p p l yi ti nd i s c i s s i o ns u p p o r ts y s t e ma f t e rr e a dt h ep a p e r t h ed e c i s i o n m a k e rw i l lr e a l i z ew h yc h o o s ed wa n dt h eg r e a tv a l u eo fd wt oe n t e r p r i s ea tt h es a n l et i m e ，a n a l y z et h ed e v e l o p m e n to fd wi nt h ew h o l ew o r l da n di t ss t a t u si nc h i n at o d a y e n u m e r a t es o m es u c c e s s f u lc a s eo fd wi nb u s i n e s sf r o mc h i n ao ro t h e rc o u n t r i e s p o i n to u ts o m en e wc h a l l e n g e st h a to u rc o r p o r a t i o n ss h o u l dt of a c ea f e ro u rc o u n t r yj o i nt h ew t ok e y w o r d s ：d a t aw a r e h o u s ed i s c i s s i o ns u p p o r ts y s t e m- _ _ - - _ _ 。 - - - _ _ _ - _ _ _ _ _ _ _ - _ - _ _ _ - 一一一一l l q 五刖吕随着市场竞争的加剧和信息社会需求的发展，企业在面临大量数据，包括企业内部数掘如企业财务状况、产品销售情况等，以及企业的外部数掘，如企业产品的市场占有率、供应商状况、客户的偏好等等，如何快速从中提取( 检索、查询) 信息、制定市场策略，以便对市场机会做出及时灵活的反应，成为企业在信息时代的市场竞争中立于不败之地的关键所在。面对单位中大量的业务数据、财务数据和其他方面的数据，负责进行决策的领导要求提供一种数据访问和分析方法，使他们在制定决策时，随时能够获得与决策相关的方方面面信息，以确保制定决策的可行性和有效性。数据仓库可以向决策人员提供与决策内容相关的全面数据，通过它，决策人员可以考察一个时期内的发展情况、变化情况并可以预测今后的发展趋势，帮助管理、决策人员制定合理有效的决策。决策者利用这些有效的数据进行分析判断，及时地制定出各种方案、对策束引导企业避开风险，抓住机遇，从而赢得胜利。针对与这种发展趋势，决策支持系统应运而生。决策支持系统是一种以决策模型、数据库和决策者组成的集成系统为特征的支持决策的信息系统。其主要目的是将明智决策所基于的信息提供给决策者。而决策支持系统的实现则离不开数据仓库。数据仓库的出现和发展是计算机应用到一定阶段的必然产物。经过多年的计算机应用和市场积累，许多商业企业已保存了大量原始数据和各种业务数掘，这些数据真实地反映了商业企业主体和各种业务环境的经济动态。然而出于缺乏集中存储和管理，这些数据不能为本企业进行有效的统计、分析和评估提供帮助。也就是说，无法将这些数据转化成企业有用的信息。7 0 年代出现并被广泛应用的关系型数据库技术为解决这一问题提供了强有力的工具。从8 0 年代中期开始，随着l 丁场竞争的加剧，商业信息系统用户已经不满足于用计算机仅仅去管理f 1 复一f 1 的事务数掘，他们更需要的是支持决策制定过程的信息。9 0 年代初期，w h 1 n m o n 在其晕程碑式的著作建立数据仓库中提出了“数据仓库”的概念，数据仓库的研究和应用得到了广泛的关注。这刈处于激烈竞争。i 的商业企业，有着非同小可的现实意义。水文将通过阐述数扼仓库在决策支持系统中的应用束使大家了解数拓仓库的概念及为什么有效而迅速的决策离不丌数据仓库。北方交通大学硕十学位论文1 为什么选择数据仓库1 1 数据仓库的概念在讲清楚这个问题之前，先要了解什么是数据仓库以及它和传统意义上的数据库有何关系?数据仓库( d a t aw a r e h o u s e ) 是以数据为中心的体系结构，是支持管理决策过程的、面向主题的、集成的、随时间增长的持久的数据集合。传统意义上的数据库系统是实时的联机事务处理( o n l i n et r a n s a c t i o np r o c e s s i n g 简称o l t p ) 系统，而数据仓库则是非实时的联机分析处理( o n - l i n ea n a l y t i c a lp r o c e s s i n g 简称o l a p ) 系统。传统的数据库系统的主要功能用来处理日常业务，因此其实时性比较高。而数据仓库系统通常用来定期从数据库系统中汲取有效的、阶段性的数据进行整合、分析，决策者从中可以得到明显的启示，进而对企业的发展作出准确的判断和明智的选择。比如说，在企业管理中，经理人员总是希望能随时随地访问到任何他们需要的信息，这就要求有一个体系结构来容纳各种格式的内部数据和外部数据，例如经营数据、历史数据、现行数据以及来自i n t e m e t服务提供商( i s p ) 的数据，此外还应该包含易于访问的元数据。今天的企业要求能够访问并综合来自各种数据来源的数据，能够通过充分挖掘现有的数据资源，捕捉、分析和沟通信息，进行复杂的数据分析创建能代表业务分析员对数据看法的数据视图，通过概括、细化展示、多层次多视角地察看跨主题和跨业务范围的信息发现许多过去缺乏认识或者未被认识的数据关系，帮助企业管理者做出更好的商业决策，例如开拓什么市场、吸引哪些客户、促销何种产品等。而所有这些数据采掘活动都必须建立在一个结构良好的数据仓库的基础之上。在现代组织中，信息系统需要支持至少四个层次的分析处理工作。第一个层次是对当前数据和历史数据的简单查询和报表生成，这部分工作通常由电子报表、查询工具和报表生成工具实现。第二个层次则深入进行跨数据来源的”w h a t i f ( 如果会怎样) ”处理。例如，如果第二年劳动力成本提高5 ，而销售额保持不变，那么利润会发生怎样的变化? 电子报表、查询工具和数据库技术就能解决这些问题。第三个层次的分析要分析过去发生过什么事件使得数据己现f j削鬲前的状念。这一层次的查询活动中对外部数掘的需求逐渐增加。第p q个层次是要分析过去发生了什么时问以及未束要完成什么工f 1 ：爿能实现某种特定的目标。例如，如果明年的目标是利润增长5 ，那么要有哪些| j 提条件发生变化以及还要在未来采取哪些措施j 能实现这个目标? 目前，许多丌发商正在努力提供支持这种需求的商、l k 智能解决方案。据i d c 公司的调查结果表明，企业用于商业智能的投资回报率平均2 3 年就高达4 0 0 。企业在开展业务的同时，获得了大量的数据，来自国外的统计结果表明，全球企业的信息量平均每1 5 年翻一番，而目前仅仅利用了全部信息数据的7 。随着知识经济时代的来临记录客户数据和市场数据的信息和信息利用能力已经成为决定企业生存能力的关键。数据仓库则是实现这种解决方案的一种捷径。下面就进一步了解数据仓库的特点。1 2 数据仓库的特征数据仓库是一套支持决策信息体系结构，它主要有下面四种特征： 以主题为导向以主题为导向的数据仓库要求进行数据库设计。主题数据库是围绕着企业的基本实体组织设计出来的，它要求在数据驱动下进行数据库设计。所完成的功能应该满足企业主体业务的需要。 集成的”集成数据”意味着随后还要运用一些设计过程或方法术建立数据仓库的各个数据库。在命名协议、关键字、关系、编码和翻译中的一致性只能通过设计取得。主题数据库和数据仓库所要求的高度集成性强调，企业只有规划好大量的设计工作、制定预算并把项目进行到底，才能真正成功地建立起数据仓库来。 随时变化”随时问而变化”意味着数据仓库的设计要按照不同时期来组织数据。要从瞬时数掘分析巾衍生出数据值柬，这点极为重要。数据仓库中的数据通常是按照某一固定时问段j 韭行总结的，例如按月、按季度或者按年。 相对稳定说数据仓库的数掘是”相对稳定”的，意思是说数扭；仓所j 艰的数据不进行实时更新。一般说来，数据是每芟或每周升级进入数掘仓库巾取得。这一升级过程包括复杂的数据捉取、数掘概捅、北方交通人学硕七学位论文数掘聚集和数据老化过程。数据一旦进入了仓库中，就不能再由用户进行更新了。数据仓库中不包含必须在白天或者必须进行实时更新的数据。数据仓库的这四种特点决定了它的工作方式这也是系统设计与管理人员应当注意的事项。接下来要具体看一下数据仓库和决策支持系统有什么样的关系及如何使用数据仓库构建决策支持系统。1 3 数据仓库与决策支持系统前面介绍了数据仓库的概念与特性，这里介绍什么是决策支持系统( d e c i s i o ns u p p o r ts y s t e m 简称d s s ) 及为什么决策支持系统要采用数据仓库而非传统的数据库系统。决策支持系统是以决策模型、数据库和决策者组成的集成系统为特征的支持决策的信息系统。它是通过引入待评审的重要数据以提高管理和专业决策水平的分析模型。这种为管理者提供交互信息支持的基于基于计算机之上的信息系统具有以下几个特征。 决策支持系统倾向于上层管理者所面对的结构化较差的未明确规范的问题。 决策支持系统试图将模型或分析技术的利用与传统数据存取和检索功能结合起来。决策支持系统特别强调由非计算机人员以交互方式易于使用的特性。决策支持系统强调适应环境变化和用户决策方式的灵活性和适用性。决策支持系统常用于其中涉及管理艺术与科学融合的结构化较差的问题之中。同时，决策支持系统的特点是用于支持人的工作而不是要取代人，改进决策的效果而不是效率。为什么决策支持系统( d s s ) 不能仅建立在传统的数抓库系统上而必须采用数据仓库系统，先来看一下数据仓库与传统毁槲库系统的区别。传统数据库系统作为数据管理下段，：j 三要用于事务处用。1 ：这些数据库中已经保存了大量的f 1 常业务数据。传统的d s s 一般是直接建立在这种事务处理环境上的。数据库技术一直力图使自己能胜任事务处理、批处理到分析处理的符种类型的信息处理任为什么选择数据仓库务。尽管数据库在事务处理方面的应用获得了巨大的成功，但它对分析处理的支持一直不能令人满意尤其足当以业务处理为_ j ：的联机事务处理( o l t p ) 应用与以分析处理为主的d s s 应j 日j 存于同一个数据库系统时，两种类型的处理发生了明疆的冲突。人们逐渐认识到，事务处理和分析处理具有极不扪同的性质，直接使用事务处理环境来支持d s s 是行不通的。具体来说，事务处理环境不适合d s s 应用的原因概括起来主要有以下5 条：l 、事务处理和分析处理的性能特性不同在事务处理环境中用户的行为特点是数据的存取操作频率高而每次操作处理的时间短，因此，系统可以允许多个用户按分时方式使用系统资源同时保持较短的响应时间，o l t p 是这种环境下的典型应用。在分析处理环境中用户的行为模式与此完全不同，某个d s s应用程序可能需要连续运行几个小时，从而消耗大量的系统资源。将具有如此不同处理性能的两种应用放在同一个环境中运行显然是不适当的。联机分析处理主要通过多维的方式柬对数据进行分析、杳嘲和报表。它不同于o l t p 应用。o l t p 应用主要是用来完成用户的事务处理。而o l a p 应用主要是对用户当前及历史数据进行分析，辅助领导决策。其典型的应用如对银行信用卡风险的分析与预测、公司市场营销策略的制定等，主要是进行大量的查询操作，对时间的要求不太严格。目| j f 常见的o l a p 主要有基于多维数掘库的m o l a p 及基于关系数据库的r o l a p 。在数据仓库应用中，o l a p 应用一般是数据仓库应用的前端工具，同时o l a p 工具还可以同数据挖掘工具、统计分析工具配合使用，增强决策分析功能。o l a p 是独立于数据仓库的一种技术概念。其基本思想是：企业的决策者应能灵活地操纵企业的数据，以多维的形式从多方面和多角度来观察企业的状态、了解企业的变化。o l a p 系统与数据源的数据存储相分离，只要提供足够的分析数据就可以完成o l a p 分析。当o l a p 作为独立的使用方式时，其数据组织与数据仓库的组织方式相同。当o l a p 与数据仓库结合时，o l a p 的数据来源于数据仓库。数据仓库中存储的大量数据是根据多维方式组织的，是o l a p 最适合的数据组织方式。2 、数据集成问题d s s 需要集成的数据。全面而币确的数据足有效的分析和决策的首要前提，相关数据收集得越完整，得到的结果就越可靠。北方交通人学顶+ 学位论文因此，d s s 不仅需要整个企业内部各部门的相关数掘，还需要企业外部、竞争对手等处的相关数据。事务处理的目的在于使业务处理自动化，一般只需要与本部门业务有关的当前数据。而对整个企业范围内的集成应用考虑得很少。当前绝大部分企业内数据的真f 状况是分敞而非集成的。造成这种分散的原因有很多种，主要有事务处理应用分散、“蜘蛛网”问题、数据不一致问题、外部数据和非结构化数据。上述问题是事务处理环境所固有的，尽管每个单独的事务处理应用可能足高效的，能产生丰富的细节数据，但这些数据却不能成为一个统一的整体。对于需要集成数据的d s s 应用来说，必须自己在应用程序中对这些纷杂的数据进行集成。可是，数据集成是一项十分繁杂的工作，都交给应用程序完成会大大增加程序员的负担。并且，每做一次分析，都要进行一次这样的集成，将会导致极低的处理效率。d s s 对数据集成的迫切需要可能是数据仓库技术出现的最重要动因。3 、数据动态集成问题由于每次分析都进行数据集成的开销太大，一些应用就仅在开始对所需数据进行了集成。以后就一直以这部分集成的数据作为分析的基础，不再与数据源发生联系，通常称这种方式的集成为静态集成。静态集成的最大缺点在于，如果在数据集成后数据源中数据发生了改变，这些变化将不能反映给决策者，导致决策者使用的是过时的数据。对于决策者来说虽然并不要求随时准确地探知系统内的任何数据变化但也不希望他所分析的是几个月以前的情况。因此，集成数据必须以一定的周期( 例如2 4 小时)进行刷新，所以称其为动态集成。显然事务处理系统不具备动态集成的能力。4 、历史数据问题企业的事务处理一般只需要当前数据，在数据库中一般也只存储短期数据，且不同数据的保存期限也不一样，即使有一些历史数据保存下来了，也被束之高阁，末得到充分利用。但利于决策分析而言+ ，历史数据是相当重要的，许多分析方法必须以犬量的历史数据为依托。没有历史数据的详细分析是难以把握企业的发展趋势的。通过2 、3 、4 所述可见，d s s 对数据在空问和时间的广度上都有了更高的要求，而事务处理环境难以满足这些要求。5 、数据的综合问题在事务处理系统中积累了大量的细节数抓，一般而吉，d s s6北方交通大学硕十学位论文并不对这些细节数据进行分析。这主要有两个原因：一是细节数据数量太大，会严重影响分析的效率：二是太多的细节数据不利于分析人员将注意力集中于有用的信息上。因此，在分析时，往往需要对细节数据进行不同程度的综合。而事务处理系统不j l 番这种综合能力，根据规范化理论，这种综合还往往嘲为是种数据冗余而加以限制。以上这些问题表明在事务型环境中直接构建分析型应用是一种失败的尝试。数据仓库本质上是对这些存在问题的回答。但是数据仓库的主要驱动力并不是改正过去的缺点，而是市场经营行为的改变，即市场竞争要求捕获和分析事务级的业务数据。建立在事务处理环境上的分析系统无法达到这一要求。要提高分析和决策的效率和有效性，分析型处理及其数据必须与操作型处理及其数据相分离。必须把分析型数据从事务处理环境中提取出来，按照d s s 处理的需要进行重新组织，建立单独的分析处理环境。数据仓库j 下是为了构建这种新的分析处理环境而出现的一种数据存储和组织技术。同时数据仓库在支持决策上有其独特的优势。数据仓库的根本任务是把数据加以整理归纳，并及时提供给相应的管理决策人员，供他们做出改善其业务经营的决策，使信息发挥作用，支持决策。主要表现在：第一，数据仓库有效集成了企业的业务数据提供了标准的报表和图表的功能。数据仓库的报表和图表是关于整个企业集成信息的报表和图表其中的数据可来源于不同的多个事务处理系统。从而为企业提供了按照主题的多方位的决策支持。第二，数据仓库可以对分布在不同系统的业务数据进行清洗和加工。数据仓库的源数据可能来自许多异构的事务处理系统，它们具有不同的数据格式和数据存储管理组织，数据仓库可以按照面向主题的原则对这些数掘进行清洗和加工，使它们成为统一格式的易于使用的支持决策的数据。第三，数据仓库支持多维分析。多维分析是通过把一个实体的多项重要的属性定义为多个维度，使得用户能方便地汇总数据集，简化了数据的分析处理逻辑，并能对不同维度值的数掘进行比较，而维度则表示了对信息的不同理解角度，例如，州i i , j 和地理区域是经常采用的维度。应用多维分析可以在一个查询q i 对不同阶段的数掘进行纵向或横向比较，这在决策过程中非常有用。第四，数据仓库技术可以帮助企业决策者对企业未来状况作出预测。数据挖掘技术是数据仓库表现的天键技术。数据挖掘技为什么选抒数据仓j 车术可以在已有数据中识别数据的模式，以帮助用户理解现有的信息，并在已有信息的基础上，对未来的状况作出颅测。在数 l e 仓库的基础上进行数据挖掘就可以针对整个企业的状况和未束发展作出比较完整、合理、准确的分析和预测。第五成功的数据仓库系统可以为企业带来高的投资网报。结合企业业务现状，数据仓库可以建立在原有运行系统之上，企业可以在以分主题方式对原来运行数据重组的基础之上，为了某种支持特定决策的需要，再跨主题进行数据重组，用柬处理定范畴的问题，快速决策意味着企业可以对市场机会做出快速反应这将为企业带束巨大的商业利益。因此，在d s s 系统中最常用的还是数据仓库而非传统的数据库。在应用了数据仓库的优点之后，新型的决策支持系统便发挥了巨大的意义。为企业创造了庞大的无形的价值。数据仓库作为一种管理技术，它将分稚在企业网络中不同站点的数据集成到一起，为决策者提供各种类型的、有效的数据分析，起到决策支持的作用。数据仓库为决策支持系统丌辟了一种新途径。随着数据仓库的广泛应用，基于数据仓库的决策支持系统应运而生。利用数据仓库建立的应用系统，在激烈的市场竞争中，为企业领导者的决策支持起到了明显的作用。这种应用系统是一种新形式的决策支持系统。在了解了数据仓库对决策支持系统的重要意义之后，按下来了解一下数据仓库的一些核心技术。分析它是如何实现的及如何工作的。数据仓库的核心技术2 数据仓库的核心技术2 1 数据仓库的体系结构这一章主要介绍数掘仓库些核心原理与技术。事务与其他外部数据源囝 、一，叫t 小?i叫战舰0 r 一!jljij 、，图4 - 1 数据流程图8 j在图4 1 中，系统先从金融统计数据库( 业务数据库) 中将数据抽取至一个中间数据库，作为送至数据仓库前的一个缓冲区。在这里，进行聚合运算处理，最后将有用的信息传送至数据仓库，这样既不会影响业务数据库的实时操作也不会影响数据仓库数据的有效性。在数据采集和数据处理阶段，采用传统的m i s 技术可以方便3 0_ - _ - - _ - i - - - - _ _ _ _ - _ - - - _ _ _ _ - - _ _ - _ _ _ _ _ h _ _ - _ _ _ - - - _ _ _ 一一解决方案及典型案例地实现数据采集、系统维护等功能。对于最初录入的数据，在m i s 系统中进行录入采集，并进行验证，以确保将来的分析处理在正确的源数据上进行。校验通过的数据将按照数据仓库的要求进行整理和数据汇总、币种折算等处理，统一口径有计划地、按一定时间节奏吸取数据，同时，在m i s 部分提供有关的系统维护模块( 如指标管理、指标校验关系管理等内容) 。数据仓库提供了多维数据库( 多维报表) 的数据结构，具有查询速度快、表现方式灵活等特点，因此更便于对大量数据的统计分析。该系统通过将采集和初步处理后的数据吸取到数据仓库中，利用数据仓库及相应的分析工具进行分析，分析结果在应用程序中或者在e x c e l 等电子表格中以用户熟悉的界面展现出来，可以灵活方便地从多角度、全方位地对资金流量表进行数据分析和报表输出。系统模块结构和流程图如下：图4 - 2 系统模块结构及流程图1 8 】在图4 2 中，我们可以看到这个系统分左右两部分，位于左侧的既是传统的m i s 业务部分，它是银行常规业务管理系统，用于银行的日常信息处理。位于右侧的既是数据仓库部分，这部分用于管理层的决策分析。数据流向是从左侧流向右侧。日常的业务数据库中存放了大量的常规数据。要通过必要的数据采集送至中间数据库。这些源北方交通大学硕士学位论文数据可以通过手工录入或从统计的报表中直接读出。中间数据库即成为数据仓库的数据源。再经过数据吸取程序从中间这个数据源中抽取有用的数据进行聚合处理送至数据仓库。最后，决策者通过提出各种请求使数据仓库进行多维分析处理形成各种分析报表供管理层作为决策参考。【五】系统模块设置1 数据采集处理通过手工录入或者批量接收的方式，采集原始数据，统一存放在关系型数据库中。在数据校验正确的情况下，进行汇总、币种折算等处理，为以后的数据仓库处理准备好源数据。有关的模块有：手工录入通迅采集校验处理汇总处理币种处理2 维度定义对资金流量表的时间、部门、指标、归属等方面，分别提供灵活的定义管理功能。3 数据仓库处理报表生成把数据吸取到数据仓库，建立以资金流量表为内容的多维报表并在报表生成的基础上，提供对于个别数据的调整功能。有关模块包括：报表生成( 数据吸取处理)报表数据输出调整报表多维查询输出4 数据查询对于原始数据、报表生成结果、各维度定义等方面，均提供了查询功能。源数据查询资金流量表钻取查询资金流量表归属查询。包括：按源数据部门查询按报表部门查询按母项指标查询按子项指标查询以及按部门生成子表数据查询等5 其他模块解决方案及典型案例原金融统计m i s 中的部分参照表管理模块数据备份恢复权限管理日志管理及查询 六】系统环境要求服务器端：操作系统：w i n d o w sn i 4 0 ( s p 5 ) 或w i n d o w s2 0 0 0s e r v e r数据库环境：m ss q ls e r v e r2 0 0 0 和m so l a ps e r v e r应用软件：资金流量分析系统m so f f i c e9 7 或以上客户端：操作系统：w i n d o w s9 8 ，n r 4 0 ( s p 5 ) 或w i n d o w s2 0 0 0数据库环境：m so l a ps e r v e r 连接部件应用软件：资金流量分析系统m s o f f i c e9 7 或以上以上便是数据仓库在银行系统一套完整的解决方案，这也是采用微软的数据仓库架构实现的决策支持的一个成功案例。本章了解了有关数据仓库的各种解决方案及其成功的案例，看到了数据仓库给我们这个世界带来的巨大能量，下面就要看一下在未来数据仓库在全世界尤其是在我们中国的发展趋势及可能对我们生活带来什么样的变化。北方交通大学硕十学位论文5 数据仓库发展前景展望在本章先根据我国国情了解一下我国目前的数据仓库发展的现状。5 1 目前我国的数据仓库市场尽管数据仓库在国外已在迅猛发展，如前面提到的世界上各大公司的诸侯纷争，甚至有预言说“建立数据仓库将给投资者带来4 0 0 6 0 0 的回报”，但是按照我国的国情，数据仓库市场是否到了成熟的时期? 以下从建库前提、成熟时间、厂商需求几方面进行分析：1 数据仓库中联机分析处理实现前提首先是要有数据，大量的日积月累的数据；其次是要有需求，做分析做决策支持的需求。但目前我国的这两个前提还不够充分。这几年这种情况虽有所好转，但是建库的规模仍不够大，而且有的数据库建完以后常常没有钱维护，就变成了“死库”。我国有的单位也开始构建自己的数据仓库。例如，前面提到的中国人民银行的案例，他们的数据仓库包括了从数据采集、数据处理到数据存储的全过程，但是数据量相对来说比较小。现在上海宝钢、深圳招商银行也在创建自己的数据仓库开展数据分析工作，为提高服务质量、增加财政收入、提高产品质量发挥了切实有效的作用。2 建立数据仓库不是一个简单的过程就可以完成的，这中间有一个从起步到成熟的阶段。美国花了5 到6 年的时间，才使这个市场成熟起来，澳大利亚借鉴了美国的经验，所以比最早启航的美国少走了几年的弯路，它只用了将近两年的时阃，就把这一市场培养起来。有了美国和澳大利亚的先行者，中国所走的路不会更曲折，相反，它会大大缩短成熟期，也许不到两年，中国的市场就会同渐成熟起来。但是，目前在中国地区，国家对企业的资金投入正在逐渐减少，如何调整企业的运营机制，自负盈亏，并保持继续增长正是当前企业改革所面临的关键问题。从这方面说数据仓库还不是一个成熟的市场。数据仓库发展前景展望3 无论在国外还是在国内，数据仓库的成熟有一个最重要的方面就是应用。只有实际的应用才可能说服用户。前几年，用户常常在数据的管理、数据的收集上下功夫，而今天用户的心态已经发生了很多的变化：人们不仅想得到数据，更多地是试图从这些信息中获得更大的收益。因为数字就是数字，没有经过分析的数字是无法决策的，数据仓库技术正迎合了这种需要。数据仓库技术与常规的数据存储和数据库技术有所不同，前者与企业的运作管理有关，它更多地来源于业务系统。现阶段，厂商和媒体要做的工作是帮助国内的企业用户端正对数据仓库的认识，从宣传中了解自己的企业要不要建、能不能建、投入多少可以建立一套数据仓库管理体系。同时，企业也从成功的应用中看到这样的系统可以给自己带来多少利益。总体来说，今天谈论数据仓库应是正当时日。因为前些年，国内已经有不少的用户在m r p i i 、企业财务管理，以及某些应用上有了原始数据的积累，若把这些现成的东西插上决策分析的翅膀，必可使得当今的企业如虎添翼。据了解，美国包括m c i 在内的一些企业，于五六年以前就开始关注数据仓库这一领域，虽然经历了无数次的失败，但结果证明，它们的路走得是对的。这一点，从已经开始的“数据仓库热”中也可看出来：厂商无论大小，产品无论多少，都围绕数据仓库这一热门技术进行企业重构，计划下一步的行销策略。国内目前的情况应该是正在培育数据仓库市场，也就是说，今天的工作在为明天作准备。5 2 国内外的差距据1 9 9 5 年国家计委、国家科委和国家信息中一b 对全国数据库进行的一次全面调查表明，我国当时具有一定容量、可对外提供服务或被有效利用的数据库为l0 0 0 余个，数据库的容量在1 0 m b i o o m b 之间的占4 2 ，l o m b 以下的占3 5 ，i o o m b 以上的占2 2 ，整体水平与发达国家差距达2 0 年的时间。近几年来我国数据库建设有了长足的发展，但与国外的发展程度相比差距并没有减少。目前，国外数据库已是海量。如美国数据库在1 9 7 5 年就平均达1 7 5 m b 比较大的库，像世界专利库有2 0 0 0 多万个记录，容量达若干个g b ，目前出现的数据仓库达几十个g b ：美国在线( a m e r j c a no n l i n e ) 公司在华盛顿的一个网点有上百个服务器，每个服务器上北方交通大学硕士学位论文都有若干个数据库，每个数据库都是几十个g b 到t b 的数据量。这是因为在美国i n t e r n e t 已经走向家庭，美国在线公司每天新增的用户有几百个，每天处理的业务达数千笔，由此可见国内外数据库应用的差距。除了维护这些数据库7 天2 4 小时运行外，他们做的另一项重要工作是将相关的数据提取出来，放到数据仓库中去用作联机分析。但是他们发现，在由原有的许多数据库构建一个数据仓库的时候，数据的集成问题、异构数据的转换问题、数据的质量问题等，都存在着一定的困难。这是因为在当初设计数据库时，没有充分注意数据的一致性。这一点因此在创建数据库的时候，就应该注意建库的一致性，自顶向下地建库，为日后构建数据仓库打好基础。总而言之，在数据仓库的应用方面，既要解决数据积累规模的问题，更要注重已建库的维护问题，双举并重吸取国外的经验和教训，才能逐步缩小我国与国外的差距。5 3 数据仓库未来发展方向以下从技术、应用、市场等几个方面探讨数据仓库的未来发展。1 数据仓库技术的发展自然包括数据抽取、存储管理、数据表现和方法论等方面。在数据抽取方面，未来的技术发展将集中在系统集成化方面。它将互连、转换、复制、调度、监控纳入标准化的统一管理，以适应数据仓库本身或数据源可能的变化使系统更便于管理和维护。在数据管理方面，未来的发展将使数据库厂商明确推出数据仓库引擎，作为服务器产品与数据库服务器并驾齐驱。在这一方面，带有决策支持扩展的并行关系数据库将最具发展潜力。在数据表现方面，数理统计的算法和功能将普遍集成到联机分析产品中，同时与i n t e r h e t w e b 技术紧密结合，推出适用于i n t r a n e t 、终端免维护的数据仓库访问前端。在这个方面，按行业应用特征细化的数据仓库用户前端软件将成为产品作为数据仓库解决方案的一部分。数据仓库实现过程的方法论将更加普及，将成为数据库设计的一个明确分支，成为管理信息系统设计的必备。数据仓库发展前景展望2 计算机应用发展的数据仓库倾向是数据仓库发展的推动力。传统的联机事务处理系统并不单独考虑数据仓库，但实际应用对数据仓库所能提供的功能却早有需求。因此，许多事务处理系统近年来陷入一个两难的境地：在现有系统上增加有限的联机分析功能。包括复杂的报表和数据汇总操作；一方面严重影响了事务处理联机性能，另一方面统计分析又因系统结构上的种种限制而不能充分体现。其结果是：应用技术的发展是朝着更加细化，更加专业的方向。在新一代的应用系统中，数据仓库在一开始便被纳入系统设计的考虑，联机分析应用于普遍的事务处理系统之中。在数据管理上，联机事务处理和数据仓库在应用中相对独立，使联机事务处理系统本身更加简洁高效，同时分析统计也更为便利。面向行业的数理统计学向更为普遍的应用发展，并集成到应用系统的数据仓库解决方案中。它们将立足于数据仓库提供的丰富信息更好地为业务决策服务。3 在市场上，从厂商和用户两个方面看数据仓库的发展。对于提供数据仓库产品和解决方案的厂商来说，严酷的市场竞争是永恒的主题。未来的发展将是不提供完整解决方案的厂商可能被其他公司收购，例如从事数据抽取、提供专用工具的软件公司很可能并入大型数据库厂商而去构建完整的解决方案。能够持续发展的厂商大致有两类：一是拥有强大的数据库、数据管理背景的公司；二是专门提供面向具体行业的、关于数据仓库实施的技术咨询的公司。随着各种计算机技术，如数据模型、数据库技术和应用开发技术的不断进步，数据仓库技术也不断发展，并在实际应用中发挥了巨大的作用。i d c 在1 9 9 6 年的一次对9 0 年代前期进行的6 2个数据仓库项目的调查结果表明：进行数据仓库项目开发的公司在平均2 - - 3 年的时间内获得了平均为3 2 1 的投资回报率。使用数据仓库所产生的巨大效益同时又刺激了对数据仓库技术的需求，数据仓库研究开发和应用的大潮正席卷而来。在9 8 年的调查显示超过9 0 的大中型公司将建立仓库，大约8 0 已投资于数据仓库的公司都认为获得巨大成功。数据仓库提供了与o l t p 系统截然不同的集中式存储系统，前者包含了从公司拥有的许多数据库中提取出来的商业数据。这些数据生动地反应了企业的现实，被予以分析，以及作为战略性的竞争武器。快速、北方交通大学硕士学位论文准确地分析商业问题，将会影响公司的长期生存。例如，在区域需求模式中分析趋势，能够帮助一个公司对供货进行管理，并且增加2 百万美元的销售额。数据仓库除了在传统领域，如金融、保险、电信等行业中的特定应用之外，在中国零售业的发展也将很广阔。零售业开放是一个大趋势。我国零售业市场尚不发达，进行数据仓库开发具有一定难度。即使在美国、新西兰或者澳太利亚，也并不是每家商店都要用数据仓库，中国的零售业虽然发展很快，但目前还没有一家大型商场安装了数据仓库。实际上，有不少国际大型零售企业正在积极迸军中国市场，中国的零售企业应该及早着手准备应付新的竞争形势，加紧商场自动化和管理决策智能化建设。利用数据仓库，可以按条目对每种商品、每个分店进行销售趋势分析，购买趋势、时令特点和定价策略都会一目了然，从而帮助经营者及时准确地做出决策。零售这个与百姓最贴近的行业，更能让人体会到高新技术与传统行业之间的碰撞与磨合。亚洲金融危机使周边国家的i t 市场形势受到了极大的影响但中国是个例外，中国的零售业市场尚不发达，但发