（管理科学与工程专业论文）基于web和数据仓库的决策支持系统研究.pdf

基于w e b 和数据仓库的决策支持系统研究 摘要 随着计算机信息技术与社会经济的发展，世界经济日益呈现全球化、网络 化、信息化与知识化的特征。企业每天都会产生大量重要的数据信息，然而其中 仅有一小部分会在相关的业务分析中被使用，大多数企业都处于“数据过剩，信 息不足”的状态。将w e b 和数据仓库技术、o l a p 和数据挖掘技术用于现代企 业管理决策中则可以大大提高企业的决策能力。其中，数据仓库侧重于数据的存 储和组织，o l a p 侧重于数据的分析，数据挖掘则致力于知识的自动发现。若把 三者结合起来，就可以使它们的能力得到更加充分地发挥。 本文首先分析了决策支持系统的研究现状及发展趋势，阐述了数据仓库系统 的结构，总结了构建数据仓库的基本步骤以及数据仓库设计过程中的主要问题， 并分析了数据仓库中元数据的作用。随后，又分析了w e b 技术的发展对决策支 持系统的影响，提出了基于w 曲和数据仓库的决策支持系统的功能、基本框架 与决策程序。最后作者以基于w e b 和数据仓库的决策支持系统理论为基础， 并结合证券公司的实际需求提出了基于w e b 和数据仓库的证券公司决策支持系 统的体系结构、并进行了数据模型设计。 关键词：w e b ，数据仓库。决策支持系统，o l a p ，数据挖掘 r e s e a r c ho fd e c i s i o n s u p p o r ts y s t e mb a s e do i l w e ba n dd a t aw a r e h o u s e a b s t r a c t w i t ht h ed e v e l o p m e n to fc o m p u t e ri n f o r m a t i o nt e c h n o l o g ya n dt h e s o c i e t y s e c o n o m y , t h e w o r l d se c o n o m yt a k e so nt h ec h a r a c t e r so f g l o b a l i z a t i o n d a ya f t e rd a y ， a n di n f o r m a t i o n ，k n o w l e d g e ，a n dn e t w o r ka r eb e c o m i n gm o r ea n dm o r ei m p o r t a n t c o m p a n i e sb r i n g al o to fi n f o r m a t i o ne v e r yd a y , b u t o n l ya l i t t l eo fi tm a yb eu s e di n t h er e l a t e db u s i n e s s m o s tc o m p a n i e sa r e s t a y i n g a tt h es t a t eo f d a t at o om o r e ， i n f o r m a t i o nt o os h o r t c o m b i n i n gt h et e c h n o l o g yo fw e ba n dd a t aw a r e h o u s ew i t h o l a pa n dd a t a m i n i n gc a ni m p r o v et h es u p p o r ta b i l i t yo ft h ec o m p a n i e s d a t a w a r e h o u s ee m p h a s i z e s p a r t i c u l a r l y o no r g a n i z i n ga n d s t o r i n g t h ed a t a o l a p e m p h a s i z e sp a r t i c u l a r l y o ft h e a n a l y z i n go ft h ed a t 扎d a t am i n i n ge m p h a s i z eo n f i n d i n gt h et e c h n o l o g y i f c o m b i n et h et h r e eo ft h e m ，t h e i ra b i l i t yw i l lb ef a rm o r e b e a e r t h ea r t i c l ea tf i r s ta n a l y z e st h ed s s sl a t e s tr e s e a r c ha n di t sd e v e l o p m e n tt r e n d ， i l l u s t r a t e st h ec o n s t r u c t i o no fd a t aw a r e h o u s e ，s u m m a r i z e st h es t e p so ff o u n d i n ga d a t ew a r e h o u s ea n ds o m ec o m m o n p r o b l e m si nt h ed e s i g np r o c e s s ，a n da n a l y z e st h e f u n c t i o no ft h ey u a nd a t a a n dt h e n ，t h ea r t i c l ei l l u s t r a t e sh o ww e ba f f e c t sd s s ，a n d g i v e st h ef u n c t i o n 、t h e f r a m e w o r ka n dt h ep r o g r a mo f t h ed s sb a s e do f w e ba n dd a t a w a r e h o u s e a tl a s t ，t h ea u t h o ra s s o c i a t e st h et h e o r yw i t ht h ef a c to fs t o c 蝎o b b e r ，a n d g i v e st h ef r a m e w o r k 、t h em o d e l a n dt h ed e s i g nt h i n k i n go ft h es t o c k j o b b e r sd s s b a s e do nw e ba n dd a t aw a r e h o u s e k e yw o r d s ：w e b ，d a t aw a r e h o u s e ，d e c i s i o ns u p p o r ts y s t e m ，o l a p , d a t am i n i n g 王l 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写 过的研究成果也不包含为获得金口0 3 ：业盘堂或其他教育机构的学位或证二f ；c 而使 f e ；【过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明 并表示谢意。 学位论文作者签名： 壶1 ：。童 签字日期：lr 彝月易。日 学位论文版权使用授权书 本学位论文作者完全了解盒珏巴工业太堂有关保留、使用学位论文的规定，有权保留 并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权金 皿工业盘堂可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：主一】铷查 签字日 l | j ：to 以年月乙口日 学位论文作者毕业后去向 工作单位： 通讯地址： 导师虢夺臻 签字日期：p 司年f 月少日 电话 邮编 致谢 值此论文完成之际，衷心地向辛勤培育我的导师朱卫东副教授表示崇高的敬 意和深深的感谢。朱老师在学习、生活和工作上给了我无微不至的关心和帮助， 对我的成长倾注了大量心血，使我毕生难忘。从论文的选题、构思到撰写及修改 完成都自始至终得到了朱老师的指导、关心、支持和信任。朱老师渊博的知识、 严谨与实事求是的治学态度、高深的学术造诣、敏锐的学术思想、积极开拓的科 研精神以及对学生至真至诚的关怀，学生将终生铭记，并引为楷模。 感谢合肥工业大学管理学院与计算机网络系统研究所为我创造的良好的科 研、学习和工作环境，感谢杨善林、赵惠芳、刘心报、梁昌勇、马溪骏、刘业政、 李兴国、任明仑、何建民、左春荣和钟金宏等老师对我的关一t b 、帮助和指导。此 外，魏方传、徐晟、李文献、王波、李俊、鲁奎、杨昌辉、李传军等同学对我的 学习和生活也给予了很多的帮助，在此表示感谢。 感谢合肥工业大学研究生部党总支书记朱红老师，辅导员潘莉老师及研究生 部其他领导和老师们对我多年来的培养和帮助。 此外，本论文得到了安徽省自然科学项目基金“集成互联网信息采集的决 策支持系统研究”的支持。在此表示感谢。 最后，感谢对论文进行评审、提出宝贵意见的各位专家，感谢所有帮助和关 心过我的人们。 l 作者：刘红杰 2 0 0 3 年6 月 第一章绪论 当今时代，随着计算机信息技术与社会经济的发展，世界经济日益呈现全球 化、网络化、信息化与知识化的特征。信息技术在各领域得到了广泛的运用。随 着企业信息系统的建立与发展，企业每天都会产生大量重要的数据信息，然而其 中仅有一小部分会在相关的业务分析中被使用，大多数企业都处于“数据过剩， 信息不足”的状态。而一个企业的竞争能力却取决于其对信息的利用能力。尤其 在日益信息化的今天，利用计算机信息技术进行科学的决策对提高企业竞争力更 加重要。由于传统的管理信息系统多采用主要面向联机事务处理( o l t p ) 的传统数 据库技术来管理数据，其联机分析和知识发现的效率很低，很难满足决策者的要 求。而基于数据仓库的智能决策支持系统，通过建立主要面向分析决策的数据仓 库，能够根据决策主题，对海量数据进行更有效的组织和管理；同时，结合联机 分析处理( o l a p ) n 数据挖掘工具，对数据仓库中的数据进行统计、分析和挖掘， 帮助人们做出及时、准确、科学的决策。 数据仓库是2 0 世纪9 0 年代初提出的概念，到9 0 年代中期已经形成潮流。 在美国，数据仓库已成为继i n t e m e t 之后的又一技术热点。目前，数据仓库、o l a p 和数据挖掘技术已成为信息科学最前沿的三个研究方向。虽然最初它们是作为三 利，独立的信息技术出现的，但是由于三者之间存在着内在的联系性和互补性，把 它们结合起来构建出基于数据仓库的新型决策支持系统，就可以更加充分地发挥 它们各自的优势，为决策提供更加有效的支持。 1 1 d s s 的概念的发展 电子计算机问世后不久就被应用于管理领域，开始人们主要用它实现数据处 理的自动化，通常把这类系统所涉及的技术称作电子数据处理e d p ( e l e c t r o n i c d a t a p r o c e s s i n g ) 。e d p 把人们从繁琐的事务处理中解脱出来，大大地提高了工 作效率。但是，任何一项数据都不是孤立的，它必须与其他工作进行信息交换和 资源共享，因此有必要对一个组织的信息进行整体分析和系统设计，从而使各个 部门的工作协调致。在这种情况下，管理信息系统m i s ( m a n a g e m e n t i n f o r m a t i o n s y s t e m s ) 应运而生，使信息处理技术进入了一个新的阶段。 管理信息系统是一个由人和计算机等组成的、能进行管理信息的收集、传递、 存储、加工、维护和使用的系统。m i s 能把孤立的、零碎的信息变成一个比较完 整的、有组织的信息系统，不仅解决了信息存放的“冗余”问题，而且大大提高 了信息的效能。然而，上世纪8 0 年代以来，随着管理信息系统的产生和推广使 用，管理信息系统存在的局限性也r 益突出。首先，m i s 多采用主要面向联机事 务处n ( o l t p ) 的传统数据库技术来管理数据，其联机分析和知识发现的效率很 低。其次，m i s 一般是基于机械式的模型库两设计的，用它来解决非结构化问题 则困难重重。第三，m i s 只能利用现有的信息，而不具备知识发现和归纳学习的 能力。此外，m i s 只能利用企业内部信息，而不能将内外部信息相融合。为了克 服m i s 存在的不足，决策支持系统d s s ( d e c i s i o n s u p p o r ts y s t e m ) 就应运而生 了。决策支持系统( d s s ) 是信息系统研究的最新发展阶段。它是个融计算机 技术、信息技术、人工智能、管理科学、决策科学、心理学、行为科学和组织理 论等学科与技术于体的技术集成系统。 【9 7 1 年s c o t tm o r t o n 在管理决策系统中最先提出决策支持系统的概念。 此后从事决策支持系统研究的人数逐渐增多，1 9 7 5 年以后决策支持系统( d s s ) 作为专有名词已被大家认同。d s s 的基本思想是把人的判断力和计算机的信息处 理能力结合起来，从而改进管理者在半结构化和非结构化任务中进行决策的有效 性丽又不妨碍他们的主观能动性。 随着现代企业经营与生产规模的不断扩大以及环境的不断变化，管理决策也 变得同益复杂化。传统的决策依靠决策者个人的经验与分析判断能力已远远不能 满足管理决策的要求了，群体决策成为决策科学化的重要发展方向。互联网等通 讯技术的发展，使获取决策领域专家的意见更为方便、快捷，为群体决策支持系 统( g d s s ) 的发展提供了技术基础。目前g d s s 的研究强调的是对决策群体成 员间的沟通过程以及对各成员决策结果的集结方法和过程的支持。 1 2d s s 的决策支持能力的发展 ( 1 ) 7 0 年代初，辅助管理者对半结构化和非结构化问题进行决策，主要标 志是将交互式技术应用于管理任务： ( 2 ) 7 0 年代中后期，支持管理和决策者做出判断，强调“支持系统”而非 “决策系统”。k e e np e t e rg w 等在7 0 年代末指出d s s 是由管理者及其属下工作 人员使用的支持管理决策的基于计算机的系统。该系统以决策者、决策模型和数 据库的集成为特征，协助管理者而不是取代管理耆对半结构化问题做出决策，其 改进的是决策的效果而不是效率。 ( 3 ) 8 0 年代，人工智能技术进勃发展，专家系统( e s ) 走向实用化对决策 支持系统产生了深刻影响。将人工智能与专家系统的理论、方法应用于决策支持 系统产生了智能决策支持系统( i d s s ) ， d s s 增加了d s s 的“柔性”，使系统能 适应决策问题与决策环境的变化，提高了决策支持能力。vs r i n i v a s a n 等将d s s 的应用领域扩展到非结构化决策。 ( 4 ) 9 0 年代，随着通信技术的迅速发展，新的决策理论和方法的出现以及 系统科学领域中系统分析与建模范围内数据组织、编程方法论方面的新概念、新 工具的不断提出，决策支持系统得到了长足的发展。应用远程通信技术，将支持 个人决策拓展到支持组织决策形成的群决策支持系统( g d s s ) ；将定性推理理论、 证据理论、数据挖掘等应用于d s s 形成各种智能决策支持系统( 1 d s s ) ：而 m u l t i a g e n t 协同支持原理为分布式决策支持系统的数据获取、辅助建模及交互 模式的研究带来了广阔的前景。 ( 5 ) 9 0 年代中后期至今，在d s s 原有三库的基础上，结合数据仓库、o l a p 及数据挖掘技术，形成了基于数据仓库的综合决策支持系统( s d s s ) 。该系统的 体系框架如图1 1 所示： 田 图1 1 基于数据仓库的决策支持系统体系框架 综合结构体系包括三个主体：第一个主体是模型库系统和数据库系统的结 合，它是决策支持的基础，为决策问题提供定量分析( 模型计算) 的辅助决策信息： 第二个主体是数据仓库和0 l a p ，它从数掘仓库中提取综合数据和信息，这些数据 和信息反映了大量数据的内在本质；第三个主体是专家系统和数据挖掘的结合， 数据挖掘从数据库和数据仓库中挖掘知识，并将其放入专家系统和知识库中，通 过知识推理的专家系统达到定性分析辅助决策。数据挖掘的方法和技术主要包括 并联规则挖掘方法、多层次数据汇总归纳、决策树方法、神经网络方法、覆盖正 例排斥反例方法、粗集方法、遗传算法、公式发现、统计分析方法、模糊集方法、 可视化技术等。综合体系结构的三个主体可以相互补充又可以相互结合，可根据 实际问题的规模和复杂程度，决定是采用单个主体辅助决策还是采用两个或三个 主体相互结合辅助决策。利用第一个主体的辅助决策系统就是i d s s ；利用第二 个主体的辅助决簸系统就是新的决策支持系统；将三个主体结合起来所形成的 s d s s 是一种更高形式的决策支持系统，其辅助决策能力比其它各种决策方法都 上了一个新的台阶。 1 3 d s s 的体系结构的研究与发展 r h ，s p r a g u e l 9 8 0 年提出了基于数据库、模型库这两库的d s s 框架，把d s s 看作由用户接口、数据库管理系统、模型库管理系统三部件集成的结构。该结构 主要强调对数据、模型及两者集成的支持，适用于对特定领域较稳定问题的决策 支持，构成传统的决策支持系统的基本结构。 将人工智能与专家系统( e s ) 引入决策支持系统就构成了智能决策支持系 统，其基本结构是在传统的决策支持系统结构的基础上加上知识库，形成以数据 库、模型库和知识库这三库为基础的结构。i d s s 是在三库基本结构的基础上， 将模型库中的规范模型分离出来构成方法库而形成四库结构。在四库的基础上为 了便于用户使用，增加文本库就形成了五库结构。 b o n c z e k 提出的基于问题处理模式的d s s 结构，由语言系统( l a n g u a g e s y s t e m ) 、问题处理系统( p r o b l e mp r o c e s s i n gs y s t e m ) 和知识系统( k n o w l e d g e m e n t s y s t e m ) 三部分构成。这种结构采用统一的知识体系，有利于系统功能的扩充， 可以认为是一种进化结构。 f 日大纲等提出利用神经网络为代表的联接机制作为统一d s s 各部件的基本 框架，作为构造决策模型的基本元素。i d s s 的结构随着知识、学习在决策中的 作用日益重要出现基于问题处理模式与基于库部件的两种结构相互融合的趋 势：随着辅助决策功能的增加其结构模块数量呈现出不断增大的趋势，如互联网 数据采集、数据仓库、数据挖掘等模块不断地扩充到i d s s 中。 随着智能体( a g e n t ) 的研究和发展，基于m u l t i a g e n t 技术的i d s s 研究成为 重要的研究方向。梁义芝等提出了基于m u l t i a g e n t 技术进行模型管理的决策支 持系统，采用a g e n t 技术实现了部件的功能。刘金琨等提出基于界面智能体、移 动智能体、信息智能体的智能决策支持系统。 1 4d s s 的智能数据处理理论与方法的发展 在决策理论方法的发展方面，传统决策支持系统主要依据运筹学理论方法， 采用定量分析模型，使数值计算和数据处理融为一体提高了辅助决策能力。传 统决策支持系统对决策中常见的定性问题、模糊问题和不确定性问题缺乏相应的 支持手段。智能决策支持系统引入智能数据处理理论与方法使上述问题得以解 决。其方法主要有： ( 1 ) 机器学习：对大量历史数据和决策程中积累的经验进行分析处理以 获取对决策有用的知识。 ( 2 ) 软计算方法：软计算的目的在于适应现实世界遍布的不精确性，它是 一个方法的集合。其指导原则是开拓对不精确性、不确定性和部分真实的确认和 表示，以达到可处理性、鲁棒性、低成本求解以及与现实更好的紧密联系。 ( 3 ) 数据仓库和联机分析处理( o l a p ) ：数据仓库是通过多数据源信息的 抽取、转换、净化、加载、集成，建立面向主题的、集成的、非易失的、随时间 变化的数据集合，从而为决策提供可用信息。0 l a p 是与数据仓库相关联的数据 分折技术，它通过对数据仓库的即席、多维、复杂查询和综合分析，得出隐藏在 数据中的事物的特征与发展规律。 ( 4 ) 数据挖掘( d a t am i n i n g ) ：d m 是一个从大量数据集合中发现对决策有 用的知识的过程。利用人工神经网络、决策树、机器学习等方法，发现未知的知 识，再把知识放入知识库中用于支持决策。近几年来，数据驱动的知识发现方法 成为d m 的研究热点，该方法使数据挖掘成为不需人工干预的自动过程。 综上所述，目前d s s 的研究热点主要集中在： ( 1 ) d s s 与人工智能技术的集成，使d s s 具有更好的学习、发现和使用知 识的能力、具有更高的自适应能力，并使d s s 提供主动的支持。 ( 2 ) d s s 与数据处理技术、网络技术相结合，使d s s 的数据采集与分析处 理能力更强、使d s s 的通讯能力、协调工作能力更高。 ( 3 ) 决策理论、方法和技术、以及其他相关各学科的研究成果在d s s 中的 应用。 2 1 数据仓库技术 第二章数据仓库技术及其发展 2 1 1 自然演化体系结构存在的问题及数据仓库系统的出现 大型在线事务处理系统问世后不久，就出现了一种用于“抽取”处理的程 序。它搜索整个文件或数据库，使用某些标准选择合乎要求的数据，并把这些 数据传送到其他文件或数据库中去。起初是抽取，随后是抽取之上的抽取，接 着是在此基础上的再次抽取，这样就形成了抽取处理的蜘蛛网。这种贯穿于公 司或组织的失控抽取模式称为“自然演化体系结构”。随着公司或组织规模的不 断扩大和业务的不断拓展，自然演化体系结构的所面临的问题也变的越来越突 出。 首先是数据缺乏可信性。在自然演化体系结构中，数据可信性危机的第一 个原因是数据无时间基准。经常存在这样的问题，一个部门星期日晚上抽取了 分析所需要的数据，而另一个部门在星期三下午就抽取了数据。在不同时刻抽 取的数据的分析结果经常是不同的。在自然演化体系结构中，数据可信性危机 的第二个原因是算法上的差异。例如，一个部门选择所有的旧帐号做分析，而 另一个部门选择所有的大帐号作分析。所以分析结果经常大相径庭。此外，外 部数据的选择差异及以上各原因的交互作用会进一步扩大数据可信性危机。 其次是生产率比较低，特别是需要在整个企业范围内进行数据分析时生产 率往往是相当低的。为了分析数据，设计者要在大量的企业数据中找到报表所 需要的分析数据，为报表编辑数据，编写企业生成程序。由于每一份报表都要 花费精力重复整个过程的所有工作，第一张报表并不能为企业后来的其他报表 做出什么贡献，所以数据分析的效率很低。 可信性和生产率还不是问题的全部，自然演化体系结构还存在另一个主要 的缺陷无法把数据转化为信息。首先系统在建立时没有考虑到集成，所需 数据往往分散在各处。第二个主要障碍是在应用系统中没有存储足够的历史数 据可以满足d s s 分析员的要求。这些都使得d s s 分析员从应用系统中抽取所需 的信息非常困难。 由上可见，自然演化体系结构的存在方式确实已越来越不能满足企业的需 求了。这就需要进行一个更大的变化体系结构的转变。于是就出现了体系 6 结构化的数据仓库环境。 2 1 2 体系结构化的数据仓库环境 在体系结构化的核心部分主要存在原始数据和导出数据这两种数据。这两 种数据存在这很大的区别。如原始数据是面向应用的，而导出数据则是面向分 析主题的；原始数据是详细的，而导出数据一般是集成的、经过提炼的；原始 数据一般是操作瞬间的数据并不断更新，而导出数据是过去的数据的快照，使 用者一般不对其更新。由于原始数据和导出数据有如此多的差异，他们根本不 适合存在于同一个数据环境中，两者自然要进行分离，其分离的扩展过程如图 2 1 所示。 图2 1 原始数据和导出数据的分离扩展过程 2 1 3 数据仓库的定义 自从数据仓库概念出现以来，不同学者从不同角度对数据仓库下了不同的 定义。目前，大家公认w h i n m o n 在其1 9 9 2 年所著的“b u i l d i n gt h e d a t a w a r e h o u s e ”一书中对数据仓库所做的定义最具权威性。他认为数据仓库是一个 面向主题的、集成的、非易失的、随时间变化的用来支持管理人员决策的数据 集合。数据仓库是体系结构化环境的核心，是决策支持系统( d s s ) 处理的基础。 因为在数据仓库中有单一集成的数据源( 数据仓库) ，并且对数据仓库中的粒度 化的数据的访问非常容易，所以，与传统数据环境相比，在数据仓库环境中d s s 分析员的工作要容易得多。数据仓库不是现成的可以直接买来使用的产品，事 实上数据仓库是一种解决方案，是对原始的操作数据进行各种处理并转换成有 用信息的处理过程。 数据仓库面向主题与传统数据库面向应用相对应。主题是一个在较高层次 将数据归类的标准。每一个主题对应一个分析领域。数据仓库的集成特性是指 在数据进入仓库之前，必须进行数据加工和集成。首先要统一原始数据的矛盾 之处，还要将原始数据做一个从面向应用到面向主题的转变。数据仓库的非易 失性是指数据仓库反映的是历史数据的内容，而不是日常事务处理产生的数据， 数据经过加工集成进入数据仓库后，数据仓库的使用者一般只对数据进行一些 查询和分析，很少修改数据仓库中的数据。数据仓库是不同时间的数据集合， 它要求数据仓库中的数据保存时限能满足进行分析的需要。数据仓库中的每个 数据单元都只是在某一时间是准确的。所有记录都包含某种形式的时间标志， 用以说明数据在哪一时间是准确的。 2 1 4 数据仓库系统的体系结构 数据仓库系统包括对进入数据仓库的原始数据进行抽取、转换、过滤、清 洗等处理，并按照决策的要求重新组织，形成具有不同力度的综合数据层，以 及对数据仓库中存储的数据进行更新、管理、使用、表现等的相关软件或工具 的集合。数据仓库系统通常由数据仓库数据库、数据仓库管理部分和分析工具 三部分组成，这三部分的关系如图2 2 所示。 专：卜分l 。篡毫o 。裟 卜一管理部分_ 十卜一r 二三三；、+ 一( 分析工兵y ! 源数据i一i 一 数据仓库系叫 图2 2 数据仓库系统中三部分的关系 ( 1 ) 数据源，主要包括构成数据仓库的事务数据库和其他操作数据库，以 及市场调查与各种文档等外部数据。 ( 2 ) 从数据仓库中抽取数据并将其存入数据仓库的过程。在这个过程中必 须将事务数据库中数据转换成数据仓库的数据库结构和内部格式，并将其加载 到数据仓库数据库中。 ( 3 ) 管理部件，主要包括对数据仓库中数据的维护、安全、备份、恢复、 日志及更新等工作。这些工作需要借助数据库管理系统的功能实现。 ( 4 ) 完成元数据的管理、存储以及对整个数据仓库的检测和管理。元数据 又称“关于数据的数据”。其作用在于拥有中心数据库记录数据仓库中有什么、 他们来自何处、他们通过何种方式转换而来等信息，以利于d s s 分析员更易使 用数据仓库。 ( 5 ) 查询分析工具，这些工具主要包括检索查询工具、多维数据的o l a p 分析工具、统计分析和数据挖掘工具等。 2 1 5 数据仓库数据的细节级 数据仓库中数据的组织方式与数据库中不同，通常采用分级的方式进行组 织。包括早期细节级、当前细节级、轻度综合级、高度综合级以及元数据五部 分。数据是由操作型环境导入数据仓库的。典型的数据组织方式如图2 3 所示。 徽可芦 当前细节级 | ，ill 图2 3 数据仓库数据的细节级 9 ( 1 ) 早期细节数据。存储过去的详细数据，反映真实的历史情况，这类数 据随着时问增加，数据量很大，使用频度低，一般存储在转换介质中( 如磁带) 。 ( 2 ) 当前细节数据。最近时期的业务数据，反映当前业务的情况，数据量 大，是数掘仓库用户最感兴趣的部分。随着时间的推移，当前细节数据由数据 仓库的时间控制机制转为早期细节数据。 ( 3 ) 轻度综合数据。从当前基本数据中提取出来，通常在一较小的时间段 ( 粒度) 内统计而形成的数据。这类数据较细节数据量要小得多。 ( 4 ) 高度综合数据。这一层的数据十分精炼，是一种标准决策数据。 整个数据的组织由元数据统一来组织，元数据与指向数据仓库的内容索引 相似，处于数据仓库的上层，并记录数据仓库中对象的位置。 2 1 6 数据仓库的数据组织 数据仓库的数据组织方式共有三种：虚拟存储方式、基于关系表的存储方 式和多维数据库存储方式。 虚拟存储方式是虚拟数据仓库的数据组织形式。没有专门的数据仓库数据 存储，数据仓库中的数据仍然保存在源数据库中。只是通过语义层工具根据用 户的多维需求，完成多维分析的功能。这种方式组织比较简单，花费少，用户 使用灵活。但这种方式要求源数据库的数据组织比较规范、数据完备、不冗余， 而一般数据库的组织关系比较复杂，数据库中的数据又有许多冗余和冲突的地 方，所以在实际组织中这种方式很难建立起为决策服务的有效数据支持a 关系型数据仓库的组织是将数据仓库的数据存储在关系型数据库的表结构 中，在元数据的管理下完成数据仓库的功能。这种组织方式在建库时首先要提 供一种图形化的点击操作界面，让d s s 分析员对源数据库的内容进行选择，定 义多维数据模型。然后再编写程序把数据库中的数据抽取到数据仓库的数据库 中。基于关系表的存储方式的主要问题是多维数据模型定义好后，数据从数据 库中的抽取往往需要编制独立、复杂的程序完成这个过程，通用性差，不易于 维护。 2 1 7 数据仓库中的多维模型技术 数据模型是数据仓库的核心问题之一。数据仓库所使用的数据模型与传统 o l t p 数据库所使用的数据模型完全不同，它是经过反正规化的结构。在多维建 模中，一个表和关系的模型是根据关系数据库中的优化决策性能的目的来建立 的。多维建模通过选择被建模的商业过程来形成一个逻辑数据模型，并决定事 实表中每个记录的含义。事实表的颗粒通常是正在分柝的商业过程结果的数量 度量( 如销售量、投资额、收入等) ，它们依赖于一组维表这些维表提供了这些 数量度量的索引参考数据( 如时间维、产品维、地区维等) 。例如销售量与城市、 产品名称和销售时间有关，这些相关的维度唯一决定了销售量这个度量值。在 实际的决策过程中，可以采用适当的聚类技术，实现快速综合查询功能。通过 对事实表、聚类表、维表的查询能很好地实现上钻、下钻、切片、旋转等操 作，并以灵活的方式将结果呈现给用户，从而给决策者提供很好的支持。 多维模型有两种最基本的结构， 还是雪花结构都是以事实表为中心， 互之间的关系不同而已。 即星型结构和雪花结构。不论是星型结构 它们的不同之处只是在于外围的维度表相 ( 1 ) 星型结构。一个星型结构的维度表只会与事实表发生关系，维度表与 维度表之间并不会发生任何关系。例如我们使用星型结构来设计一个连锁超市 的数据仓库。事实表为销售数据，它主要包括销售量和销售金额。维度表则包 括了时间维、地区维以及产品维。如图2 4 所示。 图2 4 星形结构模型 ( 2 ) 雪花结构。雪花结构实际上就是一个星型结构在维度表上增加层次结 构，比如把在产品颜色维度表和产品样式维度表连接在产品维度表上，就构成 了雪花结构，如图2 5 所示。 这个模型能够回答下面这样的查询：“在合肥地区，2 0 0 3 年上半年，蓝色， 长袖衬衫销售额是多少? ” 2 2 数据仓库的构建 图2 5 雪花结构模型 数据仓库的实现主要以关系数据库( i m b ) 技术为基础，因为关系数据库 的数据存储和管理技术发展得较为成熟，其成本和复杂性也较低，已开发成功 的大型事务数据库多为关系数据库，但关系数据库系统并不能满足数据仓库的 数据存储要求，需要通过使用一些技术，如动态分区、位图索引、优化查询等， 使关系数据库管理系统在数据仓库应用环境中的性能得到大幅度的提高。 数据仓库在构建之初应明确其主题，主题是一个在较高层次将数据归类的 标准，每个主题对应一个宏观的分析领域，针对具体决策需求可细化为多个 主题表，具体来说就是确定决策涉及的范围和所要解决的问题。但是主题的确 定必须建立在现有联机事务处理( o l l 下) 系统基础上，否则按此主题设计的数 据仓库存储结构将成为一个空壳，缺少可存储的数据。但一味注重o l l p 数据信 息，也将导致迷失数据提取方向，偏离主题。需要在o l t p 数据和主题之间找到 一个“平衡点”，根据主题的需要完整地收集数据，这样构建的数据仓库才能满足 决策和分析的需要。 建立一个数据仓库需要经过以下几个处理过程：数据仓库设计；数据抽取： 数据管理。 ( 1 ) 数据仓库设计 根据决策主题设计数据仓库结构，一般采用星型模型和雪花模型设计其数据 模型，在设计过程中应保证数据仓库的规范化和体系各元素的必要联系。主要有 以下3 个步骤： 定义该主题所需各数据源的详细情况，包括所在计算机平台、拥有者、数据 结构、使用该数据源的处理过程、仓库更新计划等。 定义数据抽取原则，以便从每个数据源中抽取所需数据；定义数据如何转换、 装载到主题的哪个数据表中。 将一个主题细化为多个业务主题，形成主题表，据此从数据仓库中选出多个 数据子集，即数据集市( d a t a m a r t ) 。数据集市通常针对部门级的决策或某个特 定业务需求，它开发周期短，费用低，能在较短时间内满足用户决策的需要。因 此，在实际开发过程中可以选择在成功建立几个数据集市后再构建数据仓库这种 策略。 这些数据定义直接输入系统中，作为元数据( m e t a d a t a ) 存储，供数据管理 模块和分析使用。元数据存储在元数据库中，它不仅是数据仓库的文档资料，供 管理、维护人员使用，而且亦可供用户查询，使之更好地了解数据仓库结构，提 高自己的使用水平。 ( 2 ) 数据抽取模块 该模块是根据元数据库中的主题表定义、数据源定义、数据抽取规则定义对 异地异构数据源( 包括各平台的数据库、文本文件、h t m l 文件、知识库等) 进 行清理、转换，对数据进行重新组织和加工，装载到数据仓库的目标库中。在组 织不同来源的数据过程中，先将数据转换成一种中间模式，再把它移至临时工作 区。加工数据是保证目标数据库中数据的完整性、一致性。例如，有两个数据源 存储与人员有关的信息，在定义数据组成的人员编码类型时，可能一个是字符型， 一个是整型；在定义人员性别这一属性的类型时，可能一个是c h a r ( 2 ) ，存储的 数据值为“男”和“女”，而另一个属性类型为c h a r ( 1 ) ，数据值为“f ，和“m ”。这两 个数据源的值都是正确的，但对于目标数据来说，必须加工为一种统一的方法来 表示该属性值，然后交由最终用户进行验证，这样才能保证数据的质量。在数据 抽取过程中，必须在最终用户的密切配合下，才能实现数据的真正统一。早期数 据抽取是依靠手工编程和程序生成器实现的，现在则通过高效的工具来实现，如 a r d e n t 公司的i n f o m o t e r 产品、s a s 的数据仓库产品s a s w a ( w a r e h o u s e a d m i n i s t r a t o r ) 及各大数据仓库厂商推出的完整的数据仓库解决方 案。 ( 3 ) 数据维护模块 该模块分为目标数据维护和元数据维护两方面。目标数据维护是根据元数据 库所定义的更新频率、更新数据项等更新计划任务来刷新数据仓库，以反映数据 源的变化，且对时间相关性进行处理。更新操作有两种情况，即在仓库的原有数 据表中进行某些数据的更新和产生一个新的时间区间的数据，因为汇总数据与数 据仓库中的许多信息元素有关系，必需完整地汇总，这样才能保证全体信息的一 致性。 数据仓库规模般都很大，从建立之初就要保证它的可管理性，一个企业可 能建立几个数据仓库或数据集市，但他们可共用一个元数据库对其进行管理。首 先从元数据库中查询所需的元数据，然后进行数据仓库更新作业，更新结束后， 将更新情况记录于元数据库中。当数据源的运行环境、结构及目标数据的维护计 划发生变化时，需要修改元数据。元数据是数据仓库的重要组成部分，元数据的 质量决定整个数据仓库的质量。 2 3 数据仓库的d s s 的支持 d s s 对数据的使用是非集成的信息它的一次查询操作要涉及上百张表的上 千行数据，复杂的表连接会严重影响系统的性能，而且用户仅仅在分析的时候才 查找有关数据，查找条件是随机的，因此基于事务型数据库的d d s 的数据分析 能力很有限。目前，基于数据仓库的d d s 的决策技术包括联机分析处理( o l a p ) 和数据挖掘( d a t am i n i n g ) ，在d d s 环境中数据仓库直接为联机分析处理和数据 挖掘提供数据能力。 1 联机分析处理( o l a p ) o l a p 是针对特定问题的联机数据访问和数据分析而产生的一种技术，它满 足d s s 从多种角度对数据进行快速、一致、交互地分析，克服传统d s s 交互能 力差的弊病，使决策者能够对数据进行深入观察。o l a p 服务器使用为用户预定 义的多维数据视图对数据仓库的信息进行统计分析处理。为具有明确分析范围和 分析要求的用户提供高性能的决策支持。o l a p 将分析结果存储在信息库中，便 于决策者通过对比多种分析结果作出更好的决策。此外，信息库中还存放决策准 则、管理经验和常识等。o l a p 工具目前以多维分析瓜o l a p 为主，如i n f o r m i x m e t a c u b e 分析工具软件。 2 数掘挖掘 数据挖掘是指从大量数据中发现潜在的、有价值的及未知的关系、模式和趋 势，并以易被理解的方式表示出来。在d d s 中通过进行数据挖掘用以发现数据 之间的复杂联系以及这种联系对决策的影响。 在数据仓库基础上挖掘的知识通常以图表、可视化、类自然语言等形式表示 4 出来，但所挖掘的知识并不都是有意义的，必须进行评价、筛选和验证，把有意 义的知识放到知识库中，随着时间的推移将积累更多的知识。知识库根据挖掘的 知识类型包括总结性知识、关联性知识、分类模型知识、聚类模型知识，这些知 识通过相应挖掘算法得到。 2 4 数据仓库的元数据及其主要作用 元数据在数据仓库的设计、运行中有着重要的作用，它描述了数据仓库中 的各对象，是数据仓库的核心。它是关于数据仓库中有什么、他们来自何处、 他们通过何种方式转换而来等的描述信息，其主要目标是提供数据资源的全面 指南。换句话说，元数据就是“关于数据的数据”。如果没有一个好的元数据支 持运作的化，d s s 分析员的工作就很难进行。典型的元数据包括： 数据仓库的表结构； 数据仓库的表属性： 数据仓库的源数据： 从操作型数据系统到数据仓库的映射； 数据模型的说明； 抽取日志； 访问数据的公用程序： 数据的定义描述； 数据单元之间的关系： 元数掘的主要目的是为了计算机系统的结构、开发过程和使用方法提供一 致的文档，从而为数据仓库开发人员和d s s 分析员提供更加有效的支持。其主 要作用如下： ( 1 ) 改善与系统的交互。元数据文档中包含系统的使用方法、现有业务概 念、术语、预定义的查询和报表等内容的详细说明使得信息检索和查询等系 统的交互更加高效快捷。 ( 2 ) 提高数据质量。元数据可以解释数据的来源、操作、意义等问题，有 利于保持数据的一致性、精确性和完整性等，从而保证数据的质量。 ( 3 ) 支持系统集成。在异构数据库和信息系统的集成，以及简单的多数据 源之间的协同工作中都需要关于每个数据源的结构和意义的元数据。 ( 4 ) 支持系统的分析、设计和维护。通过提供数据的结构、来源、意义等 信息以形成应用程序和软件的文档，元数据增加了应用程序开发过程的可控性 和可靠性。 ( 5 ) 改善系统的灵活性和现有软件模块的可重用性。把一些具有明确语义 的数据存储在元数据中而不是在应用程序中，当系统出现新的需求时可以灵活 的扩展软件，使软件具有较好的适应性。 第三章 基于w e b 和数据仓库的决策支持系统结构研究 随着互联网技术日新月异的发展，专业信息服务网站与各种企业商务网站 如雨后春笋般的涌现，互联网上经济信息的内容与规模迅速膨胀，为利用互联 网上的信息进行科学的决策提供了有利的条件。现在许多专业信息服务网站和 各种企业商务网站都提供了搜索引擎帮助用户查找相关信息，但是往往查找出 的结果是大量无结构的信息，决策者利用这些信息进行决策，就要对这些信息 做迸一步处理，使提供辅助决策的信息与决策问题相联系，并按不同的决策属 性进行整理与分析，寻求科学合理的决策方案，这些工作需要依靠决策支持系 统的帮助来完成。另外，当面向复杂问题时，仅利用互联网上采集的信息进行 决策往往是不够的，决策问题还与决策者自己拥有的内部信息系统中的信息相 关联，这时就应建立面向互联网的智能决策支持系统( i d s s ) ，让它帮助决策者 对互联网上的信息进行处理并结合决策者自己的资源条件进行科学合理的决 策。 电子商务的核心是商务活动。在交易前交易各方在各种商务网络和i n t e m e t 上发布和寻找交易机会，通过交换信息来比较价格和条件，了解对方国家贸易 政策、选择交易对象，商务活动本身是一种将内部条件与外部环境相结合的决 策活动。面向互联网、融入搜索引擎和数据挖掘技术的i d s s 使企业决策者能更 好地寻找经济合作伙伴( 零部件供应商、产品销售代理商等) ，更好地从事商务 活动，它的产生与发展必将推动电子商务活动的发展。因此，面向互联网的i d s s 是在互联网上进行电子商务的一项重要基础技术。 互联网为高级决策人员异地远程参与重大问题的决策提供了快速、方便的 技术手段。利用互联网可低成本、及时地将处于异地的决策者的意见进行交流、 处理与融合，集中专家群体的智慧进行决策，面向互联网的i d s s 支持利用互联 网的群决策，从而可更广泛地选择决策参与者，提高科学决策的效果。