（计算机软件与理论专业论文）基于数据仓库的外贸企业信息管理系统设计.pdf

南开人学坝j 。毕业论义2 0 0 4基于数据仓库的外贸企业信息管理系统的设计 中文摘要 随着计算机技术的进步，信息管理系统的广泛使用，大量的数据被存储到数 据库中。此时企业的管理者认识到，以适当的方法来处理这些数据对于企业决策 是有帮助的。他们要求从他们所储存的数据中获得信息，正如j o h nv o l k o b e r 所 说的“我们需要一个这样的工具，它可以使得我们的企业管理者们独立的去寻找 他们自己问题的答案，同时还对他们的决策有一定的帮助”。这个工具就是决策 支持系统。企业常用的是一般的信息管理系统，它是一种运用关系数据库的联机 事务处理( o l t p ) 系统，并不足以提供决策的支持。而由于数据仓库可以用不 同的格式组织和i 提供数据，因而可以满足不同用户的各种要求。建立在数据仓库 基础之卜的能够提供决策支持的系统是扩展的信息管理系统。 本论文以外贸企业信息管理系统项目为背景，提出了一种在现有的信息管理 系统之上建立这种扩展信息管理系统的方案。主要内容是基于数据仓库技术、数 据采掘技术和数据可视化技术，使用微软公司的s q ls e r v e r 的a n a l y s i s s e r v i c e 工具，采用三层c s 模式，将数据维护、数据采掘、数据分析，分别 做成独立的子模块建立了一个与普通m i s 类似的决策支持系统的原型系统。论 文中首先对原来的信息系统进行分析，并在此基础上对基于数据仓库的系统进行 总体设计，其次研究了系统中数据仓库和联机事务分析( o l a p ) 的建立，最后 进一步研究了前端展示的实现。论文的结尾介绍了方案的不足，并对系统做了进 一步的设想。 随着技术的进步，这种扩展的信息管理系统是信息管理系统发展的必然趋 势，本文的研究对于扩展的企业信息管理系统的开发和应用有一定的借鉴作用。 关键字：数据仓库，联机事务处理，联机分析处理，决策支持系统，微软决策树 前端展示 南开大学硕士毕业论文2 0 0 4 基于数据仓库的外贸企业信息管理系统的敬计 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g ya n dt h ew i d e l y a p p l i c a t i o no fm a n a g e m e n ti n f o r m a t i o ns y s t e m ( m i s ) ，al o to fd a t aw a sd e p o s i t e di n t h ee n t e r p r i s e sd a t a b a s e m a n a g e r sw e r eq u i c kt or e a l i z et h a ts u i t a b l ys u m m a r i z e d t r a n s a c t i o nd a t ah a dp o t e n t i a ld e c i s i o n - m a k i n gv a l u e j o h nv o l k o b e r , s a i d w en e e d e d at o o lt h a tw o u l da l l o wo u rm a n a g e rt oi n d e p e n d e n t l ys e e ka r l s w e r st ot h e i rq u e s t i o n s a n df a c i l i t a t et h e i rd e c i s i o nm a k i n gp r o c e s s e s ”t h et o o l ：e x t e n d e dm i s 司e c i s i o n s u p p o r ts y s t e m al o to fs y s t e mu s e di n t h ee n t e r p r i s ei sg e n e r a lm a n a g e m e n t i n f o r m a t i o ns y s t e m ，w h i c hb a s e do na l lo nl i n et r a n s a c t i o np r o c e s s i n g ( o l t p ) s y s t e mt h a tu s e dr e l a t i o n s h i pd a t a b a s e 。t h es y s t e mc a l l to f f e rt h ed e c i s i o n m a k i n g s u p p o r t i n g f o rt h ed a t aw a r e h o u s ec a no r g a n i z ea n d o f f e rd a t ai nm u l t i p l ef o r m s ，i t c a ns a t i s f yv e r s a t i l er e q u i r e m e n to fm a n yd i f f e r e n tu s e r s t h es y s t e mb a s i n gd a t a w a r e h o u s ei sc a l l e da se x t e n d e dm i sn a m e l yd e c i s i o ns u p p o r ts y s t e m ( d s s ) t h ep a p e rp u t sak i n do f w a yi nw h i c hp e o p l em a yb u i l de a s i l ye x t e n d e dm i so n t h eo l dm i s t h ep a p e rm a i n l ye x p a t i a t eh o wt od e s i g nd s sw i t hm i c r o s o f ts q l s e r v e ra n a l y s i ss e r v i c e sa d o p t i n gt h r e el a y e r sc sm o d e i ti sm a i n l yb a s e do nt h e t e c h n o l o g yo f d a t a b a s e ，d a t am i n i n ga n dd a t aa n a l y z i n g f i r s t l y , t h ep a p e ra n a l y s e st h e s t r u c t u r ea n df u n c t i o no ft h eo l ds y s t e m s e c o n d l y , w ee x p a t i a t eh o wt od e s i g n s t r u c t u r eo ft h eo l a pa n dd a t aw a r e h o u s ei nt h i sd s s a tl a s t w ee x p a t i a t eh o wt o d i s p l a yd a t ai n f o r m a t i o nt ot h ec l i e n tw i t hv i s u a lb a s i c6 0 f i n a l l y , t h ep a p e ri n d i c a t e s t h el a c ko f t h es y s t e mt h a ti sd e s i g n e di nt h ep a p e r ，a n dc o n c e i v et h ef u r t h e rw o r k w i t ht h ed e v e l o p m e n to ft h et e c h n o l o g y , i ti si n e v i t a b l et e n d e n c yf o rt h e e n t e r p r i s e si n f o r m a t i o nm a n a g e m e n tt od e v e l o pf r o mm i st od s s ，s ot h ed i s s e r t a t i o n h a se x c e l l e n ta p p l i c a t i o n k e yw o r d s ：d a t aw a r e h o u s e ，o nl i n et r a n s a c t i o np r o c e s s i n g ( o l t p ) ，o nl i n e a n a l y t i c a lp r o c e s s i n g ，d e c i s i o ns u p p o r ts y s t e m ，d e c i s i o nt r e e ，d i s p l a y i i 南开人学坝卜毕业论文2 0 0 4基于数据仓库的外贸企业信息管理系统的设计 第一章绪论 1 1m i s 系统发展和现状 m i s ( m a n a g e m e n ti n f o r m a t i o ns y s t e m ) 中文名称为管理信息系统，一般地 说它是一门综合了管理科学、系统理论、计算机科学的系统性科学它的形成依 赖于管理科学和技术科学的发展。在m i s 系统中包括三要素，他们是系统的观点、 数学方法和计算机技术。在m i s 系统发展过程中出现了一些与它相关的应用系 统，分别是办公自动化( o f f i c ea u t o m a t i o n ，o a ) ，实时数据采集和监测，决策 支持系统，制造业资源计划和企业资源计划，和计算机集成制造系统。 信息管理系统最早出现在2 0 世纪6 0 年代初期，那个时代的应用主要是创 建于主文件上的单个应用，此时应用的主要特点是报表和程序，常用的语言是 c o b o l 语言，穿孔卡是当时的常用的介质，主文件是存放在磁带文件上的，随着 这种技术的应用出现了许多的问题，这些问题的关键是存储介质，于是人们又做 了进一步的研究，到了七十年代出现了磁盘存储或者称之为直接存取存储设备 ( d i r e c ta c c e s ss t o r a g ed e v i c e ，d a s d ) ，随d a s d 而来的是称之为数据库管理 系统( d a t a b a s em a n a g e m e n ts y s t e m ，0 8 m s ) 的新型软件，d b m s 的目的是使程序 员在d a s d 上方便的存储和访问数据，七十年代中期，联机事务处理开始取代数 掘库。技术人员发现更快速地访问数据是可能的这就开辟了一种全新的视 野。采用高性能联机事务处理，计算机可用来完成以前无法完成的工作。到了八 十年代，一些更新的技术丌始出现，比如个人计算机和第四代编程语言。最终用 户开始扮演以前无法想象的角色直接控制数据和系统，这超出了对传统数据 处理人员的界定。随着个人计算机与第四代语言技术的发展，诞生了一种新的思 想，即除了高性能联机事务处理之外，对数据可以做更多的处理。信息管理系统 ( m i s ) 一( 早期就如此称呼) 也开始有可能实现了。如数据仓库之父w h i n m o n 所 述，m i s 如今称为决策支持系统( d e c i s i o ns u p p o r ts y s t e m ，d s s ) ，是用来产生 管理决策的处理过程。以前，数据和技术不能一并用来导出详细的操作型决策， 而此时一种新的思想体系开始出现，即一个单一的数据库既能用作操作型的高性 能事务处理，同时又用作d s s 分析处理，也就是本文所要研究的广义的m i s 系 统。 在技术发展的同时，信息管理系统经历一个范畴不断增大的过程，从较少 涉及管理问题的电子数据处理系统( e l e c t r o n i cd a t ap r o c e s s i n gs y s t e m ， e d p s ) ，到以解决结构化的管理决策问题为主的传统型信息管理系统，再到如今 的强调管理决策中人工作用而产生的管理支持系统( m s s ，m a n a g e m e n ts u p p o r t 南开大学颂士毕业论文2 0 0 4基于数据仓库的外贸企业信息管理系统的设计 s y s t e m ) 。在这个过程中，决策部分在信息管理系统中所占的比重越来越大。 随着技术的进步以及信息管理系统的广泛使用，这样的要求将会进一步的 加大，因为此时企业已经拥有前所未有的大量数据，仅仅搜集和整理数据，而不 对其进行处理使之适于适用，不能满足企业的需求。因此，如何为客户提供一种 能够对企业的大量数据做出总的、多层次的、多侧面快速灵活的查询、分析从而 提供给企业管理者做出决策所需要的有用的信息是一个值得研究的课题。 1 2 企业对数据仓库的需求 从上面的阐述可以看出，现在的企业由于已经积累了大量的数据和信息， 所以不再满足于仅仅用计算机管理日复一日的运营数据。他们更需要的是从这些 数据中得到有用的信息，便于进行决策支持。能够满足这个需求的是m i s 的扩 展系统即决策支持系统( d e c i s i o ns u p p o r ts y s t e m ，d s s ) ，在d s s 系统中普通的 数据库已经不能够满足需要，此时数据仓库的概念便应运而生了。 数据库与数据仓库是截然不同的。数据库系统作为数据管理的手段，从它 诞生开始，就主要用于事务处理。经过数十年的发展，在这些数据库中已经保存 了大量的日常业务数据，传统的业务系统一般是直接建立在这种事务处理环境上 的。而数据仓库是以关系数据库、并行处理和分布式等技术的飞速发展为基础， 用于解决实际当中拥有大量的数据，但是有用信息贫乏的一种综合解决方案。顾 名思义，数据仓库就是数据的仓库，它在存放大量数据的同时又能像仓库一样将 大量数据有效的管理起来，主要侧重于对海量数据的组织和管理，提供有效的数 据访问的手段，同时，结合一些分析工具，如o l a p ( o n l i n ea n a l y t i c a l p r o c e s s i n g ) 和数据挖掘工具，面向中高层管理人员，在数据仓库中进行统计、 分析和挖掘，以获得用于决策的信息或发现相关规律，可以发挥大量数据的作用 和价值。 随着计算机技术的进步，数据仓库技术也得到了长足的发展，许多厂商都 提出了自己的数据仓库的解决方案，例如：微软公司提出的利用创建的框架，简 化对数据仓库解决方案的设计、实施和管理的方案；s y b a s e 公司推出的个针刈 数据仓库应用的集成化的解决方案w a r e h o u s es t u d i o ：o r a c l e 公司所提出的方案 则包含了业界领先的数据库平台、开发工具和应用系统，另外，i b m 公司提出 的融汇了众多合作伙伴和第三方开发商品的智能解决方案。同时，他们也对自己 的方案进行了大力的推广。 数据仓库也在实际应用中发挥了巨大的作用。i d c 于1 9 9 7 年曾进行了一项 研究，在调查了6 2 家各种规模的、采用了数据仓库的公司之后，得出的结沦表 明他们的平均投资回报率超过4 0 0 ，使用数据仓库在产生巨大效益的i 刊时也刺 南开人学坝 。毕业论文2 0 0 4基于数据仓库的外贸企业信息管理系统的设计 激了对数据仓库技术的要求。 随着我国改革的进一步深入和市场经济的同益完善，市场竞争越演越烈。 而此时国家对企业的投入也在逐渐减少，如何调整企业的运营机制，使其自负盈 亏，并保证持续增长是当前企业改革面临的关键问题。此时，企业希望通过他们 已经积累和掌握的信息，来得到市场的走向和企业发展的潜力等关系到企业未来 发展的关键性信息，从而可以使他们在激烈的竞争中立于不败之地，而可以担当 这个任务的只有数据仓库。 1 3o l a p 的技术背景及特点 随着m i s 系统的广泛使用和数据仓库技术的发展，人们发现联机事务处理 ( o n l i n et r a n s a c t i o np r o c e s s i n g ，o l t p ) 不能够满足数据分析的需要，因为o l t p 属 于即时数据的更新，对系统资源的需求非常大。除此之外它还具有如下的缺点： 首先，它难于设计报表。传统的实体关系数据模型设计是针对单独行的查 询，但是对多约束、多连接等多维查询来说就过于复杂了，有时我们可能用到很 庞大且语法复杂的w i t hc u b e ，w i t hr o l l u p 与一些t - s q l 的汇总函数。这 样的后果除了会延长查询占用的时涮以外，还会与现有系统抢夺资源，造成系统 负载过重而产生瓶颈。 其次，索引会降低o l t p 系统的功能。虽然，索引可以改变查询时的性能， 但是可以带来很多的负面影响。 在此种情况下。关系数据库之父e e c o d d 提出联机事务分析( o l a p ) 的 概念。o l a p 是基于数据仓库的信息分析处理过程，是数据仓库的用户接口部分。 根据o l a p 委员会的定义“1 ：o l a p 是分析人员，管理人员或执行人员能够从 多种角度对从原始数据中转化出来的，能够真正为用户所理解的并真实反映维数 据特性的信息进行快速、一致、交互的存取，从而获得数据更深入了解的一类软 件技术。o l a f 的目标是满足决策支持或多维环境特定的查询分析需求，他的核 一心是“维”的概念。 0 l a p 通常和报表及查询有密不可分的关系，利用复杂的查询能力、数据对 比、数据抽取和报表来提供不同层次的分析，因此一般o l a p 与o l t p 有着明显 的区别。 o l a p 的主要的工作是将数据仓库的数据转换到多维结构中，并且调用多维 数据集( c u b e ) 来有效的执行复杂的查询。o l a p 的核心对象包含多维结构的 信息，多维数据集是由一组维及一些度量组成的，其中可以包含一个或一个以上 的分区。o l a p 把数据存储在维中的特性提供了比o l t p 或标准的数据仓库更好 的分析能力。 通常情况下，o l a p 应具有如下的特性：f a s ta n a l y s i so f s h a r e d 南开人学钡l 毕业论文2 0 0 4基于数据仓库的外贸企业信息管理系统的醚 m u l t i d i m e n s i o n a li n f o r m a t i o n 如( ( f a s m i ) ，共享多维信息的快速分析) 。同时，也 是o l a f 设计人员或者管理人员用来判断一个o l a p 设计是否成功的准则。 f a s t ：这意味着系统响应用户的时间要相当快，一般不超过5 秒，最简单的 查询应该1 秒之内完成，几乎没有超过2 0 秒的。因为对用户来说，如果超过3 0 秒还看不到结果的话，他们就认为系统已经失败了。如果数据量很庞大却要快速 取得分析是不容易思想的。因此，要达到这个目标，数据库的模式应该朝着一个 更广泛技术的发展，包括特殊的数据存储格式，完全的预先计算和特殊的硬件配 置等。 a n a l y s i s ：这意味着系统应能处理与应用有关的任何逻辑分析和统计分析。 因为事先编程并不能定义所有的应用，所以，在o l a p 分析的过程中，用户无需 编程就可以定义新的计算，将成为分析的一部分，且以用户希望的方式给出报告。 实现的功能包括两方面。一方面，用户可以在o l a p 平台上分析；另一方面，可 连接到其他外部分析工具上，如时间序列分析工具，成本分析工具，意外报警， 数据挖掘等。 s h a r e d ：这意味着系统要能够符合数据保密的安全的需求。即使是多个用户 同时使用，也能够根据用户所属的安全级别，让他们只能看到他们应该看到的信 息。 m u l t i d i m e n s i o n a l ：o l a p 的关键要求。用多维来形容o l a p 最恰当不过了。 这意味着系统必须提供一个可以浏览多维数据的环境，包括完全支持分层结构和 多重分层结构模式。同样，这也是用在商业及组织分析上最合乎逻辑的一种方法。 i n f o r m a t i o n ：数据的全部目的就是信息，无论这些数据在什么位置或与应用 程序有着多么密切的关系。 另外，由于o l a p 与o l t p 数据相比有如下特点，所以使得o l a p 比o l t p 更能够对数据分析提供支持。 首先，是历史性。o l a p 数据来自于数据仓库，数掘仓库的最大特色就是数 据具有历史性，而且通常会涵盖相当长的一段时间。而o l t p 通常只包含目前或 最近的即时数据。造成这种区别的原因是数据分析往往需要从长期的角度来看， o l a p 的这种长期数据统计以及不轻易改变数据的特性，对于o l t p 来说却是不 需要的。这意味着数据仓库的数据不会随时间的变化而有所更动，也f 因为如此 才能正确展示某一段时间的数据。 其次是只读性。由于数据仓库的数据是历史性的，这也意味着其数据也是只 读的。一般情况下，只有在发现o l t p 的原始数据来源有错时，才会改变数据仓 库的数据。如果数据已汇总到数据仓库后才修改，那将会破坏数据仓库的致性。 第三是分类性。o l t p 数据强调所有的细节，而o l a p 则强调数据的分类以 4 南”人学坝i 毕业论义2 0 0 4基于数捕：仓库的外贸企业信息管理系统的设计 便于统计分析。 第四是合并性。将企业内所有异构数据，通过数据验证、数据迁移、数据清 理和数掘转换的方式全部汇集合并在数据仓库中。第五是一致性，通常包括两种 一是格式一致，另是单位一致。所谓格式一致是指不论原始数据的存储格式如 何，当数据导入数据仓库时，其格式应该是统一的，这样才能做统计分析。同样， 单位一致是指不论原始数据存储单位是什么，当数据导入数据仓库时，其单位应 该是一致的才能做统计分析。第六是面向商业主题，数据仓库的数据通常只包括 一个企业可能会用到的商业信息。一般而言，一个企业级的决策支持系统通常要 的不足o l t p 的细节数据。 1 4 本文的研究内容和本文构成 本章的前几节已经对m i s 系统的发展和现状，数据仓库及o l a p 技术的 特点做了详细的阐述，从中可以看到基于数据仓库的m i s 系统即决策支持系统 ( d s s ) 将是未来的一个发展方向，也是值得研究的课题，本文就是对此种系统 的实现做一个初步的探索。 本文是以“外贸企业信息管理系统”为背景，本着为建立决策支持应用系 统提供技术支持的目的，围绕数据仓库的建立进行研究。本文作为数据仓库技术 应用的一种尝试，以信息查询、数据分析为研究对象，数据仓库理论为指导思想， 以m sa n a l y s i ss e r v i c e s 的o l a p 软件为工具，试图设计出一种方便查询和分析 的数据仓库应用系统。 本文主要的工作为： 第二章对原有的信息系统进行分析，在此基础上，给出基于数据仓库 的外贸信息管理系统的总体设计。 第三章集中研究基于数据仓库的外贸信息管理系统数据仓库和o l a p 的建立。 第四章集中对数据前端展示的实现进行研究。 第五章指出本文所设计的原型系统的优点和不足，以及进一步的改j f 措施。 南开大学硕十毕业论文2 0 0 4基于数据仓库的外贸企业信息管理系统的设汁 第二章基于数据仓库m i s 的总体设计 本章首先对原系统进行分析，然后在此基础上给出基于数居仓库的外贸企业 的m i s 系统的体系结构，并对系统功能以及采用的工具等进行详细的阐述。 2 1 现有系统分析 外贸企业业务流程繁琐，手续繁多，票据需要在多个部门问进行流转，为了 提高企业的办公效率，实现数据共享，开发了原有的信息管理系统。这里对原有 的系统做如下的分析： 首先，进行身份的分析。原外贸企业信息管理系统提供了总经理，总经理办 公室人员，业务部人员，报运部人员等几种不同登录身份，在系统中每种身份有 不同的权限。例如：总经理负责运营，负责审批部分批价单和合同，同时他若想 很好的掌握市场的动态，更好的管理公司，还需要对各种数据有查询的功能。这 也是原有的m i s 系统能够提供给他的一个与决策有关的信息。 第二，从流程上分为签约准备，签约履约，制单，送报运等几个模块。这些 模块管理了外贸企业从准备签合同到货物出运的全部信息，是产生基础数据的关 键部分，能否使系统拥有准确的数据便于以后处理，这些部分至关重要。除了这 些模块外，还有为总经理办公室所设置的总经理办公室模块，这个模块负责配额 管理，合同号管理和信息发布，其中配额管理就是掌握全公司的出口配额，进行 配额的分配、竞标工作，对各业务部办理的出口许可证进行上报、办理登记审核 工作，在各个部门间传递数据。合同管理是为每个部门分配年度使用的国内合同 编号。 第三，从系统所提供的功能上分析，在签约准备，签约履约，这两个模块中 为业务员提供了数据的录入，删除，修改，和提交功能。提交后的数据等待部门 经理或者是总经理的审批，审批后的数据成为正式数据，这也是各部门及经理查 询所需要查的数据。在制单和收用汇这两个模块中只提供了对数据的录入，删除， 和编辑的功能，这里产生的数据直接可以进行查询。这些将来有可能会成为基于 数据仓库的m i s 系统中的原数据，具体哪些数据会成为真正的元数据将在第三 章中给出。 第四，原外贸服装公司信息管理系统采用的是c s 的架构，服务器端采用的 是w i n d o w sn t 4 0 操作系统，客户端则采用的是w i n d o w s 9 8 操作系统。它所采 用的c s 结构是传统的c s 两层架构。这种模式指的是一个应用可分解成前台客 户与后台服务器两部分，后者包括运行于网络中的一台或多台服务器计算机上的 数据库系统及相关程序，能为客户提供数据查询、更新、事务处理，高速缓存， 6 南开大学硕毕业论文2 0 0 4基于数据仓库的外贸企业信息管理系统的设计 查询优化和多用户并发控制等服务功能。而客户部分是指与客户交互的应用程 序，它通过发送消息给服务器请求服务，采用c i s 模式系统网络负载小、效率 高、易于升级、增设新的服务器、具有开放结构；缺陷在于客户端用户剧增时， 加重后端服务器负担而降低系统的整体运行效率。 2 2基于数据仓库的外贸企业m i s 系统的结构 在本章的前一节中，对原有的外贸服装信息管理系统从流程、人员身份、功 能，系统架构这四个部分做了分析，本节将根据通常的数据仓库的流程同时结合 前面的分析，对基于数据仓库的外贸企业m i s 系统进行总体结构设计。 根据w h i n m o n 对数据仓库的定义，通常一个数据仓库过程应包含以 下五个部分： 1 数据的预处理比如选择，清洗等 2 数据的转换并且为你的采掘阶段确定选择方式 3 各种模式方案的采掘 4 结果的呈现 5 结果的解释和利用 根据以上数据仓库的工作流程和原数据库的工作流程，可以推出如下图所示 的基于数据仓库的m i s 的工作流程； 源数据d w 数据库o l a p 服务 图2 1 ：数据仓库工作流示意图 根据上面2 一l 的工作流示意图，可以知道所设计的基于数居仓库的m i s 系统可以 分为如下三个部分：首先是涉及源数据库定义和管理的日常事务处理部分也就是 所说的传统的m i s ，然后是涉及数据采集和数据维护的数据仓库管理部分，最后 就是涉及数据展示和决策支持的数据仓库应用部分。 按照上面所叙述通常情况下的总体系统的结构，结合前一节所进行的原外贸 南开大学顿士毕业论义2 0 0 4基于数据仓库的外贸企业信息管理系统的设计 企业m i s 系统的分析，可以看出本文所设计的基于数据仓库的外贸企业m i s 系统 在结构上可以分为三个大的模块，分别是：同常事务处理部分即原来的外贸企业 信息管理系统，涉及数据采集和维护的数据仓库管理部分，和涉及数据展示的数 据仓库应用部分。在图2 2 中展示了数据在各个处理模块中的流动情况。在图中 的数据仓库维护模块和数据仓库应用这两个大模块是本论文研究的重点。 由前一节的原系统架构的分析可以知道原信息管理系统采用的是c s 两层 架构的系统，为了弥补两层架构的缺陷，在所设计的基于数据仓库的外贸企业的 m i s 系统中采用c s 三层架构系统。三层a s 的功能通常由c o m ( c o m p o n e n t o b j e c tm o d e l ) 构件来完成。所说的三层模式如2 3 图所示，在三层c s 模式中 较复杂的部分应是前端与应用服务器( a p p l i c a t i o ns e r v e r , a p s ) 关系，原先这部 分程序在传统c s 模式中是同一程序，三层模式将商业逻辑部分抽出而生成 c o m 程序利用a p s 的c o m 来存取数据库。由于原有的信息管理系统采用的 是v b 6 0 语言编写，因此所设计的数据仓库系统仍然采用此种语言。 图2 - 2 模块间的数据流图 事务数据库 数据库 图2 3 具有三层模式的c s 模式的工作原理示意图 南开人学硕i 。毕业论文2 0 0 4基于数据仓库的外贸企业信息管理系统的改计 2 3 系统功能及设计 在前面所设计的总体架构基础之上，本章将从总体到细节对系统具有的功 能及设计作详细的阐述。 2 3 1 总体功能及设计 基于数据仓库的总体的功能是：可以使原外贸企业数据库中的数据经过预处 理、筛选后存入数据库中，然后再以多维形式存放于o l a p 数据库中，这样可以 使得数据之间的关系得到优化，也可以大大降低数据查询与分析的时间，同时本 系统还提供了前端展示功能，使客户很方便的看到分析的结果，从而为用户的决 策起到辅助的作用。 根据上述功能，在系统中将有如下的功能模块： 数据传送模块：此模块是嵌在原外贸企业信息管理系统中的，它的作用 是负责定时传送数据给d w 数据库，使数据可以得到及时更新。 数据维护模块：此模块负责对于数据仓库中的数据进行维护。 数据采掘模块：此模块用于为客户端提供信息挖掘的支持。具体的功能 将在后面阐述。 可视化功能模块：此模块主要用来为客户提供操作系统的界面。其中有 部分需要用到数据仓库维护功能模块。 这儿个模块问的关系是：数据传送模块将日常事务系统中分析所用的数据传 送到d w 数据库中，这个数据库相当于一个中间数据库，在建立o l a p 数据库 时，将这个数据库作为o l a p 数据库的源数据库，数据维护模块主要负责对系 统中的各类数据进行维护，在数据进入o l a p 数据库后。数据采掘模块负责对 这部分数据进行信息挖掘，以得到客户需要的信息，最后可视化功能模块将数据 挖掘后所得到的信息及o l a p 多维数据库中的信息展示给客户。 2 3 2 数据仓库维护模块功能 陔部分是整个仓库部分的最重要的一部分，功能是对仓库所拥有的数据进 行管理和处理，将最终的数据交给可视功能进行模块进行使用。下面将分几部分 对它的功能进行介绍，首先，要介绍它所拥有的数据模型。 南开大学硕l 毕业论文2 0 0 4基于数据仓库的外贸企业信息管理系统的殴计 2 3 2 1 数据模型： 一般的数据仓库中通常涉及三大类数据，它们分别是：原数据，功能数据和 成品数据。同样与之对应的数据库也有三种它们是原数据库、功能数据库和成品 数据库。 原数据一般指来源于日常事务处理系统的数据，本系统的原数据，它就是原 来的外贸企业数据库中的数据转换拷贝而得的，由于原外贸企业的数据表中有一 些数据是单纯为原外贸企业系统服务的数据，这些数据与决策分析无关，所以不 能把全部数据复制，只是根据用户的查询或者决策的支持来选择要用的数据。 而功能数据来源于数据的手工输入，在程序设计当中我们会经常遇到有必要 自己定义的一些数据，因此必须把这些数据保存到配置表中，比如支持度和可倩 度数据可视化时也会遇到这种情况，这些数据我们都必须事先把它们胃入功能数 据库中。 最后，就是成品数据是为用户提供成品数据的浏览分析，另一个是为用户提 供决策支持。这部分数据在这里就是指o l a p 数据库中的数据，这部分数掘通过 s q l s e r v e r a n a l y s i ss e r v e r i c e 所提供的工具，或相应的m d x 语言进行 处理后就可以通过界面展现给客户，提供决策支持。 2 3 2 2 数据仓库维护模块功能 在上面所述的三种数据模型中，由于原数据库中的数据加载主要是由原外贸 企业信息系统中加入的数据传输模块实现的，而数据库结构的改动也非常少，而 且修改会对总体程序影响很大，因此不会给客户提供这方面的功能。也因为这个 原因，数据仓库数据维护模块不包括这部分数据的维护。这里的维护只是针埘于 功能数据和o l a p 数据库中的数据维护。对功能数据的维护主要是支持对功能数 据的读入，删除，修改。而对于o l a p 中的数据的维护包括对多维数据集的创建， 对共享维度的创建以及对挖掘模型的创建及对这些相应的删除，修改等，这些操 作虽然很复杂，但是，这些操作大部分均可以由m sa n a l y s i ss e r v i c e s 的o l a p 提供的工具来完成。而且，这些操作一般在一定的时间中4 会进行一次。但是， 为了可以方便客户使用，同时又要保证数据库的安全，所以将使用m sa n a l y s i s s e r v i c e s 中的所提供的d s o ( 决策支持对象) 在应用程序中为客户提供一个接口， 以便用户可以按照自己的需要对o l a p 数据库进行维护。 2 3 2 3 数据挖掘模块功能 数据仓库的主要目的是为用户提供综合信息。挖掘的目的是从大量的数据中 南开人学硕卜毕业论文2 0 0 4基于数据仓库的外贸企业信息管理系统的设计 发现有用的信息。数据挖掘是数据仓库管理系统的主要部分也是整个数据仓库开 发平台的核心部分，这些信息不仅反映了用户经营的状况和未来发展趋势，而且 能够帮助用户制订未来的经营策略。这个模块包括两部分功能一部分对于在 o l a p 中已经建立好的挖掘模型，在这里只是利用m d x 语句将结果展示给客户， 另外就是给用户提供接口，让用户在一定的范围内可以自主的建立数据挖掘模 型，这样可以使系统更好的满足客户的需要。这部分功能主要使用m sa n a l y s i s s e r v i c e s 中的d s o 来实现。 2 3 3 数据仓库维护模块设计 以上叙述了数据仓库管理具有的功能，下面详细阐述了实现这些功能而进行 的设计。 2 3 3 1 数据仓库维护的设计 此部分主要分为以下两个部分： 首先是对于0 l a p 的维护，提供这部分实现函数是为更好的满足用户对于数 据查询和统计的要求，它包括如下两个部分 1 ) 维的维护 数据库的维的维护通常在m s a n a l y s i ss e r v i c e s 中直接就可以进行，但是， 如果允许用户在m s a n a l y s i ss e r v i c e s 维护，可能会使数据库有不安全的 隐患，同时使用m s a n a l y s i ss e r v i c e s 进行维护步骤繁琐不易掌握，所以 在本系统中提供了维护的函数。其中包括建维的函数，编辑维的函数。 这里的每一个函数都使用了m sa n a l y s i ss e r v i c e s 中的d s o 中的 d i m e n s i o n 对象来实现。 2 ) 多维数据集的维护 由于多维数据集将会给系统带来很大的影响。所以，一般不能够让用户 随意的去删除或添加多维数据集。系统只为用户提供了对现有的多维数 据集进行编辑的函数，这些函数包括对现有的多维数据集进行插入计算 成员，插入计算单元，插入度量值的函数。每一个函数都是用m s a n a l y s i s s e r v i c e s 中的d s o 中的m d s t o r e 对象来实现。 其次，是对于功能数据的维护，在本系统中功能数据通常包括以下几个部分： 权限的定义：使用权限的限制是为了确保数据库的安全性。指的是指对 有关应用程序权限数据和功能权限数据进行定义修改和删除。权限定义 的维护要可靠，以免给企事业带来不必要的损失，另外，操作员的密码 应该加密以防别人盗用密码进入平台获取数据。它包括两个函数：权限 南开大学硕上毕业论文2 0 0 4基于数据仓库的外贸企业信息管理系统的设汁 数据维护，操作员权限维护。在这里由于原来外贸出口服装公司的程序 有业务员，经理，部门经理，商品会计，办公室管理人员，系统维护员 等多种身份，与此对应这里的函数就要为这些人员分配不同的权限。 采掘数据：采掘数据维护是指对采掘时有关的参数进行定义、修改和删 除。比如对关联规则，差异数据，趋势数据，周期数据采掘时所使用的 支持度等维护。 可视化数据维护：是指对数据可视化分析时有关的参数进行定义，修改 和删除。比如在对关联规则进行可视化时，可信度达到多大时数据才被 可视化。 分类代码分类代码的编码事先应该有所约束，这样有利于平台的开发。 分类代码的主要目的就是用于查询。 2 3 3 2 数据挖掘模块设计 使用m sa n a l y s i ss e r v i c e s 进行数据挖掘，首先要在m sa n a l y s i ss e r v i c e s 中 建立数据挖掘模型。这里提供了两种数据挖掘模型，一种为聚类模型，一种为 决策树模型。挖掘模型一旦建立，如果有任何更改将会为程序带来很大的影响。 所以这部分功能由两部分组成，一部分为挖掘模型的维护，使用m sa n a l y s i s s e r v i c e s 的d s o 实现这部分功能。另一部分是使用这些建好的数据模型来进行 信息分析和挖掘。这里只提供了三种挖掘，一为关联挖掘，另一为差异挖掘最 后一个为预测挖掘。在这里不再重点研究这些算法，这些算法早已被封装在m s a n a l y s i ss e r v i c e s 中，本文里将在三、四两章中以预测挖掘为例阐述如何使用 v b 6 0 调用这些算法从而实现这些功能。 2 3 4 可视化功能及设计 可视化主要包括数据，模型和过程三方面的可视化。在本系统中只是对数据 可视化进行设计，其他的两个方面暂不考虑。数据可视化分析是通过计算机的图 形显示实现数据仓库对历史信息的综合分析。它的主要功能是对成品数据这罩指 的是o l a p 中的数据进行可视化，以便进行数据分析。通过表格，图形，对比， 旋转等可视的方法把成品数据中的统计、差异、趋势、周期、关联规则等数据按 不同的时间或空间表示出来，以支持用户做出决策。这部分的模块结构如图2 4 所示： 南开大学硕十毕业论文2 0 0 4基于数据仓库的外贸企业信息管理系统的设计 模块结构闺2 _ 4 下面详述了各个模块的功能 夺登录：由于数据仓库系统和原来的事务处理系统是分开的，所以在这早 另设身份管理。主要是为了保证安全性。 夺统计报表：这个模块主要对各部门的销售情况，利润获得情况等进行年， 月，季的数据统计分析并打印出相应的报表。 夺信息挖掘展示：此模块主要功能是对前面挖掘模块中的函数所挖掘出的 信息进行表格和图例的展示。 夺查询：该部分包括以下两个部分一为主题查询，用户按次序输入，选 择查询类别，计算域，时封域或位置域，选择主题进行查询。另一种为 浏览查询，用户直接输入数据查询类别、计算码、时间或位置等，程序 去按主题词输入进行模糊匹配找到相应的查询功能号和调用参数后 到查询功能库中调用查询程序返回数据。 2 4s q l s e r v e ra n a l y s i ss e r v i c e s 简介 在前面三节中对整个系统的总体设计，功能做了详细的阐述。这一节将对 系统所采用的s q ls e r v e r 2 0 0 0a n a l y s i ss e r v i c e 工具及在本系统中的应用做详细 的阐述。 s q ls e r v e r 2 0 0 0a n a l y s i ss e r v i c e 是一整套的决策支持引擎和工具。s q l s e r v e r 2 0 0 0 a n a l y s i ss e r v i c e 分析服务的访问是通过图形用户界面的工具，并且通 过图形与微软管理控制台接口运行，该工具使得一个管理员更容易管理不同的决 策支持任务。它可以访问两种形式的决策支持机制：数据挖掘和o l a p 。 a n a l y s i ss e r v i c e s 的结构可以划分为客户端部分和服务器部分，客户端部分 用于提供前端的应用软件界面，服务器端部分则存储提供各种功能和服务的引 擎。客户机部分和服务器部分各自独立构成，通过不同的途径访问。在基于数据 仓库的m i s 系统的设计中主要使用了a n a l y s i ss e r v i c e s 中的数据转换服务( d a t a 南开太学硕士毕业论文2 0 0 4基于数据仓库的外贸企业信息管理系统的设计 t r a n s f o r m a t i o ns e r v e rd t s ) ，决策支持对象( d e c i s i o ns u p p o r to b j e c t ，d s o ) 多维表达式m d x ( m u l t i d i m e n s i o n a le x p r e s s i o n ，m d x ) ，o l ed b 2 ：4 1 d t s 在数据仓库系统中，数据仓库的数据来源于原来的日常事务处理程序的数掘 库。需要定时将这些数据传入o l a p 数据库中。此时所采用的工其是d t s ( 数据转 换服务) 。d t s 就是数据转换服务工具，它通过提供一组工具，使用户得以将来 自完全不同来源的数据析取，转换和合并到d t s 中。 d t s 包含许多内容，包括： c o m 对象集合，其中每一个对象完成一项特定的任务。 o l sd b 数据连接的中枢 工作流程开发平台 应用开发