（交通运输工程专业论文）基于数据仓库技术的库存决策支持系统的研究.pdf

摘要 随着计算机技术的发腱，交通运输行业都丌始采用计算机及相应的信息技术 进行管理和运营，食、 k 数扪实际f ：地企、f p 的经验积累，! 其积累到定程度时， 必然会反映出胤t l t # , 1 - 的尔心。允这样的背景下，人们迫切需要新代的汁算技术 和决策工具柬挖掘“信息孤岛”一 ，蕴减的1 五减，使其成为i j 直接利用的决策支持 信息，并指导食业领导若1 的投术决策和经营决策。 本文通过对物流行、p 的背疑j 探作流程的分析，提出了建立基于物流行业的 库存决策支持系统，足其能够协助领导矗f i ：决策，以提高企、眦自身的竞争力，允 分【吁领i b 场。 本文首先介绍了“1 今流行的决策分析技术一一数据仓库、联机分析处理 ( o l a p ) 和决策支持系统，然后分析了决策在般企业中的重要性与物流行业 中对库存数抓分析的必要。r f 。提；1 1 了建立基j 二数据仓库的库存决策支持系统的设 计思路。 术文通过分析j 决策支持系统j 用的多种体系结构的框架后，给出了基于客 户机n 务器的系统架构模j 斟以及柑应的功能模型、结构设计和上作流程。 在数掘仓库办u ，水史洋细分析_ r 物流库存中的各个方面要素，首先给h 了 建讧基于现存数据厍的数抓集r 1 i 力案基j 二w e b s e r v i c e 的数据集中方案以及 相应的数据形式统标准。然后给h 1 了库存数掘仓库t fr 相关的维表、度量、习 实 表以及整个数抓一力体的改训。接卜求小文给出了基于该数掘仓库的数掘分析疗 法和o l a p 数据挖拥的j l 4 br 作模式。扯软件平台的选用卜，本系统采用了 s y s b a s e 公司提供的糕体解决乃。案。 最后，小文列系统进行j 糕体评测，并提出了今后改进的目标和方法。 关键字：物流，数抓仓阼，库仔决策支持系统，o l a p 弛2 虹 t 程坝l 毕业论义 a b s t r a c t w i t ht h ed e v e l o p m e n to ft h ec o m p u t es c i e n c e ，t h ec o m p u t e rh a sb e e nu s e di nt h e t r a f f i ct r a d ei no r d e rt om a k et h ee n t e r p r i s em a n a g e da n dr u nv e r yw e l l t h e nag r e a t d e a lo fd a t ah a v eb e e na c c u m u l a t e dd u r i n gt h ep r o c e s so fm a n a g e m e n t a n dt h e q u a n t i t yo fd a t ab e c o m em o r ea n dm o r e s o m e t i m e st h ed a t ac a ni m p l ys o m e i n f o r m a t i o n s om a n yp e o p l ew a n tt ou p d a t et h ec o m p u t e rt e c h n o l o g yt om e e tt h e n e e dt om a k et h ed e c i s i o n w i t ha n a l y z i n gt h eb a c k g r o u n da n de s s e n c eo fl o g i s t i c si n d u s t r y , t h ea r t i c l ep u t s f o r w a r dak i n do fs t o c k sd s sb a s e do nd a t aw a r e h o u s et e c h n o l o g y t h i ss y s t e mc a n h e l pt h el e a d e r so ft h ee n t e r p r i s et od os o m ed e c i s i o n sb a s e do nt h ed a t a a tf i r s t ，t h ea r t i c l ei n t r o d u c e ss o m et e c h n o l o g ya b o u td s s d a t aw a r e h o u s ea n d o l a et h e nt h ei m p o r t a n to fb u i l d i n gs t o c k sd s si nl o g i s t i c se n t e r p r i s e si sa n a l y z e d i nt h ea r t i c l e t h ea r t i c l ea l s op r o v i d e ss o m em e t h o d so fb u i l d i n gt h i ss y s t e m a f t e r c o m p a r e ds o m ea r c h i t e c t u r e s ，w ed e c i d et ou s ec l i e n t s e r v e ra r c h i t e c t u r e a n dt h e d e s i g no f c o m p o n e n t a n dw o r k i n gf l o wi sg i v e n a f t e ra n a l y z e dt h ef a c to fs t o c k si nl o g i s t i c si n d u s t r y , w ep r o v i d e dt h ed e s i g no f d a t ae x t r a c ta n dd a t ac l e a n s e t h ed i m e n s i o n t h em e a s u r e ，t h ef a c tt a b l e ，t h e m u l t i d i m e n s i o nd a t aa n dt h ed a t ac u b e so ft h es y s t e ma r ea l s od i s c u s s e di nt h ea r t i c l e a t l a s t w eu s eo l a pt e c h n o l o g yt oq u e r ya n da n a l y z e a n dt h es o l u t i o no fd a t a w a r e h o u s ep u tf o r w a r db ys y b a s ec o r p o r a t i o ni sa d o p t e di nt h es y s t e m t h ec h a r a c t e r i s t i c so fs y s t e ma l s oa r eg i v e na t 血ee n do ft h ea r t i c l e k e yw o r d s ：d a t aw a r e h o u s e ，o l a p , s t o c kd s s ，l o g i s t i c s 第3 蜓 论文独创性声明 v 6 40 8 3 4 本论文是我个人在导师指导下进行的研究工作及取得的研究成果。论文 中除了特别加以标注和致谢的地方外，不包含其他人或其他机构已经发表或 撰写过的研究成果。其他同志对本研究的启发和所做的贡献均已在论文中作 了明确的声明并表示了谢意。 作者签名： 盼；沙“ 论文使用授权声明 本人同意上海海运学院有关保留、使用学位论文的规定，即：学校有权 保留送交论文复印件，允许论文被查阅和借阅：学校可以上网公布论文的全 部或部分内容，可以采用影印、缩印或者其它复制手段保存论文。保密的论 文在解密后遵守此规定。 作者签名： 师签名：日期： 海海运学院顺i ：论义 1 1 引言 第一章问题的提出与文章的组织 在信息化浪潮的冲击下，为了处理大量的业务数据，快速地制定准确的决策， 从而迎接未来的严峻挑战，处于许多行业的企业都在积极地采用计算机及相应的 信息技术进行管理和运营，这使得企业生成、收集、存贮和处理数据的能力大大 提高，数据量与f i 俱增。企业数据实际上是企业的经验积累，当其积累到一定程 度时，必然会反映出规律性的东西；所以对企业来说，这些堆积如山的数掘无异 于一个巨大的宝库。在这样的背景下，人们迫切需要新一代的计算技术和决策工 具来挖掘“信息孤岛”中蕴藏的宝臧，使其成为可直接利用的决策支持信息并 指导企业领导者的技术决策和经营决策，使本企业在竞争中立于不败之地。= = 5 1 现在，对于物流行业的企业来说企业要想在竞争中取胜，获得更大的收益， 至关重要的是，必须利用计算机和网络技术、数据仓库技术，深层次地挖掘、分 析当前和历史的供应链数据信息，以及相关环境的相关数据信息，自动快速获取 其中有用的决策信息，为本企业提供快速、准确和方便的决策支持。通过对本企 业目标计划的完成情况及相关环境数据进行多角度多层次的分析，以使企业的决 策者及时掌握企业的运行情况和发展趋势，并对制定生产计划和长远规划提供理 论指导，提高企业的管理水平和竞争优势。 企业物流管理中的一个核心问题是库存控制。何渭库存? 从客观上来晓，是 企业用于今后销售或使用的储备物料( 包括原材料、半成品、成品等不同形念) 。 但是对于管理者来隧，库存这一概念的含义是复杂和广泛的。按照管理学上的定 义，库存是“具有经济价值的任何物品的停滞与贮藏”；在企业的财务报表上， 库存表现为给定时问内企业的有形资产。持有库存的理由在不同情况下、不同企 业内可能各有不旧，各有侧重。但一般柬浇，主要是为了3 个目的：预防不确定 性的、随机的需求变动：为了保持生产的连续性、稳定性：为了以经济批量订货。 但是，持有库存要发7 0 一定费用，还会带来其它一些管理上的问题，因此，库存 的作用及其弊端之间有一个折衷、平衡的问题。这也就是库存管理所要研究和解 决的问题。决策支持技术提供了一个很好的解决方案，即建立库存决策支持系统。 。”针对库存管理巾所积累的人量业务数掘，将其进行整理归纳，并用于分析、预 测与决策，为企业领导提供相关的决策指导。” 对于库存决策支持系统的数据处理和数据分析，从技术角度来说只有通过计 算机的数据库存储技术、数据挖掘和o l a p 分析工具，才能在海量数据中提炼出 对决策支持有效的稀有数据。而以多维数据为核心的多维数据分析是决策的主要 ；i 血 t 程顺i 。毕业论文 内容，数据仓库的多维特征满足d d s 对数据的分析要求，并且克服数据库的数 据组织性差、利用率低的缺点。因此，我们选择数据仓库作为构建整个决策支持 系统的基础。 1 2 文章的组织结构 本文首先介绍了数据仓库技术和决策支持系统的相关概念和目附的发展状 况。然后分析了决策支持系统建立在数据仓库之上的原因和物流行业企业建立决 策支持系统的必要性。我们通过分析了几种不同的构建框架，选择适合的体系结 构并对其中各个功能模块选择了适当的工具加以构建。通过分析具体的应用背景 给出了具体的数据仓库和决策支持系统的各个方面的设计。最后分析了整个系统 的特点和对该系统以后的发展的展望。 第2 “ 丁程倾i 毕业论文 第二章基于d w 技术的库存d s s 系统的基本问题 本章介绍了攮于数扬：仓库技术的库存决策支持系统的一些基本问题。首先， 文章指出了库存决策在物流行业企业中的重要性：接着，文章对库存决策支持系 统、数据仓库技术和联机分析处理技术的概念和相关技术进行了描述。 2 1 构建基于d w 技术的库存d s s 系统的必要性 2 1 1 企业中的决策 当今的l _ = 界人们面临着越来越海量的数据、信息，在这同益激烈的挑战、也 更多的机遇面前。欲想成功的人士就要能以更低的成本、更加迅& 口的速度作h 这 样、那样的大量及时、准确的决策。 面临这样的世界态势一个组织或企业要想有活力，并取得丰厚的效益，就要有 组织地授权更多的人；适时供应他们准确无误的数据、信息；并让他们利用更加 得心应手、顺应决策者逻辑思维和他的主导作用的工具作出f 确的决策。 许多年来，人们一直在广泛研究企业决策的课题。企业家们做出决策的众多 方式可归纳为三个特点：合理性、策略性和灵活性。 合理性是指决策者客观的搜集和分析信息，在针对预先确定的e l 标所提供的 替代方案之削互相联系的基础上，从各种解决方案中做出选择的决策限度。 策略性是指涉及决策者之问的竞争和依靠分配并运用组织力量的决策限度。 灵活性是指决策者使，十j 自己摆脱传统和结构，有可能做出“打破常规”的选择的 决策限度。 2 1 2 库存d s s 在物流企业中的必要性 库存，是指商品在从生产地向消费地的转移过程中，在j 一定地点，一定场所， 一定时问的停滞。商品在流通领域中暂时的停滞过程，就是商品库存。库存是物 流的一种运动状念，足商品流转中的一种作业方式。库存是物流的主要职能，又 是商品流通不可缺少的环节。库存主要是对流通中的商品进行检验、保管、加工、 集散和转换运输方式；并解决供需要之问和不同运输方式之间的矛盾，提供场所 价值和时问效益，使商品的所有权和使用价值得到保护，加速商品流转，提高物 流效率和质量。 箱3 负 下程坝l ：毕业论义 合理库存，“就是安保证货畅其流，要以满足市场供应不问断为依据，以此 确定恰当曲库存定额和| 窨i 品品种结构实现库存的合理化。否则，库存过多；就会 造成商品的积压，增加资金占用，使库存保管费用增加，造成商品在库损失，造 成巨大的浪费。如果苫存过少；又会造成市场脱销，影响社会消费；最终也会影 响国民经济的发展。因此，库存的合理化，具有很重要的意义。 ( 一) 选址点合理 商品库存，离不丌仓库，仓库建设要求布局合理。仓库设置的位置，对于商 品流通速度的快慢和流通费用的大小有着直接的影响。仓库的布局要与工农业生 产纳柿局相适应，应尽可能地与供货单位相靠近，达就是所谓”近厂近储”的原则， 否则，就会造成工厂远距离送货的矛质l 商品供应外地的，仓库选址要考虑邻近 的交通运输条件，力求援近车站码头以利商品发运，这就是所谓”近运近储”的 原则；库存的商品主要供应本地区，则宜建了二中心地，与各销售单位呈辐射状。 总之，在布局时应掌握物流距离最短的原则，尽可能避免商品运输的迂回倒流， 选择建设大型仓库的地理位骨时，最好能具备铺设铁路专用线或兴建水运码头的 条件：考虑到集装箱运输的发展，还应具有大型集装箱运输车进出的条件，附近 的道路和桥梁要有相应的通过能力。 ( 二) 库存最合理 库存量合理足指商品库存有合理的数量。是在新的产品运到之i 口有一个正常 的能保证供应的库存量。影响合理量的因素很多，首先决定于社会需求量，社会 需求量越大，库存储备量就越多：其次，是运输条件，运输条件好，运输时间短， 则库存数量可以相应d 成少；再次，是物流管理水平和技术装备条件，如进货渠道、 中间环节、仓库技术作业等，都将直接或间接地影响商品库存量的水平。 ( 三) 库存结构合理 库存结构合理，就是指对不同品种、规格、型号的商品，根掘消费的要求， 在库存数量上，确定彼此之问有合理的比例关系，它反映了库存商品的齐备性、 配套性全面性和供应的保证性。库存结构主要是根据消费的需要和市场的需求 变化等因素确定。 ( 四) 库存时m 合理 库存时问合理，就是每类商品要有恰当的储备保管天数。 要求储备天数不能太长也不能太短，储备天数过长就会延长资金【与用。储备 天数过短，就不能保证供应。 库存时叫主要应根掘流通销售速度来确定，其它如运输时m ，验收时问等也 是应考虑的影响i 碍豢。此外，某些商品的库存时f h j ，还受到该商品的性质和特点 所决定。如库1 竽时问过长，产品就会发生物理、化学、生理生物变化，造成其变 质或损坏。 第4 负 t 程坝1 1 毕业论文 根据以上问题，物流企业需要进行f 确的决策，能够保障商品的合理的存储 和便捷的流通，同时还要兼顾效率。 当企业持有许多不同种类的存货时，管理那多库存就变得相当困难了。一个 库存管理决策支持系统能够运用运输和持有成本信息以及生产提前期和项目需 求来制定库定政策，从而帮助决策者达到降低成本与提高服务客户质量的目标。 库存决策支持系统通过分析以有的大量数据，不仅能确保信息准确，满足客户和 市场的需求，还起到控制库存量，加速库存周转，降低库存资金占用的作用，从 而使企业降低库存成本。 2 2 介绍库存d s s ，d w 的相关概念以及其目前的发展状况 2 2 1 库存决策支持系统 2 2 1 1 库存决策支持系统的基本概念 决策支持是指利用计算机，协助管理者在半结构化任务中做出决策的过程： 支持而不是取代管理层的判断：改进决策的效果而不是效率。 决策支持系统足以决策模型、数据库和决策者组成的集成系统为特征的支持 决策的信息系统。其通过引入待评审的重要数据以提高管理和专业决策水平的分 析模型。 库存决策支持系统是就是将决策支持系统的技术体系应用到物流企业的库 存管理当中，使之能够帮助物流企业进行决策，提高决策者的管理决策水平，从 而使其库存管理更加合理化，科学化。 1 库存决策支持系统是信息系统。意味着人们研究和学习的关于信息系统 的任何知讨 也同样适用于库存决策支持系统。 2 库存决策支持系统用于决策之中。管理和决策是物流企业成功的基础， 如如何提高库存利用率? 应提供什么样的客户服务? 如何减少库存的 成本? 如何提高订单准确率? 如何为每一个任务指派称职的工作人 员? 像这样的决策对物流企业的库存管理都是基本的工作内容。因此， 库存决策支持系统对于组织成败的“底线”有巨大的影响。 3 在物流行业中，库存决策支持系统是用于支持库存管理和决策工作而不 是要取代人。库存决策支持系统不是决策，尽管两者的界限划分又边缘 情况。如果不存在库存管理人士对于系统推荐意见最低限度的评审，那 么该系统就不是库存决策支持系统。 第5 负 t 程坝i ：毕业论文 当决策库存管理中的“半结构化”问题或“非结构化”问题时，可以使 用库存决策支持系统。缺乏结构化的问题实质上就意味着不能用计算机 编写程序，做出对各种情况中均能令库存决策支持系统的用户满意的决 策。 与决策支持系统一样，库存决策支持系统也包括各种模型。模型是现实 生活中的计算机表示，它使得人们研究的决策可能对该系统有所影响。 2 2 1 2 基于d w 技术的库存d s s 系统的优点 库存决策支持系统( s t o c k sd e c i s i o ns u p p o r ts y s t e m ) 是在库存管理信息系统 的基础上发展起来的，在数据仓库、o l a p 技术和数据挖掘工具出现以前，库存 决策支持系统在实际应用丌发过程中暴露出许多问题，。”1 主要有以下3 个方面： ( 1 ) 缺乏丰富的数据资源。当时的数据库技术虽然已经成熟，但数据量小，不 足以支持库存d s s 。从而使模型和算法的设计没有坚实的数据基础，阻碍了库存 d s s 模型库和方法库的发展。 ( 2 ) 在物流仓业的库存管理中，由于决策本身的动态性和复杂性，针对不同 的情况应有不同的处理方法，而模型库提供的分析能力有限，它所提供的模型独 立于环境之外，决策者和模型交互很少，模型参数固定不变，不符合决策要求， 库存决策支持系统所作出的决策常被有经验的决策者一口否定，使决策者对库存 决策支持系统产生不信任感。 ( 3 ) 在库存决策支持系统的实际丌发过程中，人机接口部件占整个库存决策 支持系统丌发工作量的半，人的任何意图及系统对人的任何支持都要通过人机 接口爿能最终实现，因此它在整个系统中起着举足轻重的作用。现在人机接口丌 发得不理想，可以说是库存决策支持系统实施中的一个瓶颈。 在库存决策支持系统中，一般决策所需的数据总是与一些维数( 每一维代表 对数掘的一个特定的观察视角，如地区、时m 等) 和不同级别( 如部门、单位、 地区和国家) 的统计和计算有关。以多维数据为核心的多维数据分析是决策的主 要内容，数掘仓库的多维特征满足决策支持系统对数据的分析要求，并且克服数 据库的数据组织性差、利用率低的缺点。数据库不具有多维特征，但却是数据仓 库构建的基础。在数据库多年的应用中已经积累大量数掘，而且目前数据库的数 量和规模还在迅速增j 【i 和扩大，从而出现“数据丰富、知识贫乏”的问题。因此， 从庞人的数据库中抽出有膈的信息已是当务之急，要成功地进行信息抽取首先要 建立数据仓库。 第6 血 t 程颅f 毕业论_ 盘= 2 2 1 。3 库存决策支持系统的关键技术 丌发一个实际的库存决策支持系统需要解决如下关键技术： ( 1 )数据库、数据仓库与共用数据接口的设计：共用数据接口一方面协调 工其层对数掘的要求。完成工具层、数据库、数据仓库之间必要数据 调度，有效的对数据检索、查询及操作处理。另一方面为数据的输出 提供一个统一的数据接口。数据仓库及数据库自身的管理与维护工作 出各自的管理系统完成。数据仓库中的数据可以按所面向的主题进行 组织实施，从而提高决策支持的效能，数据库中的数据可以作为数掘 仓库的外部数据的来源，组织到数据仓库中去。 ( 2 )数据挖掘工具对知识库的支持：d m 是从大型数据库或数据仓库中发 现并提取隐藏存其中的信息的一种新技术，是整个系统智能性的生成 部分。通过d m 产生新的知识和规则，从而为问题的解决提供需要。 d m 通过对数据库、数据仓库中的数据进行综合、总结、概括发掘 出满足决策需要的数据。通过d m 从数据仓库获取的知识，相对于从 现实中获取的知识，山于是采用计算枫技术实现的更容易转化为知识 库更易接受的表示形式，提高了知识的获取速度。 ( 3 1数据分析工具的选择：数据仓库用于数据的存储和组织，联机分析处 理用r 数据分析而数据挖掘则致力于知识的自动发现。数据仓库、 o l a p 、d m 三者的结合构成了数据分析技术的基础。数据仓库为不 同来源的数据提供了一致的数据视图，与数掘挖掘、联机分析处理等 数据分析技术榴结合，即实现了为用户提供灵活自主的信息访问权 力、丰富的数捌分析能力和报表功能的目的，使物流企业的库存管理 数拂j 得到充分的利用。 ( 4 1 可视化工具的选择：可视化工具要提供用户与系统之问的交互的接 口，一方面利用可视化的工具将用户的请求转化为系统可以识别数据 交出系统去处理；另一方面将系统的应答以形象的形式呈现j 用户的 面前。 数掘仓库技术的出现与应用，为库存决策支持系统的研制丌发提供了一种有 效的、可行的体系化解决方案。在物流行业的库存管理中，将数据仓库技术与库 存决策支持系统棚结合，使整个库存管理系统不仅具有传统的d s s 功能，而且 还利用数据仓库技术和d m 技术强化了d s s 的职能功能。 第7 贝 t 程硕f ：毕业论史 2 2 2 数据仓库 近年来随着数据库技术的应用和发展，人们尝试对数据库中的数据进行再 加丁，形成一个综合的，面向分机的环境，以更好支持决策分析，从而形成了数 据仓库技术( d a t aw a r e h o u s i n g ，简称d w ) 。 什么是数据仓库 业界公认的数据仓库概念创始人w h i n m o n 在建立数据仓库一书中对 数据仓库的定义是：数拥仓库就是面向主题的、集成的、不可更新的( 稳定性1 、 随时间不断变化( 不同时l 瑚) 的数据集合，用以支持经营管理中的决策制定过程 数据仓库最根本的特点是物理地存放数据，而且这些数据并不是最新的、专 有的，而是来源于其它数据厍的。数据仓库的建立并不是要取代数据库，它要 建立在一个较全面和完善的信息应用的基础上，用于支持高层决策分析，而事务 处理数据库在企业的信息环境巾承担的是日常操作性的任务。数据仓库是数据库 技术的一种新的应用，而且到目前为止，数据仓库还是用关系数据库管理系统来 管理其中的数据。 数据仓库的应用 辨证的眼光看，数据仓库的兴起实际是数据管理的一种回归，是螺旋式的上 升。今天的数据库就好比当年的层次数据库和网状数据库，它们面向事务处理： 今天的数掘仓库就好比足! 与年的关系数据库，它针对联机分析。所不同的是，今 天的数据仓库不必再为联机事务处理的特性而无谓奔忙，由于技术的专业化，它 可更专心于联机分析领域的发展和探索。 数据仓库中的数据组织 数掘仓库的数据组织结构 个典型的数捌仓库的数据组织结构如图1 1 所示。 第8 血 一一 一一 lili_ 2 一刀彭搪 一 n f 一旧旧 一 t 程坝i ：毕业论文 图i i d w 数据组织结杠j 数据仓库中的数据分为四个级别：早期细节级、当前细节级、轻度综合级、 高度综合级。源数据经过综合后，首先进入当前细节级，并根据具体需要进行进 一步的综合，从而进入轻度综合级乃至高度综合级，老化的数据将进入早期细节 级由此可见，数据仓库中存在着不同的综合级别，一般称之为”粒度“。粒度越大， 表示细节程度越低综合程度越高。 粒度与分割 粒度 粒度是数据仓库的重要概念。粒度可以分为两种形式，第一种粒度是对数据 仓库中的数掘的综合程度高低的一个度量，它既影响数据仓库中的数据量的多 少，也影响数据仓库所能回答询问的种类。在数据仓库中，多维粒度是必不可少 的。由于数据仓库的主要作用是d s s 分析，因而绝大多数查询都基于一定程度 的综合数据之上的，只有极少数查询涉及到细节。所以应该将大粒度数据存储于 快速设备如磁盘上，小粒度数据存于低速设备如磁带上。 还有一种粒度形式，即样本数据库。它根据给定的采样率从细节数据库中抽 取出一个子集。这样样本数据库中的粒度就不是根据综合程度的不同来划分的， 而是有采样；车的高低来划分，采样粒度不同的样本数据库可以具有相同的数据综 合程度。 分割 分割是数据仓库中的另一个重要概念它的目的同样在于提高效率。它是将 数据分散到各a 的物理单元中去，以便能分别独立处理。有许多数掘分割的标准 可供参考：如同期、地域、业务领域等等池可以是其组合。一般而言，分割标准 总应包括日期项，它十分自然而且分割均匀。 2 2 2 2 对数据仓库数据操作的步骤 数据进入数据仓库的过程可以分为以下步骤： 1 提取( e x t r a c t ) 。在将操作型数据库的相关数据送到数据仓库中之前，必须 从中选择并提取出有用的字段。 2 转换( t r a n s f o f m ) 。为来自所有数据源的数据指定了常用的格式和名称。转 换就是处理数据源中不一致的过程。在不一致中，有一种类型是命名不一致 性，即：给定的数据元素在不同的数据库中被指定成不同的数据名称。另外， 同样的数据名称在不同的数据库中可能指示不同的数据元素。一旦所有的数 据元素有了正确的名称，他们必须要转换成公用的格式。 3 净化( c l e a n s e ) ，信息质量足决定信息价值的关键因素。高质量的信息导致高 第9 贝 t 程颅i 毕业论义 质量的决策，而低质量的信息将导致低劣的决策。由于多种原因，数据库中 数据一般都存在错误。错误类型包括在数据源争丢失数据和有错误的数掘、 两个或多个数据源单的不一致数据和冲突数据。对进入数据仓库的数掘进行 全面检查并使它们尽可能无差错。这一过程叫做数据净化( 有时也称为数据 清理) 。数据净化应当尽可能的更正错误的数据。 4 加载( 1 0 a d ) ，把净化过的数据加载到数据仓库罩加载通常指数据从存储源 数据库的计算机到将存储数据仓库数据库的计算机之问的物理移动。数据仓 库起初建立时或是数据仓库破坏后重建时的数掘加载称为完全加载：通常情 况下往数据库罩加入最近的数掘称为部分加载。从提取到加载这4 个过程， 通常被总称为数掂分级( d a t as t a g in g ) 。 5 汇总( s u m m a f jo s ) ，提前计算出任何期待的数掘仓库的数据的汇总供以后使 用。汇总数据时数据仓库单数据的一个层次。一旦加载了数据仓库，它就有 可能创建这些汇总数据。在每一次增量更新后，通常都应重新创建汇总数据。 直 果一个汇总使用频率较高，所节省总的用户时问将超过分析家定义汇总所 用的时问。汇总的一个重要的类型是聚集( a g g r e g a t i o n ) 。聚集是沿着数据 库的某一维的一组元素。商店可以聚集成区域：天可以聚集成周、月和季度； 产品可以聚集成产品类别。 2 2 ，2 3 数据仓库的组成 数据仓库由多个物理元素和功能元素构成，分别是： ( 1 ) 元数据：元数据是关于数据的数据。它用于存储数据模型和定义数据结 构、转换规划、仓库结构、控制信息等。 关系数据库：关系数据库为数据仓库提供强大功能的基础引擎。它应用于 数据仓库系统，作用是在数据准备数据库中临时存储、清理和转换传入的 数据，容纳和管理数据仓库数掘库中的大量数据，并支持数掘集市。 数据集市：数据集市包含了用于特殊目的的数据仓库数据部分。在有些设 计中，数据集市是完全独立的数据仓库，作为分布式数据仓库的成员补充 总体结构，而在有些设计中，数掘集市则通过定期更新接受来自主数据仓 库的数据。在这种情况下，数据集市的助能经常受限于客户端的显示服务。 但不管数据集市提供何种功能，它必须被设计为主数据仓库的组件，使得 数据的组织、格式和结构在整个数掘仓库内保持一致。 数据源：数据源用柬描述数据仓库中通常使用的各种结构化数据源。它包 含访问对象( 如多维数据集) 的源数据所必需的信息。 维度：维度是事实表中用来描述数据分门别类的有组织的层次结构。它是 第10 负 ) ) ) ) 他 巧 t 程删i 哗业论文 多维数赫- j 集的结构性特性。维度一般包含着层次关系，这种层次关系有时 还会相当复杂。 ( 6 ) 度量：度量是所分析的多维数据集的中心值。数据仓库一般都要对度量进 行汇总，并存储所得聚合，以便最终用户查询多维数掘集时可以快速检索。 ( 7 ) 多维数捌集：多维数掘集是联机分析处理( o l a p ) 中的主要对象。它是 一个数执：集合，通常从数据仓库的子集构造，并组织和汇总成一个由一组 维度和度量定义的多维结构。 2 2 3o l a p o l a p ”“代表联机分析处理，是一种用于对大容量数据归总与分析的技术， 最早由c o d dgf 于1 9 9 3 年提出。当时，c o d d 认为联机事务处理( o l t p ) 已4 i 能 满足终端用户对数掷：库查询分析的需要，s q l 对大数据库进行的简单查嘲也不 能满足用户分析的需求用户的决策分析需要对关系数据库进行大量计算才能得 到结果，而查询的结果并不能满足决策者提出的需求。因此，c o d d 提出了 o l a p 绝大多数的数据仓库专家都同意这样的观点：o l a p 应具有多维性、可 钻取性、町旋转性、以及多视图模式 o l a p 数据库与数据仓库之i d j 的关系是互补的一般情况下，数据仓库作为 o l a p 的基础，从中选出细节数据的一个子集传到o l a p 数据库中，进行数据的 汇总或聚集数据仓库能容纳细节数据，o l a p 数据库保存的是各种轻度综合的 数据；d s s 分析员还呵向下钻取到数据仓库的细节级，而o l a p 数据库中的汇 总数据也被存储在数据仓库中数据定期从数据仓库中导入到o l a p 数据库中， 由于操作型环境的数据进入到数据仓库时已被集成，因此o l a p 数据库就不用从 操作型环境中抽取与集成数据”。 o l a p 的一个重要特点是多维数掘分析，这与数据仓库的多维数据组织正好 形成相互结合、相互补充的关系。o l a p 技术中比较典型的应用是对多维数掘的 切片和切块、钻取、旋转等，它便于使用者从不同角度提取有关数据。o l a p 技 术还能够利用分析过程对数据进行深入分析和加工。 2 2 4 数据挖掘 数据挖掘足一种潜在功能强大的新技术，它可以定义为：从存放在数据库、 数据仓库或其他信息库的大量数据信息中提取出可信、新颖、有效并能被人理解 的知识的过程。它能帮助企业在数掘海洋( 数据仓库) 中找到最重要、最具价值的 信息。数据挖掘能预测未来趋势和行为，使商务活动具有前瞻性，有助于企业作 第11 负 i 一程颂1 1 毕业论史 出基于知识驱动的决策。数据挖掘所提供的自动的预期分析，已经远远超出山典 型决策支持系统工具对过去实践所作的回顾性分析的范围。数据挖掘可以解决传 统上需花费很多时m 解决的商务问题，它能搜遍数据库去查找隐藏的模式，找出 那些专家可能错过的预测信息。例如：它可以在物流企业的库存数扼中找到影响 库存成本的各利l f 习索，并e l 可以找到某种对应关系或者规律，从而可以预测今后 的库存行为的成本多少。而这种规律在一般的人工决策中是很难被发现的。 数据挖掘的主要任务在于趋势、分类和偏差等的分析判断，其主要的分析方 法是以大量数据的统计分析为主，建立决策树或采用其他算法。该技术应用 ：科 学研究、商务决策等领域具有重要的意义。 将数据挖掘与其它系统进行集成是数据挖掘技术发展的方向之一。这是因为 方法功能单一的发现系统的适用范围必然受到定的限制。要在更广泛的领域发 现知识，系统就应该是数据库、数据仓库、知识库、专家系统、决策支持系统、 可视化工具、网络等技术的集成。因此，将数据挖掘和数掘仓库以及联机分析处 理相结合，彳信更加有效地实现决策支持系统，发现数据所隐含的规律性的东西。 2 3 国内外研究的水平和趋势 在物流行业库存管理的信息管理技术中，以模型库为主体的库存决策支持系 统已经发展了十) l i i - ：它对库存管理的辅助决策起到了很大的推动作用。数据仓 库和o l a p 新技术为决策支持系统在库存管理方而的应用丌辟了新途径。数据仓 库与o l a p 都是数据驱动的。这些新技术和传统的模型库对决策的支持是两种不 同的形式，它们可以相瓦补充。在o l a p 中加入模型库，将会极大提高o l a p 的分 析能力。 9 0 年代中期从人工智能、机器学习中发展起来的数据挖掘，是从数据库、数 据仓库中挖掘有用的知识，其知识的形式有产生式规则、决策树、数掘集、公式 等。对知识的推理即形成智能模型，它是以定性分析方式辅助决策的； 数据挖掘的方法和技术包括决策树方法、神经网络方法、覆盖正例排斥反例 方法、粗集方法、概念树方法、遗传算法、公式发现、统计分析方法、模糊论方 法、可视化技术。 把数据仓库、o l a p 、数据挖掘、模型库结合起来形成的综合库存决策支持 系统是更高级形式的库存决策支持系统。其中数据仓库能够实现对决策主题数据 的存储和综合，o l a p 实现多维数据分析，数据挖掘用以挖掘数据库和数据仓库中 的知识，模型库实现多个广义模型的组合辅助决策专家系统利用女i j i , j j , 推理进行定 性分析。它们集成的综合库存决策支持系统，将相互补充、相互依赖发挥各自的 辅助决策优势，实现更有效f l 勺辅助决策。 第12 负 t 程倾 。毕业论文 物流行业的库存管理的综合体系结构包括三个主体。第个主体是模型库系 统和数据库系统的结合，它是决策支持的基础，为决策问题提供定量分析( 模型计 算) 的辅助决策信息。第二个主体是数据仓库、o l a p , 它从数据仓库中提取综合数 据和信息，这些数据和信息反映了大量数据的内在本质。第三个主体是专家系统 和数折：挖掘的结合。数据挖掘从数据库和数据仓库中挖掘知识，并将其放入专家 系统的知识库中，由进行知识推理的争家系统达到定性分析辅助决策。 综合体系结构的三个主体既可以相互补充又可以相互结合。它可以根据实际 问题的规模和复杂程度决定是采用单个主体辅助决策，还是采用两个或是三个主 体的相互结合辅助决策。利用第一个主体的辅助决策系统就是传统意义下的决策 支持系统。利用第个丰体和第三个主体相结合的辅助决策系统就是智能决策支 持系统。利用第二个主体的辅助决策系统就是新的决策支持系统。在o l a p 。 利 用模型库的有关模型，可以提高o l a p 的数据分析能力。将三个主体结合起来，即 利用”问题综合和交互系统”部件集成三个主体，这样形成的库存综合决策支持系 统，对于物流行业的决策来说，是一种更高形式的辅助决策系统，并使其辅助决 策能力上升到一个新的台阶。 丁程坝i 毕业论文 第三章基于d w 技术的库存d s s 系统的总体框架 本章着重讨论了儿种呵选的系统框架模型的特点，并选择了客户机i j i 务器 模型作为我们所设计的肇r 数掘仓库技术的库存d s s 系统的参考模型，最后本 章还给出了系统的整体框架及 目关的模块功能和工作流程。 3 1 几种可选方案的比较 决策支持系统可存多个不同的平台上运行。 1 公司的中央系统。 2 连接用户台式计算机的中央系统、通过内部网络、互联m 或内联网( ，卟使 用基于i n t e r n e t 用户接口的内部网络) 。 3 分散的系统，可从中央系统获取数掘并通常还要通过网络提供给它的用户。 4 。用户桌面上的独范系统。 3 1 1 企业中央系统上的决策支持系统 中央多用户系统的硬件通常是一台主机或一台大的小型计算机。事务处理用 户通常终端或带有终端仿真软件包的台式机来访问系统。因为给出的中央共享系 统已经存在，并难试图将新的应用程序用于该系统上。当管理者发现响应喇问和 容量变得不充足对，他们决定通过改变硬件配置束改进系统。 采用中央系统的优点是： 1 原管理人员精通整个系统。 2 硬件一般在企业中已经存在。 3 决策支持系统应用程序为了更新信息可直接访问中央数据库，因为它们 在同一个系统中，又运行在同一种编程环境下。 4 大型系统可提供不同的决策支持工具，例如4 g l ( 第四代语言) 、数掘库 管理起、模拟软件包、专家系统s h e l l 程序。 缺点是： 1 决策支持系统响应可能到系统负载的影响。 2 决策支持系统的用户可能必须在先等待直到其他应用丌发出成果。 3 许多大型系统的用户接口对于非技术人员来说没有良好的用户友好性。 t 程坝i 。 # 业论文 3 1 2 客户机f j 及务器计算模式 许多网络通过台式机提供用户访问中央系统数据的方法能够克服上述的缺 点。这种方式就是指客户机, u e 务器( c l i e n t s e r v e r c o m p u t i n g ) 模式简称( c s 模式1 。 在浚模式中，服务器系统作为数据仓库。客户机系统通常在用户的台式机上运行 应用程序，并使用来自服务器的数据。结果使服务器和客户机的能力均能非常适 应它们各自在整个系统中承担的角色。如图3 1 即客户机h e 务器模式。 客户机 厍存决策管理服务器 幽3 1 客户机服务器模式示意幽 在这种计算模式当中，服务器存储大量数据并处理一般的事务工作。如果客 户端做大量的工作，而服务器仅是不问断的提供数据。这种方式通常叫做肥客户 机( f a tc l i e n t ) 方式。相反，客户机系统所做的工作只不过是为服务器提供的的 结果提供用户接【_ ，这种系统叫做瘦客户机( t h i nc l i e n t ) 。这些既可以描述应用 程序所设计的t 作方式又可描述客户机承担的不仅仅是用户接口任务的能力，这 些能力可以用处理能力、r a m 的大小和其他指标束度量。 客户机和服务器并不需要一对一的关系。服务器通常设计成提供一种或有限 种服务。他们为许多用户服务。在客户机方面，它可以请求许多来自不同服务器 的服务。 客户端h e 务器计算模式的优点有： 1 该模式允许综合应用程序的每部分运行在为该部分或专门为陔部分单 独优化的软硬件环境而不管数据库，计算速度等。 2 该模式可能节省硬件的潜在费用。 3 系统的模块化性质简化了r 后扩充的需求。客户机可以任意添加到整 个系统当中。 但是，客户端服务器计算模式也有其缺点： 1 浚模式中应用程序的丌发管理比独立型复杂。 2 管理信息系统的工作人员必须熟悉两个系统。 3 安全成为主要内容。由于用户通过网络访问关键的公司数据，系统丌发 者必须敏感的应付未预见访问的可能。 回国 包 t 程坝i ! # 业论丘 客户端：l 艮务器模式的软件实现中最大的问题在于过程的远程调用与执行。 由于客户端服务器模式要求在同种或异种操作系统之间进行网络( 同种或异种 网络协议) 上的信息交换、因此丌发软件过程中必须同时协调客户与服务方进程、 这些必然增加c s 模式软件丌发的复杂性与难度。 目自h 世界上最大的删络是i n t e m e t 网络，它以t c p i p 协议为骨于删络协议， u n i x 操作系统大多配有实现t c p i p 协议的网络软件包，其中b s ds o c k e t 为其 底层的网络玎发工具，而在微机七广泛使用的m i c r o s o f tw i n d o w s 系统中的 w i n s o c k e t 也是。套支持t c p i p 协议的s o c k e t 编程标准。基于s o c k e t ，s u n 公 司丌发了一套r p c s d rm 议，其中s d r 协议用于解决不同系统之问的可移植数 据的转换问题，r p c 则用于实现客户端服务器进程问的运行和远程过程调用。 但是r p c s d r 协议本身比较复杂、一般用户较难理解、且需要支持r p c 的软件 包、而在该系统1 1 客，、只有w i n s o c k e t 软件包。很多操作系统都有相关网络软件 包。因此采用网络底层丌发工具b s d s o c k e t 与w i n s o c k e t 编程参与r p c s d r 协 议，丌发一套在远程过程动念调用的机制，解决了c 1 i e n t s e r v e r 结构中远程过程 调用所涉及的多项关键技术问题。客户端服务器模式下远程调用的具体实现技 术包括： 1 解决不同操作系统之问的地址空问映射：数据类型长度、地址边界对齐 在不同操作系统之问自动切换；带类型数据的组装、传输与分解。 2 采用w i n d o w sd l l 提供客户方a p i ；客户方通过d l l 采用c p a s c a l 调用