（管理科学与工程专业论文）面向scm数据集成的dw解决方案研究.pdf

大连理f ：大学硕十学位论文 摘要 供应链管理对企业价值的提升提供了有力途径，但由于信息在传递和共享中存在的 问题影响了供应链效能的发挥，数据集成是供应链管理的重要环节，也是构建供应链管 理的基础。数据仓库提供数据的集成、共享和决策分析的功能，它对企业各项指标的改 善以及高额的投资回报率吸引了各界的关注，已成为当前研究热点。 本文首先在全面研究供应链管理和数据仓库的基础上探讨了它们之间紧密结合的 可能性，然后从此观点出发，致力于面向供应链数据集成的数据仓库的体系结构和针对 每种结构相应解决思路的研究。本文主要研究工作如下： ( 1 ) 分析供应链管理的特点及现状，以物流管理为例提出信息流在供应链中的重要 地位以及目前供应链管理中信息流存在的问题和对供应链管理的影响，在此基础上探讨 数据仓库在供应链中的应用。 ( 2 ) 单一的集中式数据仓库无法完全满足供应链管理的需要，在前人研究基础上本 文对面向供应链数据集成的集中式数据仓库、分布式数据仓库结构重新设计，并借鉴数 据库技术的研究成果提出供应链上的联邦式数据仓库、混合式数据仓库结构，分析了各 结构的优点、缺点和适用范围。 ( 3 ) 提出了集中式数据仓库和分散式数掘仓库的总体解决思路。在集中式数据仓库 研究中以某一制造商为例构建了其简单的数据仓库模型。分布式数据仓库、联邦式数据 仓库都属r 分散式数据仓库。本文首先提出了异构环境下总的解决思路，通过全局管理 器、数据仓库信关、d b d w 转换三个部分搭建基于数据仓库的数据集成平台。在总体 解决思路的基础上探讨如何利用数据集成中现有的研究成果实现各个部分的工作。最后 针对数据集成中的模式集成问题作了重点研究，分析了供应链上数据集成的特点，借鉴 数据库集成中的属性通讯矩阵和多层模式协调方法提出模式集成的解决方案。 关键词：数据仓库、数据集成、供应链管理 面向s c m 数攒集成的d w 解决方案研究 s t u d yo f d a t aw a r e h o u s es o l u t i o nf o rd a t ai m e 秽a t i o no ns c m a b s t r a c t s u p p l yc h a i nm a n a g e m e n th a ss u p p l i e das t r o n gh e l pf o ri m p m v l n gn l ee n t e i p r i s e s w o n h b u ti t se f 凳c t i v e n e s sh a sb e e nl i m i t e d 妒砖a l l yb ym ep f o b l e mw h 惑e x i s t s 濠 i n f o h n 瓣i o 乖st r a n s l 敏i n ga n ds h a “n g d a t ai n t e g r a t i o ni sav e r yi m p o r t a n tp a r to f s i l p p l yc h a i n m a n a 9 0 m e n ta j l db a s i c0 fs u p p l yc h a i nm a n a g e m e n t sc o n s t n 】c t i n g d a t aw a r e h o u s ep r o v i d o s 琳圭薹黻黼y 盎n i o n sa sd a 鼍a 遗 e g 畦t y ，d a 攮建a r o 鑫秘dd e c i s i o n 赫采y s i s i th a sa 拓a c t e dm o 羚 a n dm o r ea t t e n t i o na tp r e s e n ta sr e s u l to ft h e i rp e r f o r m a n c eo ni m p r o v i n gm ob u s i n e s s 疰n a n e i 鲑i n d e x 矗觳dh i g hr o l 。 b 豁e do nt h ea l l r o u n dr e s e a r c ho fs l l p p l y i n gc h a i nm a n a g e m e n ta n dd a t aw 融0 u s e ， t h i sp a p e rh a sd i s c u s s e dt h ei m p o s s i b i l i t yo fc o m b i n i n gt h e mc l o s c l y a n dt h e nm a k ee 珏b r t o ns t u d yo nd a t aw 戳h o u s ea r c 量l i 把c t 】r ed e s i g 珏i n gf o fd 戤ai n t e g r a t b no ns c ma n ds c h e m e f o re a c ha r c h i t e c t u r eu p o nt h i sv i e wp o i n t 1 、h em a i nw o r kd i di nt h i sp 印e ri s ： ( 1 ) 琵ee 珏a 撼e t e r 襄嬲s t a 撼s 壤u oo fs u p p l ye 基曩呈n 嫩a n a g e 璜e 琏t 殛s 髓a n 蘸y 蕊d i 。h e i m p o r t 踟k ea i 】dt h ep r o b l e mo f i n f o m l a t i o ns t r e a mi ns u p p l yc h a i nh a sb e e np o i n t0 u tw i t ha n e x a m p l eo fl o g i s t i c s a n d 也ea p p l i c a t i o n o ns u p p l yc h a i no fd a t aw a r e h o u s eh a sb e e n d i s c u s s 礤b a s e do n 也e s eg h l 击e s ( 2 ) d a t ai n t o g r a t i o ni sv e r yi m p o r t a n ti ns u p p l yc h a i nm 锄a g e m e n t d 砒aw a r e h o u s e s w e r em o r c 璃船n t l yu di 毪d a t ai 珏t o 辨t 主o n t b 尊c e n 托啦i z e dd a 攮凇珏o u s e 赫d 蠢s 拄淹u 拇d d a t aw 鲋e h o u s ec o u l d n tf i tt h i sn e e dw e 儿t h i ss t u d yr e d e s i g n e dc c n 廿a l i z e dd a t aw a r e h o u s e a r 试d i s t r i l m t e dd a t a 豫匡霉h o u s ef o rd a t ai n t e g r a l i o 娃a m o n gs u p p l ye b a i ap a r 睡e f so 娃s u p l y c h a i nm a l l a g e m o n t a t 钠es a r n et i m e ，af e d e r a t e dd a t aw a r e h o u s ea n daf i x e dd a t aw 飘h o u s e 、v e r ep r o p o s e d e a c ha p p r o a c hh a sd i f 奄r e n tf b a t u r e s 。w ec h o s ed i 肫r e n ta p p r o a c hi nd i f f e r e n t s i 髓t i o n ( 3 ) ag l o b a lr e s o l v es c h e m eo fc e n t r a l i z e dd a t aw a r e h o u s ea n ds e p a r a t e dd a t aw a r e h o u s e b e e n u t 缸州戚。as i 撒p l ye e n l 糟l i z e dd 采是w a 辩羲o u s e 撼o d u l eo am 强鞋f 泌 暇f 舞a sb e e 箍 c r e a t e d ，b o t hd i s t r i b u t e dd a t aw a r e h o u s ea 1 1 df e d e m t e dd a t aw a r e h o u s eb e l o n gt o8 e p a m t e d d a t aw a r e h o u s e f i r s t ，i t sg l o b a lr e s o l v es c h e m eo nh e t e f o 辨n e o u so n v i r o n m e n th a sb e e np u t o 册a 耐纽t h i sp a p e r 1 1 l eg l o b a lr e s o l v es c h e m ei sc o n s i s t e do fg i o b a lm a n a g e r ，d a t a w a r e h o u s ei n f o 蝴a t i o n 鐾a t e w a ya i l dd b - d wt 舢s l a t i o n a n dt h e n ，t h em e t h o do f 础i e v i n g t h e s e 攥f e ep a 搿sw o 蠢w 建h 囊ee x i s 激l t 嘲由争r o 翻砹l 鼬秘矗越ai n 鼋毒豁a 畦鼹羲a s 毫e e n d i s c u s s e d a tt h ee n d ，a1 0 to f 、v o r kh a sb e e n d o n eo nt 1 1 es c h e m ei n t e g r a t i o n 1 、h e c h a r a e t e f 波i co ft h ed 戤a n t e g r a t i o no ns u p p l ye h 妇泊a sb o c na n a l y z e d ，躐da na p p o a c ho f 人连理i ：人学硕十学位论文 s c h e m ei n t e g m t i o nh a sb e e np r o p o s e du s i n ga c m ( a t t r i b u t ec o r r e s p o n d e n c em a t r i x ) a n d m s cr m u l t i - l e v e ls c h e m ac 0 0 r d i n a t i o n l k e yw o r d s ：d a t aw a r e h o u s e ；d a t ai n t e g r a t i o n ；s c m 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。 作者签名：查幽日期：型乏么圭f 大连理工大学硕士研究生学能论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位论文版权使用 规定”，劂意大连理工大学保留势向国家药关部门或机构送交学憾论文的复印传帮 电子版，允许论文被查阅和借阅。本入授权大连理工大学可以将奉学位论文的全部 或部分内容编入有关数据库进行检索，也w 采用影印、缩印或扫攒等复制手段保移 和汇编学傲论文。 作者签名：盔泄 导9 币签名： 卅塑贮 2 鲤年兰周上上h 大连理1 人学硕士学位论文 1 绪论 1 1 研究背景及意义 供应链管理日益成为世界管理界关注的焦点，在发达国家已被企业界广泛采用，并 发挥了战略指导作用。供应链模式下涉及多个组织海量数据的管理以及供应链上数据查 询和决策支持的问题，对数据集成提出了要求。组织问信息的集成与共享是供应链管理 的重要环节，也是构建面向供应链管理的数据环境的基础，数据仓库的出现为数据集成 提供了新的途径。数据仓库概念提出后在理论和相关的技术领域都取得了飞速发展，各 大知名组织也相继推出了自己的数据仓库解决方案。供应链管理和数据仓库都是近几年 来的研究热点，本文将二者相结合，利用数据仓库构建供应链上的数据环境。面向供应 链的数据仓库有其自身的问题和特点，尤其是在供应链数据集成的需求下。本研究将主 要致力探讨供应链环境下数据仓库的体系结构和解决方案。 数据仓库的出现虽然为时不长但在理论研究和实际应用上都取得了飞速发展。但是 根据笔者对数据仓库研究成果的调查分析发现，目前对数据仓库的研究和应用主要是针 对单个组织的集中式数据仓库。虽然有的研究也提出了非集中式的数据仓库结构，但笔 者认为其中很大一部分还是集中式的变形，对此在1 2 2 中做了较为详细的分析。单一 的集中式数据仓库无法满足面向多个企业的供应链管理的需要，因此本研究在对供应链 数据环境分析的基础上提出满足不同需求的数据仓库结构。 数据仓库技术出现为组织提供了面向分析型的数据环境，摆脱了之前单纯的操作型 数据环境的局面，也为组织的数掘集成和信息共享提供了一定的条件，为组织的决策提 供支持。供应链管理的出现使决策问题不再仅仅面向某一个单独的组织，它往往需要组 织间的数据访问和对数据的有效管理。在供应链中必然要面临各个组织数据管理水平不 同的状况，一部分组织已经建立了数据仓库而另外一些组织可能尚处于用简单的文件系 统管理数据，其次各个组织数据组织结构、应用的数据库管理系统也会不同。这些问题 为供应链上信息的使用造成了障碍，直接影响决策的有效性。此课题提出的解决方案将 在一定范围和程度上解决这些问题，使数据仓库更有效的为供应链管理服务，为供应链 管理提供更有效的数据环境。同时本研究提出的基于属性通信矩阵( a t t 曲u t e c o r r e s p o n d e n c em a t r i x ，简称a c m ) 和多层协调模式( m u l t i 1 e v e ls c h e m ac o o r d i n a t i o n ， 简称m s c ) 的解决方案为供应链数据集成的研究提供了新的尝试。 面向s c m 数据集成的d w 解决方案研究 1 2 国内外研究现状 1 21 数据集成研究现状 近年来，我国信息化建设取得了长足的发展，然而，由于各业务系统建设和实施数 据管理系统的阶段性、技术性以及其它经济和人为因素的影响，相对独立的信息系统建 设致使彳i 同行业、不同企业之间，甚至同一企业内部虽然有丰富的信息资源，但“数出 多门”、“异数异源”等情况时有发生。这些异构数据源，使得数据资源间难以沟通发 挥最大作用。在供应链模式下这种情况更为明显也有自身的特殊性。首先供应链成员间 信息化水平差异较大的清况并不罕见，其次供应链成员间数据集成对数据的安全访问和 权限控制比企业内部数据集成要求更多。 数据集成面i 临的最大问题是数据异构，目前解决数据异构问题的主要方法有：( 1 ) 利用专业数据库厂商的专业工具，木前需多数据库厂商都提供数据转换工具。但是造价 高，且主要针对自己的数据库产品。( 2 ) 利用前台开发工具。通过对不同数据库采用不 同接口( o d b c 或专用接口) 的形式同时支持多种数据库，实现前台开发工具和后台数 据库问的连接，这种方式的优点是利用了现有技术的标准接口，实现比较容易，但要重 新开发应用系统，无法保护原有的投资。( 3 ) 利用x m l ，x m l 具有可扩展性、可移植性 和结构性等优点，所以使用x m l 进行数据集成具有重要的研究价值，但是目前在此类研 究中尚未能做到对供应链模式下企业间数据的安全访问控制。 属性通信矩阵是最早提出的解决数据异构问题的一种思想和方法，从提出后曾经过 一些改良以适用于不同的数据环境，早期的联邦数据库系统、多数据库系统很多都应用 了属性通信矩阵。虽然是一拜十老的方法，但与其它方法相比，属性通信矩阵在数据安全 访问方面可以实现有效的控制，尤其是在供应链模式下。 1 2 2 数据仓库体系结构研究现状 数据仓库创始人w h i i n m o n 在建立数据仓库一书中指出：“数据仓库是面向主 题的、集成的、稳定的、随时蚓变化的数据集合用以支持经营管理中的决策制定过程【l 】。” 数据仓库的体系结构是目前数据仓库领域的一个研究热点。 ( 1 ) 基本体系结构 将数据仓库的所有部分结合在一起的结构就是体系结构【2 】。斯坦福大学“w h p s ” 课题组提出的一个基本的数据仓库模型，为了能将已有的数据源提取出来，并组织成可用 于决策分析所需的综合数据的形式，一个数据仓库的基本体系结构中应有数据源、监视 器、集成器、数据仓库、客户应用五个基本组成部分。其中监视器负责感知数据源发生 的变化，并按数据仓库的需求提取数据。集成器将从运作数据库中提取的数据进行转换、 大连理t 大学硕士学位论文 计算、综合等操作，并集成到数据仓库中。数据仓库存储企业级视图的数据供分析用。 根据不同分析要求，数据按不同的综合程度存储。数据仓库中还应存储元数据，其中记 录了数据的结构和数据仓库的任何变化，咀支持数据仓库的开发和使用。客户应用供用 户对数据仓库中的数据进行访问查询、并以直观的方式表示分析结果 3 】。任何一个数据 仓库结构都可从这一框架发展而来。i b m 、o r a c l e 、s y b a s e 、i n f o 咖i x 、a t tg i s 等厂 商都提出了自己的数据仓库结构。传统的数据仓库是集中式的，但随着需求的推动分布 式数据仓库得到人们的广泛关注成为数据仓库研究的一个焦点，在此基础上演变而成的 其他形式的数据仓库也逐渐被纳入数据仓库的研究领域中来。 ( 2 ) 分布式数据仓库体系结构 1 w h i n m o n 在文献 1 】中立足于地域的不同论述了分布式数据仓库。在他的描 述中不同地域建立各自的局部数掘仓库，总部建立全局数据仓库。全局数据仓库包含的 整个企业或组织内部公共的并且已经集成了的数据，分布于各个节点的局部数据仓库则 是一个本地的功能齐全的一般数据仓库。这种形式的分布式数据仓库存在局部与全局数 据仓库数据冗余，全局数据存取不明等问题，特别是与其分布式系统概念有较大区别【”。 2 洪龙等在文献【4 中提出了以主题分布为特点的分布式数据仓库。面向不同主题 的数据仓库作为节点数据仓库，由节点数据仓库互连网络形成的统一的数据仓库成为分 布式数据仓库。其中节点数据仓库是以主题区分的，一个节点数据仓库可以面向一个主 题或多个主题。在分布式数据仓库中物理资源元件和逻辑资源元件高度自治。 3 关文革等在文献【5 】中提出了基于w e b 的分布式数据仓库体系结构。该结构将 数据仓库、x m l 和智能a g e n t 技术有机结合起来，除了包括客户机服务器结构中的数 据源层、数据仓库层以外，还将应用层分成了三个层次：浏览器层、w e b 服务器层和应 用服务器层1 5j 。该体系结构中将数据集市通过数据集成a g e n t 引入数据仓库，在基本保 持了现有信息源结构不变的情况下，只需增加一个数据管理器就可以融入到数据仓库中： 融入到数据仓库中的数据源可以一如既往地进行正常的联机事务处理，性能基本不f 降，从而使系统具有良好的可扩展性。 4 王晨，邵贝恩提出了层次化分布式数据仓库，考虑集团企业的最为简单的一种 情况，即由个核心企业( 集团总部) 和若干下属子企业组成，有着地域上分散、组织 和管理上分层以及决策权分离的特点。根据集团企业本身的层次化和相对独立的组织结 构，建立由一个全局数据仓库和多个局部数据仓库构成的相对集成的多数据仓库系统。 6 特点在于为各个局部数据仓库和全局数据仓库分别配置0 l a p 搜索引擎，将用户的 查询用搜索引擎与以分析并分配到相应的数据仓库和数据集市中去。 面向s c m 数据集成的d w 解决方案研究 5 韩览山，邵贝恩又提出了面向集团型企业的混合型分布式数据仓库。在混合型 数据仓库中个数据立方体通常是一部分存放在关系型数据仓库中，一部分存放在多维 数据仓库中，数据仓库元数据记录了这两种数据仓库中数据之间的对应关系，并记录了 它们如何合在一起构成一个立方体。在访问这些数据立方体时，混合型数据仓库管理系 统根据这些元数据，将两部分数据组合成数据立方体，用户可以与访问非混合型数据仓 库一样的方式访问数据，而不必关心数据是存放在关系型数据仓库中，还是存放在多维 数据仓库中j 。所谓的混合型分布式数据仓库可以视为每个单点都是混合型数据仓库的 分布式数据仓库。这种数据仓库的特点在于考虑到用户对于综合数据的查询频率高于细 节数据，而多维数据仓库的查询效率较高，所以将相对细节的数据存放在关系型数据仓 库中，而将综合数据存放在多维数据仓库中。 ( 3 1 简单评述及研究难点、趋势探讨 在文献 8 9 】 1 0 】 1 1 】中以及以上所提到的分布式数据仓中的l ，3 ，5 实际上是集中 式数据仓库的变形，数据源不是数据库、文本数据而是数据集市或局部数据仓库。局部 数据仓库作为一个独立的数据仓库存在。全局数据仓库获取由局部数据仓库或数据集市 抽取的数据。局部数据仓库格式的改变会导致全局数据模式的重新设计或大量改动，数 据抽取也需要做相应的变动。这些数据仓库的可扩展性较弱，增加或删改局部数据仓库 就意味着全局数据仓库的重新设计。l 、2 、3 、4 各自从理论上构建了一种分布式数据仓 库的体系结构，这种结构尚未得到实现。5 将提出的分布式数据仓库结构进行了实现， 但是这种数据仓库结构的重点还在于数据的混合式式存放，从总体上说更接近于混合型 集中式数据仓库。2 和4 考虑到了数据仓库的扩展性提出了数据集成引擎和o l a p 搜索 引擎，但尚未能具体实现。其中4 提出的搜索引擎涉及到了分布式数据仓库中的一个重 要问题，就是如何将用户的全局查询进行分解并分配到相应的数据仓库、数据集市并将 局部查询结果进行综合以响应此全局查询，如何实现全局数据模型和局部数据模型的映 射，这是“数掘仓库网关”需要解决的问题，也是分布是数据仓库管理系统研究和实现 的难点，数据库技术中的a c m 提供了解决这个问题的重要途径。 数据仓库的数据访问权限控制也是数据仓库尤其是分布式数据仓库迫切需要进一 步研究的问题。目前对数据访问控制通过用户权限管理来实现。在分布式数据仓库中每 一个节点都可以看作是主节点。每一个节点都可能与其它节点发生数据访问，为用户授 权将变的相对复杂，尤其是在节点和数据众多的情况下。如何有效的管理数据访问权限 也将成为人们关注的焦点。继集中式数据仓库之后分布式数据仓库得到人们的重视，但 分布式并不是数据仓库迸一步发展的唯一形式。数据仓库和数据库均是以提供数据环境 为目的，只是个提供的是操作型数据环境另一个提供的是分析型( 也有称信息型) 数 人连理l 一人学硕士学位论文 据环境。数掘库管理系统在其发展中形成了分布式数据库、联邦数据库、协调数据库、 异构数据库管理系统等d b m s 形式。以此类推数据仓库的发展，联邦式、协调式数据 仓库可能是以后的发展趋势。 1 2 3 供应链上数据环境解决方案研究现状 供应链管理的重点不仅仅在于生产设备、产品、流水线、分销中心，更在于物流和 信息流的管理【l ”。学者们认为供应链存在竞争关系和层次关系。一个供应链成员关系是 由分层次的竞争者之间的关系组成。上下游竞争者之间的交流要通过许多层，而且通常 非常浪费时问【i 引。由于供应链上涉及到企业间数据的访问而企业间往往又存在上下游和 同层次问的竞争关系，所以对数据安全访问的要求就更高。关于如何构建供应链上数据 环境的研究目f j 仃集中于在层次关系的基础上建立数据协调和数据访问安全控制机制。学 者们提供的解决方案集中在对数据库管理系统的改进上，研究的热点是为供应链设计联 邦数据库系统。 ( 1 ) 联邦数据库系统 s h e t h ，a p 和l a r s o n ， j a 1 9 9 0 年在文献 1 4 】提出了用联邦数据库系统来管理分 布的异构的自治的数据库。j l z h a 0 1 9 9 7 年在文献【1 5 】中提出了联邦数据库系统中一种 新的协调模式并在元数据管理、协调查询等方面与传统的集成模式相比较。此种协调模 式更适用于元数据不断进化的出竞争关系数据库所组成的联邦数据库系统 1 6 1 。他们提出 用一个属性通信矩阵( a t t r i b u t ec o r r e s p o n d e n c em a t r i x ，简称a c m ) 将全局查询转换为 对不同组织的查询【i 。此数据库系统可以称之为供应链上数据环境解决方案的雏形。尤 其是j l z h a o 提出的协调模式、面向竞争性关系的数据库为数据的安全访问控制提供了 解决途径。其次 1 7 也进一步研究了数据库间查询的协调策略。 d u t i m o n 在j l z h a o 研究的基础上在提出在协调供应链中构造联合数据库。通过 扩展传统的a c m s 建立面向供应链协调的a c m s ，从传统的对等关系转变到垂直关系、 供应链伙伴问的竞争关系。 ( 2 ) 数据仓库 数据仓库技术同渐成熟后学术界丌始研究用数据仓库集成供应链上的数据，为供应 链管理提供有效的数据环境。但是从相关文献检阅的结果上看目前这方面的研究还处于 刚刚起步阶段，在供应链和数据仓库的结合研究方面仅查询到有限的两篇文章，它们以 某一个行业为原型构建了一个集中的数据仓库系统，研究的重点侧重于数据仓库的应 用。 ( 3 ) 简单评述及总结 面向s c m 数据集成的d w 解决方案研究 用数据仓库构建供应链上的数据环境的研究目前还有许多空白，在应用上基本还处 于完全空白阶段。造成这种状况的原因一方面是供应链管理和数据仓库还是新兴研究科 学发展时h 尚短，许多技术和理论还有待完善。在应用上供应链管理实施比较困难， 数据仓库巾一些新的理论研究的应用需要数据库管理系统和数据仓库管理系统的支持， 而具有较好的数据库和数据仓库管理系统开发能力的往往是那些大型的提供商，所以理 论研究应用于实际存在较大困难。研究供应链上的数据仓库解决方案是发展的需要，供 应链上的数据仓库体系结构、数据仓库网关逻辑设计以及数据安全访问控制尚待进一步 深入探讨。 1 3 论文的研究思路及研究工作 数据仓库和供应链数据集成的研究不论是在理论上还是在技术上都尚未成熟，还需 要不断的深入并将理论研究与实际应用相结合，相互促进。本课题的研究将数据仓库与 供应链数据集成相结合，在理论上和应用上都有一定的探索性和创新性。本论文预期达 到的主要研究成果如下： ( 1 ) 提出面向供应链数据集成的数据仓库体系结构。 ( 2 ) 构建基于m s c 和a c m 的解决思路。 ( 4 ) 构造应用此结构和解决方案的原型系统。 人连理r 人学硕士学位论文 2 供应链管理与数据仓库 2 1 供应链管理 随着经济全球化和知识经济的到来，无国界经营的趋势越来越明显，整个市场竞争 更加激烈，竞争的形式已经由企业问的竞争转变为供应链之问的竞争。这条链上的节 点企业必须达到同步、协调运行，才有可能使链上的所有企业都能受益。于是产生了供 应链管理这。新的经营运作模式。 供应链管理的实现，是把供应商、生产厂家、分销商、零售商等在一条供应链上的 所有节点企业都联系起来进行优化，使生产资料以最快的速度，通过生产、分销环节变 成增值的产品，到达有消费需求的消费者手中。这不仅可以降低成本，减少社会库存， 而且可以使社会资源得到优化配置，更重要的是通过信息网络、组织网络实现了生产及 销售的有效连接和物流、资金流、信息流的合理流动。通过实施供应链管理，一般情况 下可降低库存资金1 5 。4 0 ，提高资金周转次数5 0 2 0 0 ，提高供应效率与准确率。 根据d e l o m e 咨询公司发布的一项研究报告，现在已经有9 1 的北美制造企业将供 应链管理列入重要和关键活动。8 0 年代中期以后，工业发达国家中有8 0 的企业放弃 了纵向一体化模式，转向全球制造和全球供应链管理这一新的经营模式。近几年来，供 应链管理已经成为国际管理学界和企业界的热门话题和新的追求。 2 1 t 供应链结构及特性 供应链是围绕核心企业，通过对信息流、物流、资金流的控制，从采购原材料开始， 制成中间产品以及最终产品，最后由销售网络把产品送到消费者手中的将供应商、制造 商、分销商、零售商直至最终用户连接成一个整体的功能网络结构模式。它包含所有加 盟的节点企业，从原材料的供应丌始，经过不同企业的制造加工、组装、分销等过程直 到最终用户。它不仅是一条连接供应商到用户的物料链、信息链、资金链，而且是条 增值链，物料在供应链上因加工、包装、运输等过程而增加其价值，给相关企业都带来 收益。根据供应链的定义，其结构可以简单的归纳为如图2 1 所示的模型。 从图2 1 可以看出，供应链优所有加盟的节点企业组成，其中一般有一个核心企业， 可以是产品制造企业也可以是大型零售企业，如沃尔玛。节点氽业在需求信息的驱动下， 通过供应链的职能分工与合作( 生产、分销、零售等) ，以资金流、物流或服务流为媒 介实现整个供应链的不断增值。 面向s c m 数据集成的d w 解决方案研究 供蹴髑的供癞羯 黼攮释声 二) 、 鞭辩擞黼鲻煎接鬻p o 誊蕊 图2 1 供应链的网络结构模型 f i g ，2 1s u p p l yc h a i ns t r u c t u r em o d e l 从供应链的结构模型可以看出，供应链是一个网络结构，围绕核心企业的供应商、 供应商的供应商和用户、用户的用户组成。一个企业是一个节点，节点企业和节点企业 之间是一种需求与供应关心。供应链主要具有以下特征： ( 1 1 复杂性 因为供应链节点企业组成的跨度层次不同，供应链往往由多个、多类型甚至是多国 企业构成，所以供应链结构模式比一般单个企业的结构模式更为复杂。 ( 2 ) 动态性 供应链管理因企业战略和适应市场需求的需要，其中的结点企业需要动态的更新， 这就使得供应链具有明显的动态性。 f 3 1 面向用户需求 供应链的形成、存在、重构都是基于一定的市场需求而产生，并且供应链的运作过 程忠，用户的需求拉动是供应链中信息流、物流、资金流运动的驱动源。 r 4 1 交叉性 节点企业可以是这个供应链的成员，同时又是另外一个供应链的成员，众多的供应 链形成交叉结构，增加了协调管理的难度。 2 1 2 供应链管理的发展 供应链管理的发展经历了分散式、集中式、集中与分散相结合三个发展阶段。分散 式阶段又称职能部门化阶段。从5 0 年代到8 0 年代末，企业的组织结构以其一系列各自 为政的职能化或者区域化的条条框框为特征。各个职能部门分别在一个相互隔离的环境 下制定和执行各自的计划。由于业务系统缺乏标准化、数据完整性查、分析系统支持不 足、各自使用的技术系统完全不同以及缺乏推动信息共享的激励机制，管理层在此环境 下进行集中供应链计划的努力注定是徒劳无功的。供应链执行决策是由各独立业务部门 8 a筑翳黪 nfiiit 人连理f + 火学硕士学位论文 的管理人员制定的，很少考虑与其他部门的相互影响，这些决繁鼹被动反应式的，仅仅 依据该决策将设计的特定职能部门的需求而制定。 2 0 世纪8 0 年代来至9 0 年代后期，继分散式供疲链管理后絮中式供应键管理兴起。 赢缀诗划撵释系统、企监资源癯翊系绕豹逐速传播鞠广泛采罐敬及螽来与韭务流程重组 相结合是这次转变的主要推动因素。在8 0 年代末9 0 年代初，随着e r p 的出现使企业 领导人意识刹将企业的组织结构与主管人员的相关业务目标和业绩激励机制结合起来 可隘获餐雯大戆效益。技零豹进步以及诗算梳处理戏本戆降低热姨了全垒竖蓬鞭夔韭务 处理系统的渗透。如今高聪管理者可以容易的得到标准化的业务信息以及一套一致的不 同业务、不同职能部门、不同地理区域的评价指标。随着高级计划排程系统的引入，供 应链优化成为一项切实可行的选择，这如提赢了目麓集中的供应链计划流程懿效率。跨 驻篷熬门澄跌麓诱佟接动镰应链嚣戴浚程更掘一髂傀，并将金监 乍为一令整体柬看待。 在集中式供应链管理必起后，各行备业的领先性企业均开始懑识到如果要尽可能的 提高效益就需要将需求预测、供应链计划和生产调魔作为一个集成的业务流稔来看待。 毽_ 龟越来越多的跨职能部门霾| l 是以定期开会鳆方式翱互协调，制定最佳熬销售秘运藿计 划行动方案。与供应链计划一样，供应链执行决策落逐渐朝着跨职能部门的一体化方向 发展。现在，采购和制造部门嫩购共同进行原材料的采购决策，从而实现产品生产成本 的最小化而不仅仅是采购价格最低。阍样，客户服务、分销和物流部门也可以通过共 藏遘行汀攀碰 亍夔决策，实溪客户鬣务袋本楚最小傀。 供应链管理发展到今天，因特溺为熟仓日造了一个更具有深远影响的强有力的手段一 一协同工作。随着计划流程所需的大部分输入信息已经可以从底朦迅速传到整个企业以 及更多的数糍褒接来自最终客户，一体纯的集中供应键诗划变褥燮搬有效，鞠关人员迄 可以校攥最新的客户信息迅速更新需求预测并逐渐徽到支持客户敷接更新。同时购买方 和销售方有关产品季节性、促销活动以及新产品发布铸信息的共事将进一步强化此趋势 的发展，从而提高相关效懿，如更高的客户服务水平和更低的供廒链成本。另一个重要 发震是摸应链械行决策将囊疆嚣盏分敬曩二。涟着爨蔽链姨攉葫模式发袋囊蒿求挺动模 式，成功地逡作供应链需黧4 大关键豳索：实时的可视性( 横跨憋个供应链) 、灵活性 ( 供应和来源的选择) 、响应性( 这对客户需求多边和订交货周期缩短) 、快逮的新品 上市( 棂撼帮场潮流和掰激设计) 。 下一代豹供应链系统将包括供应镳流程管理帮攀俘管理的麓力，的麓力可以使基于 事件的实时信息在企业内部逐步提交到滤当的人手中，这样相应得负责人就能够进行有 效的决策，将该事件对企她的负面影响降到最低，或是充分利用浚事件所创造的机会。 翅堇三产谖凄人爨可凝握实瓣鼹库存售惑逶过调整生产捧犍诗翻等方式主动戆戆髑豫琢 面向s c m 数据集成的d w 解决方案研究 材料未能按时到货等意外情况所导致的= ：i i 良后果。同样的一条信息，如果与通过市场上 相关产品的峰值所分析出的供应链需求失衡的理论相结合，高层经理可能推断出也许该 供应商的某一条生产设备出现了故障。供应链管理系统可能会建议采取相应的应对策 略，如向供应商确认该事件、考虑可能的替代材料、评估后被供应商、估算将给下游供 应链所造成的损失等。 2 1 3 供应链上的信息流 供应链卜有五种基本流在流动：信息流、物流、资金流、价值流、工作流。这些流 相互关联、相瓦影响形成一个完整的系统。供应链管理实质上是为加强企业的竞争优势 对这几种进行不断优化的管理，并依靠软件来实现这种管理。供应链上的五种流如图2 2 所示。 图22 供应链上的五种流 f i g 2 2f l v es t r e a mi ns u p p i yc h a i n 信息流分为需求信息和供应信息，这是两个不同流向的信息流。物流是因为有需求， 这个需求来自需求信息。当需求信息如客户订单、生产计划、采购合同等从需方向供方 流动时便引发物流，这是因为有供应链存在。同时供应信息如入库单、完工报告单、库 存记录、可供销售量、提货发运单等又同物料一起沿着供应链从供方向需方流动。 物料从供方开始沿着各个环节向需方移动。物流是供应链上最显而易见的物资流 动，也是人们称为供应链的原因。e r p 的计划与控制功能就是主要针对物流的。物料是 有价值的，物料的流动引发资金的流动。企业的各项业务活动都会消耗一定的资源，消 耗资源会导致资余流出，当消耗资源生产出的产品出售给客户后，资会会重新流回企业。 人连理工大学硕十学位论文 因此供应链上还有资金的流动。一个商品的生产经营周期是从接到客户订单开始到真正 收刨货款为i 卜。仅仅用销售额来衡量企业业绩，不看资金能回笼，不看利润和利润率， 不看利润的增长= 是不能说明企业实际效益的。 从形式上看，客户是在购买商品和服务，但实质上客户是在购买商品和服务所能给 自己带来的效益的价值，客户追求的价值是购买活动的实质动机。各种物料在供应链上 移动是一个4 i 断增加其技术含量或附加值的价值增长过程，因此有人称供应链为增值 链。但必须注意的是价值是市场需求定义的，只有当产品能够售出增值才有意义。 信息、物料、资会都不会自己流动，物料的价值也不会自动增值，要靠人的劳动来 实现，要靠企业的业务活动也就使工作流，他们才能流动起来。工作流决定了各种流的 流速和流量，是企业业务流程重组的研究对象。企业的体制和机构必须保证工作流畅通， 对瞬息万变的环境迅速作出响应，加快各种流的流速( 生产率) ，在此基础上增大流量 ( 产量) ，为企业谋求更大的效益。 在这五种流中信息流扮演着至关重要的角色，为其他流的流动提供指导作用。如果 信息流延迟、失真或不完整将会给供应链管理带来负面影响，成为供应链管理的瓶颈。 以信息流对物流的影响为例，在传统的物流系统中需求信息和反馈信息都是迓级传递 的，由于信息的延迟使得上级供应商不能及时掌握市场信息，因而对市场信息反馈速度 比较慢，从而导致信息的扭曲，而建立供应链数据仓库可以有效的避免这种情况。其次， 由丁没有全局的数据，传统的物流系统不能从整体角度进行物流规划，常常导致一方面 库存不断增加，另外一方面当需求出现时又无法满足。本研究提出的供应链上对数据仓 库可以为物流的集中决策提供支持，使整体利益最大化。再次在传统的供应链管理中由 于全局数据管理的不完善，使企业的信息不能形成知识。例如过去企业产品单一，所以 根据预计的销售量即可确定相应的周转库存和保险库存。如今客户对产品个性化需求f 1 益增强，企业的产品花色品种也日益增加，为每种产品保持库存将导致企业总库存大大 卜升。但是如果存在管理良好的全局数据则可以通过数据挖掘对相似产品的确定性进行 研究，从而调整产品多样化造成的销售不平均问题。 2 2 数据仓库 数据仓库是近年来形成的一种新的数据库应用，它面向复杂的数据分析以及支持决 策过程，而且可以继承企业范围内的数据。数据仓库把支持决策分析的数据事先收集、 归纳、整理，使企业的业务操作环境和信息分析环境分离，从而有效的为决策提供实时 的信息服务。数据仓库的重要作用吸引了企业界和学术界的关注，i b m 、0 r a c l e 、s v b a s e 、 m i c r o s o r 、s a s 等有实力的公司相继推出了自己的数据仓库解决方案，许多重要的国际 面向s c m 数据集成的d w 解决方案研究 学术会议如v l d b 、d a t ae n g i n e e r i n g 等都出现了专门研究数据仓库、联机分析处理、数 据挖掘的论文。i n t e m a t i o n a lda _ 组c o r p o r a t i o n 研究结果显示，实施数据仓库的平均投资 回报率为4 0 ，f 是因为它的巨大效益，幸福5 0 0 中已经有8 5 的企业建成或正在建立 数据仓库。数据仓库同i n t e m e t 一样正在成为最快的i t 增长点。 2 2 1 数据仓库体系结构 数据仓库系统旨在提供一种集成的数据平台，为企业高层决策提供依据，使企业通 过信息访问创立战略发展方案，以增加企业的收入和利润，改善投资收益和资产收益。 要达到上述目标，不同的数据仓库提供商、不同的用户其实施方案是不同的，但是数据 仓库系统框架在范围卜和实质卜都是类似的，即首先要收集与企业有关的大量的出于离 散状念的信息，筛选、转换、存储和管理这些信息，然后利用各种数据分析工具、方法 从中抽取有价值的数据，推测出发展趋势。数据仓库的体系结构如图2 3 所示。 图23 数据仓库体系结构 f i g 2 3a r c h i t e c t u r eo f d a t aw a r e h o u s e 源数据部分是数据分析的基础，数据仓库系统的源数据包括在线事务处理系统、企 业长期积累的大量历史数据、企业办公系统、外部信息资源以及任何有参考价值的信 息。从总体上看，这些信息具有分布和异构的特点。a r c h i t e c t u r e 数据仓库部分由数据采 集、数掘净化、数据转换、数据聚合、数据存储组成。从源数据中采集需要的数据经过 大连理工大学硕士学位论文 数据净化，删除劣质数据，大小不同系统中所数据的不一致性后将数据转换成统一的数 据结构和数据类型，详细的数据被局和成为需要的汇总数据。 数据集市与数据仓库相似，区别在于两者提供数据的范围不同。数据仓库部分是为 整个企业的决策支持提供数据，是企业级的。数据集市是针对企业某个局部范围的决策 提供支持数据，是部门级的，因此也称为部门级数据仓库。数据集市具有造价低廉、构 建简单、面向特定应用、投资回报快等特点，因此可以先分别建立数据集市再建立数据 仓库，也可以在数据仓库建成之后抽取其中的部分数据组建筑居集市，以提高对特定频 繁访问数据的响应速度。 决策支持部分为决策提供信息。要实现决策支持就需要数据的查询分析。数据查询 分析方法有若干，联机分析处理和数据挖掘是最典型最常用的方法。前端界面部分即人 机界面，前端的任务就是使用户能够执行分析查询，并将查询结构展示给用户。元数据 是数据仓库中一个重要的控制参数，它渗透到数据仓库系统的各个部分。所谓元数据即 关于数据的数据，用于描述数据仓库系统中的组成元素，指明数据仓库系统中各类信息 的位置和含义。数据仓库管理者通过元数据对数据仓库系统进行管理。 2 2 2 数据仓库与数据库 在8 0 年代至9 0 年代初，联机事务处理是数据库应用的主流，主要有两个原因：单