（管理科学与工程专业论文）基于web+services的供应链管理异构数据整合研究.pdf

摘要 摘要 实践表明：在供应链管理中，供应链企业问存在着的各种异构数据源成为 信息集成和提高供应链绩效重要障碍之。现在的企业比以往任何时候都需要 将内部数据进行发布和交换，这就需要找到合适的方法对存在于供应链管理中 的异构数据进行整合。 本文首先从战略和运作两个层面论述整合异构数据。共享信息对供应链企 业实现多赢的重要意义，进而从技术角度探讨异构数据整合所要解决的核心问 题；分析了现有整合异构数据方案的不足之处。尝试提出基于新兴的w e b s e r v i c e s 技术的异构数据整合方案。 w e bs e r v i c e s 是一项新兴的技术，具有跨平台、跨语言、简单、高效、可 扩展性强等特点适用于供应链管理中系统集成、数据共享等研究工作。 本文的核心是通过引入w e bs e r v i c e s 技术架构，设计了一个异构数据源共 享系统。详细分析和阐述了基于w e bs e r v i c e s 的异构数据源共享方案的基本原 理和思想，分析了基于w e bs e r v i c e s 的异构数据源共享系统的组成结构和各部 分的主要功能，最后通过北京市烟草物流中心供应链管理系统的应用验证了该 技术在供应链管理实践中的可行性。同时，文章的技术思路也为相关研究提供 了一些新的思路和方案。 一直以来，企业资源整合，消除信息孤岛是企业信息化研究的重要课题之 一，也涌现了许多对应的技术，本文的创新之处在于把信息集成技术应用在供 应链管理之中，并在供应链管理的实际运作中加以了验证。 整合异构数据是信息技术对供应链管理支持的重要课题之一，随着供应链 管理思想的不断发展，相应的信息技术支撑还需要在今后的实践中不断的丰富 和完善。 关键词：供应链管理；异构数据整合；w e bs e r v i c e s a b s t r a c t a b s t r a c t p r a c t i c es h o w s ：i ns u p p l yc h a i nm a n a g e m e n t ，s u p p l yw i t hc h a i ne n t e r p r i s e v 撕o u sk i n d so ft h a te x i s td i f f e r e n tt oc o n s t r u c td a t as o u r c eb e c o m ei n f o r m a t i o n i n t e g r a t i o na n di si ts u p p l yc h a i np e r f o r m a n c ei m p o r t a n to b s t a c l eo n eo ft oi m p r o v e a tp r e s e m ，e n t e r p r i s e sn e e dt or e l e a s ea n de x c h a n g et h ei n s i d ed a t at h a ne v e r , t h i s n e e d st of i n dt h es u i t a b l ec o n s t r u c t i n gt h ed a t at oc o m b i n ed i f f e r e n t l yt oe x i s t i n gi n s u p p l y i n gc h a i nm a n a g e m e mo fm e t h o d t h i sa r t i c l ef i r s ta n do p e r a t e st w os t r a t i f i c a t i o np l a n e se l a b o r a t i o nc o n f o r m i t y i s o m e r i s md a t af r o mt h es t r a t e g y ，s h a r e st h ei n f o r m a t i o nt os u p p l yt h ev i t a l s i g n i f i c a n c ew h i c ht h ec h a i ne n t e r p r i s er e a l i z e sw i n s ，t h e nc o r eq u e s t i o nw h i c hm u s t s o l v ef r o mt h et e c h n i c a la n g l ed i s c u s s i o ni s o m e r i s md a t ac o n f o r m i t y ；h a sa n a l y z e d t h ee x i s t i n gc o n f o r m i t yi s o m e r i s md a t ap l a nd e f i c i e n c y t h ea t t e m p tp r o p o s e sb a s e d o ne m e 玛i n gw e bt h es e r v i c e st e c h n o l o g yi s o m e r i s md a t ac o n f o r m i t yp l a n w e bs e r v i c e si sa s i m p l e ，e f f e c t i v e ，s c a l a b l er i s i n gt e c h n o l o g y w i t h p l a t f o r m i n d e p e n d e n t ，l a n g u a g e - i n d e p e n d e n t ， f e a t u r e s ， a p p l i c a b l e t o s y s t e m i n t e g r a t i o na n dd a t as h a r i n g t h i sa r t i c l ec o r ei st h r o u g hi n t r o d u c e sw e bt h es e r v i c e st e c h n o l o g yo v e r h e a d c o n s t r u c t i o n ，h a sd e s i g n e da ni s o m e r i s md a t ap o o ls h a r i n gs y s t e m t h em u l t i a n a l y s i s a n de l a b o r a t e db a s e do nt h ew e bs e r v i c e si s o m e r i s md a t ap o o ls h a r i n gp l a nb a s i c p r i n c i p l ea n dt h et h o u g h t ，h a sa n a l y z e db a s e do nt h ew e bs e r v i c e si s o m e r i s md a t a p o o ls h a r i n gs y s t e mc o m p o s i t i o ns t r u c t u r ea n de a c hp a r to fm a i nf u n c t i o n s ，f i n a l l y f l o w e dt h ec e n t r a ls u p p l yc h a i nm a n a g e m e n ts y s t e mm a n a g e m e n ts y s t e mt h r o u g ht h e b e i ji n gt o b a c c ot h ea p p l i c a t i o nt o c o n f i r mt h i st e c h n o l o g yi nt h es u p p l yc h a i n m a n a g e m e n tp r a c t i c ef e a s i b i l i t y a tt h es a m et i m e ，t h ea r t i c l et e c h n i c a lm e n t a l i t yh a s a l s op r o v i d e ds o m en e wm e n t a l i t i e sa n dt h ep l a nf o r t h ec o r r e l a t i o nr e s e a r c h t h ec o n f o r m i t yi s o m e r i s md a t ai st h ei n f o r m a t i o nt e c h n o l o g yt os u p p l i e so n eo f c h a i nm a n a g e m e n ts u p p o r ti m p o r t a n tt o p i c s ，a l o n gw i t ht h es u p p l yc h a i nm a n a g e m e n t t h o u g h tu n c e a s i n gd e v e l o p m e n t ，t h ec o r r e s p o n d i n gi n f o r m a t i o nt e c h n o l o g ys t r u ta l s o h a b s t r a c t w i l ln e e di nt h en e x tp r a c t i c eu n c e a s i n gr i c ha n dt h ei m p e r f e c t n e s s k e yw o r d ：s u p p l yc h a i nm a n a g e m e n t ；i s o m e r i s md a t ac o n f o r m i t y ；w e bs e r v i c e s 学位论文版权使用授权书 本人完全了解北京机械工业学院关于收集、保存、使用学位论文 的规定，同意如下各项内容：按照学校要求提交学位论文的印刷本和 电子版本；学校有权保存学位论文的印刷本和电子版，并采用影印、 缩印、扫描、数字化或其它手段保存论文；学校有权提供目录检索以 及提供本学位论文全文或者部分的阅览服务；学校有权按有关规定向 国家有关部门或者机构送交论文的复印件和电子版；在不以赢利为目 的的前提下，学校可以适当复制论文的部分或全部内容用于学术活 动。 学位论文 经指导教师同意，本学位论文属于保密，在年解密后适用 本授凳耋师签名：杏呼亿 指导教师签名：么i y 够 伽易年芗月，汐日 学位论文作者签名 硕士学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、己公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 签名 第l 章绪论 1 1研究背景 第1 章绪论 供应链管理作为当自玎的重要的管理思想，主要是随着新经济发展而应运而 生。不论从博弈理论、协同理论等战略层面、还是从提高计划准确性、合理安 排生产、降低库存等运作层面柬分析，供应链企业问信息的集成坍作都是供应 链管理思想的灵魂所在。因此，依托最新的信息技术，整合供应链企业问信息 资源，实现企业信息的顺畅流动、合理整合，达到供应链企、i k 的“横向一体化” 目标就成为供应链管理研究的核心课题之一。 实践表明：在供应链管理的实际运作中，供应链企业i 自j 存在着的各种异构 数据源成为信息集成和提高供应链绩效主要障碍之一。这是因为首先企业应用 在实施过程中受到数据管理系统的阶段性、技术性以及其它经济和人为因素的 影响，造成即使在一个单独企业，采用的数据管理系统也大不相同，从简单的 文件数据库到复杂的网络数掘库，共同构成了食业内部的异构数据源 ( e n t e r p r i s eh e t e r o g e n e o u sd a t ar e s o u r c e s ) 。其次供应链管理的发展使 企业逐渐从一个个孤立节点发展成为不断与网络交换信息和进行商务事务的实 体，企业数据整合集成也从企业内部走向了企业问的集成。现在的企业比以往 任何时候都需要将内部数据进行发布和交换，这必然导致越来越多的企业应用 需要访问使用各种异构数据源，并且这些数据源叮能分布在供应链上企业之i 日j 的任何地方。1 所以，无论是从企业自身发展角度还是从供应链企 i k f j 协同的角度来看， 越来越多的企业应用需要企业级的异构数据整合系统来为企业运作和供应链运 作提供必要的技术支持。这黾“企业级”的包括两层含义：其一，面向企业应 用；其二，代表着更强大、更完善的功能实现。理想的状念是借助于企业异构 数据源整合系统，企业应用只需提出访问请求( 或访问指令) ，而不必关心如 何链接异构数据源以及如何获取奄询所需结果，这是企业片构数据源整合系统 最终要实现的目标。 第1 章绪论 1 2 供应链异构数据整合的意义 1 2 1 供应链异构数据源整合的含义 供应链异构数据源整合就是指对供应链上的来自于各个企业的不同数据源 进行统一处理，能够为供应链上企业提供统一和透明的数据奄询界面，从而达 到信息整合共享的目标。这旱所说的透明是指企q k 在访问数据时彳i 必考虑数据 源的物理位置、硬件设备、运行平台和通信协议等问题，对各种不同信息的访 问就像在本地访问同一种类型的信息一样。 目前，存在于供应链企业数据异构丰要有以下几种：心1 ( 1 ) 数据的组织形式异构。如结构化数据、半结构化数据和非结构化数据。 ( 2 ) 数据存储方式异构。如数据库存储和文件存储等。 ( 3 ) 数据库模型异构。如关系数据库与面向对象数据库等。 ( 4 ) 数据库物理模型结构异构。女n o r a c l e 币f l d b 2 等。 ( 5 ) 系统控制异构。如分布式控制与集成式控制等。 ( 6 ) 网络异构。主要体现在协议的不同，如i n t e r n e t 和n o v e l l 网等。 ( 7 ) 操作系统异构。女 j l i n u x ，w i n d o w s 等。 1 2 2 供应链异构数据整合的战略意义 ( 1 ) 整合数据信息，共享协作多赢 基于博弈论角度来看，买卖双方是一种交易关系，因此，如果双方进行协 作就会产生“双赢”的局面。双方信任合作的诚意是实现供应链集成化管理的 前提必备条件，而这个前提条件关系到双方能否打破传统组织之间各种壁垒， 能否关于业务流程达成一致或统一，能否让合作方连接到氽业的内部运作网络 中来，能否在跨平台、跨应用等达成协同应用和管理。通过战略联盟，通过建 立稳固的合作伙伴关系，从而稳定双方交易，减少了双方签约的交易成本，又 保持了各自的独立性。 ( 2 ) 资源共享提升企业核心竞争力 价值链( v a l u ec h a i n ) 首先是由迈克尔波特提出的，他认为企业足一个 综合设计、生产、销售、物流和管理等活动的集合体，其创造价值的活动可分 解为一系列互不相干却又互相联系的增值活动，总和即构成“价值系统”。其 第l 章绪论 中每一项经营管理活动就是这一价值系统的价值链。 价值链可以分为上下两个部分：上部是支持性活动，即企业辅助性的增值 活动包括组织、人事、技术开发、信息管理等。下部为基本活动，即企业基本 增值活动，也就是生产经营的各个环节，如材料采购、生产制造、仓储、市场 营销和销售、售后服务等。 波特用价值链的分析方法揭示了企业内部活动的秘密，把企业竞争的内涵 通过价值链反映出来，既说明了企业取得竞争优势的艰难，也为企业取得竞争 优势指明了路径。但波特这一理论足以企业将设计、丌发、生产、营销等一系 列环节都集中在自身内部进行为基础的，这和波特提出这一理论时的信息技术 发展水平息息相关，市场交换中的信息收集、分工协作等成本较高，集中经营 相对说来还比较经济的状况是相适应的。但在进入新世纪后，随着科技的发展 尤其是信息技术和互联网的突飞猛进，企业边界得到扩张，信息沟通便利，地 域不再成为制约企业发展的时空局限，企业之问跨越时窄障碍的协作成本大大 降低。同时社会分工程度更加细化，价值链的增值环节越来越多， 很多产品的丌发、生产到营销的整个过程都不可能由一家企业单独完成， 需要若干企业合作进行。另一方面，产品生命周期不断缩短，市场瞬息万变， 顾客“见异思迁”，企业要求得生存和发展，必须不断丌发新产品和新服务以 适应市场需求。而要在最短的时间内推出为市场和顾客认可的新产品，企业就 难以完成价值链的全过程，更不可能在每个环节都做得很好。上述状况决定了 企业有可能而且也只能集中优势兵力打歼灭战，在一个或几个环节取得突破， 做精做细，取得竞争优势，其他环节则借助外力来完成。 从实践上看，在有限的资源条件下，企业要取得竞争优势，也迫切需要将 原有的丌发、生产、营销、服务等环节，进行重新设计和组合，将资源集中于 特定的业务，将焦点缩小到核心业务，仅保留关键环节，而将其他环节虚拟化， 即减少投入或放弃某些环节，通过多种方式进行整合弥补，以最大效率地发挥 企业有限的资源，形成企业的核心竞争力。 通过价值链理论的分析可以看到，任何一个企业不可能具有全而的优势资 源，每一个企业只可能在价值链的一个或多个环节上具有核心竞争力，企、i 芝之 间的竞争也越来越表现在价值链之问的竞争。因此传统的“大而全，小而全” 的纵向一体化的管理模式不能够适应当日，j 的市场环境。而只有通过企业问协作 及整合价值链，实现横向一体化，相互在各自价值链核心环节上展丌合作，可 第1 章绪论 促使彼此专长得到互补，从而使得整个供应链达到最火化的价值增值。 1 2 3 供应链异构数据整合的运作意义 ( 1 ) 联合需求预测，有效抑制牛鞭效应 在供应链管理的研究中，供应商和零售商已经注意到这样一种现象：在以 顾客为中心的供应链管理中，每个成员在决策时都是利用来自直接下游企业的 需求信息进行预测并向上游企业订货，每个企业都面临着日订趋和后继m 的订货 问题。然而当下游需求发生变化时，由于供应链的固有属性会产生需求信息曲 解，而且需求信息曲解的信号会沿着供应链自下而上( 顾客一分销商一制造商供 应商) 逐级放大，这种现象被称为供应链中的“牛鞭效应”( b u l l w h i pe f f e c t ) 。 “牛鞭效应 效应产生的原因很多，包括需求预测修讵、提前期、订购批量、 价格波动、库存短缺博弈等，但所有这些都呵归结为供应链e 下游企业之j 日j 仅 是买卖交易关系，均以自身利益出发而没有从整个供应链系统的角度出发从而 人为夸大需求造成高额库存，而并未达到供应链企业间的集成协作。h 集成的供应链中，整合共享的信息代替了库存。它所表达的真实含义是通 过在供应链的上下游企业之间的信息共享来达到物流和信息流的吻合、实现供 应链的有效管理、提高系统整体绩效，这种改变将会导致更低的库存及更高的 服务水平。 当需求信息共享时，供应链每一阶段都可利用实际的顾客需求信息来预测 平均需求，相反，当需求信息不共享时，每一阶段必须利用前一阶段发出的订 单来预测平均需求。这些订单比实际的顾客需求数据具有更大的波动性，因此 利用这些订单预测的平均需求的波动性更大，从而导致下一阶段订单的更大变 动。因此，通过在整个供应链的企业之j 日j 共享需求信息能够显著地减少牛鞭效 应。 另一方面，制造商与供应链下游成员( 零售商、分销商) 共享其制造能力、 库存等信息，使得他们可以准确地向其顾客报出订单提自仃期。此外，通过共享 制造和库存信息共享，使得零售商和分销商了解并信任制造商的能力，这种信 心能减轻销售商的忧虑，使得分销商和零售商降低他们为了预防制造中出现的 问题而持有的安全库存水平，从而在一定程度上可以防止他们参与博弈，减轻 牛鞭效应。 4 第1 章绪论 ( 2 ) 联合库存管理，合理分配库存风险 供应链上的库存成因主要是由于制造商、分销商、零售商为了对付供应链 上需求的不确定性以及存在的提d 订期而设定安全库存。由于供应链上下游食业 间缺乏合作、各自为政，仅从自身利益出发而设定高额的安全库存，从而形成 了需求扭曲的“牛鞭效应”，因此上游供应商往往维持比其下游需求更高的库 存水平，以应付销售商订货的不确定性。 联合库存管理策略是合理分担库存责任、防止需求变异放大的先进方法， 强调整个供应链的协调与优化。在供应商管理库存的环境下，销售商的大库存 并不需要预付款，不会增加资金周转压力，相反地，大库存还会起到融资作用， 提高资本收益率，甚至大库存还能起到制约供应商的作用，因此它实质上加剧 了订货需求放大，使供应商的j x l 险异常加大。联合库存管理则是对此进行修正， 使供应商与销售商权利责任平衡的一种风险分担的库存管理模式，它在供应商 与销售商之间建立起了合理的库存成本、运输成本与竞争性库存损失的分担机 制，将供应商全责转化为各销售商的部分责任，从而使双方成本和风险共担， 利益整合，有利于形成成本、风险与效益平衡，从而有效地抑制了“牛鞭效应” 的产生和加剧。 ( 3 ) 业务流程集成，提高企业效率 面向业务流程的集成主要目的是增强仑业与贸易伙伴的交互能力，把所有 企业的整个业务过程进行集成。业务流程集成实现数据交换和流程的自动化， 并以讵确的方法管理和执行所有企业中和企业间的通用进程。通过企, l k l ；j 业务 流程集成，不仅减少了跨企业的工作流的人工干预，最为重要的是缩短提自仃期， “牛鞭效应”的定量化分析清楚的表明提自，期对于需求变动的显著影响，因此 缩短提前期能够显著减小整个供应链的牛鞭效应。注意观察提前期通常包括两 个组成部分：订货提前期( 即生产和运输物品的时间) 和信息提自玎期( 订单处 理时间) ，订单处理时间包括订单的传递、订单处理、订单内部流转等。因此 通过整合企业应用功能，实现上下游企业问业务流程的集成，从而缩短信息提 前期，从而可以减少牛鞭效应。并且，随着提前期的缩短还能够提高需求预测 的准确度。m 。 第l 章绪论 1 3 异构数据源整合现状分析 异构数据源整合技术研究的目标之一是对网络上的多个数据源实施查询。 目前，对于异构数据源整合主要侧鼋于异构分布式数据库整合。针对异构数据 库的特点，解决异构数据库整合的主要方案有以下两种： ( 1 ) 直接法 该方法利用数据仓库等将异构数据源上的数据实现物理集成，形成具有统 一模式的数据源，用户直接对这个统一数据源进行操作，实现异构数据源的整 厶 口。 实现多数掘源中的数据向数据仓库的集成需要解决两个问题：提取和格式 转换。这种方法包括三个步骤：清洗、匹配和合并。在数据清洗过程中，需对 数据进行解析、校正、标准化、增补等一系列的处理，为数据的精确匹配做准 备。通过在各数据源内部或之间数据进行比较，获取所有相似的信息，消除重 复数据。最终实现相匹配的各数据成分进行合并。数据仓库体系结构如图1 1 所 示。 6 id w d b m s 结果查询 - e t l和分 工具 数析工 数据 据 奄洵 具 库 图1 、1数据仓库体系结构 直接法是可以实现的，但存在着很大的缺陷。当增添或删除信息时，集成 形成的信息源中的数据和模式要进行相应的修改，会出现信息更新不及时、重 复存储、难以维护等情况，所以这种方法的实用性不高。 ( 2 ) 集成视图法 使用该方法时数据仍保存分布存储，仅增加了一个虚拟的集成视图以及这 个视图与数据的映射关系；用户可以通过虚拟视图了解到数据的存储位置、存 储方式等情况，然后直接从数据源获取数据。这种方法不需要重复存储大量数 6 第l 章绪论 据，并能保证整合的是最新信息，适合高度自治且数据变化快的异构数据源整 合。但是当信息源发生频繁变化时( 增加或减少数据源) ，虚拟视图也需要进 行相应改变。由于创建和修改虚拟视图是很复杂的操作，数据源的频繁变化会 导致虚拟视图变得难以维护。川 近年来，许多国家都丌展了异构信息源集成的研究，成果主要集中在异构 数据库整合的问题上，并开发出了许多异构数据库整合系统。 但是在现有采用直接法，或采用集成视图法的异构数据源整合方案，都不 可避免的存在以下缺陷： ( 1 ) 不具备平台的透明性。 异构数据源可能采用各种型号的设备( 包括p c 机、小型机、工作站甚至大 型机和巨型机等) ，使用的操作系统也可能不同( 主要有w i n d o w s ，u n i x ，l i n u x 等) ，所以实现异构数据源的整合，首先应当提供平台的透明性，能够对依赖 于平台的不同数据存储格式、浮点表示、字节排列、困际字符格式、字符集等 自动进行转换，使这些差别对用户和丌发人员透明。不论直接法还足集成视图 法都是由数据源将平台的差异进行统一，而没有统一的方法自动完成这些工作， 不具有平台的透明性。 ( 2 ) 开发过程复杂。 采用上述两种方法进行异构数据源整合时，丌发人员需要了解数据源内部 的结构和工作机制：并且需要考虑数据源各自的特点，为每一个数据源确定合 适的整合实施方案，这样j 能解决数据源之l 日j 的异构问题，实现整合。在开发 过程中，没有为各不相同的数据源提供统一的方法来实现整合，导致了整个整 合丌发过程繁琐、复杂，实现难度很大。 ( 3 ) 可扩展性不强。 当有新的数据源加入到整合系统中，已有数掘仓库的数据需要进行相应更 新，而虚拟视图中的统一模式将发生改变，根据新的数据源的视图进行调整。 这个调整过程需要较长的时问，并且过程非常复杂，因此采用这两种整合方案 无法做到新数据源快速接入己有整合系统，严重影响了系统的扩展性。异构数 据源整合应能做到数据源的“即插即用”，即当数据源发生变化时，数据源能 在尽量不影响己有系统的前提下尽快接入原整合系统。 ( 4 ) 可维护性不强。 当数据源发生变化的时候，直接法和集成视图法都必须对数据仓库或虚拟 第1 章绪论 视图进行调如果数据源变化频繁，那么集成系统的维护代价过高，导致系统的 健壮性和可靠性降低。阳3 1 4 基于w e bs e r v ic e s 的供应链异构数据整合方案的提出 伴随着w e b 服务方兴未艾，w e bs e r v i c e s 跨平台、跨语言、简单、高效、可 扩充等优点在供应链管理的信息系统支持中体现出巨大的优势，也成为解决供 应链异构数据源整合问题的理想技术。本文在充分研究现有异构数掘源整合方 案以及它们存在的主要问题的基础上，结合供应链管理的特点，将w e bs e r v i c e s 引入到供应链异构数据源整合的研究中，提出了基于w e bs e r v i c e s 的供应链异 构数据源整合方案。 1 5 课题研究的目标和内容 供应链异构数据整合系统涉及到的数据种类很多，系统不仅要整合数掘还 应该为用户提供数据的统一查询、检索服务。数掘整合系统的关键就是解决异 构数据源数据整合的问题。本课题的研究日标就是在研究与总结己有异构数掘 源整合技术的基础上，结合供应链管理中对信息技术的要求，通过引入新兴的 w e bs e r v i c e s 技术，提出基于w e bs e r v i c e 的供应链异构数掘源整合系统体系框 架；研究基于w e bs e r v i c e 技术的供应链企业i 、日j 信息整合，调用过程；实现供应 链企业间内外部信息资源的共享，达到提高供应链综合竞争力的目标。在研究 过程中，需要了解和掌握w e bs e r v i c e s 的原理和关键技术；需要解决将数据源 提供数据的行为封装为服务的问题；需要解决w e bs e r v i c e s 服务注册中心的设 计和实现问题；解决分布式环境下查洵请求的分解问题等。 本课题的主要工作包括研究和设汁基于w e bs e r v i c e s 的供应链异构数据源 整合系统体系结构；研究服务的捕述和封装方法，设计并实现适配器，研究并 实现服务注册中心；研究查询请求的分解问题，并实现适用于系统的请求分解 器。最后在这些研究和实践的基础上通过在北京烟草物流中心供应链管理系统 中的应用佐证基于w e bs e r v i c e s 的异构数据源整合方案在供应链管理中的可行 性。 8 第1 章绪论 1 6 论文的组织结构安排 第1 章：绪论主要阐述供应链管理中异构数据整合对提高供应链管理绩效的 重要意义，接着概括总结了目自订应用中的异构数掘整合技术，分析现有技术的 不足，继而提出了基于w e bs e r v i c e s 的供应链管理异构数据整合的新思路。 第2 章：详细论述了在现有供应链管理中异构数据整合所面临的主要问题， 为论文设定了要解决的关键问题。 第3 章：通过x 寸w e bs e r v i c e s 基本概念的阐述和其关键技术分析，论证了基 于w e bs e r v i c e s 的供应链管理异构数掘整合方案的技术先进性。 第4 章：本章是论文的重点，详细说明了基于w e bs e r v i c e s 供应链异构数据 整合系统设计原理，实现方法并给出了相关的程序。 第5 章：在第四章设计的基础上，通过北京烟草供应链管理系统中一号和二 号工程数据调用的实践，实现了基于w e bs e r v i c e s 的供应链管理异构数据整合 的实现，从实证的角度验证了设计思想的可行性。 第6 章：总结和展望，通过对论文的成果和不足的分析，明确了今后进一步 努力的方向。 9 第2 章t ! 膨链异构数据整合中涉及到的问题 第2 章供应链异构数据整合中涉及到的问题 2 1 新1 日系统的维护 2 1 1 维护局部的自治性 论文中涉及的异构数据整合和传统的分布式数据库的一个重要区别就是数 据源分布在供应链上的不同企业，每个局部数据库管理系统( d b m s ) 都具有对 局部数据处理过程完全的控制权利，也即自治性。组成战略同盟的供应链上企 业都有自己企业内部的数据库，这些数据库主要为企业内部的生产运作提供数 据支持，同时要为供应链集成需要提供必须的数据支持，因此在供应链异构数 据整合与集成过程中要避免对局部d b m s 造成影响。对局部d b m s 而言，全局系统 只是一个本地d b m s 的用户，和其它局部数据库用户无区别。需要注意的是：自 治性是针对局部d b m s 而言的，对整个局部系统( 局部站点) 来说，则必须支持 一定的全局相关功能，以保证集成系统全局完整性能够维护。 保持局部库自治性是非常必要的。被整合的数掘源一般都足预先存在的， 集成的目的是为了提供数据的整合服务，而不是要去影响和干扰局部系统本来 运行的任务。换言之，我们在进行供应链异构数据整合过程中，前提条件是保 证企业内部数据库对企业生产运作的支持功能不能受到影响。局部自治还意味 着局部数据是本地拥有和管理的，并具有本地的可计算性：所有的数据都是“真 正”属于某个本地数据库的，即使它们被与其它数据库一起集成到一个集成系 统中，局部数据库的数据的安全性，完整性和存储形式之类的问题也是在本地 数据库系统的控制和管辖之下的。要求局部自治性，给全局系统带来了许多问 题，如：如何处理全局请求以及全局优化与局部的冲突? 当局部系统功能或相关 信息有限，造成全局系统无法完成某些任务时，全局系统如何处理等等。0 1 2 1 2 维护全局的完整性 数据库的完整性涉及到数据库的一致性、f 确性、有效性和精确性。d b m s 中的完整性子系统是实现完整性约束的机制，它对系统行为是否违法进行检测， 并在违法事件发生时采取适当的行动。由于缺乏对单个数据库操作的i f 确与否 l o 第2 章供j 越链异构数掘整合中涉及到的问题 的判断方法，保持其完整性通常是指保持更新操作的结果不违反完整性，因此 完整性子系统需要对所有的更新操作进行监视。在一个多用户数据库环境中， 数据可能被不同的应用更新。一个可取的方法是将所有约束集中存储在一个公 共的地方，一般选择系统目录。这样，同样的完整性规则被所有的应用整合。 数据库的完整性是指数据的完整性和相容性。d b m s 必须提供一种功能来保证数 据库中数据的完整性，这种功能办称为完整性检查，即系统用统一的机制来检 查数据库中的数据是否满足规定的条件。这种条件在数掘库中称为完整性约束 条件。数据的约束条件是语义的体现，这些完整性约束条件将作为模式的一部 分存入数据库中。1 如果同时允许局部和全局的完整性约束，则由于系统存在异构性，两者之 问的不一致性是不可避免的。对于全局和局部完整性约束之间的不一致性的解 决，取决于集成数据库系统中各个局部数据库的集成程度。在集成数据库系统 中，全局完整性约束的设计是模式集成中的重要部分，在定义新的全局完整性 时，若与局部数据库冲突，则必须在上层管理策略中裁定。在集中式数据库系 统中，如果新的完整性约束与数据库当日仃状念冲突，则拒绝该约束。所以为了 检查全局与局部完整性冲突，必须检查所有数据库状念及局部系统，对于强全 局控制的数据库系统来说，还是可以办到的，但对干松散的集成系统，该种检 查不可能做到。 由于集成系统提供了全局视图，因此不同局部库中的数据可能彼此i 日j 有语 义的关联性。因此全局系统必须保证全局数据完整性、一致性，防止修改不同 步。这在某种程度上又影响了局部站点的自治性，如何在这两者j 日j 平衡、协调， 制定合适的策略是集成系统必须考虑的。 2 、2 异构问题 2 2 1 消除异构模式 供应链数据共享是建立在不同企业之间的集成系统，企业内部的数掘库系 统尽管能很好的支持企业运作，但对整个供应链来说，就是不同的需要整合的 数据源。异构数据库系统由于数据模型和语言的不同，不能直接进行通讯。异 构集成系统是由多个已经存在的局部数据库集成的。对同一数据，在不同的局 第2 章供胁链异构数据整合中涉及到的问题 部数据库系统中可以有不同的描述方法，而这些描述并不一致，引起冲突。因 此数据模式异构，或者通俗的况，数据表示的异构，是供应链数据共享必须面 对的问题。 主要表现在以下几点： ( 1 ) 命名冲突：相同的数据在不同的局部库中可能有不同的名称，或者相 同的名称在不同的局部数据库中表示了不同的数据。 ( 2 ) 格式相异：包括数据类型、精度、数据范围等不同。如：一个邮政编 码在一个局部库中以整数表示而在另一个中以字符串表示。 ( 3 ) 结构相异：一个数据实体在不同的数据库中可能表示方式不同。如： 一个数据项在一个库中可能表示为一个值，而在另一个中表示为几个值；或者 在一个库中表示为属性而另一个中表示为关系等等。 ( 4 ) 数掘冲突：由于局部库的自治性，相同的数据项在不同的库中可能有 不同的值；造成全局查一询时返【回不同的结果。 对于这些问题，全局系统必须能够 ： - 别并加以解决。消解了数据的异构模 式才能维护好整个系统的一致性和全局完整性。 2 。2 。2 屏蔽系统级异构 一方面，需要屏蔽局部库d b m s 异构，通常数据库系统有关系、网状、层次 等模型。如果集成系统包含有各种这些数据库，则需要考虑如何实现转换，通 常的做法是将局部模型转换到统一的伞局关系模型上。转换功能增加了系统的 代码量，从而影响了效率，必须考虑在系统通用性和效率f n j 的合理平衡。另一 方面，必须解决运行环境异构问题，各种数据库运行环境可以存在从硬件到网 络协议到操作系统的各层次的不同，集成系统必须能屏蔽这些异构，为客户提 供透明通信，这些通常涉及大量的内部数据格式、协议的转换。 把异构数据库的数据模型转换成用户熟悉的数据模型，用户使用熟悉的数 据语言编写事务对数据进行处理，事务的执行是通过事务翻译转换器转换为对 异构数据的操作后进行的。因为通过转换以后，用户可以把异构的分仰式数据 库当成同构的分布式数据库系统一样看待。且以一种用户熟悉的数据处理语言 书写事务去访问这些数据库。如：把异构分命式数据库系统中所有的非关系型 局部数掘库转换为关系数据库系统。因此非关系数据库用户就可以用关系数据 处理语言访问所有的局部数据库系统，对于关系数据库系统用户而言，这种访 第2 章供心链异构数据整合中涉及到的问题 问和访问一个关系数据库一样。 2 3 全局查询 2 3 1 全局查询处理 异构集成系统的查一询处理包含了全局查询处理和局部查询处理两部分。 对于整个系统来说，应用用户只看到伞局天系组成的全局数据库，且也只在全 局关系上完成查询。然而，用户的这种查询是通过查询语言束表示的，由系统 将其转换。因而在查询执行过程时，实际上最终要涉及到各个局部数据库的查 询。在用户通过应用程序向系统发出全局奄询请求，由系统分解全局查询为对 应各个局部数据库的子查询。各个局部数据库处理完对应的子查询，得到子结 果。子结果经过系统的合并汇总后提交给用户。处理全局查询的过程主要分为： 分解全局查询、执行子查询、合并子结果。从各个子数据库得到的各个子结果 数据的模式是异构的。总结果数据返回给用户时，应该把数据转换为统一的格 式。因为在异构分布式环境下，全局查询要在多种异构数据格式问进行，需要 建立统一的公共数据模式。 全局查洵通常涉及多个局部库，全局系统必须考虑如何分解和优化查询， 如何翻译全局查询为局部查询语言，如何将各局部库返匹l 的查询结果进行组合 等问题。同时，在查询过程中，要处理异构数掘之间的转换，还必须考虑如何 保证全局事务的a c i d 特性( a t o m i c ，c o n s i s t e n t ， i s o l a t e d ，d u r a b l e ，即：原 子性、一致性、隔离性、持久性) 、如何进行并发控制、防止全局死锁的发生 等等。 2 3 2 全局查询的代价 在数据库系统中，查询处理的效率是人们很关注的问题。在异构分布式数 据库系统中，如何来评估查询的分布性执行效率呢? 在集中式数据库环境中，对 查询执行的衡量，典型的方法是估算输入输出( i o ) 操作次数，以及c p u 的使 用情况。对于异构分布式数据库环境，除此之外，还必须考虑数据在不同局部 数据库的传输代价，包括数据量的传输费用及传输的延迟时问，还可以涉及传 输数据的控制信息以及控制次数。更进一步说，局部数据库i 、日j 传输的代价不仅 第2 章供j 够链异构数据整合中涉及到的问题 仅体现在查询处理的策略上，还可能包括分布事务处理的管理策略。n 2 3 在异构分布式环境中，异构分钮查询的特点使得可将杏询处理分成全局查 询和局部查询两个部分来考虑。对于全局查询，讨论局部数掘库间存取策略的 分稀性时，只考虑传输代价；而在决定每个局部数据库上的局部存取策略( 子 查询) ，讨论子查询代价的时候，再按集中式数据库方式柬处理。 2 4 其他问题 2 4 1 系统的安全问题 保证大型数据库中数据的安全性是较困难的，对数据库的使用者增加了额 外_ 丌销。安全性的水平取决于数据的价值或敏感程度。在一个支持局部数据库 自治性的异构分布式数据库系统中，数据的安全性可以完全由局部数据库系统 负责。但是，一旦系统用户被授予访问局部数据，则局部数据库就不能确保数 据的完整性。因为，数据可能被拷贝到网络中的其它地方而超出原来数掘库系 统的控制范围。因此，需要考虑接受数掘的安全性保护和网络的安全性。为了 保证数据在异构分缸式环境下的安全性，不应该在非安全的通讯线路上传递保 密数据，也不允许将保密数据传递给不安全的系统用户。 安全对数据库系统的重要性是不占而喻的。集成系统不仅要考虑一般系统 安全所必须考虑的问题，还必须考虑复杂分布异构环境所带来的特定安全需求。 如：需要提供对网络传输过程的保护等。异构分布式集成系统中特有的安全性 问题土要有四个：用户标识和授权、授权规则的分布、加密、全局视图机制。 最常用的就是用户标识和授权。当一个用户打算操作任何计算机系统时， 首先必须标识自己的身份( 如：报一个名字) ，然后取得自己的授权( 如：输 入一个口令) 。为了允许用户存取各个局部数据库的数据，必须在各个局部数 据库上保存用户标识信息( 用户名) 和授权信息( 用户口令) ，这些是计算机 系统中最基本的安全性信息。但是，安全性信息在局部数据库中的重复存储， 本身就导致了不安全因素，即使以口令加密方式保存，也造成了泄漏机密的可 能性。1 3 3 2 4 2 并发控制问题 1 4 第2 章供心链异构数据整合中涉及到的 日题 数据库管理最重要的功能之一就是支持多用户访问，即多个用户“同时” 对数据库进行读和写操作。因此而引发并发访问的控制问题，特别是数据库同 时写问题，己经成为集中式和分白式数据库研究的一个重要课题。 事务概念是并发控制的基础。所谓“事务”是一系列有单个用户或应用程 序提交的数据库操作，这些操作是一个不可分割的整体。事务将数据库从一个 一致性状态转变到另一个一致性状态。即事务执行之日订和事务执行之后，数据 库都处于一致性状态。但这种一致性在事务的执行过程中将不被保证。并发事 务之间的冲突是多方面的，因此危及数据库完整性和一致性的因素也是多样的。 通常讨论的冲突主要有二种：丢失吏新、破坏完整性约束、不一致性读。一个 用户己经完成的更新操作可能被另一个用户的更新操作所掩盖，这就是所谓的 丢失更新问题。当两个事务并发执行时，会引起另一种类型的问题，即数据库 的完整性约束被破坏。并发控制的重点是对更新事务的控制，因为更新事物之 间的冲突可能会导致数据库的不一致性发生。如果允许一个读事务去读另一个 正在执行却未完成的更新事务结果，那么读取的结果可能是不正确的，这就是 所谓的脏读或不一致读问题。1 由于数据库集成系统是集成已经存在的、异构的、自治的多个数据库，数 据库集成系统中的井发控制机制必须能够同步全局事务和局部事务，前者是操 作整合数据与全局有关的事务。而后者是完全在局部数据库管理系统控制之下 的纯粹的白治局部事务。利用传统的并发控制技术，可以同步各个全局事务。 因为全局事务一旦向某个局部数据库管理系统交付一个子事务之后，它实际上 便失去了对该事务的控制。局部数据库管理系统承担对该子事务的全部责任， 并且在独立于全局事务的其它局部代理情况下，独立决定提交、拒绝或回滚。 因而，统一全局事务的某些局部代理能够提交，而另一些局部代理被天折或回 滚，这样，破坏了全局事务的原子性，降低了异构分布式数据库