（机械制造及其自动化专业论文）成套电器企业异构数据整合及其物流系统的研究.pdf

中文摘要 以成套电器企业集团异构数据源和信息系统为研究对象，构建异构系统数据 整合框架、集成策略和实现技术。研究数据提取、集成、处理与分析方法，提出 分布的文件集增量更新算法、设计和实现低成本的基于o r a c l e 的企业数据加 载方法，针对企业现状，以物流部为核心，实施节约成本、优化系统策略，提高 整个企业集团的综合竞争力，利用模糊集理论对企业物流系统进行综合评价，进 一步提高系统效率，有效的监督、控制企业物流成本。整合异构数据信息和物流 成本信息，利用o w l ( o r a c l ew a r e h o u s eb u i l d e r ) 、a w m ( a n a l y t i c w o r k s p a c em a n a g e r ) 、数据仓库理论和方法以及e t l ( e x t r a c t i o n t r a n s f o r m a t i o nl o a d i n g ) 技术，集成物流成本信息并对其主题的星型 模型建模。进一步研究开发了基于网络的领导决策查询原型系统，并应用于成套 电器企业集团。通过分析与研究，得出如下结论： 基于网络的企业异构数据整合和数据仓库系统的构建。为由基于分布式的、 独立的信息系统向基于网络化的统一的数据管理模式转换提供有效的解决方案， 拓展了新一代数据管理系统的内涵。 将o r a c l e 技术应用于异构数据整合、低成本的批量移植数据方法的设计。 基于o r a c l e 技术通过分析s q l s e r v e r 、m y s q l 等异构数据，建立m o e t l 模型和t - d ，m 转换模型，能够实现批量异构数据转换和加载功能。 字符模式匹配技术与数据过滤方法应用于增量、批量加载过程。通过分析经 典匹配算法的特点，针对有序的、小字符串集合，自行设计d i f f m a t c h 算法 和中位匹配算法，提高批量加载数据的速度。并可进一步拓展到o r a c l e 优化 查询的s q l 文本匹配中。 企业物流系统是企业供应链趋势下的局部的、微观的物流信息管理系统，成 套电器企业建立自己的物流系统，利用模糊综合评价法对成套电器企业的物流系 统进行综合评价，可以充分发挥物流信息的作用，合理控制企业物流成本。 o w b 技术用于提高数据仓库的e t l 效率。a w m 工具的应用为o r a c l e 联 机分析处理提供可视化的逻辑模型和接口，进一步为领导决策查询提供了良好的 平台。网络模式下面向主题分析的领导决策查询系统的设计与实现，解决信息孤 岛的信息交换与共享、领导决策数据不一致和信息滞后等问题。 全文以异构的数据信息为基础，以成套电器企业物流采购部为中心，以领导 决策查询系统为最终目标提出基于c s 、b s 混合模式的特定企业数据整合的总 体架构。 关键词：成套电器异构数据整合数据仓库增量更新物流系统模糊 综合评价 a b s t r a c t b a s i n go nt h er e s e a r c ho nh e t e r o g e n e o u sd a t as o u r c ea n di n f o r m a t i o ns y s t e m so f s e t so fe l e c t r i ca p p a r a t u se n t e r p r i s e s ，w eh a v es e tu pi n t e g r a t i n gf r a m e w o r ko ft h e h e t e r o g e n e o u sd a t as o u r c e f o r m e di n t e g r a t i n gs t r a t e g i e sa n df i l m l l e d t h ew h o l e t e c h n o l o g y a f t e rr e s e a r c h i n go nt h ed a t a - a b s t r a c t i n g ，d a t a - i n t e g r a t i n g ，d a t a - t r e a t i n g a n da n a l y z i n g ，w ec o m eu pw i t ht h ea l g o r i t h ma b o u tt h ed i s t r i b u t e df i l ei n c l m n e n t u p d a t i n g ，d e s i g n i n ga n dt h el o wc o s tl o a d i n gm e t h o db a s e do nt h eo r a c l e , t h e e n t e r p r i s ed a t al o a d i n g i nt e r m so ft h ec u r r e n ts i t u a t i o ni ne n t e r p r i s e , c h o o s i n g l o g i s t i cf l o wa so u r c e n t e ra n du s i n gc o s t - s a v i n ga n ds y s t e m - o p t i m i z i n gs t r a t e g i e s ，w e h a v ep r o m o t e dt h ec o m p r e h e n s i v ec o m p e t i t i o na b i l i t yo f t h eg r o u po f e n t e r p r i s e s 1 n h e c o s to f l o g i s t i c s i ne n t e r p r i s e sc a nb ee f f e c t i v e l ys u p e r v i s e da n dc o n t r o l l e db y a p p l y i n gr o u g hs e tt h e o r yt oc o m p r e h e n s i v e l ye v a l u a t i n gt h el o g i s t i c ss y s t e m h e r o , w ee x t r a c tt h el o g i s t i cf l o wi n f o r m a t i o nb yu s i n go w b ( o r a c l ew a r e h o u s e b u i l d e r 、a n da w i v l ( a n a l y t i cw o r k s p a c em a n a g e r ) a n dt h e nb u i l dt h e s t a rm o d e lf o rt h ek e yi n f o r m a t i o nb yu s i n ge t l ( e x t r a ct r a n s f o r m a t i o n a n dl o a d i n g ) f u r t h e r m o r e ，w eh a v ed e v e l o p e dt h em a n a g e m e n td e c i s i o ni n q u i r y p r o t o t y p es y s t e mb a s e do ni n t e m e t , w h i c hh a sa l r e a d yb e e na p p l i e dt ot h es e to f e l e c t r i ca p p a r a t u s t h ec o n c l u s i o ni sa sf o l l o w i n g ： b a s i n go ni n t e r n e t , i n t e g r a t e dt h eh e t e r o g e n e o u sd a t as o u r c ：eo fe n t e r p r i s ea n d s e t u pt h ed a t aw a r e h o u s e t h i sc a np r o v i d ea ne f f e c t i v es o l u t i o nt ot h e t r a n s f o r mf r o m d i s t r i b u t e dd i s p e r s i n gi n d e p e n d e n ti n f o r m a t i o ns y s t e mt oi n t e m e t b a s e du n i f o r md a d a m a n a g e m e n tm o d e l a p p l yo r a c l et e c h n o l o g yt oi n t e g r a t i n gt h eh e t e r o g e n e o u sd a t as o b r e e a n d d e s i g n i n gt h el o w c o s tb a t c hd a t at r a n s p l a n t b a s i n go no r a c l e ，t h r o u g ha n a l y z i n g t h eh e t e r o g e n e o u sd a t as o u r c es u c ha ss q l s e r v e r 、m y s q l ，e t c ，b u i l dt h et d m t r a n s f o r mm o d e la n df u l f i l l e dt h eb a t c hh e t e r o g e n e o u sd a t at r a n s f o r m i n ga n d l o a d i n g a p p l yt h ec h a r a c t e r - m o d e l m a t c ht e c h n o l o g y a n dd a t e f i l t e rm e t h o dt ot h e p r o c e d u r eo fl o a d i n gt h ei n c r e m e n lb a t c hd a t a a f t e ra n a l y z i n gt h ec l a s s i cm a t c h a l g o r i t h m ，w eh a v ed e s i g n e dd i f f - m a t c ha l g o r i t h ma n dm i d d l e m a t c ha l g o r i t h m ， w h i c ha r ee f f i c i e n ti nl o a d i n gt h eb a t c hd a t ao fs o m es e q u e n t i a la n ds h o r tc h a r a c t e r - s t r i n gs e t m o r e o v e r ，i tc a n a l s ob ea p p l i e dt ot h es q lf i l e - m a t c hb yu s i n go r a c l e o p t i m i z i n gq u e r y l o g i s t i c ss y s t e mi ne n t e r p r i s ei sal o c a la n dm i c r o c o s m i cl o g i s t i c sd a t am a n a g i n g s y s t e m ，u n d e rt h ew h o l ee n t e r p r i s es u p p l yc h a i n i ns e t so fa p p l i a n c ee n t e r p r i s e s , l o g i s t i ci n f o r m a t i o ns y s t e mc a nb ef u l l yu s e dt oc o n t r o ll o g i s t i c sc o s ta n dm a k ei t r e a s o n a b l e r o u g hi n t e g r a t i v ee v a l u a t i o ni sa p p l i e dt ot h ei n t e g r a t i v ee v a l u a t i o no f i o g i s t i c ss y s t e mi ns e t so f a p p l i a n c ee n t e r p r i s e s o w bt e c h n o l o g yi su s e di ni m p r o v i n gt h ee t le f f i c i e n c yo fd a t aw a r e h o u s e a w mt o o l sp r o v i d e st h ev i s i b l e l o g i c a lm o d e la n dj a w s f o ro r a c l eo n l i n e a n a l y z i n ga n dc o p i n g d e s i g na n dr e a l i z et h el e a d e r - d e c i s i o n - q u e r ys y s t e mf o rt h e k e y - i n f o r m a t i o na n a l y s i su n d e rt h ei n t e r a c tm o d e l ，f u l f i l lt h ei n f o r m a t i o nt r a n s m i s s i o n a n ds h a r e a m o n g i n f o r m a t i o n i s l a n d ， a n ds o l v et h e p r o b l e m s o ft h e m a n a g e m e n t - d e c i s i o n - i n f o r m a t i o nd i s a g r e e m e n ta n dt h ei n f o r m a t i o nl a g b a s i n go nt h ed i s t r i b u t e d ，h e t e r o g e n e o u sd a t as o u r c e , c o n c e n t r a t i n go nt h e l o g i s t i cc e n t e ro f s e t so f e l e c t r i ca p p a r a t u sa n da i m i n ga tl e a d e r - d e c i s i o n - q u e r ys y s t e m ， w eh a v ef i g u r e do u t g e n e r a l d a t ai n t e g r a t i n gf r a m e w o r kf o rp a r t i c u l a re n t e r p r i s e s o nt h eb a s eo f c s l b s k e yw o r d s ：e l e c t r i ce q u i p m e n t ，h e t e r o g e n e o u sd a t ai n t e r g r a t i n g ，d a t a w a r e h o u s e ，i n c r e m e n tu p d a t i n g ，l o g i s t i c ss y s t e m ，f u z z ys y n t h e t i c e v a l u a t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其它人已经发表 或撰写过的研究成果，也不包含为获得鑫注盘堂或其它教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：3 垮 签字日期：) 鲫占年舻月毋日 学位论文版权使用授权书 本学位论文作者完全了解苤洼盘鲎有关保留、使用学位论文的规定。 特授权苤洼盘茎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 3 该 导师签名： 签字日期：加年孑月2 护 签字日期： 日 第一章绪论 1 1 课题概述 第一章绪论 1 1 1 课题来源 本学位论文开展的研究工作，得到了科研课题“大连大重自动化工程公司企 业信息化系统( e i s ) ”、天津市科技发展计划项目“基于网络和状态监测的设备 管理信息系统研究”( 0 4 3 1 8 3 5 1 1 6 ) 的资助。 1 1 2 课题的提出 我国的制造企业生产经营情况复杂，信息管理水平不高，信息孤岛现象严重， 使整体的生产效率和企业的规模效益不能有效的提高。部分环节仍采用手工生产 方式，信息沟通不畅，不能提供有效及时的产品数据信息、各项动态数据分析信 息；企业物流管理滞后，产品不能准时送达；物流服务及其物流信息失真、管理 决策预测等存在许多不合理或不确切的因素，并非所有订单都可以为企业获得满 意的利润；面对各种各样的用户需求，在数据资源利用方面显示不足，不能及时 有效地调整生产、工艺流程及合理使用人员与设备；整个企业的生产与经营不能 进行有效的耳标成本核算，尤其是企业物流成本核算更是空白；另外，企业应用 系统之间复用数据能力差，当牵涉到业务逻辑层处理时，无法共用某一应用系统 中的逻辑模块，可能引起重复逻辑的再开发，数据的重新录入，造成人员、资金 浪费；异构数据库之间的数据结构不相同，数据不能直接引用，数据交换缺乏柔性。 严重影响了数据的共享和使用效率。具体表现在：昂贵的国外产品软件，无法在 我国大多数企业普及应用；对于异构的、开源数据库的数据移植没有现成工具； 传统企业的“信息孤岛”，造成信息传递不畅、信息失真、重复编辑等问题，不 仅不能动态展现实时信息，更谈不上把数据转化为知识，领导很难进行决策查询 和分析；企业部门的独立性造成信息子系统的局部性，在我国分布的数据管理模 式的研究是一薄弱环节，分散的企业数据需要实行统一管理，才能将多个信息孤 岛的实质整合；我国企业物流管理的研究是一个较新的领域，加之成本管理方式 落后，很少对物流活动进行系统化管理，更谈不上单独的物流成本核算，致使物 流成本在财务账簿中得不到真实反映，没法对其进行有效地管理和控制。因此以 物流系统及其成本为主题的研究延伸了e r p 系统的功能，从技术的角度提出物流 系统设计方法、分布式物流成本信息的集成和解决方案。 天津大学博士论文成套电器企业异构数据整合及其物流系统的研究 综上所述，亟需研制适合制造企业集团，操作简单，可靠性高，成本相对低 廉、性能与其它产品兼容，技术先进的企业数据集成与数据查询系统，所以开展 本研究成为必要。 1 1 3 研究目的、意义 成套电器作为一个具体行业，需要相应的企业数据集成方案解决企业所面临 的信息孤岛、信息滞后和信息失真等问题，国内外该类企业有的已经采用通用的 商业软件进行企业应用集成，但不能有效解决底层数据的实质整合。未能全面考 虑企业信息化的整体规划和整体解决方案，在集成的深度和广度上都存在相应的 问题。 课题的研究目的在于，以成套电器企业集团异构数据源和信息系统为研究对 象，分析企业数据全生命周期的特征，构建异构系统数据整合框架、采用特定的 集成策略和技术，研究低成本的数据提取、集成、处理与分析的方法，提出了分 布的文件集增量更新算法、设计和实现基于o r a c l e 的企业数据加载策略，针 对企业现状，以物流部为核心，实施节约成本、优化系统战略，整合异构数据信 息和物流成本信息。研究开发了基于o w b 的数据整合系统、基于o r a c l e 的 数据仓库模型和基于物流成本的主题分析系统，建立企业物流系统的模糊综合评 价指标体系，并应用于成套电器企业集团。 课题的理论意义在于，进一步完善和发展企业异构数据集成方法，快速模式 匹配算法以及利用模糊数学和层次分析法对物流系统进行评价的理论和方法，寻 求利用o w b 、a w m 及其b i ( b u s i n e s si n t e l l i g e n c e ) 技术实现特定类型 企业的数据管理和分析的可靠、高效的开发方法，探索企业数据仓库系统的建模 理论和方法。 课题的实际意义在于，以底层数据管理为基础，以局域网和广域网为桥梁， 通过自行设计的批量移植方法，建立异构数据的整合，实现企业应用系统的各部 分之间信息的交互和共享，将增量更新数据算法应用于企业集成系统中，不仅提 高更新数据的速度，而且可以节省查询时问。同时，企业生产方式由大批量向单 件、小批量、个性化生产方式转变，使企业物流管理和成本控制变得越来越重要， 传统成本会计无法正确地反映当前企业的物流状况，也无法满足企业经营目标的 需求。因此对物流活动及其成本的有效管理，将使企业“物流冰山”浮出水面、 物流采购费用更加明确，进一步延伸企业e r p 的功能，帮助决策者更好的理解 影响物流费用的主要因素，提高企业的综合能力、经济和社会效益，从而提高企 业的管理水平。因此本研究具有十分重要的意义和广阔的应用前景。本课题的研 究成果可直接应用于成套电器等制造型企业。 第一章绪论 1 1 4 研究工作的思路 天津大学博士论文成套电器企业异构数据整合及其物流系统的研究 1 2 课题国内外研究发展动态、水平、存在的问题 1 2 1 企业数据集成系统国内外研究发展动态、水平 当代信息技术发展飞快，数据管理技术理应朝着集成化、大型化、连续化、 高速化、精密化、自动化、流程化、综合化等方向发展，然而在我国先进的机器 与落后的管理及分散的数据的矛盾将日益严重地困扰着企业，成为企业前进的障 碍。一方面，要求企业增加数据的自筛选能力和可挖掘性，要求数据具有更高的 可靠性，甚至引入主动数据库设计；另一方面，呼唤更良好的企业信息系统以提 供更方便的数据共享平台，减轻企业管理数据的负担。国外学者将企业信息集成 划分了表示层、数据层、功能层三个层次i l 】。表示层上的集成多是利用统一的用 户界面导向不同的企业应用系统来实现，并不能实现各个孤立的企业应用系统的 实质整合；数据层上的集成直接进入应用软件的数据结构或数据库来创建集成；功 能层上的集成要求在业务逻辑层上完成集成，要求集成点存在于应用程序代码之 内，集成处可使用公开的a p i 访问，或者重写代码段来创建新的访问点i z j 国内外 对企业应用集成的研究多集中在实现技术和集成框架上，功能集成技术涉及工作 流技术、x m l 技术、c o t s 应用、组件技术等；文献【3 ，4 】提出了企业数据集成的 模式和框架，并多偏向于使用数据仓库技术。数据层上的集成灵活，允许各企业应 用系统之间复用数据，但存在两个问题：当牵涉到业务逻辑层处理时，无法共用某 一应用系统中的逻辑模块，可能引起重复逻辑的再开发；异构数据库之间的数据结 构不相同，数据不能直接引用，数据交换缺乏柔性。本研究针对实际项目实施已提 出一种低成本的数据集成策略，还有待进一步完善【5 ，6 】。对数据集成技术和方法 的研究，企业的d b a ( d a t a b a s ea d i m i n i s t r a t o r ) 和一些学者进行了大量卓 越的工作并取得了许多成果“j j 。 1 2 2 数据库、数据仓库研究现状及热点问题 数据库管理系统是数据管理技术的一个重要体现。国外始于七十年代、国内 八十年代普遍实行的数据库管理技术经历了从静态管理到后来的动态管理。从单 机的数据库管理系统到基于i n t r a n e t 数据库管理系统直到现在的基于网络的 数据库管理系统几个阶段。数据的存储模式也进一步发展，经历了普通文件集合 模式、网状模式、层次模式、关系模式、面向对象模式、对象关系模式等1 7 j 。数 据库系统是面向事务处理的系统o l t p ( o n l i n et r a n s a c t i o n p r o c e s s i n g ) ，其重点在于完成企业的日常操作记录和业务处理等事务，采用实 体关系e r 模型和面向应用的数据库设计。然而，当数据库系统应用到一定阶段 4 第一章绪论 时，人们发现仅依赖数据库系统已不足以获得市场竞争优势。他们需要根据供货 商信息、产品信息、企业物流成本信息、资产状态信息等主题进行统计或评价， 对企业运行未来情况进行预测和数据分析。与数据库技术相比，数据仓库中的信 息是经过系统加工、汇总和整理的全局信息，而不是简单的原始信息；同时记录 的是企业从过去某一时点到目前的各个阶段的实时动态信息，而不是关于企业当 时或某一时点的静态信息。数据仓库的根本任务是将信息归纳整理，及时提供给 相应的管理决策人员，支持决策过程，并对企业的发展历程和未来趋势作出定量 分析和预测。数据仓库技术就是面向主题的联机分析系统o l a p ( o n l i n e a n a l y s i sp r o c e s s i n g ) ，其重点在于管理历史数据，提供汇总和聚集机制， 采用多维模型、星型、雪花、星座等模型和面向主题的数据库设计l l4 】。 1 9 9 1 年b i l l i n m o n 提出了企业级数据仓库建设的指导性原则，提出了比较 完整意义上数据仓库的设计框架【l ”。1 9 9 6 年，r a l p hk i m b a l l 提出了数据集 市的概念，并对数据模型优化提出了详细指导性的建议，为传统的关系数据模型 和o l a p 建立了很好的桥梁。后来，b i l li n m o n 又提出了新的架构 c i f ( c 0 砌，o r 棚o ni n f o r m a n o nf a c t o r y ) ，将k i m b a l l 的数据集市包括 进来，其核心是把整个架构分成不同的层次以满足不同的需求，并对d w ( d a t a w a r e h o u s e ) 、d m ( d a t am i n i n g ) 、o d s ( o p e r a l r i o n a ld a t as t o r e ) 进行 了详细的描述。 近几年，许多学者把研究的焦点集中在w e b 技术与数据仓库系统方面，同时 w e b 与数据仓库技术也是企业数据整合过程中的两项关键技术。w e b 技术使数 据信息能最大程度的实现共享，为实时访问数据提供了解决方法。而企业数据仓 库建立的优劣，直接影响着企业信息系统的运转。只有将w e b 与数据仓库技术 相结合，才能使信息处理与共享变得更加经济和有效i 】6 】。实现异构数据源整合涉 及多个异构数据源之间的连接，由于每个数据源都有其相应的数据结构、接口、 信息抽取的过程，数据之间的语义也存在一定程度的差别，因此数据仓库技术的 发展为异构数据集成提供了一种有效的手段。数据仓库采用数据库互访技术来实 现企业异构数据源的整合模式的综合信息仓库，其中e t l ( e x t r a c t t r a n s f o r m a t i o na n dl o a d i n g ) 工具完成将数据从数据源向数据仓库的 数据抽取、转换和装载的过程，是数据仓库的重要环节【1 7 】。高效地实现e t l ，需 要大量数据的更新加载，这要用到字符比对技术。a z o n a 大学的m a n b e r 提 出“近似指纹”的s i f i 具，通过度量大规模文件系统中文件的相似度来寻找内 容相似的文件，没能准确找出文件；m o n o s t o r i 等人提出用后缀向量存储后缀 树，用于搜索字符串之间的最大子串，需要遍历树：贝尔实验室的h e i n t z e 开 发了k o a l a 系统用于剽窃检测i l ”。比较著名的匹配算法有k m p 、b m 、r p 、w m 天津大学搏士论文成套电器企业异构数据整合及其物流系统的研究 等，这些算法都以作者名字命名。多年来，又有许多改进的算法出现，但不管怎 样发展，匹配技术的应用领域局限在生物基因信息、情报检索、文本查找、网络 诊断、串行通讯、模式识别等方面 t 9 - 2 1 】，在数据仓库预处理区进行文件集字符快 速、增量比对目前未见公开报道。本文研究的一个方面就是文件集匹配算法问题。 近几年，数据仓库的研究逐渐从理论研究转化到实用技术方面，为此许多公 司相继推出自己的独特产品，i b m 公司的v i s u a lw a r e h o u s e ( v w ) 。o r a c l e 公司的o r a c l ew a r e h o u s eb u i l d e r ( o w b ) 、o r a c l ed i s c o v e r e r 等， s y s b a s 公司的s y b a s ew a r e h o u s es t u d i o ( s w s ) ，i n f o r m i x 公司 i n f o r m i xi n f o m o v e r 、s e a g a t ec r y s l a li n f o ，n c r 公司的s c a i 。a b l e d a t aw a r e h o u s e ( s d w ) , m i c r o s o f t 公司的s q ls e r v e ro l a p s e r v i c e s ，s a s 公司w a r e h o u s e a d m i n i s t r a t o r ( w a ) 等。这些产品从不 同应用角度为企业提供能满足其竞争需要的数据集成解决方案。他们的方案包含 了数据库平台、开发工具和应用系统。其目的是帮助企业以多种方式访问存放在 不同地点的信息，以便在企业的众多层次上，满足信息管理和商业决策的需求。 由于国外产品昂贵的软件费用，使其产品的应用范围局限在跨国公司、大型外资 公司等知名企业，因此，研究适合我国企业的低成本的数据集成系统和数据仓库 系统已迫在眉睫。在国内，多所研究机构和著名高校相继展开了该领域的研究， 清华大学、复旦大学、东北大学、西安交通大学、上海交通大学等著名高校的研 究水平处于学科前沿，他们分别在信息集成技术、特定的企业数据仓库系统等方 面进行了各自的研究。文献 2 2 2 5 】对纺织、矿山、烟草、铁厂数据仓库技术分 别进行了阐述。文献 2 6 2 7 描述了电力企业设备故障诊断与数据仓库的建设方 案。文献【2 8 】对网络环境下集团企业进行实时管理和构建o l a p 系统进行了研究， 使分布式系统和数据仓库技术相结合的分布式数据仓库系统成为了该领域新的 研究热点。文献【2 9 】论述了基于数据仓库的房地产价格决策支持系统，文献 3 0 3 l 】 介绍了供应链管理中的数据仓库的比较和敏捷供应链的决策研究，并未提及仓库 建设问题。而围绕成套电器企业物流活动的数据仓库建设未见公开的报道。为此 本课题进行了这方面的研究。 1 2 3 现代物流及其物流成本的研究现状及热点问题 现代企业引进物流理念、实施物流管理，最根本的目的就是降低成本、提高 竞争力。因此，物流是企业“降低成本的宝库”，是继降低生产费用、增加销售 额之后的“第三利润源”。美国物流管理协会于2 0 0 2 年发布了物流的最新定义： “物流是供应链运行中，以满足客户需求为目的，对货物、服务和相关信息在产 地和销地之间实现高效率、低成本的正向和反向的流动和存储所进行的计划、执 第一章绪论 行和控制的过程，i “j 。 现代企业应从物流整体的角度合理规划，并从整体上对物流进行通盘考虑， 以谋求物流成本的最小化。物流中蕴含着极大的经济能源。典型的物流成本包括 直接费用、间接费用和日常费用，具体到不同行业的划分又可能各有不同的细分， 这些费用是企业在组织物流活动中所耗费的人力、物力和财力的总和。它包括物 流的人工费用、物流设备的折旧费、燃料物料费以及低值易耗品的损耗费、利息 费和物流管理费等 3 3 - 3 5 j 。文献【3 6 】从经济和技术两方面分析了制造企业在实施物 流设计的决策可行性，帮助企业改善顾客服务，大规模降低物流成本，获取竞争 优势。文献【3 7 】介绍了平衡物流各子系统的优化工作，从根本上降低企业物流成 本，挖掘企业第三利润源泉。文献 3 8 - 4 0 从物流成本的性状、控制和核算管理的 角度进行分析。然而与国外发达国家相比，我国企业物流认识不足，加之成本管 理方式落后，很少对物流活动进行单独的成本核算和管理，致使物流成本在财务 账簿中得不到真实反映，没法对其进行有效地管理和控制。目前我国用友和金碟 两大e r p 公司正在着手研究他们的新一代e r p 软件，试图使功能更加完善。本研 究利用数据仓库技术，建立物流成本星型模型及其物流成本主题的查询系统，为 进一步的分析和决策提供可量化的依据和技术支持。 1 2 4 存在的问题及对策 通过分析国内外相关文献，以及成套电器企业的共同问题1 4 1 - 4 6 1 ，发现企业信 息化过程中的数据管理是所有问题的根本，从数据层面中主要存在下列问题： 口国外产品昂贵的软件费用，使其产品的应用范围局限在跨国公司、大型 外资公司等知名企业，因此，研究适合我国企业的低成本的数据集成系 统及其数据仓库已迫在眉睫。 口现有e t l 工具不能直接移植m y s o l 数据库中的数据至o r a c l e 中，因此需 要自行开发软件。 口传统的企业信息系统广泛存在“信息孤岛”现象，虽能管理本企业基本 数据信息，但不能动态展现实时信息，更谈不上把数据转化为知识，很 难进行决策预测。因此需要建立有利于分析的数据仓库模型。 口元数据是数据仓库中的一个难题，目前找不到可行的解决办法“”。没有 成熟的模式可循，需要使用规范化的实体关系问题建立统一规范。 口企业存在大量的、分散的、复杂的和实时数据，没有统管理机制，因 此使分布式数据管理这一薄弱环节的研究以及分布式异构数据的整合策 略的研究成为必要。 口我国企业物流信息管理认识不足，加之成本管理方式落后，很少对物流 天津大学博士论文成套电器企业异构数据整合及其物流系统的研究 活动进行单独的成本核算，也没有对物流系统进行合理的评价，致使物 流成本在财务账簿中得不到真实反映，物流系统无法合理运转，没法对 其进行有效地管理和控制，更谈不上利用信息技术进行分析、预测和决 策。 本研究自行设计一个系统，首先，能够将m y s q l 数据移植至i j o r a c l e 数据 库中；第二，通过自行设计的算法，解决批量数据加载问题；第三，通过o r a c l e w a r e h o u s eb u i l d e r 平台，以“数据驱动”数据仓库的设计思路进行数据仓 库的逻辑设计( 包括设计方法描述、创建仓库的步骤、数据仓库框架、数据仓库 对象、数据仓库模块设计等) ；第四，利用实体一关系一问题( e n l l t yr e l a t i o n p r o b l o m ) 模型建立元数据标准；第五，实现物理设计( 包括创建表空间、表 和分区表、视图、完整性约束、索引和分区索引、物化视图、维和事实等) ，逐 步形成全局统一的、面向数据分析型处理的数据环境；最后通过软件平台实现 c s 、b s 混合架构的领导查询原型系统，从而实现对企业数据的管理与控制，其 中以企业物流成本数据为主题，分析比较各项费用等统计信息，为进一步决策、 预测提供定量分析的数据基础和技术手段。 1 3 课题的主要研究内容及论文结构 1 3 1 主要研究内容 ( 1 ) 基于网络的企业异构数据整合和数据仓库系统的构建。为由基于分布式信 息系统向基于网络化的统一的数据管理模式转换提供有效的解决方案，拓展了新 一代数据管理系统的内涵。 ( 2 ) 将o r a c l e 技术应用于异构数据整合、批量移植数据设计。基于o r a c l e 技术通过分析s q l s e r v e r 、m y s q l 等异构数据，建立t - d - m 转换映射模型， 在减少人工干预的情况下，能够实现异构数据分析、建模、转换和加载功能。 ( 3 ) 字符模式匹配技术与数据过滤方法应用于批量加载过程。通过分析经典匹 配算法的特点，针对有序的、小字符串集合，自行设计d i f f m a t c h 算法和中 位匹配算法，并通过可视化的方法分析对比算法时间复杂度和空间复杂度，提高 批量加载数据的速度。 ( 4 ) 建立成套电器企业物流信息系统分析模型、u c 矩阵、工作流模型和评价 指标体系，进一步实现企业物流管理信息化。 ( 5 ) o w b 、a w m 和b i 技术用于建立企业数据仓库系统。基于o r a c l e 的数 据仓库构建工具o w b 为企业实施数据仓库建设提供了良好的平台，a w m 为高 第一章绪论 级分析的逻辑模型建立提供了可视化平台，o r a c l eb id i s c o v e r e r 为领导查 询提供了应用平台。 ( 6 ) 网络模式下面向主题分析的领导决策查询原型系统的设计与实现，解决信 息孤岛的数据集成与共享、领导决策数据不一致和信息滞后等问题。提出基于 c s 、b s 混合模式的企业数据集成和领导决策支持的总体架构。 1 3 2 论文结构 本学位论文分八章。第一章为绪论。第二章企业信息系统及其数据集成技术。 第三章数据库与数据仓库技术。第四章成套电器企业异构数据整合模型与增量加 载算法的设计。第五章成套电器企业物流系统的设计与评价。第六章基于o w b 的成套电器企业数据仓库的设计。第七章基于企业物流成本主题的领导决策查询 原型系统。第八章是全文的总结，提出了有待迸一步研究的方向 全文以成套电器企业业务层、控制层和战略层数据为主线，构建企业异构数 据集成系统、企业物流信息管理系统分析和基于物流成本的领导决策查询系统， 研究异构数据集成方法，批量文件集加载算法，提高系统软件开发效率的方法， 利用数据仓库技术和o r a c l ei 具集对数据进行逻辑建模、物理设计和查询处 理，对物流成本进行综合分析，为领导决策、预测提供参考。综合运用v q s u a l b a s i c 、n e t 、o r a c l e 、o w b 、a w m 、o r a c l eb lb e a n s 、0 r a c l e d e v e l o p e r 、s q l s e r v e r 、m y s q l 等系统开发和数据库工具研究开发“成 套电器企业异构数据整合及其物流系统的研究”，并应用于成套电器企业集团。 天津大学博士论文成套电器企业异构数据整合及其物流系统的研究 2 1 引言 第二章企业信息系统及其数据集成技术 信息是已经被加工为特定形式的数据，而数据则是可以记录、通信和识别的 符号，它通过有意义的组合来表达现实世界中某种实体的特征。可见，信息与数 据的关系是原料和成品的关系。这种关系说明了另一个重要概念：对某些人来说 是信息，而对另一些人来说可能它就是数据。 2 1 1 信息的内容 理解了信息与数据的关系，我们不难明白，作为参与人类决策活动的信息具 有它自身的特点或属性。信息是人类的劳动成果。因为信息是经过加工的数据， 这个加工过程就是我们投入的知识性劳动。信息有真有假。真实的信息反映了客 观世界，使我们可以做出正确的决策；而虚假的信息将会导致错误决策。信息总 是落后于事实。这是不容置疑的，因为加工数据需要时间。信息通常只在某一时 刻或某_ 段时间内有用。例如天气预报信息、商品市场信息就是这样。信息的价 值体现在决策过程中。对某一决策过程不起作用的信息，对该决策过程来说是没 有意义的。并非所有信息都可以对外开放。例如军事信息、新产品开发信息总是 在一定范围、一定时间内保密的。由此我们可以说，信息是一种重要资源。获取 信息需要代价；信息可以进一步加工而升值；信息可以购买和出售；没有信息的 企业将无法生存。今天，信息已经和人、财、物、技术并列，统称为企业的五大 资源。 2 。1 2 信息的分类 可以根据不同的标准对信息进行不同的分类。这些标准有；信息的来源，信 息的稳定程度，信息的管理职能，信息的管理层次。 1 内部信息与外部信息 这是按信息的来源分。内部信息是在企业的经营、管理过程中，从企业内部 得到的信息，常常用于管理及具体业务工作中。外部信息来自企业的外部环境， 这类信息往往参与企业的高层决策。 第二章企业信息系统及其数据集成技术研究 2 固定信息与流动信息 这是按信息的稳定程度分。固定信息也称静态信息，指在一定时间内相对稳 定不变，可供各项管理工作重复使用。如定额标准、规章制度、合同文件。流动 信息也称动态信息，是指随着生产经营活动不断更新的一类信息，它反映某一时 刻生产经营的实际情况。流动信息具有明显的时效性。 3 市场信息、生产信息、物流信息、技术信息、经济信息、人事信息 这是按信息的管理职能分。市场信息反映市场供需状况。生产信息产生于生 产过程中。物流信息产生于物流过程中。技术信息是企业的技术部门提供的。经 济信息反映企业的经济状况、经营状况、资金使用情况。人事信息反映企业的人 事编制、员工状况。 4 高层管理信息、中层管理信息、基层管理信息 这是按管理的层次上分高层管理是企业的最高领导所做的工作，其主要任 务是根据对企业内、外的全面情况的分析，制订长远目标及战略