（计算机应用技术专业论文）企业资源整合与查询优化.pdf

华 中 科 技 大 学 硕 士 学 位 论 文 i 摘 要 随着企业信息化的发展一个企业往往有很多种异构信息系统在同时使用形成 一些信息孤岛在很大程度上限制了信息系统在企业运作中的作用例如在信 息孤岛下企业信息数据存储不集中经常出现数据的不一致性和不真实性给企 业的正常运作造成很大的危害信息孤岛不仅割断了正常的企业业务流程同时 也妨碍了对数据的有效分析和挖掘所以企业资源的整合非常重要 系统集成是企业信息整合的关键而异构数据集成又是企业资源整合的核心异 构数据集成的核心组件包括数据读写组件数据转换与加密组件和通信组件这些组 件可以重用针对 3 种不同类型的数据源总结出了 3 种不同的接口方案 使用消息方式作为通信组件的通信方式来进行数据集成可以把数据集中在数据 仓库里同时以访问非结构化的 lotus 文档数据库作了实现说明使用消息传输机制 来集成异构数据系统属于松散耦合性集成不会影响被集成的子系统内部的商务逻辑 的正常运行 在构造数据仓库时有几种数据立方的存储方式可供选择其中星型模式在关系 数据库里占有优势星型模式虽然没有雪花模型规范在数据库里存储了一定的冗余 信息但是它减少了查询时的连接运算提高了查询效率关系数据库在技术成熟度 以及各方面的适应性上较之多维型数据立方占有优势 把企业的信息资源整合起来按一定的格式存储在数据仓库后就能在上面进行各 种数据查询分析从而得到对企业管理有用的信息供企业管理者作决策时参考联 机分析处理系统分析的对象是数据立方这些查询往往需要对上亿条记录进行扫描 连接聚集计算而用户要求提交的查询能够在可接受的时间内得到响应一种提高 数据立方查询效率的方法是把数据小方和最近查询的元组按一定的规律存放在内存 里在一定程度上解决了 i/o(input/output)瓶颈问题提高了查询效率 关键词信息资源整合系统集成数据仓库查询优化 华 中 科 技 大 学 硕 士 学 位 论 文 ii a b s t r a c t with the progress of enterprise information-management technology, it will cause information islands that there are so many information systems with different structure in one enterprise at the same time, so to a large extent the effect of information system will be hampered in enterprise management. for the enterprise data storage is separate, inconsistent and untrue, it will be harmful to the daily enterprise operation. information islands will separate the normal enterprise operation flow; on the other hand data analysis and data mining cant be done effectively in this case. therefore its very important to integrate enterprise resources. integrated system is the key to enterprise information integration; meanwhile integrated heterogeneous data source is the kernel. the core of the integrated heterogeneous data consists of data access component, data transition and encryption component, communication component, which can be reused. three different interface-schemes will be proposed to fit the three different type of data source. a message method, as a communication method in communication component, is proposed to integrate data and reassemble them in data warehouse asynchronously and promptly, and then to access non-structure lotus files, as an example, is given. it will not have and effect on the normal business logic operation in integration sub-system, that message transmission mechanism is used to integrate heterogeneous data system, which belongs loss-coupling integration. after analyzing several data cube storage methods data cube will be saved to relation data base in star-model while constructing data warehouse. though star-model is not as normative as snowflake-model, it has some redundant information in its database, however it has higher query efficiency by reducing query join-operation. relation database has more advantage in technology maturity and adaptive capability than multidimensional data cube. enterprise information resources are formed to save in data warehouse, so kinds of data query and mining can be done, and then the valid information can be committed to manager in order to help them make decision. data cube is the object of on-line analytical 华 中 科 技 大 学 硕 士 学 位 论 文 iii processing. there are billions records to be scanned, linked and converge counting in data query, however, response time should be as short as possible. an approach of improving data query is given to deal with this problem by putting data cube and recent query to memory. the approach can solve the problem of i/o bottle-neck and improve the query efficiency to some extent. k e y w o r d s : information resource integration, system integration, data warehouse, query optimization 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的 研究成果尽我所知除文中已经标明引用的内容外本论文不包含任何其他个人 或集体已经发表或撰写过的研究成果对本文的研究做出贡献的个人和集体均已 在文中以明确方式标明本人完全意识到本声明的法律结果由本人承担 学位论文作者签名 日期 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留使用学位论文的规定即学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版允许论文被查阅和借 阅本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进 行检索可以采用影印缩印或扫描等复制手段保存和汇编本学位论文 保密 在_年解密后适用本授权书 本论文属于 不保密 请在以上方框内打 学位论文作者签名 指导教师签名 日期 年 月 日 日期 年 月 日 华 中 科 技 大 学 硕 士 学 位 论 文 1 1 绪论 1 . 1 课题背景 信息化带动企业现代化是时代的要求在美国日本90%以上的企业实现了信 息化管理在我国有 1500 家大型企业有 1000 万家中小型企业还有许多行政事 业单位和学术团体信息化的市场巨大意义非凡特别是中小型企业的信息化建设 刚刚起步是未来信息化产业最重要的市场 时代在召唤着优秀企业信息化管理系统湖北泰信软件产业有限公司承接了科技 部科技型中小型企业技术创新项目中小型制造企业资源计划管理系统基金编号 0c26214211057本文的研究属于该项目的一部分主要研究异构数据系统的查询和 优化 1 . 1 . 1 信息孤岛的出现使企业对系统集成的需求越来越强 伴随 internet 的飞速发展计算机应用技术逐渐普及并走向深入越来越多的企 业开始建立基于 intranet 的应用系统以规范管理节约成本提高企业的业务运作 效率增强企业的竞争力 然而企业内原有的一些应用系统仍然在发挥其各自的作用由于那些系统是在不 同时期实施的 在软硬件环境的适应上有很大的区别 导致各子系统的数据是动态的 异构的多数情况下这些系统已形成了一个个巨大的信息孤岛有限的信息共享 缺少数据交换信息不一致和不真实成为整个企业信息系统的严重缺陷在信息孤 岛的限制下电子商务和决策支持这两个信息时代最重要的企业应用不可能有效地 实现 重新开发新的方案显然是不现实的中小型企业更注重节约成本因此在不重 新设计已有的数据库和应用系统的前提下建立一个集成数据管理平台是解决信息孤 岛的最佳选择1 华 中 科 技 大 学 硕 士 学 位 论 文 2 1 . 1 . 2 对集成数据的有效查询分析有利于企业的健康运行 建立集成数据管理平台的一个主要目的是充分利用整合了的企业信息资源数 据并对其进行有效地分析研究以便在激烈的市场竞争中供企业的管理者在做 出决策时参考对企业数据进行分析和挖掘可以帮助管理者正确把握企业的整体形 势和发展趋势以便做出对企业发展有利的正确决策所以众多企业对数据分析的需 求越来越迫切也越来越复杂 按概率的理论数据查询分析的数据量越大得出的结论越真实一般复杂的查 询分析往往需要对上亿条记录进行扫描连接聚集计算而用户要求提交的查询能 够在可接受的时间内得到响应 所以查询的优化很重要 联机分析处理系统 (on-line analytical processingolap)是当前最流行的数据查询分析系统 1 . 1 . 3 o l a p 系统的基本处理单位与查询优化的研究对象数据立方 为了满足企业对数据分析的需求各数据库厂商都推出了联机分析处理系统在 olap 应用中用户需要从多个不同角度观察和分析感兴趣的数据这就要求 olap 系统为用户提供数据的多维视图于是jim gray 提出了一种多维概念模型数据 立方2数据立方data cube简称 cube算子 cube by是传统的 group by 算子 的多维扩展 用于计算cube by子句中各属性的所有可能组合所对应的group by 一个 group by也被称作一个数据小方3数据立方将数据仓库中的数据组织成逻辑 多维形式可以直观地支持通用的切片/切块选择和投影操作上卷增加聚集的 粒度下钻减小聚集粒度和旋转改变数据多维视图的观察角度等 olap 操 作 数据立方在不同类型的 olap 系统中有不同的实现模式olap 按照存储方式可 分为 rolap 和 molap在 molap 中数据以多维数组形式存储可以直接支持 数据立方的多维概念模型在 rolap 中数据以关系表的形式存储在 rdbms 中 一般通过星型模式来支持数据立方的多维概念模型星型模式中包含两类表一类是 事实表用来组织度量值以及各个维的码值事实表往往很大数据立方就是由此表 华 中 科 技 大 学 硕 士 学 位 论 文 3 通过 cube by算子计算得到另一类是维表分布在事实表的周围用以组织在观 察分析度量信息时所使用的维信息相对于事实表来说维表显得比较小事实表 通过外键与维表中的主键联系在一起为了加快 olap 查询一般预先部分或完全计 算并实化数据立方因此rolap 中除了维表和事实表还包含预先计算好的较粗 粒度的数据小方 数据立方满足了 olap 系统多维视图的需求因此数据立方概念一提出就引 起了学术界的广泛关注学术界在数据立方的有关计算索引存储实化视图查询 处理及优化等方面进行了大量的研究工作其研究成果很快在 olap 系统中使用并 与上钻(rollup)算子4一起作为 sql-92(结构化查询语言,structured query language)标 准在 olap 方面的扩展现在已正式被 sql-99 标准采用所以现行的 olap 系统无 不把数据立方作为其构建的基础 1 . 2 国内外有关研究的现状及动态 1 . 2 . 1 系统集成 系统集成的目标是企业信息资源的分布式共享 随着企业信息化建设的发展信 息孤岛 的增加系统集成越来越重要国内外关于系统集成的研究分布在集成理论 分布式技术web 下的数据统一描述以及异构数据集成系统的查询性能等等方面 文献5,6建立了系统集成方法学的领域描述框架提出了系统集成理论技术与 方法体系的学科内容以及划分思想探讨了系统集成的研究范畴研究对象学科联 系和发展方向重点阐述了系统集成的概念原理和总体方法以及集成与并行工程 重构工程和协同学等相关学科原理之间的关系以及其作用机制 如何实现分布的多个异构数据间的共享与集成是系统集成领域中的重要课题和 研究方向之一7-9异构数据源的集成和分布式对象技术密切相关 公共对象请求代理 框架 (common object request broker architecturecorba)作为当今计算机界令人关 注的中间件规范10基于 corba 的异构数据源集成方案也很多11-13 基于可扩展标志语言(extensible markup language xml )的 web service 是近几 华 中 科 技 大 学 硕 士 学 位 论 文 4 年兴起的一种分布式集成标准基于 web service 的.net平台提供了完善的系统集成 环境文献14讨论了基于.net 平台的系统集成方法xml 具有半结构化数据的描 述能力在系统集成上有广泛应用1516 分布式系统集成有基于浏览器/服务器browser/server, b/s模式的也有基于 客户端/服务器client/server, c/s模式的文献17-19提出了一些基于 web 的 b/s 模式的分布式异构数据集成方案web 数据库的集成设计20主要任务是对数据库的 全局逻辑结构进行设计 在数据的物理层之上广泛建立视图层和信息的索引层,以求达 到最小的数据耦合度这样服务器便能够快捷准确地对用户提出的数据要求进行解 释和执行 异构数据集成系统的查询性能是一个很重要的研究领域 文献21研究了关于c/s 模式下的数据集成系统的查询性能文献22研究了通用异构数据源集成系统的查询 分解和优化为了提高查询效率文献23提出在多维数据库上集成异构数据多维 数据库在数据存储检索以及综合上有着关系数据库不可比拟的优势 系统集成在开发企业信息系统中有非常大的指导作用文献24设计了一种事务 构件模型提出了一种基于此模型的企业资源计划(enterprise resource planerp)系 统集成方法 这种方法支持跨平台 跨语言的软件构件的集成,可以复用已存在的软件 系统或软件构件文献25研究信息系统的集成管理策略即如何对网络计算机系 统数据库应用系统等多个层次进行集成的管理 目前已经研制出来的异构数据集成系统有很多其中有代表性的三个系统是 (1) lore lore(lightweight object repository)是美国stanford 大学设计的一个专门用于管理 半结构化信息的数据库管理 信息系统 可以对半结构化数据和 xml 数据进行存储和 管理lore 包含标准数据库的一些特性如多用户支持日志和恢复功能以及查询 和更新语言同时 lore 也提供了其他一些操作数据库的工具 (2) ozone ozone 是美国 stanford 大学设计的一个集成模型该模型对面向对象数据库的 odmg 模型进行了扩展可以对结构化和半结构化数据进行集成ozone 系统特别适 合处理杂合性数据尤其是广泛应用于 web 上的数据 华 中 科 技 大 学 硕 士 学 位 论 文 5 (3) versatile versatile 是由东南大学开发的一个基于 corba 的可扩展的异构数据源集成系统 原型该模型在 iona 公司的 orbix 产品上对 sql serverversant文件系统超 文本数据进行包装和集成22该系统不仅能集成上述数据源而且能集成随时插入的 新数据源中的数据 在上述的三种模型中lore 系统是存储 xml 数据的一个专门数据库系统它是 异构数据集成系统代表性的例子该系统的体系结构设计查询处理和优化方式为后 来的异构数据集成系统提供了很好的借鉴通过对 lore 系统的分析可深入了解异构 数据集成系统 1 . 2 . 2 o l a p 系统的查询优化 进行数据集成的重要原因是要进行数据的分析和挖掘联机分析处理是进行数据 分析的重要工具数据立方多维数据集是 olap 系统操作的基本单位目前数 据立方查询优化技术主要有如下 2 类第一类是针对数据立方查询一般都需要复杂的 实时聚集计算利用实化视图来响应查询从而避免实时聚集计算第二类是针对星 型查询的查询处理特点而进行的物理优化和逻辑优化 (1) 利用实化视图响应查询 为了加快数据立方查询的响应速度 大多数 olap 系统预先计算全部或部分数据 小方并存储在磁盘上在响应用户查询时olap 首先在实化视图池中查找如果 存在一个实化视图能够以较小代价直接或通过计算回答查询则利用视图响应查 询实化视图池中的实化视图是预先聚集计算好的各种粒度的视图一般有查询级 数据小方级和块级26因此用实化视图来响应查询避免或减少实时聚集计算大 大提高响应速度 但是实化视图需要巨大的额外存储空间特别是当数据立方很大时为了平衡 查询性能与存储空间代价一些视图选择算法被提出 harinarayan 等人提出 bpus 一种多项式贪心算法它以单位空间效益作为选择根据试图让所选视图取得最 大效益bpus 在假设查询等概率的情况下几乎提供了接近最优配置的解决方法但 华 中 科 技 大 学 硕 士 学 位 论 文 6 是它的计算太复杂 因此 shukla 等人在不考虑索引的线性代价模型下提出是一种又简 单又快速的视图选择算法 pbs27且其计算结果几乎接近 bpusguptasanjay agrawal 等人分别提出了视图和索引的选择算法该算法考虑数据立方中存在索引的 情况下的视图和索引的自动选择问题 另外针对怎样利用实化视图来响应查询美国国际商用机器公司(international business machinesibm )almaden 研究中心的 ching-tien ho 等人提出的利用 prefix-sums cube 来优化范围查询的 sum 和 max 计算问题prasad deshpande 等人 就怎样利用基于语义 chunk 的实化视图来快速响应查询问题做了深入的研究28 (2) 物理优化和逻辑优化 数据立方查询的两个重要特点是事实表与多个维表之间的外键与主键的等值连 接和按照维上不同层次进行不同粒度的分组聚集计算数据立方查询处理的物理优化 就是对多表星型连接操作star join和分组操作group by的具体实现算法的优 化逻辑优化主要就是对星型连接操作join分组操作group by的运算次序进 行的优化 在数据立方查询处理中的物理优化就是对 join 操作和 group by 操作根据存取 路径数据的存储分布存储数据的聚簇等信息来选择具体的实现算法oneil 和 graefe 提出了一种的星型连接算法它需要每个维上都有索引且还要有从各维记录 id 到事实表记录 id 的映射索引wininger 针对星型模式的特点提出一种高效的连 接算法 push-down hash join29它根据事实表的外键上有没有索引来选择 the index push-down 和 bit-vector push-down以上两者都是在事实表上没有多维索引的情况下 选择和连接操作的混合操作对于纯粹的事实表与维表之间的外键与主键的等值连接 操作国内的蒋旭东在假设星型模式中的维表都很小且远远小于事实表得前提下也 提出了一种直观但很有效的多表连接算法 对于逻辑优化传统的 rdbms 都有一套比较完善的数学理论和通用启发式优化 算法30另外还有一些具有针对性的优化算法如 y.levy 等人提出了 move-around 操作符它主要针对含有多个查询块的查询move-around 可以移动查询块31后来 weipeng 和 larson 就决策支持应用中的聚集计算查询问题提出了优化策略 eager aggregation and lazy aggregation32它是在查询树中上下移动 group by 操作符把 华 中 科 技 大 学 硕 士 学 位 论 文 7 group by 操作放在某些 join 操作之前这样可以减少 join 操作中的元组数目但是 上述两者都还只是基于传统的 rdbms并不适合星型模式的数据立方查询tplo 和 etplo 都是先将数据立方查询表达分解成几个局部查询表达然后对每个局部查 询表达选择最优执行计划最后合并这些局部最优执行计划就得到整个的查询的最优 执行计划gga 则不同于前两个算法由于虽然选择的是局部最优执行计划但合 并后并非整个查询的最优执行计划所以 gga 从整个查询表达出发一次就选择整 个查询的最优执行计划 最近karayannidis 等对于基于层次聚簇的事实表的查询处理过程提出了一种预 分组变换pregrouping的优化方案33pregrouping 利用层次代理键hsk与维表 层次属性的函数映射关系在不进行任何 join 操作前进行最大限度的 group 操作 以极 大的同时减少进行 join 操作的元组数目和 group by 操作的元组大小在这种方案中 还可以根据情况除去不必要的 join 操作它与以前的移动 join 操作符的算法有所不 同以前的移动 join 操作符不会改变连接条件而 pregrouping 需要改变连接条件 但在有些情况下额外增加的 group by 操作会使 pregrouping 的代价超过不进行 pregrouping 的代价于是 tsois 等人又提出基于代价的 pregrouping 优化它使用一种 代价模型来分别估算使用与不使用 pregrouping 变换的代价大小让优化器从中选择 一个较好的方案34 (3) 对于多维聚集查询处理的实现过程现行的 olap 系统一般分如下三个步骤 多维区间生成根据查询条件中指定的维表上的限制查询维表生成维表主 键值的多维区间 为了减小多维区间生成的代价 一般的做法是在维表上建立索引35 如 b+-tree 索引等 数据立方查询处理根据多维区间来查询数据立方得到结果集36其实现 过程可以描述为首先确定查询所在的数据小方如果该小方已经被预先计算则直 接对该小方进行查询否则在已被预先计算的小方包括最细粒度的小方中找出能 够响应该查询的较细粒度小方然后重新生该小方上的多维区间再根据这一新的多 维区间查询较细粒度小方最后经过星型查询处理即时聚集计算得到结果 星型查询处理先是将结果集与各维表进行连接然后进行分组聚集计算 华 中 科 技 大 学 硕 士 学 位 论 文 8 经过数据立方查询处理后得到的结果集中只含各维的码值用户并不知道这些码值 的含义 因此 数据立方查询处理后的结果集还要与各维表连接得到码值的描述信息 如果是通过较细粒度小方间接查询的与维表连接后还应按照用户要求进行即时分组 聚集计算 这个过程也称为星型查询处理 其中 结果集与各维表的连接是中心表 结 果集与周边表维表之间的外键与主键的等值连接也称为星型连接37 1 . 3 本课题的主要研究的工作 企业信息系统数据集成与查询优化是科技部科技型中小企业技术创新基金项目 中小型制造企业资源计划管理系统的一个子项目其主要研究目标是解决企业内 已有异构信息系统的集成以及集成数据的查询优化技术 数据集成是系统集成的核心内容也是进行数据分析的基础数据分析需要查询 大量的数据相关的查询优化很重要本文的主要工作是研究数据集成的接口以及在 集成后的数据上进行查询优化的相关技术 相关主要研究内容包括: (1) 分析企业信息系统存在信息孤岛的现状认识企业资源整合的重要意义 (2) 分析异构集成系统的特征以及功能需求结合实践对系统集成常用的几种 接口方案和异构系统集成模型进行详细地论述 (3) 分析异构系统接口方案并对基于消息总线的数据集成模型作了实现 (4) 在分析数据立方的实现方案采用了基于星型模式的关系型实现方案 (5) 基于内存数据立方的查询处理以及优化包括内存数据结构与索引相关的 查询过程的描述 最后对本文所作的工作进行了总结并对文中潜在的问题作了深入的分析指出 了下一步研究的内容和方向 华 中 科 技 大 学 硕 士 学 位 论 文 9 2 企业信息资源整合 2 . 1 概述 随着企业信息化建设的发展企业实施信息化一般都是分步实施的即在不同的 时期实施不同的系统由于信息技术的发展一日千里不同时期实施的系统所采用的 软硬件环境一般不会相同导致这些系统基本上是异构的和互相独立的随着时间的 积累一个企业可能在同时使用几十种不同的信息系统形成一个个巨大的信息孤岛 这种状况对企业的管理有很大的危害把企业的信息资源整合起来是非常重要的 2 . 2 企业信息管理系统的发展 企业信息化的发展大致上是从物料需求计划material requirement planning mrp发展到制造资源计划manufacturing resource planningmrp再发展到企 业资源计划enterprise resources planningerp (1) 早期的物料需求计划管理系统(material require planningmrp)阶段 20 世纪 60 年代早期的 mrp 是基于物料库存计划管理的生产管理系统mrp 系统的目标是围绕所要生产的产品应当在正确的时间正确的地点按照规定的 数量得到真正需要的物料通过按照各种物料真正需要的时间来确定订货与生产日 期以避免造成库存积压 (2) 闭环的 mrp 阶段 20 世纪 70 年代mrp 经过发展形成了闭环的 mrp 生产计划与控制系统mrp 基本原理是将企业产品中的各种物料分为独立物料和相关物料并按时间段确定不 同时期的物料需求基于产品结构的物料需求组织生产根据产品完工日期和产品结 构规定生产计划从而解决库存物料订货与组织生产问题mrp 以物料为中心的组 织生产模式体现了为顾客服务按需定产的宗旨计划统一且可行并且借助计算机 系统实现了对生产的闭环控制 华 中 科 技 大 学 硕 士 学 位 论 文 10 (3) 制造资源计划管理系统(manufacture resource planningmrp )阶段 20 世纪 70 年代末和 80 年代初物料需求计划 mrp 经过发展和扩充逐步形成了 制造资源计划 mrp 的生产管理方式在 mrp 中包括人工物料设备能 源市场资金技术空间时间等制造资源都被考虑进来mrp 的基本思想 是基于企业经营目标制定生产计划围绕物料转化组织制造资源实现按需要按时 进行生产mrp 主要环节涉及经营规划销售与运作计划主生产计划物料 清单与物料需求计划 能力需求计划 车间作业管理 物料管理(库存管理与采购管理) 产品成本管理财务管理等从一定意义上讲mrp 系统实现了物流信息流与 资金流在企业管理方面的集成由于 mrp 系统能为企业生产经营提供一个完整而 详尽的计划可使企业内各部门的活动协调一致形成一个整体它能提高企业的整 体效率和效益 (4) erp 阶段 世纪 90 年代以来 mrp经过进一步发展完善 形成了企业资源计划 erp 系统 与 mrp相比erp 除了加强 mrp的各种功能之外更加面向全球市场功能更 为强大所管理的企业资源更多支持混合式生产方式管理覆盖面更宽并涉及了 企业供应链管理从企业全局角度进行经营与生产计划是制造企业的综合的集成经 营系统erp 所采用的计算机技术也更加先进形成了集成化的企业管理软件系统 (5) 未来的企业信息系统 erp 与客户关系管理 (customer relationship management crm)的进一步整 合erp 将更加面向市场和面向顾客通过基于知识的市场预测订单处理与生产调 度基于约束调度功能等进一步提高企业在全球化市场环境下更强的优化能力并进 一步与客户关系管理 crm 结合实现市场销售服务的一体化使 crm 的前台 客户服务与 erp 后台处理过程集成 提供客户个性化服务 使企业具有更好的顾客满 意度 erp 与电子商务供应链管理系统supply chain managementscm协 同商务的进一步整合erp 将面向协同商务collaborative commerce支持企业与 贸易共同体的业务伙伴客户之间的协作支持数字化的业务交互过程erp 供应链 管理功能将进一步加强并通过电子商务进行企业供需协作如汽车行业要求 erp 华 中 科 技 大 学 硕 士 学 位 论 文 11 的销售和采购模块支持用电子商务或电子数据交换(electronic data interchangeedi) 实现客户或供应商之间的电子订货和销售开单过程 erp 将支持企业面向全球化市场 环境建立供应商制造商与分销商间基于价值链共享的新伙伴关系并使企业在协 同商务中做到过程优化计划准确管理协调 生产执行系统manufacture executive systemmes和 erp 的整合mes 将实时的把生产线上的数据传送给 erp 系统使 erp 系统克服数据延迟的现象 随着计算机技术的发展和企业管理理念的发展企业信息系统的功能越来越强 大 完善 一些个性化以及专业化的信息系统越来越多在企业信息化系统的发展中 一个企业可能会在不同的阶段实施不同的管理系统所以同一个企业可能在同时使用 不同阶段的信息系统 2 . 3 企业信息资源现状 近些年来我国信息化建设取得了长足的进步无论行业还是企业都从信息技 术的应用中感受着“种种好处”互联网技术的出现使我们得以把分散的孤立的信 息串联起来形成一个能够触及世界各地的供应链广泛地从事商品与服务的电子化 交易不仅大大扩展了交易的范围而且有效地缩短了交易时间降低交易成本信 息技术在提高企业生产力方面起着无可比拟的作用但同时信息化建设过程中潜 在的一些问题也开始渐渐显露出来 “信息孤岛”是信息化建设过程中最严重的问题之一据 meta group 的统计一 家典型的大型企业平均拥有 49 个应用系统 企业信息化管理和应用已从 cims mpr 向着 erpscmcrm商务智能决策支持电子商务等方向发展让人感觉到“规 模化”和“高度集成”特点越来越显著 “信息孤岛”从在技术上带来的不良影响大致可以分为以下几个方面 (1) 数据的一致性无法保证由于信息定义与采集过程以及采集的时间彼此独 立企业的同一数据可能在不同的应用中不一致这将给企业正常运作带来无穷的后 患 (2) 信息及时共享反馈难信息不能及时充分共享的矛盾突出集团中“信息 华 中 科 技 大 学 硕 士 学 位 论 文 12 孤岛”林立如销售部门不能及时掌握可用库存信息不能及时了解销售订单处理情 况不能及时知道产品价格变化情况仓储部门则不能及时掌握市场销售情况可用 库存情况无法确定合理的安全库存量同时集团总部也不能及时了解下属机构生产 经营情况不能实时监控集团资金流转状况无法形成科学的决策信息的共享反 馈难集团就无法适应当今快速多变全球化竞争的市场环境集团的生存和发展将 面临极大的挑战 (3) 企业数据中存在很大的冗余大量的垃圾信息这是因为同一数据可能被不 同的系统多次存储冗余的垃圾信息将消耗掉大量的有效硬件资源同时降低系统的 运作效率 (4) 相同信息需要多次重复输入对信息的多次采集不仅仅是额外的劳动同时 会导致数据失真 2 . 4 企业信息资源整合的意义 信息化的高级应用是实现电子商务和进行决策支持解决信息孤岛对电子商 务决策支持的实现很有意义如果不解决信息孤岛问题它们都将是空中楼阁 (1) 信息孤岛使电子商务成为妄想信息资源整合使电子商务成为可能 电子商务要求与供应商合作伙伴当然还包括与客户之间具有更高程度的系统 集成协调和协作这些团体都各自具有它们特定的需求专门技术以及计算技术 将企业核心应用和新的 internet 解决方案结合在一起还不能说完成了电子商务的构 建必须使这些系统能够协调地工作才行如当用户通过 internet 订购一个产品时,该 产品需要被包装发运用户需要付款产品库存信息需要进行修改更新原材料或新 的备件需要被及时订购 这一电子商务过程的实现 是新的基于 web 的系统和现有的 在企业中运行的后台应用系统之间的集成结果如果存在信息孤岛电子商务的效果 可想而知 (2) 信息孤岛使决策支持成为空话信息资源整合使决策支持成为现实 孤立的信息系统无法有效地提供跨部门跨系统的综合性的信息任何一个孤立 的信息系统只能回答局部的问题比如当月纸桨库存多少吨前一周交通费用支出如 华 中 科 技 大 学 硕 士 学 位 论 文 13 何当管理者需要评判“综合”问题时这些孤立系统无法给予回答比如今年任务 能否完成钢筋订单的发展状况怎样谁是最重要的客户在以剧烈竞争为特征的 新的市场环境决定了新的 it应用要为企业提供更“精干”“互动”的能力企业管理 者要求随时可得到市场财务人力资源等实时的信息迅速调动消化企业资源以 反映市场需求在原有体系下正常运作的各类应用如果彼此不能融合决策支持只 是空话 企业信息化的理论及实践发展到今天“孤岛效应”成为发展瓶颈体现在哪里目 前大多数企业职能部门分割相互缺乏信息沟通的有效方式产销购存信息脱 节原本集成连贯的业务被人为地割裂成多个环节最重要的是它不仅妨碍了原有 应用发挥其正常功能的效益也阻碍了新的应用的推广 企业进行的每一次局部的 it 应用都可能与以前的应用不配套也可能与以后的 “更高级”的应用不兼容 2 . 5 企业信息资源整合的内容 从集成的不同角度看企业信息资源的整合包括物理集成数据集成业务流程 集成等几个方面 (1) 系统集成的基础物理集成 物理集成就是将系统覆盖的各种通信计算控制和处理资源计算机网络设 备操作人员等等实际连接起来形成一个相互通信的整体 物理集成的关键技术是计算机网络通信技术企业的集成网络分为企业控制网 企业内部网和企业外部网这 3 个部分 (2) 系统集成的核心数据集成 数据集成是企业资源整合的核心因为数据是企业信息资源中最宝贵的数据集 成是进行数据分析和挖掘的前提数据分析的结果可以给企业管理者作决策提供依 据这也是企业信息资源实现自身价值的地方异构数据集成为企业解决多平台多 结构数据的集成问题提供了一条解决途径通过这样一个集成系统可以把企业内部 和外部的各种相关数据资源进行整合为企业的信息资源规划提供了可能从而搭建 华 中 科 技 大 学 硕 士 学 位 论 文 14 起整个企业的信息平台 数据集成是对各种异构数据提供统一的表示存储和管理这些功能在异构数据 集成系统中实现数据集成屏蔽了各种异构数据间的差异通过异构数据集成系统进 行统一操作因此集成后的异构数据对用户来说是统一的和无差异的 为了完成应用集成和业务过程集成首先要解决异构数据的集成问题在集成之 前对数据进行标识并编成目录另外还要确定元数据模型38这三步完成以后数 据才能在数据库系统中分布和共享 (3) 系统集成的关键流程重组 当对业务过程进行集成的时候企业必须在各种业务系统中定义授权和管理各 种业务信息的交换以便改进操作减少成本提高响应速度业务过程集成包括业 务管理进程模拟以及综合任务流程组织和进出信息的工作流通过对业务流程 进行合理的重组集成来提高企业的综合素质 (4) 系统集成的灵魂人机集成 系统集成中最容易被忽视的是对人的考虑集成系统不是完全自动化的系统这 是因为 有时因为成本或技术原因必须采取人力取代可能的自动化设备 人是系统的创造者指挥者人必须闭环在应用系统中 有数据表明制造业中 70%的系统故障源于人的错误判断或操作金融系统中的 人的决策错误会造成重大经济损失集成系统应是一个人机合理分工合作的人机 环境和谐的系统 人机处理可以从 3 个角度来考虑从实施的角度确定自动化与人的创新劳动的分 界从生命周期的角度确定人机在各阶段中的作用从系统结构的角度确定不同人 机交互的层次 (5) 系统集成的保证技术集成 系统集成者必须密切关注技术的发展进程主动将最新的技术思想和成熟的产品 引入系统设计中以确保设计的系统在若干年内仍具有生命力 在具体的系统集成实践中 集成需要妥善处理先进性与实用性 通用性与专长性 长远与当前开放性与安全性的技术协调 华 中 科 技 大 学 硕 士 学 位 论 文 15 2 . 6 企业信息资源整合中涉及到的技术 据企业资源整合的内容在数据集成系统集成中涉及到多种计算机技术如分 布式对象技术xml面向对象等等 2 . 6 . 1 公共对象请求代理框架 目前分布式对象技术主要包括对象管理组织(object management groupomg)组 织制订的 corba 标准microsoft 的公共对象模型common object modelcom /分布式 com(distribute common object modeldcom)标准以及 sun 公司的 java 远 程方法调用(java remote method invocationrmi)标准这三种模型各有特点这些 特点已有诸多文献详细介绍这里不再赘述39 client applicationobject implementation smart agent basic object adapter orborb stubskeleton 图 2.1 corba 原理 corba 应用程序非常类似于其他面向对象的应用程序所不同的是当对象在 另一台机器上的时候客户端和服务器端必须分别通过一个特殊的层来管理网络通 信在客户端称为 stub在服务器端称为 skeletonskeleton 与对象请求代理object 华 中 科 技 大 学 硕 士 学 位 论 文 16 request brokerorb之间通过基本对象适配器(basic object adaptorboa)通信 corba 应用程序结构如图 2.1 所示 客户访问 stub 的方式类似于访问一个实现某种接口对象与一般对象不同的是 stub 要通过安装在客户端的 orb 软件来处理接口调用 而 orb 又通过 smart agentke (可能运行在局域网中的其他机器上)所提供的目录服务来动态地定位一个可用的服务 器该服务器才真正地实现了接口 2 . 6 . 2 可扩展标志语言 可扩展标志语言(extensible markup languagexml)是由万维网协会(world wide web conferencew3c)设计特别为 web 应用服务的通用标识语言标准 (standard general markup languagesgml)的一个重要分支xml 是一种中介标示语言 (meta-markup language)它作为一种可用来制定具体应用语言的元语言具有强大 的描述能力可提供描述结构化资料的格式由于 xml 大大提高了 internet 的接 入速度和查询检索 web 数据的速度 因此网络得到越来越广泛的应用 并将逐步成为 数据组织和交换的标准由于基于 xml 的数据是自我描述的数据不需要有内部描 述就能被交换和处理利用 xml用户可以方便地进行本地计算和处理xml 可以 被利用来分离使用者观看数据的界面 使用简单灵活开放的格式 可以给 web 创建功 能强大的应用软件 xml 打破了传统的系统集成中需要双方约定语义语法以及通信协议等等的限 制只要大家都使用标准的 xml各行业标准不一样就可以畅通无阻的通信了 2 . 6 . 3 w e b 服务 近年来web service 技