石化企业MES数据集成平台的设计与实现.doc

石化企业MES数据集成平台的设计与实现发表时间：2009-11-13 冯梅 刘伟 王宏安 来源：万方数据关键字：数据集成 数据集成平台 消息中间件 适配器 MES XML 论文结合石化企业的数据组织现状和应用需求，提出了由数据转换层、数据集成层和数据接口层组成的石化企业数据集成平台的三层体系结构，三层体系结构的划分使得数据集成平台具有良好的开放性和可扩展性。设计了基于消息中间件、XML技术和适配器技术的数据集成平台的技术架构。论文提供了一个石化企业数据集成平台的整体解决方案，它对企业数据集成平台的建立具有很大的指导意义。1 引 言过去的10年，是信息技术大踏步进军石化领域的10年。石化行业的计算机应用经历这十几年的不断发展，已经建设了大量的应用系统，如实时数据管理系统、生产调度管理系统、计划优化排产系统、质量管理系统、综合统计系统、设备管理系统、财务管理系统、销售管理系统、物资供应管理系统、计量管理系统等等。受当时的技术、资金和观念认识的限制，这些系统基本上是采用按需设计，独立开发或独立引进的方式实施的，系统与系统之间缺乏统一规划，造成了今天企业“信息孤岛”林立的局面。表现在数据组织方面就是：数据与应用系统紧密联系在一起，依赖的硬件平台、采用数据库管理系统各不相同，数据模型、数据结构、数据的表现形式也不尽相同，它们构成了企业的异构数据源。随着企业生存环境的不断变化和CIMS、敏捷制造及虚拟企业等以信息化为特征的先进制造技术的不断涌现，企业越来越需要集成异构数据源，实现数据共享以推进先进制造技术在企业的应用和实施。为此科研机构和企业投入了大量的精力和人力研究异构数据的集成问题，提出了一系列的解决方案。比较常见的集成方法有：联邦数据库#数据仓库、数据访问网关和基于知识的信息集成等。论文通过对上述集成方法的研究，结合石化企业数据管理的现状和未来的应用需求，设计了面向MES的数据集成平台，通过该平台可以将企业与生产相关的各类数据资源进行整合，对企业现存的异构数据提供统一的表示、存储和管理，满足MES系统的数据需求。2 石化企业MES数据集成需求2.1 石化企业MES数据组织现状制造执行系统（Manufacturing Execution System）是美国管理界90年代提出的新概念。MES国际联合会对MES的定义是：MES能通过信息传递对从订单下达到产品完成的整个生产过程进行优化管理。MES的关键是强调整个生产过程的优化，在优化的过程中，它需要收集和处理计划部门下达的生产计划数据及生产过程中产生的大量的实时数据，并对实时事件及时处理。即MES要与计划层和控制层保持双向通信能力，从上下两层接收相应数据并反馈处理结果和生产指令。作为计划层和控制层的衔接层，它的地位非常重要，它所管理的数据正好弥合目前企业普遍存在的计划层和控制层的数据狭缝。从企业应用系统体系结构看，MES作为面向制造的系统必然要与企业其它生产管理系统有密切关系，MES在其中起到了信息集线器的作用，它相当于一个通讯工具为上层应用系统提供生产现场的实时数据，为下层系统提供指令数据。因此MES层管理的数据必须是统一的无二义性的且易于交换和共享。但是目前企业采用的数据组织方式有孤立的数据组织方式和自然演化的数据组织方式，这两种方式都很难满足上述要求。在孤立的数据组织方式下（参见图1），数据资源是为某个特定的应用系统而组织。数据被各个应用系统独享，数据与数据之间彼此隔离，互不匹配，互不共享，造成“信息孤岛”，甚至面向应用的业务逻辑和处理代码也和数据相融合，这些数据资源无法直接集成，而且数据大量冗余。图1 孤立的数据组织方式下的信息孤岛自然演化的数据组织方式是在企业较长的发展过程中逐步形成的，其基本操作是数据抽取。数据抽取搜索整个文件或源数据库，使用某种标准选择合乎限制的数据，并传送到目的数据库。企业为了利用和保存原有应用系统的数据资源，常常采用数据抽取为满足新的应用生成的新的数据资源。图2显示基于抽取处理的自然演化的数据组织方式的形成过程：起初是抽取，随后是抽取之上的抽取，接着是在此基础上的再次抽取，如此等等。当一个企业以放任自流的态度处理整个硬、软件体系结构时，就会出现这种由失控的抽取过程生成的结构。图2 基于数据抽取的自然演化的数据组织方式采用自然演化的数据组织方式会带来很多问题，主要有：数据缺乏可信度：在自然演化的数据组织方式下，不同的抽取路径可能带来不同的数据，其原因是多方面的，如数据无时基、抽取算法的差异、抽取的多层次等等。数据的生产率不可预测（或称为数据的生产率低）：由于抽取的多层次，应用系统无法明确知道数据源的准确位置；另外由于抽取算法的多样性，应用系统也无法确定数据的真实性。抽取算法难度大：各个数据库之间的不一致、冲突不可避免，抽取难度大。数据的高度冗余。从本质上讲，无论是孤立的数据组织方式还是自然演化的数据组织方式，都是为了某个具体的应用而建立的，只反映了局部的数据结构。随着企业的发展，对应用系统的数据需求也在持续变化，原有的数据组织方式已远远不能适应企业的需求，也阻碍了企业信息化向纵深发展，因此建立一个面向整个企业的可扩展的高效的数据集成平台，提供一套通用的全面的接口体系，使得构筑于该平台之上的企业应用不再和特定的工具绑定已成为企业的共识。2.2 MES数据集成的需求石化经过十几年的发展，开发了很多应用系统，积累了很多历史数据。同时作为流程行业的代表，其业务流程具有连续作业、流程固定、产品品种相对固定、物流不可间断等行业特点。另外，国内石化行业的组织机构又兼有大型企业和国家事业单位的成分。这些都对各个应用系统的数据类型、数据结构、数据关系等产生了很大的影响，大大提高了企业数据集成平台设计的复杂性。通过对多家石化企业的数据集成的调研分析，得知石化企业的数据集成平台应满足以下需求：（1）实现全局化的数据需求和局部的遗留数据的集成石化行业的早期信息化建设是缺乏统一规划的，即在某些局部开发了相应的信息系统，这些系统都是在独立环境下开发的“信息孤岛”，同时伴随了大量的“数据孤岛”。现在，软件工程和系统观点的发展要求企业在信息化建设中从全局考虑应用系统的规划，这样产生了全局化的数据需求。全局化的数据需求和局部遗留数据的不一致、冲突以及信息冗余是不可避免的，必须作集成处理。（2）实现大型分布式异构环境下的数据集成石化企业规模庞大，往往是由地理上分散的多个部门所组成，所以其数据集成首先是分布式环境下的数据集成。另外，数据赖以存在的软硬件环境是多样的异构环境，这里异构的概念是复杂的，包括：不同型号的计算机硬件系统：Compaq Alpha、HP-UX、IBM AIX等；不同的OS：Microsoft Windows、Uinx等；不同的DBMS：Oracle、Sybase、SQL Server、Informix、DB2等；不同的系统运行架构：Client/Server、Browser/Server、Multi-tie等。（3）完成实时数据库（历史数据库）和关系数据库的内在集成在石化企业中，生产数据分散在装置一级的DCS控制系统上，这些工程数据数据类型复杂，并要求较高的实时性，需要将实时数据库和关系数据库进行整合，才能使管理人员准确、及时地获得决策所需的相关数据，提高决策的准确性和实时性。（4）实现多介质数据的集成石化企业中包含结构化的数据，也包含非结构化的数据（如图形、工艺规程、NC代码等）；数据关系的复杂性还表现在数据间存在复杂的语义联系（如数据对象的继承和递归等）。另外，石化行业中的数据形式是丰富的，是多介质的，包括：关系数据库、实时数据库、HTML文档、XML文档、TXT文档、EXCEL文档、常用图像格式，如BMP、WMF、GIE、JPG等和多媒体数据等等。总之，石化企业的数据集成平台需要按照统一的生产数据模型将生产数据进行重新组织分类，完成异构数据源的集成并向上层应用系统提供一致的快速的数据共享服务。数据集成平台在实现上述集成需求的过程中，首先应保证数据的一致性。一致性包含以下几个方面：数据源一致、数据的命名规则一致、数据的表示方式一致、数据的类型一致、数据的语义一致、数据的度量一致等。3 石化企业MES数据集成平台的构造3.1 数据集成平台的体系结构为了实现企业异构数据集成，满足企业日益发展的业务需求和功能需求，对于如何建立一种统一的且易扩展的数据集成平台，研究人员展开广泛而深入地研究，提出了一系列的解决方案。美国Stanford大学设计了一个专门用于管理半结构化信息的数据库管理系统Lore可以对半结构化数据（OEM）和XML数据集成存储和管理。Lore包含标准数据库的一些特性，如：多用户支持、日志和恢复功能以及查询和更新语言。同时Lore也提供了其他一些操作数据库的工具。东南大学开发了一个基于CORBA的可扩展的异构数据源集成系统原型。该系统在IONA公司的Orbix产品上，对SQL Server、VERSANT文件系统和超文本数据进行包装和集成。该系统不仅能集成上述数据，而且还能集成随时插入的新数据源中的数据。北京邮电大学提出了一种基于CWM的企业数据仓库平台的体系结构设计方案，该设计方案按照CWM（Common Warehouse Metamodel）元数据模型构建数据仓库平台及其组件，包括数据源、ETL工具、数据仓库、数据集市和分析工具等，它们都实现了标准的IDL接口并能够将自己的元数据转换为XML DTD和XML文档，数据交换采用接口调用和CWM元数据交换的方式来实现。装甲兵工程学院的徐享忠等人提出了基于XML的信息集成框架。逻辑上分为三层：数据源层、集成模式层和用户视图层。其中，数据源层可以是遗留关系数据库和对象数据库、XML文档、HTML页面、电子表格和文件系统等；集成模式层包括多数据源集成的XML文档；用户视图层包括特定设备显示属性需求的视图。通过分析上述数据集成平台的体系结构，作者针对石化企业的特色，结合上述MES数据集成的需求，提出了包含数据接口层、数据集成层和数据交换层的三层企业数据集成平台（参见图3）。图3 石化企业MES数据集成平台总体架构（1）数据转换层数据转换层主要针对石化企业的分布式异构环境，实现异构DBMS的集成、数据的统一编码和分布式数据源管理，支持对底层的数据操作以透明的方式进行。其功能包括：DTS：将不同数据源的数据析取、转换和合并到DTS连通性所支持的单个或多个目的，以满足上层数据集中层的需要；数据统一编码：将各独立数据库的DTS的转换结果，通过XML编译器对具有相同语义的多个数据对象进行全企业范围内的统一编码，实现企业数据对象的统一管理；分布式数据源管理：负责实现多数据库的同步协调、优化和统一管理。（2）数据集成层数据集成层将数据转换层抽取的数据对象根据企业核心数据模型存储在各分区数据库中。对上层应用而言，它提供了一个统一的，全企业范围的企业数据视图。其功能包括：数据的分类存储：企业数据集成平台中，根据数据的不同类型，分别设置了过程实时和历史数据库、应用数据库和其它数据库，以支持不同的应用；企业核心数据模型：核心数据参考模型是站在整个企业的高度准确地描述企业关键增值业务数据及企业关键辅助业务数据，识别和强调不同局部应用间的共同性，揭示并消除冗余信息，检测并解决各种冲突，统一考虑是否满足整个企业的应用需求；数据处理：一方面是实现面向生产的实时数据和面向企业经营管理的管理数据的整合，一方面是实现各类异构数据源的整合。整合的结果是将企业生产数据模型所设计的数据全部在企业数据平台中进行管理。在整合过程中对数据进行的服务有：归纳、转换、解码、清除不合法的数据；分离、转换和移动源数据，满足数据平台的要求。（3）数据接口层数据接口层在数据集成层统一企业数据视图的基础上，为每个上层应用生成一个应用视图，并为用户提供一个统一转换的数据访问接口。3.2 数据集成平台的特点在该数据集成平台的设计中，兼容了多数据源的集成，使得系统具有较好的开放性和可扩展性，主要表现在以下几个方面：（1）系统对数据载体的开放在MES环境下，共享数据存储在不同的数据存储环境上，其数据存储载体可能是关系库、网状库、层次库、对象库、甚至是文件系统。数据转换层能对以不同存储形式存储在不同介质上的数据进行转换和更新。（2）系统对分布环境的开放在MES应用中，不同的MES应用环境提供的异构分布数据库系统的分布环境是不同的，其中既有操作系统环境的不同，又有网络环境和硬件环境的不同。系统在数据转换层的设计充分考虑并尽量满足这种分布环境的不同，提供对分布环境的开放。（3）系统对数据持续性的开放在MES环境下的共享数据，有的是在系统建立之前就存在并且还要继续使用，有的是在系统建立后建立的。系统的数据转化层具有对已有数据的兼容能力，并且能以过去已经使用并且现在仍在使用的方式使用它们，而数据集成层集成新的数据。（4）系统对结构的开放在MES环境下典型的异构分布库系统的互联应该是多层的，每层的功能、模型、模式、语言、数据格式都应在协议中有详细的说明和定义，系统结构设计依照这些规范和标准按模块化设计思想设计成一个插件式系统。这样根据不同的MES应用环境，可对系统以模块为单位进行修改和调整，并根据应用环境中各站点的负载情况，合理调配各模块在系统中的分布和模块之间的关系，以形成满足该应用特点的实用高效系统。（5）系统对用户接口的开放在数据表现层，系统具有对不同结构数据表达的处理能力，提供支持不同应用环境和不同操作方式的友好用户界面。4 数据集成平台的实现在数据集成平台的设计过程中，为保证其通用性、开放性和易扩展性，实现一种松散耦合的集成，作者采用消息中间件、XML技术和适配器技术。数据集成平台的技术架构如图4所示，包括适配器、消息中间件、信息集成服务器、配置管理工具、信息查询组台工具和数据访问接口等组件。它以消息中间件作为数据传输的软总线，通过通用的XML语言来描述数据的组织方式，用适配器实现标准数据格式与源数据格式之间的转换。图4 数据集成平台的技术架构信息查询组态工具是一个通用的查询组态软件，用户可以根据自己的需求、习惯和喜好定制所要查询的信息，生成特定的组态文件。Info Brower是信息浏览器，它读取信息查询组态工具生成的组态文件，生成查询语句访问信息集成服务器，然后把信息集成服务器返回的产查询结果按事先定制好的组态界面显示。信息集成服务器用于信息的存储和管理，它包含元数据库和中央数据库。元数据是描述数据的数据，可用于指导对中央数据库的访问和管理。典型的元数据包括：中央数据库中表的结构、表的属性、源数据系统、从源数据系统到中央数据库的映像、数据模型的规格说明等。中央数据库是按照生产数据模型生成的统一的一致的全局数据库。配置管理工具辅助进行信息集成服务器的配置和优化的工具。数据访问接口负责应用程序与信息集成服务器之间的交互工作。适配器（Adapter）集成遗留数据而设定的组件，它主要实现两个方面的功能：一是将发往信息集成服务器的遗留数据转化成指定的信息格式；一是将接收到的外部数据转化成遗留系统能够理解的信息格式。它相当于遗留数据和外部数据的翻译