（模式识别与智能系统专业论文）流程企业cims及其数据集成技术研究.pdf

渐江大学硕士学位论文1 4 、结合笔者参加的实际项目情况，对目前阶段在流程企业信息化进程中实 施数据仓库技术作了深入探讨，在流程工业企业数据仓库体系及创建方 法上提出了些新见解。 5 、元数据管理与企业信息编码是实现流程企业数据集成的关键技术，也是 建立流程企业数据仓库体系结构中的主要难题，本文对此进行了深入探 讨，介绍了元数据管理现状及主要标准，对元数据管理系统与企业信息 编码系统的设计提出了新的改进方法。 6 、介绍了笔者在福建省青山纸业有限公司c i m s 项目中所承担的生产信息 统计管理分系统的设计与实现，指出系统的主要实现技术及其特点，并 对笔者承担的主要研究工作进行了总结。 7 、最后对全文工作作了回顾和总结，指出了下一步研究工作的方向。 塑垩盔兰翌圭兰焦堡奎 a b s t r a c t p r o c e s si n d u s t r yc o n c e n t r a t e so nt h ec o n t i n u o u sp r o c e s s ，i n v o l v i n g a a r e a td e a lo fb r a n c h e s i nd i s c r e t ei n d u s t d e s ，t h ea r c h i t e c t u r eo fc i m si s c o m p a r a t i v e l ym a t u r e b u t t h ec o m p l e x i t yo fp r o c e s si n d u s t r yd e t e r m i n e st h e c o m p l e x i t y o fi t sc i m s w i t ht h ei m p r o v e m e n to fc i m sa r c h i t e c t u r e ，t h e d e v e l o p m e n to fc l m s i n p r o c e s si n d u s t r i e sw i l l b et h ee m p h a s i si np r o c e s s i n d u s t r yi n n o v a t i o n o n eo ft h ec o r e si nc i m si sd a t ai n t e g r a t i o n ，w h o s et a r g e ti st os h a r e t h ed a t af r o md i f f e r e n ts u b s y s t e m t ou t i l i z et h er e s o u r c ee f f e c t i v e l ya n d f i n a l l yt oi m p r o v es y s t e m sp e r f o r m a n c e b e c a u s et h e r ea r ed i v e r s ed a t a f r o md i f i e r e n ts o u r c e s s u c ha sr e a l - t i m ed a t a ，0 l t pd a t aa n dd e c i s i o n s u p p o r td a t a ，m a n yk i n d s o fd a t a p r o c e s s i n gt e c h n o l o g ya r e n e e d e dt o s u p p o r t t h e m f o rt h ec o m p l e x i t yo fp r o c e s si n d u s t r y ，c i m si t s e f fi sn o ts p r e a dw i d e l y , l e ta l o n ed a t aw a r e h o u s e t e c h n o l o g 矿b u t w i t ht h e d e v e l o p m e n t o f i n f o r m a t i o nt o c h n o l o g ya n dc a n d e s c e n tc o m p e t i t i o n 。d a t aw a r e h o u s em u s t b e c o m et h e n e c e s s i t y o f p r o c e s si n d u s t r y a n db et h em o s ts i g n i f i c a n t p o r t i o ni nt h ec i m sd a t ai n t e g r a t i o n t h i sp a p e rd i s c u s s e st h ea r c h i t e c t u r ea n dd a t ai n t e g r a t i o nt e c h n o l o g y o fc i m si np r o c e s s i n d u s t r y t h em a i nc o n t e n t sa r ef o l l o w i n ga s ： 1 、t h ec o n c e p t ，h i s t o r ya n da r c h i t e c t u r eo fc i m sa r ei n t r o d u c e d t h e c h a r a c t e r i s t i c so fp r o c e s si n d u s t r ya n dc o n c e p t so fd a t ai n t e g r a t i o n a n dd a t aw a r e h o u s ea r ed i s c u s s e d 2 、b a s e do n p a p e r m a k i n gi n d u s t r y , t h ed e s i g no fc i m si np r o c e s s e n t e r p r i s e i sd i s c u s s e di n d e t a i l a n dat h r e e l e v e la r c h j t e c t u r eo f 浙江大学硕士学位论文 b p s m e s p c si sp r e s e n t e d 3 、f nt h ev i e w p o i n to ft h et h r e e l e v e fa r c h i t e c t u r eo fb p s m e s p c s t h e p a p e rd e m o n s t r a t e st h ed i f f e r e n td a t ao ft h et h r e el e v e l i n p r o c e s s e n t e r p r i s ec i m sa n dt h ec o r r e s p o n d i n gd a t aw a r e h o u s et e c h n o l o g y ， c o n c e n t r a t i n g o nt h e s p e c i a l t i e s a n d d e s i g nt i p s o fr e a f t i m e m a n u f a c t u r i n g d a t a ，t r a n s a c t i o n p r o c e s s i n g d a t aa n dd e c i s i o n s u p p o s i n gd a t a ，a n di n t e r p r e t i n g t h er e l a t i o n s h i p a m o n gt h et h r e e k i n d so fd a t a i ti sv a l u a b l ef o rt h ec i m si m p l e m e n t a t i o ni n p r o c e s s e n t e r p r i s e s 4 、c o m b i n e dw i t ht h ea u t h o r s e x p e r i e n c e i n p r o j e c t s ，t h i sp a p e r d i s c u s s e st h ea p p l i c a t i o no fd a t aw a r e h o u s et e c h n o l o g yt op r o c e s s e n t e r p r i s ec i m s s o m en e wv i e w p o i n t sa b o u tt h ea r c h i t e c t u r ea n d c o n s t r u c t i o nm e t h o d so fd a t aw a r e h o u s ea r ep r o v i d e d 5 、t oa i ma tt h eq u e s t i o ni nt h ec o n s t r u c t i o no fp r o c e s se n t e r p r i s ed a t a w a r e h o u s e ，t h ek e yt e c h n o l o g ya p p l i e dt ot h ed a t ai n t e g r a t i o ni n p r o c e s se n t e r p r i s e s ，t h i sp a p e r i n v e s t i g a t e s t h em e t a d a t a m a n a g e m e n ta n dt h ee n t e r p r i s ei n f o r m a t i o nc l a s s i f y i n ga n dc o d i n g t h en e wc r i t e r i aa n d d e s i g no fi n f o r m a t i o nc o d i n ga r ep r o p o s e d 6 、i nt h el a s tp a r t ，t h i sp a p e ri n t r o d u c e st h e d e s i g na n di m p l e m e n t a t i o no f t h ep r o d u c e - m a n a g e m e n ti n f o r m a t i o n s u b s y s t e mi n ap a p e r m a k i n g e n t e r p r i s ea n dt h ea u t h o r sp r a c t i c et a s k t h e nc h a r a c t e r i s t i c sa n dt h e i m p l e m e n t a t i o nt e c h n o l o g yo ft h i ss y s t e ma r es u m m a n z e d 浙江查兰塑主兰焦垒茎 j 一一 第一章绪论 本章主要阐述了课题研究工作的背景和意义，首先对c i m s c i p s 技术及其 发展阶段进行了大致的介绍，进一步分析了流程工业企业特点，然后对c i m s 中的数据特点、数据仓库技术作了简要介绍，最后对本文的研究工作进行了简 要总结。 1 1c i m s c i p s 技术概述 计算机集成制造系统( c i m s ) 的产生背景及条件与科技进步和企业需求有 着密切的关系。c i m s 的基本概念包括c i m 和c i m s 两个方面。c i m 概念首先 由美国j o s e p hh a r r i n g t o n 博士在c o m p u t e ri n t e g r a t e dm a n u f a c t u r i n g 一书中 提出，用来作为组织现代工业生产的指导思想，它包括两个基本观点：一是企 业生产活动是一个不可分割的整体，其各个环节彼此紧密关联；二是整个生产 活动是一个数据采集、传递和加工处理的过程，最终形成的产品可以视为“数 据”的物质表现。一般c i m 的定义为：“c i m 是一种组织、管理与运行企业生 产的新哲理，它在计算机和网络的支撑下，综合运用现代管理、制造、信息、 自动化和系统工程等领域的技术，将企业生产全部过程中有关人、技术、经营 管理要素及其信息流与物流有机地集成并优化运行，以实现产品高质量、低成 本、上市快，从而赢得市场竞争”。c i m s 是基于c i m 哲理构成的优化运行的企 业制造系统，在c i m s 的研究和实施过程中必须强调“信息流”和“系统集成” 两个最基本的观点，而流程企业c i m s 也称为过程工业c i m s ，就是将c i m 哲 理应用于流程企业所提出的计算机集成过程系统c i p s ( c o m p u t e ri n t e g r a t e d p r o c e s ss y s t e m ) 【2 】。 在8 0 年代以前，尽管d c s ( d i s t r i b u t e dc o n t r o ls y s t e m ) 等先进控制系统的 应用使流程企业生产过程控制有了很大突破，但过程控制仍是企业信息化众多 “孤岛”中的一座。8 0 年代后期，随着交叉学科的出现，人工智能和智能控制 的兴起，以及信号处理技术、网络通讯技术和计算机技术的高度发展，使得高 浙江查兰塑主兰焦垒茎 j 一一 第一章绪论 本章主要阐述了课题研究工作的背景和意义，首先对c i m s c i p s 技术及其 发展阶段进行了大致的介绍，进一步分析了流程工业企业特点，然后对c i m s 中的数据特点、数据仓库技术作了简要介绍，最后对本文的研究工作进行了简 要总结。 1 1c i m s c i p s 技术概述 计算机集成制造系统( c i m s ) 的产生背景及条件与科技进步和企业需求有 着密切的关系。c i m s 的基本概念包括c i m 和c i m s 两个方面。c i m 概念首先 由美国j o s e p hh a r r i n g t o n 博士在c o m p u t e ri n t e g r a t e dm a n u f a c t u r i n g 一书中 提出，用来作为组织现代工业生产的指导思想，它包括两个基本观点：一是企 业生产活动是一个不可分割的整体，其各个环节彼此紧密关联；二是整个生产 活动是一个数据采集、传递和加工处理的过程，最终形成的产品可以视为“数 据”的物质表现。一般c i m 的定义为：“c i m 是一种组织、管理与运行企业生 产的新哲理，它在计算机和网络的支撑下，综合运用现代管理、制造、信息、 自动化和系统工程等领域的技术，将企业生产全部过程中有关人、技术、经营 管理要素及其信息流与物流有机地集成并优化运行，以实现产品高质量、低成 本、上市快，从而赢得市场竞争”。c i m s 是基于c i m 哲理构成的优化运行的企 业制造系统，在c i m s 的研究和实施过程中必须强调“信息流”和“系统集成” 两个最基本的观点，而流程企业c i m s 也称为过程工业c i m s ，就是将c i m 哲 理应用于流程企业所提出的计算机集成过程系统c i p s ( c o m p u t e ri n t e g r a t e d p r o c e s ss y s t e m ) 【2 】。 在8 0 年代以前，尽管d c s ( d i s t r i b u t e dc o n t r o ls y s t e m ) 等先进控制系统的 应用使流程企业生产过程控制有了很大突破，但过程控制仍是企业信息化众多 “孤岛”中的一座。8 0 年代后期，随着交叉学科的出现，人工智能和智能控制 的兴起，以及信号处理技术、网络通讯技术和计算机技术的高度发展，使得高 塑坚奎兰堡主堂焦堡奎三 水平自动控制成为可能，进而出现集控制、优化、调度、管理于一体的c i p s 【3 】。 1 1 1c i m s 的发展阶段 c i m s 作为实现c i m 哲理的实际系统，以计算机应用为核心，是信息技术 在生产制造业应用发展的最高阶段。就其发展过程而言可以将其分为三个主要 的发展阶段，依次为信息集成阶段、过程集成阶段、企业集成阶段，对于三个 阶段各自不同的特点如表l 一1 所示【4 】。 发展 瑜泌段 信息集成 过程集成企业集成 劳尊 主要 电子信息技术并行工程敏捷制造 技术 大规模集成电路 自动化技术 特征 c a d 、c a m 、f m s 等 提高企业整效率以降加速新产品的构思及概对市场机遇作出快速反映 市场 低产品成本念的形成蒲足用户“个性化”要求 竞争 以最短的时间开发出高组织跨企业动态联合公司 质量及用户满意的产品 核心 加快产品的上市时间 生产要素之间的配置缩短产品投放市场时间挺高企业应变能力 得到更好优化降低成本产品价格和生产批量无关 实施 减少资源浪费提高质量按定单组织生产 效果 发挥生产要素潜力保证功能的实用性企业界动态合作 增强市场竞争能力与用户建立“战略依存关 系” 表1 1 c i m s 发展阶段 从上表可以看出，c i m s 的集成对象已经从最初的对单一的控制器控制环节、 第二阶段的对企业内部工作流发展至目前的企业联盟，c l m s 实施的范围越来越 广泛，其内涵越来越丰富，产品越来越强调用户的个性化需求，对技术的要求 越来越高，可以说c i m s 为企业带来了更大的市场竞争力，同时也对企业本身的 技术、管理带来了更高的要求。 塑坚奎兰堡主堂焦堡奎三 水平自动控制成为可能，进而出现集控制、优化、调度、管理于一体的c i p s 【3 】。 1 1 1c i m s 的发展阶段 c i m s 作为实现c i m 哲理的实际系统，以计算机应用为核心，是信息技术 在生产制造业应用发展的最高阶段。就其发展过程而言可以将其分为三个主要 的发展阶段，依次为信息集成阶段、过程集成阶段、企业集成阶段，对于三个 阶段各自不同的特点如表l 一1 所示【4 】。 发展 瑜泌段 信息集成 过程集成企业集成 劳尊 主要 电子信息技术并行工程敏捷制造 技术 大规模集成电路 自动化技术 特征 c a d 、c a m 、f m s 等 提高企业整效率以降加速新产品的构思及概对市场机遇作出快速反映 市场 低产品成本念的形成蒲足用户“个性化”要求 竞争 以最短的时间开发出高组织跨企业动态联合公司 质量及用户满意的产品 核心 加快产品的上市时间 生产要素之间的配置缩短产品投放市场时间挺高企业应变能力 得到更好优化降低成本产品价格和生产批量无关 实施 减少资源浪费提高质量按定单组织生产 效果 发挥生产要素潜力保证功能的实用性企业界动态合作 增强市场竞争能力与用户建立“战略依存关 系” 表1 1 c i m s 发展阶段 从上表可以看出，c i m s 的集成对象已经从最初的对单一的控制器控制环节、 第二阶段的对企业内部工作流发展至目前的企业联盟，c l m s 实施的范围越来越 广泛，其内涵越来越丰富，产品越来越强调用户的个性化需求，对技术的要求 越来越高，可以说c i m s 为企业带来了更大的市场竞争力，同时也对企业本身的 技术、管理带来了更高的要求。 浙江大学硕士学位论文 3 _ - _ _ _ - - _ - _ 一一 1 1 2 流程企业特点 流程企业以连续生产过程( 如炼油、化工、制浆造纸、制药等) 为主，涉 及的工业部门十分广泛，在国民经济中举足轻重，据统计，我国产品销售排名在 前十名中，约有8 0 一9 0 属于流程企业，利润排名在前二十名中，流程企业约 占7 0 1 6 1 。随着市场经济的全球化，企业间的竞争也必然愈来愈剧烈，借鉴离 散制造加工业实施c l m s 的成功经验，建立集监督控制、在线优化、生产调度、 企业管理、经营决策等功能于一体的流程c i m s ，形成节能降耗、少投入多产出 的高效生产模式，已逐步成为流程企业自动化发展的一个新趋势，它是一种在 自动化技术、信息技术、计算机技术和各种生产技术的基础上，通过计算机网 络和数据库将工厂全部生产经营活动所需的信息集成起来，集控制、调度、管 理、经营、决策于体，形成一个适应生产环境不确定性和市场需求多变性的 总体最优的高质量、高效益、高柔性的智能生产系统。然而流程企业本身的复 杂性决定了其c l m s n 特殊性，具体来讲主要有以下几点【7 】： 1 产品结构 流程企业的产品结构与离散行业有较大的不同。首先，上级物料和下级物 料之间的数量关系可能随温度、压力、湿度、季节、人员技术水平、工艺条件 不同而不同。其次，在每个工艺过程中，伴随产出的不只是产品或中间产品， 可能细分为主产品、副产品、协产品、回流物和废品。 2 工艺流程 流程企业的特点是品种圃定，批量大，生产设备投资高，而且按照产品进 行布置，通常设备是专用的，很难改做其他用途。 3 物料存储 流程企业的原材料和产品通常是液体、气体、粉状等。因此，存储通常采 用罐、箱、柜、桶等进行存储。并且多数存储的数量可以用能转变为电信号的 传感器进行计量。 4 自动化水平 流程企业采用大规模生产方式，生产工艺技术成熟，控制生产的工艺条件 的自动化设备比较成熟，例如，d c s 、p l c ，因此，生产过程多数是自动化， 生产车间的人员主要是管理、监视和设备检修。 浙江大学硕士学位论文 4 5 生产计划管理 流程企业由于主要是大批量生产，订单通常与生产无直接关系。企业只有 满负荷生产，才能将成本降下来，在市场上具有竞争力。因此，在流程企业的 生产计划中，年度计划更具有重要性。年度生产计划和销售计划，决定了企业 的物料平衡，即物料采购计划。一般情况下，企业按月份签订供货合同以及结 算货款。每曰、每周生产计划的物料平衡依靠原材料库存来保证和调节。 6 设备 流程企业的产品比较固定，而且生产就是十几年、几十年不变，而机械 制造等行业的产品寿命相对要小得多。因此，体现在生产设备上，流程企业的 设备是一条固定的生产线，设备投资比较大，工艺流程固定。生产能力有一定 的限制，生产线上的设备维护特别重要，不能发生故障。只要一发生故障，就 损失严重。离散企业则不是这样，可以单台设备停下来检修，并不会影响整个 系统生产。 7 配方 流程企业的生产过程中一般都伴有化学反应，需要有严格的配方管理和试 验数据管理。 8 批号 流程企业的生产工艺过程中产生有各种协产品、副产品、废品、回流物等， 而且对物资的管理需要有严格的批号。 1 i 3 流程c i m s 体系结构 c i m s 体系结构是组用以描述所研究系统的不同方面和不同开发阶段的、 结构化的、多层次多视图的模型集合。在离散制造业，c i m s 的体系结构已经比 较成熟，但在流程工业中，c i m s 的体系结构还在不断的发展中。国内外学者先 后提出了c i m o s a ，g r a i g i m ，p e r a ，a r i s ，g e r a m ，s l a 等几种体系结构嗍， 其中p u r d u e 模型有着重大的影响。 p u r d u e 模型例于1 9 8 9 年由美国普渡大学的w i l l i a m s 教授提出，它与金字 塔式的管理模式相适应，从功能上将流程企业c i m s 自下面上分为过程控制、过 程优化、生产调度、企业管理和经营决策等五个层次，位于最顶层的是经营决 浙江大学硕士学位论文 4 5 生产计划管理 流程企业由于主要是大批量生产，订单通常与生产无直接关系。企业只有 满负荷生产，才能将成本降下来，在市场上具有竞争力。因此，在流程企业的 生产计划中，年度计划更具有重要性。年度生产计划和销售计划，决定了企业 的物料平衡，即物料采购计划。一般情况下，企业按月份签订供货合同以及结 算货款。每曰、每周生产计划的物料平衡依靠原材料库存来保证和调节。 6 设备 流程企业的产品比较固定，而且生产就是十几年、几十年不变，而机械 制造等行业的产品寿命相对要小得多。因此，体现在生产设备上，流程企业的 设备是一条固定的生产线，设备投资比较大，工艺流程固定。生产能力有一定 的限制，生产线上的设备维护特别重要，不能发生故障。只要一发生故障，就 损失严重。离散企业则不是这样，可以单台设备停下来检修，并不会影响整个 系统生产。 7 配方 流程企业的生产过程中一般都伴有化学反应，需要有严格的配方管理和试 验数据管理。 8 批号 流程企业的生产工艺过程中产生有各种协产品、副产品、废品、回流物等， 而且对物资的管理需要有严格的批号。 1 i 3 流程c i m s 体系结构 c i m s 体系结构是组用以描述所研究系统的不同方面和不同开发阶段的、 结构化的、多层次多视图的模型集合。在离散制造业，c i m s 的体系结构已经比 较成熟，但在流程工业中，c i m s 的体系结构还在不断的发展中。国内外学者先 后提出了c i m o s a ，g r a i g i m ，p e r a ，a r i s ，g e r a m ，s l a 等几种体系结构嗍， 其中p u r d u e 模型有着重大的影响。 p u r d u e 模型例于1 9 8 9 年由美国普渡大学的w i l l i a m s 教授提出，它与金字 塔式的管理模式相适应，从功能上将流程企业c i m s 自下面上分为过程控制、过 程优化、生产调度、企业管理和经营决策等五个层次，位于最顶层的是经营决 浙江大学硕士学位论文 5 一 策级，完成企业级综合查询、决策支持、市场预测、投资决策、公司事务管理 和下属企业管理等；经营管理层完成生产管理之外的企业经营管理，如销售管 理、采购管理、仓储管理、财务管理、人事管理、售后服务等；生产调度层完 成生产过程监控、生产数据实时统计、生产调度、生产计划、生产信息咨询、 生产技术管理、生产设备管理等功能：过程优化层实现生产过程的操作优化和 运行优化、高级控制、以及过程监测；过程控制层主要则是面向生产过程的自 动化单元和系统，负责控制和协调生产设备能力，实现对生产的直接控制。 p u r d u e 模型将生产过程和管理过程明显分开，忽视了对于生产过程中物料、资 源、能源及设备的在线控制与管理，层次多，结构复杂，对于环境变化的快速 响应能力差，实现成本高，不便形成平台技术，难于推广。 图l - lp u r d u e 模型 1 9 9 0 年美国a m r ( a d v a n c e dm a n u f a c t u r i n gr e s e a r c h ) 提出的制造行业的 三层e r p m e s b p s 结构，已经成功地在半导体、液晶制品业、石油化学业、 药品业、食品业、纺织业、机械电子业、造纸业、钢铁业中应用，取得了显著 经济效益。 随着企业信息化进程的发展和企业管理模式的演变，国内许多学者提出了 b p s m e s p c s 三层体系结构。b p s m e s p c s - - - 层结构将流程2 1 z c i m s 分为了单纯 考虑生产过程问题的过程控制系统( p c s ) 、单纯考虑企业经营管理问题的经营 计划管理( b p s ) ，以及考虑生产与管理结合问题的中间层制造执行系统( m e s ) ， 堑兰查堂堡主堂垡堡奎上 使流程企业c i m s 中原本难以处理的具有生产与管理双重性质的信息问题得到了 解决。最下层的控制系统p c s 聚焦于生产过程，以秒为单位监视生产设备的运行 状况，控制整个生产过程。m e s 的管理整个工厂，考虑工厂整体平衡，注重产品 和批次，以分、时为单位跟踪产品的制造过程。经营计划系统以相同产品为处 理对象，焦点在于定货、交货期、成本、和顾客的关系等，以月、周、日为单 位。在流程企业综合自动化系统中，m e s ；t 基着将从生产过程产生的信息和从经营 管理活动中产生的信息，以及生产管理活动中产生的信息进行转换、加工、传 递的作用，是生产活动与管理活动信息集成的重要桥梁和纽带【l 。 图1 2b p s m e s p c s 三层结构模型 1 2c i m s 实现技术上的层次性 1 1 , 1 2 | c i m s 的核心是信息集成，c m i s 环境下的任何应用软件都必须在一定的计 算机软硬件平台下执行，c i m s 中的信息集成，就是通过计算机网络实现计算 机系统以及各种设备间的互联，在计算机网络的支持下，实现数据库系统的互 联，形成分布式的数据库系统，进而实现信息集成。从技术上丽言，c i m s 涉及 到各种基本的底层自动化系统、计算机系统、计算机网络通信系统、数据库管 理系统以及在此基础上发展起来的更高级的集成平台，这些构成了支持c i m s 中各种应用软件运行的集成环境，其技术本身具有一定的层次性( 如图1 3 所 示) 。 堑兰查堂堡主堂垡堡奎上 使流程企业c i m s 中原本难以处理的具有生产与管理双重性质的信息问题得到了 解决。最下层的控制系统p c s 聚焦于生产过程，以秒为单位监视生产设备的运行 状况，控制整个生产过程。m e s 的管理整个工厂，考虑工厂整体平衡，注重产品 和批次，以分、时为单位跟踪产品的制造过程。经营计划系统以相同产品为处 理对象，焦点在于定货、交货期、成本、和顾客的关系等，以月、周、日为单 位。在流程企业综合自动化系统中，m e s ；t 基着将从生产过程产生的信息和从经营 管理活动中产生的信息，以及生产管理活动中产生的信息进行转换、加工、传 递的作用，是生产活动与管理活动信息集成的重要桥梁和纽带【l 。 图1 2b p s m e s p c s 三层结构模型 1 2c i m s 实现技术上的层次性 1 1 , 1 2 | c i m s 的核心是信息集成，c m i s 环境下的任何应用软件都必须在一定的计 算机软硬件平台下执行，c i m s 中的信息集成，就是通过计算机网络实现计算 机系统以及各种设备间的互联，在计算机网络的支持下，实现数据库系统的互 联，形成分布式的数据库系统，进而实现信息集成。从技术上丽言，c i m s 涉及 到各种基本的底层自动化系统、计算机系统、计算机网络通信系统、数据库管 理系统以及在此基础上发展起来的更高级的集成平台，这些构成了支持c i m s 中各种应用软件运行的集成环境，其技术本身具有一定的层次性( 如图1 3 所 示) 。 堑兰查堂翌圭堂垡堡壅 图1 - 3c i m s 技术屡次结构 计算机集成系统是建立在基础自动化和先进优化控制基础上，基础控制和优 化监控的设备分布在现场和中央控制室，主要负责生产，完成m e s 层下达的生 产任务，保证了安全生产、平稳操作，并通过优化在节约能量、降低成本的同 时生产出合格的产品。而集散控制系统( d c s ) 、现场控制系统( f c s ) 等基础 控制，又对重要复杂的装置进行先进控制、实时优化，这就为实现整体的计算 机集成系统作好了铺垫。 根据流程企业的办公及业务需求，企业网络的建设一般遵循以下几个原则： 符合企业现有办公习惯和思路，在提高基础建设和实施手段的同时，保 证系统更新的平滑过渡。 充分利用现有资源，保护原有投资。 能够达到提高办公效率，提高管理水平，提高决策能力，降低成本，提 高效益的目的。 采用当前主流技术及产品，保证投资的长期应用。 具有灵活的适应性和可扩展性，以便未来的机构改革和业务扩展时能够 减少投入、快速更新。 广泛的信息交流、移动办公以适应迅速的信息发展。 大规模的协作办公，以增强自身的市场竞争能力。 系统的硬件集成，即以计算机网络技术为支撑的计算机以及工厂底层执 行设备的集成，纵横交错的光纤、电缆和双绞线将各种硬件资源组成互联 的网络，是更高层次上的集成的基础。 浙江大学硕士学位论文8 _ h - _ _ 一一 1 3c i m s 中的数据集成 c i m s 技术的核心在于集成，数据库分系统与计算机网络分系统是c i m s 环 境中的两个重要支撑系统，也是c i m s 系统集成的关键。数据库技术是实现信 息共享的重要途径，组成c i m s 的各个子系统需要在一个结构合理的数据系统 中进行存储，并通过计算机网络进行互联，在物理上分布的不同功能子系统的 数据联系起来，以实现信息的共享。 1 3 1c i b f s 中的数据特点 c i m s 中的数据库除了类似与传统的商用数据库管理系统的功能外，还具有 适应与c i m s 数据集成和管理需求的一般特性f 1 3 】。 1 数据的共享性 系统内的数据资源能够为系统内的不同用户所共享。共享数据库环境要 求集中控制和协调数据集合，综合数据存储，保证数据一致性，减少冗余和 便于数据维护。 2数据的独立性 数据库中的数据独立于应用裎序之外，这包括两个方面：一是不同应用 程序均可按自己所需的数据结构去访问数据库中的数据，二是数据库中的数 据内容和格式变化时不需要重新编程或修改应用程序。 3 数据的有效性 要使用户定义和操纵数据库方便，同时要让用户在需要的时刻用其“本 地”操作语言得到所需形式的数据。 4 数据的可演变性 随着市场环境的变化和企业的发展，数据库中的存储的数据内容和处理 方式也会随之改变，数据结构设计应满足这种数据的演变性。 5 数据库的完整性 对于现有数据库的数据资源、约束和私有性必须有足够的技术措施加以 保护，这些技术包括采用性能良好的d b m s 、加强数据库管理人员的工作 责任，合理授权，适宜的故障恢复机制等。 堂垩奎堂翌主兰篁堡墨2 1 3 2 采用分布式系统的必然性“4 1 在c i m s 环境下，! 必须以分布式数据库作为系统数据管理的工具和技术，这 是由以下几个方面因素决定的： 1 组织机构和经济原因。 企业各个职能部门一般不是集中在一起，而是分布在所在区域的不同地 方。分布式数据库系统更能实际适应这种部门分散的状况。另外，从经济 观点来看，建立大型集中式计算中心的开销太大，对企业而言往往也是不 合算的。 2 现有数据库的互联。 由于实施c i m s 应用工程时，企业一般已经存在若干数据库，考虑c i m s 各单元分系统集成时，分布式数据库是合乎逻辑的解决方法。开发分布式 数据库系统需要对原有的局部数据库进行自底向上底设计，较之从新建立 一个新的集中式数据库而言，其工作量较少。 3 系统的扩充性。 随着技术的进步和企业的发展，其组织机构不断扩充和调整，原有设备 的更新和新的子系统需要集成到系统中来，采用分布式数据库系统能够在 对现有系统影响最小的条件下支持系统的扩展。如果采用集中式系统，则 要求在开始设计系统时就考虑将来扩充问题，由于很多情况是难以预测的， 因而其设计工作也是十分困难的。 4 减少额外的通信开销，改善系统性能。 针对企业各职能部门物理位置的分散性，在分布式数据库系统设计时可 以采取一定的策略，将数据合理分布，使系统充分体现其应用的局部性。 这样，与集中式数据库相比，可以显著地降低通信地开销，同时，可将不 同处理机地相互干扰降到最低限度，系统的负载由各个处理机分担，避免 出现系统局部地瓶颈问题，从而使系统晌应速度得到改善。 5 提高系统地可靠性。 分布式数据库系统通过受限的数据冗余，可以获得较高的系统可靠性。 即使局部结点上的数据库出现了故障，也只会产生局部的影响，不会危及 整个系统。 浙江大学硕士学位论文 i o 1 3 3 数据仓库技术 传统的数据库技术是以单的数据资源，即数据库为中心，进行事务处 理、批处理、决策分析等各种数据处理工作，主要的划分为两大类：操作型 处理和分析型处理( 或信息型处理) 。操作型处理也叫事务处理，是指对数据 库联机的日常操作，通常是对个或一组纪录的查询和修改，主要为企业的特 定应用服务的，注重响应时间，数据的安全性和完整性；分析型处理则用于管 理人员的决策分析，经常要访问大量的历史数据。而传统数据库系统优于企业 的日常事务处理工作，而难于实现对数据分析处理要求，已经无法满足数据处 理多样化的要求，操作型处理和分析型处理的分离成为必然，其直接后果 就是导致了数据仓库技术的产生。 1 3 3 1 数据仓库定义及特点 业界公认的数据仓库概念创始人w h i n m o n 对数据仓库的定义是：数据仓 库是数据仓库( d a t aw a r e h o u s e ) 是一个面向主题的( s u b j e c t0 d e n t e d ) 、集 成的( i n t e g r a t e ) 、相对稳定的( n o n - v o l a t i l e ) 、反映历史变化( t i m ev a r i a n t ) 的数据集合，用以支持经营管理中的决策制定过程l l 5 1 。 数据仓库中的数据面向主题，与传统数据库面向应用相对应。主题是一个 在较高层次上将数据归类的标准，每一个主题对应一个宏观的分析领域：数据 仓库的集成特性是指在数据进入数据仓库之前，必须经过数据j 口- c 和集成，这 是建立数据仓库的关键步骤，首先要统一原始数据中的矛盾之处，还要将原始 数据结构做一个从面向应用向面向主题的转变；数据仓库的稳定性是指数据仓 库反映的是历史数据的内，而不是日常事务处理产生的数据，数据经加工和集 成进入数据仓库后是极少或根本不修改的；数据仓库是不同时间的数据集合， 它要求数据仓库中的数据保存时限能满足进行决策分析的需要，而且数据仓库 中的数据都要标明该数据的历史时期。 数据仓库最根本的特点是物理地存放数据，而且这些数据并不是最新的、 专有的，而是来源于其它数据库的。数据仓库的建立并不是要取代数据库，它 要建立在一个较全面和完善的信息应用的基础上，用于支持高层决策分析，而 事务处理数据库在企业的信息环境中承担的是日常操作性的任务。 浙江大学硕士学位论文 1 1 1 3 3 2 数据仓库的发展过程i l 训 计算机系统的功能从数值计算扩展到数据管理距今已有三十多年，最初的 数据管理形式主要是文件系统，少量的以数据片段之间增加一些关联和语义而 构成层次型或网状数据库，但数据的访问必须依赖于特定的程序，数据的存取 方式是固定的、死板的。1 9 6 9 年，e f c o d d 博士发表了他著名的关系数据模型 的论文。此后，关系数据库的出现开创了数据管理的一个新时代。 近几十年来，大量新技术、新思路的涌现出来并被用于关系型数据库系统 的开发和实现：客户服务器系统结构、存储过程、多线索并发内核、异步z o 、 代价优化，等等，这切足以使得关系数据库系统的处理能力毫不逊色于传统 封闭的数据库系统。而关系数据库在访问逻辑和应用上所带来的好处则远远不 止这些，s q l 的使用已成为一个不可阻挡的潮流，加上近些年来计算机硬件的处 理能力呈数量级的递增，关系数据库最终成为联机事务处理系统盼主宰。 整个8 0 年代直到9 0 年代初，联机事务处理一直是数据库应用的主流。然 而，应用在不断地进步。当联机事务处理系统应用到一定阶段后，用户便发现 单靠拥有联机事务处理已经不足以获得市场竞争的优势，他们需要对其自身业 务的运作以及整个市场相关行业的情况进行分析，而做出有利的决策。这种决 策需要对大量的业务数据包括历史业务数据进行分析才能得到。在如今这样激 烈的市场竞争环境下，这种基于业务数据的决策分析，我们把它称为联机分析 处理，比以往任何时候都显得更为重要。如果说传统联机事务处理强调的是更 新数据库向数据库中添加信息，那么联机分析处理就是从数据库中获取信 息、利用信息。 事实上，将大量的业务数据应用于分析和统计原本是一个非常简单和自然 的想法。但在实际的操作中，人们却发现要获得有用的信息并非如想象的那么 容易，这主要表现在以下几点： 所有联机事务处理强调的是密集的数据更新处理性能和系统的可靠性，并 不关心数据查询的方便与快捷。联机分析和事务处理对系统的要求不同， 同一个数据库在理论上都难以做到两全。 业务数据往往存放于分散的异构环境中，不易统一查询访问，而且还有大 量的历史数据处于脱机状态，形同虚设。 浙江大学硕士学位论文 1 2 业务数据的模式针对事务处理系统而设计，数据的格式和描述方式并不适 合非计算机专业人员进行业务上的分析和查询。 因此有人感叹：2 0 年前查询不到数据是因为数据太少了，而今天查询不到 数据是因为数据太多了。针对这一问题，人们设想专门为业务的统计分析建立 个数据中心，它的数据从联机的事务处理系统中来、从异构的外部数据源来、 从脱机的历史业务数据中来。这个数据中心是一个联机的系统，它是专门为分 析统计和决策支持应用服务的，通过它可以满足决策支持和联机分析应用所要 求的一切。这个数据中心就叫做数据仓库。这个概念在9 0 年代初被提出来。如 果需要给数据仓库一个定义的话，那么数据仓库就是一个作为决策支持系统和 联机分析应用数据源的结构化数据环境。数据仓库所要研究和解决的问题就是