（电工理论与新技术专业论文）面向制造执行系统的数据仓库研究.pdf

东南大学硕士学位论文 a b s tr a c t n o w a d a y s ，a l o n gw i t ht h ec o n t i n u o u sd e v e l o p m e n to fc o m p u t e ra n di n f o r m a t i o n t e c h n o i o g y ，e v e r yw o r ko fl i f ej o i n st ot h ei n f o r m a t i z a t i o na n do b t a i n st h es u c c e s s f u l a p p l i c a t i o n d a t aw a r e h o u s i n ga n dm e s a r eb o t hq u i t ei m p o r t a n ti nc o m p u t e ri n f o r m a t i o n s y s t e m d a t aw a r e h o u s i n ga n de r pu s u a l l ya r ei n t e g r a t e dt o g e t h e r h o w e v e r ，n o b o d yu s e dt o c o n n e c tm e sa n dd a t aw a r e h o u s i n gt o g e t h e r i nm yo p i n i o n ，i ft h eb o t ha r eu s e dt o g e t h e r , c o m p a n i e s w i l lo w nm o r ep r o f i t a n dt h i sp a p e ri sf o rt h i s f i r s t l y , t h i sp a p e rp r e s e n t ss o m eb a s i c t h e o r i e so nm e sa n dd w a sw ea l lk n o w , m e si s u s e dt od e a lw i t ho p e r a t i n gd a t aa n di ts t o r e sp r e s e n td a t aw h i c hi sd e t a i l ，h o w e v e r , d ws e t t l e s i n t e g r a t e da n dh i s t o r i cd a t a a sar e s u l t ，i f w eu s ed w ：o l a pa n dd mt o g e t h e rw i t hm e s ，w e w i l lf i n dm e sw i l lb em o r ei n t e l l i g e n t t h i sp a p e ra l s os h o w sr e a d e r st h et e c h n o l o g i e si nb u i ! d i n gt h ed a t aw a r e h o u s e ， e s p e c i a l l yb r i n g sf o r w a r da n e ws y s t e mf r a m ew i t ht w ol a y e r s ，t h ef i r s tf o ri n s t a n td a t aa n d t h eo t h e rf o rh i s t o r i cd a t a a tl a s t ，d a t aw a r e h o u s eb a s e do nm e si sa c h i e v e di nt h eb a c k g r o u i l do f p o w e rp l a n t w e b u i l dt h ed a t am o d e lo ft h ep l a n t ，a n da l s os e tu pt h ec o n c e p tm o d e lb ym a p p i n g t h e n ，w e c o n f i r mt h ed a t ag r a n u l a r i t ya n db a s e dt h eo l a pa n dd mm o d e l i nt h ee n do ft h ep a p e r , w e s e tc o a lm a c h i n ea sae x a m p l et og i v et h ea p p l i c a t i o no f t h ed wi nt h ea l e r t i n gs y s t e m k e yw o r d s ：m e s ，i n f o r m a t i o ni n t e g r a t i o n ，d a t aw a r e h o u s e ，e l e c t r i cp o w e rp l a n t i i 东南大学硕士学位论文 学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的 学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已 在论文中作了明确的说明并表示了谢意。 期：型! + 竺 关于学位论文使用授权的说明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论 文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包 括刊登) 授权东南大学研究生院办理。 日期：逊塑 群 东南大学硕士学位论文 第一章绪论 1 1 数据仓库的发展背景、现状和方向 l - 1 1 数据仓库的发展背景 当前，随着我国国民经济的不断发展，计算机网络和数据库技术得到了广泛的应用，这使得企 业管理进入了一个崭新的时代。广大基层管理人员摆脱了繁重的制表业务和数据处理工作，管理工 作进一步规范化，企业建立了各种在线事务处理信息系统，对各种日常业务处理提供了有效的支持。 然而，面对当今竞争日趋激烈与瞬息万变的市场，各级管理人员迫切需要根据企业的现状和历史数 据做出判断和决策。因此，各级管理人员希望能够从企业信息系统中获取有效的、一致的决荒支持 信息系统，及时准确的把握市场变化的脉搏，做出正确有效的判断和抉择，也就是说，数据处理的 重点应该从传统的业务处理扩展到在线分析处理，并从中得到面向各种主题的统计信息和决策支持 信息。随着企业事务处理系统的运行和建立，数据量越来越大。企业数据源越来越多，而就目前的 r d b m s 所实现的功能而言，无法为数据的合成、分析和综合提供强大功能，这主要表现在 1 ： 1 ) 数据质量差：关系数据库中存储的是大量的营运数据( 日常操作产生的明细数据) 。营运数 据是一些原始数据，而决策者需要的不是这些散乱的数据，所以这些数据需要进一步分类、合并、 整理与分析，而不能直接运用于d s s ( 决策支持系统) 。 2 ) 数据访问效率低：企业的营运数据往往是海量的，特别是大型制造企业。一般关系数据库访 问这些数据的效率十分低，一个典型的关系数据库每秒可读约2 0 0 条记录，可写2 0 个新记录。这对 数据量大的d s s 常是无法忍受的。 3 ) 数据处理效率低：这主要是由一般关系数据库的数据质量差和数据访问效率低所致。而d s s 的关键就是数据处理能力，能在恰当的时间，提供高质量的管理数据( 非营运数据) 。 另外，目前，企业信息化建设呈现出“数据集中化、业务综合化、管理扁平化、决策科学化” 的发展趋势。面对激烈的市场竞争，许多大型企业纷纷实施“以客户为中心，以服务求发展”的经 营策略。如何优化客户关系，增强企业的竞争优势已经成为现代企业关注的焦点。现有的应用系统 往往以“产品”为中心，以“单据( 票证) ”处理为基础，是面向联机事务处理( o n l i n e t r a n s a c t i o n p r o c e s s i n g 简称o l t p ) 的系统，而以客户为中心的经营管理模式要求对现有业务系统的数据进行 有效的集成并加以重组，建立面向联机分析处理( o n l i n ea n a l y s i sp r o c e s s i n g ，简称o l a p ) 的系 统。通过分析客户的行为，掌握不同类型客户的特征，进而为客户提供更加优质的服务尤其是个 性化的服务，同时全面掌握并理解、分析企业业务的发生情况，充分发挥企业现已积累的数据，为 各级管理人员提供科学化管理和决策的有力依据，以提高企业的经营业绩，保证利润的持续增长。 针对以上这些问题，人们尝试对d b 中的数据进行再加工，形成一个综合的、面向分析的环境， 以更好地支持决策分析，从而形成了以o l a p 为主要应用的数据仓库技术，它是基于大规模数据库的 东南大学硕士学位论文 决策支持系统环境的核心，它支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。 其主要功能是将决策支持所需的信息从企业的日常营运数据中分离出来，把分散的难于访问的营运 数据转化为集中统一、随时可用的信息，同时提高访问和处理数据信息的速度和效率。其关键是实 现数据向信息转化。 1 1 2 数据仓库的发展历程 数据仓库的概念最早是由w i l l i a m1 4 i n a o n 在“b u i l d i n gt h ed a t aw a r e h o u s e ”一书中提出 的，他是这样定义的：“数据仓库是一个面向主题的、集成的、随时间变化的非易失性数据的集合， 用于支持管理层的决策过程。” 数据仓库的初始阶段是面向批处理的决策支持能力。数据仓库的初始目的是收集、清理和集 成组织内的数据，这些数据用来产生报表和查询，以支持决策的制定。随着组织对数据仓库的熟悉， 数据仓库越来越好的利用了它们的能力支持预测分析来驱动商业决策，从分析市场将要发生什么变 化，到分析市场正在发生什么变化，到基于事件触发、控制市场朝着自己想要的方向发展 8 。如下 图所示： 1 1 3 数据仓库的发展现状 数据仓库的概念一经提出，立即引起了国内外计算机研究人员、数据库提供商、应用集成商及 许多大公司的极大关注。从1 9 9 5 年起，数据仓库陆续在一些国外的大公司得到实际应用。一方面， 2 东南大学硕士学位论文 他们较早地建立了全面的业务处理系统，有着坚实的数据基础和计算机应用经验，另一方面，他们 面对竞争，要努力提高决箢的科学性，对采用新技术来辅助管理决策有着强烈的兴趣，数据仓库正 好满足了他们这种需要。在国外，政府部门也通过建立数据仓库，来提高业务能力。 数据仓库的确也给建设者带来了巨大的投资回报。据i d c 在1 9 9 6 年的一次9 0 年代前期进行的 6 2 个数据仓库项目调查结果表明：进行数据仓库项目开发的公司在平均2 7 3 年的时间内获得了平 均为3 2 1 的投资回报率。 使用数据仓库所产生的巨大效益同时又刺激了对数据仓库的应用的需求，数据仓库市场得到了 迅猛的发展，其市场需求越来越大，平均每年以4 0 0 的速度扩张。另一方面，数据仓库技术越来 越成熟，生产数据仓库辅助工具的厂家也越来越多，众多的数据库服务器提供商把支持数据仓库作 为新数据库服务器的总要特性。 相比较国外而言，我国的数据仓库应用较晚。第一，数据仓库概念在我国的引入晚于国外；第 二，受我国计算机应用水平的限制；第三，受我国管理现代化、科学化意识的影响；第四，也因我 国用户早期在计算机软件方面投资意识较弱的影响。 近两年来，随着我国计算机应用水平的提高，前几年建立的一些大型业务处理系统运行所带来 的效益日益明显，用户在软件方面的投资意识日益改善，用现代化手段米提高管理水平的意识也越 来越强，一数据仓库在我国一些行业受到青睐。 1 1 4 数据仓库的发展趋势 数据仓库的当前辉煌得益于与之同时出现的数据转换、元数据管理、对称多处理硬什和数据库、 最终用户使用的多维分析工具。数据仓库的新技术将可能是以下几种 9 ： 1 ) 关键业务的数据仓库 数据仓库初期被认为是决策支持系统，但随着数据仓库的发展虽终数据仓库将与操作系统结 合起来提高性能，使整个企业受益，用面向关键业务来描述数据仓库。 2 ) 主动数据仓库 大多数当前的数据仓库是等待分析人员进行分析等待最终用户提问，而下一代的数据仓库它会 主动地、不断地向之间提问，一旦找出合适的答案，他们会向适当的用户发送结果。 3 ) 面向对象的数据仓库 在开发数据仓库的过程中，面向对象技术是很有用的事实。在数据仓库上大量投资将会从关键 业务应用中得到回报，而这些关键业务应用将是一系列应用生产的进程叠加、生成、加强、相互作 用。与此同时，数据仓库也得到了加强，能够更好地支持图像、声音、文本等对象。在数据仓库中 支持多种新对象，加上快速开发，强化信息组织的能力将使面向对象技术更完善。 4 ) 动态查询优化 在数据仓库应用中用户的查询不返回结果或极大地占用系统资源时，用户不得不把这些查询中 断。动态查询优化将解决用户这一问题。通过智能查询优化器对数据结果分布进行统计，它将在访 问数据之前智能地选择最好执行查询的方法，从而使用户快速地得到需要的信息。 东南大学硕士学位论文 主动数据仓库扩展了传统数据仓库的能力： 1 ) 外部人员可以访问数据仓库，如合作伙伴、供应商、客户。 2 ) 组织的所有成员都可以直接的访问数据仓库，包括普通的雇员等。 3 ) 集成、多主题，交叉渠道执行以做到优化交叉组织的商业时机，具有前摄的、交互的特点。 主动数据仓库支持战略和战术的市场决策，这就意味着你的战略分析结果可以转化为具体、详 细的条件、事件下的行动。这样，你每天做的战术决策效用提高了，你使用的数据仓库信息更加有 效率了。一致性的数据使你的职员和合作伙伴更好做出符合事实的、精确的、有见地的决策。 因此，建立主动数据仓库可以使你更接近你的客户，优化供应链，确保制造质量，精确的追踪 商品的流动，计划和管理成功的商业活动，使销售自动化，指导你完成新经济环境下的各种紧急的 商业分析。主动数据仓库需要一个可扩展的、高性能的数据仓库解决方案，需要实时数据仓库的支 持。 在设计一个常规的、静态的数据仓库之外，建立一个实时的分区，其在物理上和管理上都独立 于传统的数据仓库。存储实时分区的系统成为o d s ( 操作数据存储) 。o d s 处于业务系统和数据仓库 之间，具有实时的、常变的、当前的、临时的等特点。d w 的体系结构变为：源数据一o d s d w o l a p 。 但是实时分区必须满足： 1 ) 在静态数据仓库更新前，承担所有的查询操作。 2 ) 在粒度和内容上与静态数据仓库的事实表能够吻合链接。 3 ) 支持查询的高响应 1 2 制造执行系统( 艇s ) 的发展背景、现状及方向 1 2 1 制造执行系统的发展背景 随着现代社会的飞速发展，被视为“夕阳产业”的制造业所面临的形势越米越严峻。许多人认 为制造业似乎没有什么发展前途了，纷纷把注意力集中到了一些新兴产业上，忽视了制造业的发展。 其实，作为人类发展的基础产业，制造业的生命力是永恒的的，关键是如何使它随新时代的要求而 不断变革，成为新时代的制造业。当前，制造业面临的市场状态包括两个方面：一方面，市场对多 样化产品需求增加，产品更新换代速度加快，制造业必须向多品种、小批量的生产方式发展；另一 方面，所有的制造商都必须以高质量、低价格的产品来争夺客户。 经济全球化的进一步推进，国际制造企业之间的竞争更加激烈，这就要求制造业企业必须尽量 降低成本，同时迅速应对市场的变化。作为“世界工厂”的中国企业如何应对这样的国际形式一一 信息化改造成为最佳的选择。作为近年来企业用户大力追捧的e r p ，在中国企业当中似乎有些水土 不服，其实施成功率低是一个不争的事实。即使在一些比较成功的案例当中，随着信息化的推进， 关于e r p 的问题也逐渐显现出来一- - n 造企业最关心的如何生产的问题，在e r p 系统当中不能给出 4 东南大学硕士学位论文 令人满意的结果因此如何控制生产过程成为问题的关键。在这样的背景下，制造执行系统( m e s ) 应运而生。 制造执行系统的出现主要是传统的面向大规模制造的生产管理系统e r p 越来越表现出了不足。 主要体现在以下四个方面：1 ) 不正确的产品结构的引入；2 ) 陈旧的工时定额数据：3 ) 不合实际的 提前定义：4 ) 缺乏来自现场的数据反馈。这些缺点的根源就在于生产计划系统与生产控制系统之间 存在一条信息鸿沟车间信息，从而导致e r p 做出的生产计划跟不上变化，对整个车间生产实际 上失去控制。 2 5 许多企业认识到。需要其它系统来解决m r p i i 在这些方面管理薄弱的问题。于是，为了满足销 售、预测的需求，产生了分销资源计划d p r ( d i s t r i b u t i o nr e s o u r c ep l a n n i n g ) 。同样，为了强化 车间的执行功能，制造执行系统( m e s ) 也就应运而生。 1 2 2 制造执行系统的发展现状 制造执行系统作为生产形态变革的产物，其起源大多源自工厂的内部需求，传统的 m e g ( t r a d i t i o n a lm e s ，t - m e s ) 就是从7 0 年代的零星车间级应用发展起来的，在积累了相当的经验 后，逐渐形成了一些从事m e s 开发的专业公司，并且其系统也开发出了相当成熟的标准。通常他们 都是针对特定的生产类型，或特定的功能需求而开发出较为标准化的m e s ，并拥有了一定的市场份 额( 例如美国的c o n s i l i u m ，加拿大的p r o m i s e 公司都是开发i c 厂m e s 的知名厂商) 。 传统的m e s ( t r a d i t i o n a lm e s ，t - m e s ) 大致可分为两大类 2 8 ：1 、专用m e s 系统( p o i n tm e s ) 。 它主要是针对某个特定领域的问题而开发的系统，如车间维护、生产监控、有限能力调度或是s c a d a 等。2 、集成m e s 系统( i n t e g r a t e dm e s ) 。该类系统起初是针对个特定的、规范化的环境而设计的， 目前已拓展到许多领域，如航空、装配、半导体、食品和卫生等行业，在功能上它己实现了与上层 事务处理和下层实时控制系统的集成。 虽然，专用m e s 能够为某一特定环境提供最好的性能，却常常难以与其它应用系统集成。专用 的m e s 整个系统重构性能弱，很难随业务过程的变化而进行功能配置和动态改变。集成的m e s ，比 专用m e s 迈进了一大步，具有很多优点：如单一的逻辑数据库、系统内部具有良好的集成性、统一 的数据模型等等。 美国a m r ( a d v a n c e dm a n u f a c t u r i n gr e s e a r c h ) 研究小组在分析信息技术的发展和m e s 应用前景 的基础上，提出了可集成m e s ( i n t e g r a t a b l em e g ，i m e g ) 这一概念。它将模块化和组件技术应用到 m e s 的系统开发中，是两类传统m e g 系统的结合。 从表现形式上看，i m e s 具有专用m e g 系统的特点，即i m e g 中的部分功能可以作为可重用组 件单独销售。同时，它又具有集成m e s 的特点，即能实现上下两层之间的集成。此外，i m e s 还能 实现客户化、可重构、可扩展和互操作等特性，能方便地实现不同厂商之间的集成和原有系统的保 护以及即插即用( p p ) 等功能。 由于工厂可能会从不同的软件供应商购买适合自己的m e s 模块，或将现有系统( 1 e g a c ys y s t e m ) 集成为v i e s 功能的一部分，其结果导致许多工厂的m e s 系统实际上是一个大杂烩。每个系统都有各 东南大学硕士学位论文 自的处理逻辑，数据库，数据模型和通信机制。又因为m e s 应用常常是要满足关键任务的系统，系 统就很难随技术的更新而进行升级。为了实现与外部系统的集成，往往采用a p i 技术，o l a p 技术和 相应的通信机制，这些技术在某种意义上说，也是m e s 功能的核心部分。其中，外部应用系统的调 用和插入使用a p i 的方式，而应用e d i 技术和外部环境进行数据交换。 虽然专用的m e s 能够为某一特定环境提供最好的性能。却常常难以与其它应用集成，集成的m e s 比专用的m e s 迈进了一大步，具有一些优点如：单一的逻辑数据库，系统内部具有良好的集成性， 统一的数据模型等等。但其整个系统重构性能弱，很难随业务过程的变化而进行功能配置和动态改 变。为了解决t - m e s 的不足，可集成m e s ( i n t e g r a t e dm e s ，i m e s ) 逐渐成为人们研究的热点。 尽管m e s 概念和应用系统在国外工业界的推广已经有了相当一段时间。越来越多的企业发现它 能够对生产管理产生意想不到的影响，进而大大改善并提高生产率和生成效益。正是由于这个原因， 在不到十年的时间里，m e s 能够迅速地在国外的企业中推广开来。1 9 9 2 年，以美国的m e s 软件开发 商和销售商为代表，联合北美和其它一些国家的相关公司，成立了以宣传m e s 思想和产品为宗旨的 贸易联合会m e s 国际联合会( m e s ai n t e r n a t i o n a l ) 。m e s a 制定了一系列的研究、分析、开发计 划，目的在于帮助其成员组织在企业界宣传推广m e s 系统。 虽然m e s 近几年在国外产生了巨大影响，但就国内而言，企业界和相关研究单位并没有对这种 思想概念引起足够重视。迄今为止，国内专门介绍m e s 的文章发表数量极少，更不用说开发适应国 情的m e s 应用系统。 1 2 3 制造执行系统m e s 的发展趋势 无论用何种技术来发展系统，制造执行系统m e s 的未来发展趋势主要归纳在以下几个方面： 1 ) 由于用户升级系统的需求总是远远慢于技术的发展，所以m e s 的未来发展方向主要是基于个 人微机环境和应用集中在服务器的客户机制来构建系统，从而减少企业用户在各方面的资金开支； 2 ) 由于工厂各种数据的全面和迅速的管理是提供决策和操作的关键，所以未来的m e s 应用是制 造企业数据更广泛、更深层次的管理。 3 ) 由于企业面临越来越激烈的市场竞争，未来m e s 必须迎合企业“时间就是金钱”的要求，使 系统在较短的实施周期内交付用户并且系统应用后可以有效地缩短企业产品的制造周期； 4 ) 由于m e s 是企业各种系统的集合，因此未来的m e s 系统在功能配置上将具有更大的柔性。 1 3m e s 系统数据仓库的研究背景 m e s 的提出是从三层结构的角度出发进行阐述的。一般来说，企业运作需要3 个层次：计划层、 执行层和控制层。其中计划层包括我们常听到的e r p m r p i i 等，而控制层则是包括可编程控制器 ( p l c ) 、数控机床等在内的加工设备，介于两者之间的就是执行层，m e s 就属于执行层。m e s 的主要 作用就是为计划与生产之间传递信息，成为一个承上启下的“信息枢纽”。从某种意义上来讲，m e s 可以消除企业计划与生产控制间信息的“断层”，使企业真正实现“实时反应”。 6 东南大学硕士学位论文 然而m e s 并不是取代了企业资源计划( e r p ) ，e r p 消除了企业信息化的孤岛，她把企业财务管 理、分销以及m r p 等整合在了一起，但是由于其只关注结果，而缺乏对过程的控制，因此缺乏对生 产过程的实时监控，导致企业上层计划缺乏有效的实时信息支持；下层与车间层无法进行良好的双 向信息流交互，企业难以实时反应。m e s 完全不同，她可以对企业当中所有的流程和数据进行实时 的控制，其情形就如同一个遍布于企业每个角落的神经网络，通过该系统企业可以及时了解自身 的所有信息，并及时给予回馈和决策，解决企业随时可能遇到的问题。 同e r p 相比，m e s 在对生产情况的控制和对物流作业任务的执行等方面根具有优势。首先，m e s 最大的优势是可以对当前的事件和现场状况进行实时监控，同时可以触发例外事件管理，当企业有 临时定单加入生产流程、或者有其他意外情况影响生产时，m e s 可以在第一时间及时通知所有有关 人员，并保证在最短时间内得到解决 2 7 。 其次，与e r p 的“推式生产”不同，m e s 是“拉式生产”。采取这种生产方式的优势在于企业的 生产根据订单来决定，因此更有利于采用精益生产j i t 等先进制造加工理念。 从管理粒度上讲，e r p 只能管理到工作中心和工单级别，而m e s 可以在整个接受、生产和交互 的流程中，将管理粒度精细到工作中心的每一个装备或者机器、工单中的每一项作业和步骤，因此， 管理者的触角更加接近一线，而得到的数据也就更加准确。 综上所述，我们可以看出，m e s 的所有优势都取决于它信息量的及时准确。而面对底层控制层 的即时数据库和上层管理层的关系数据库，执行层的数据处理就显得尤为重要。传统的m e s 都是构 建在关系数据库的基础上，但由于关系数据库中的数据缺乏组织性，也没有系统的，集成的历史记 录，这样很难发现有用的信息。 另外我们还考虑到上层e r p 如今也向智能化发展，企业需要e r p 系统不仅能够为企业的事务处 理提供支持，而且能将满足企业日益增长的决策支持需要。传统的关系数据库存储的一般都是短期 数据，关系数据库缺乏数据组织性，没有系统的、集成的历史记录，很难对这些数据做出具体详细 的分析，发现有用的信息，把握企业的发展趋势和市场变化。 数据仓库作为一种新兴并日益成熟的技术引起了人i f i 3 y 泛的重视。d w + d m + o l a p 的结构已被认为 是d s s 的有效解决方案 4 。与传统的面向事务性处理的数据库相比，数据仓库面向复杂的分析型数 据，解决了数据集成、数据综合，数据不一致等问题，并能有效地为决策提供实时的信息服务。 根据以上的分析，本课题正是在解决企业间异构数据库的集成，以及上层对分析型数据的需求 的背景下提出的。 目前m e s 在国内还处于起步阶段，至今成功处理m e s 中的数据的厂商还很少，如2 0 0 4 年刚刚登 陆中国的一家美国软件厂商a p r i s o 公司。a p r i s o 公司是第一家登陆中国的m e s 厂商，它提出了 “b o t t o m o u t ”概念，并认为该概念是其领先于其他厂商的法宝。“b o t t o m o u t ”就是要将m e s 挖掘 和采集到的各种企业数据和信息向上传递，使之可以贯穿到企业的各个层面，包括传递给e r p 、s c m 或者c r m 等，使企业对执行过程进行分析、改善和控制，以达到及时反应的目的。这其中m e s 采集 的数据和信息包括企业价值链当中协同企业的信息、供应网络中随时变化的事件，以及各个协同流 程，制造产品的每个步骤当中需要的设备、材料等。在信息的采集、挖掘中，必然要用到数据仓库。 东南大学硕士学位论文 1 4 论文的主要工作和各章节安排 本文针对m e s 层的数据处理问题，提出了面向制造执行系统( 肛s ) 的数据仓库理论。课题的主 要任务是；在企业信息系统中构建一个分布式的数据仓库体系，制造执行系统将在数据仓库的分析 环境中更好地发挥作用，并通过数据仓库与e r p 管理层的接口，为e r p 系统提供分析型数据，以供 其决策之用。 重点：( 1 ) 研究数据仓库数据结构的设计方法、数据集成方法、并提高它的实用性。( 2 ) 数据 仓库与m e s 集合，产生了新的数据仓库的构建方法。 各章节的安排如下： 第一章绪论，介绍了数据仓库和制造执行系统的背景、现状及意义，提出了课题研究的背景， 发展现状及不足，并介绍了各个章节的主要内容： 第二章简要叙述了数据仓库技术和制造执行系统的一些基本理论，并指出了它们之间的关系， 以及将两者结合的优点； 第三章论述了i v i e s 数据仓库的数据展现分析技术、数据抽取转换加载技术以及其他的一些相关 技术，并指出了这些技术在数据仓库实际建设中的作用： 第四章给出了数据仓库建设的技术路线以及不足，探讨了一种新的数据仓库建设技术路线。并 改进了原有的基于m e s 系统的数据仓库的体系结构，提出了适合课题需要的双层数据仓库体系结构： 第五章探讨了电厂m e s 系统数据仓库的实现。在探讨过程中，以分析电厂设备调度为主线，研 究了电厂m e s 系统数据仓库的总体结构，指出了m e s 数据仓库设计过程中要注意的关键技术，分析 了数据仓库运行管理方面的一些问题。 东南大学硕士学位论文 第二章m e s 系统数据仓库理论 2 1 数据仓库 2 1 1 数据仓库的概念 传统数据库在联机事务处理( o n l i n et r a n s a c t i o np r o c e s s i n g ，o l t p ) 中获得了较大的成功， 但是对管理人员的决策分析要求却无法满足。为了满足管理人员的决策分析需要，在数据库基础上 产生了能够满足决策分析需要的数据环境一一数据仓库( d w ，d a t aw a r e h o u s e ) 在数据仓库的发展过程中，很多人对此做出了贡献。其中美国的w i l l i a mh i n i n o n | 尊士在 “b u i l d i n gt h ed a t aw a r e h o u s e ”一书中给出了数据仓库的权威定义，他是这样定义的：“数据仓 库是一个面向主题的、集成的、随时间变化的非易失性数据的集台，用于支持管理层的决策过程。” 这是目前关于数据仓库概念公认的摄准确、全面的定义。从这个概念可以看出，数据仓库的目的是 要建立一种体系化的数据存储环境，将分析决策所需的大量数据从传统的操作环境中分离出来，使 分散的、不一致的操作数据转换成集成的、统一的信息，企业内不同单位的成员都可以在此单一的 环境下，通过运用其中的数据与信息，发现全新的视野和新的问题、新的分析和新的想法，进而发 展出制度化的决策系统，并获取更多的经营效益。 2 1 2 数据仓库和数据库分析 数据仓库是数据库发展到一定的阶段的一种必然要求，可以说数据仓库是在数据库发展的基 础上产生的，和数据库有着密不可分的联系，从某种意义上说，数据仓库可以称为大的数据库，只 是按照不同的主题和技术来组织数据。建立数据仓库并不是要取代原有的运作数据库系统，建立数 据仓库的目的是为了将企业多年来已经收集到的数据按照一个统一、一致的企业级视图组织、存储， 对这些数据进行分析，从中得出有关企业经营好坏、客户需求、对手情况、以后发展趋势等有用信 息，帮助企业及时、准确地把握机会，以求在激烈地竞争中获得更大的利益。 传统的数据库系统由于主要用于商业企业的日常事务处理工作，存放在数据库中的数据也就 大体符合操作型数据的特点。而为适应数据分析处理要求而产生的数据仓库中所存放的数据就应该 是分析型的数据。 1 ) 基本任务差异 数据仓库的基本任务和传统的数据库基本任务有很大的区别，由于数据仓库的数据源可以来自 于不同的d b m s 的数据库( 内部数据源) 、不同格式的文件( 外部数据源) 中。这些数据源可以看作 数据仓库中输送数据的管道。在输送数据的过程中，数据仓库的设计者必须考虑如下任务： 将这些数据源的模型转换成通用的描述形式； 9 东南大学硕士学位论文 将同义的数据元素的名称、数据类型、尺寸进行统一的规范，即净化数据元素： 必须从各数据源中抽取子集，为形成数据仓库的整体模型奠定基础； 把相似的数据源集成为统一的资源模型； 通过增加时间戳、来源戳、分割、衍生元素，提供扩展的模型用于存储聚集、概括值，从 而获得数据仓库模型。 2 ) 数据差异 数据库与数据仓库的主要区别就是操作型数据与分析型数据之间的区别。数据仓库的概念是在 传统联机事务处理系统( o l t p ) 长期发展基础上提出来的。也就是说，以数据仓库为核心的分析型 信息系统是在操作型数据处理系统的基础上发展并得到了应用。表2 1 为操作型数据系统与分析型 数据系统的区别 7 。 操作型数据系统分析型数据系统 表示业务处理的动态情况表示业务处理的静态情况 是当前的数据，确保数据更新代表过去的数据 可更新，由录入人员或经过专门培训的输入不可更新，终端用户的访问权限常常是只读 事务而更新的 处理细节问题，数据高度详细受到更多关注的是结论性的数据，是综合 的、或是提炼的、统一的 d b 设计基于e - r 模型，面向应用要实现多维数据存储与访问，数据模型为星 型雪花型，面向主题 操作需求事先可知道，系统可按预计的工作操作需求事先不知道，永远不知道下一步用 量进行优化户要做什么 有许多事务，每个事务影响数据的- d , 部分有数目不多的一些查询，每个查询可以访问 大量数据 对性能要求高对性能要求宽松 面向应用，支持日常操作面向分析，支持管理需求 主用户为业务处理人员主要用户为分析、决策人员 用户不必理解数据库，他们只是输入数据用户需要理解数据库，以从数据中得出有意 义的结论 表2 一l 操作型数据与分析型数据的区别 从表2 1 中可以看出，操作型数据处理系统主要是为自动化生产、精简工作任务和高速采集数 据服务的。它是事务驱动的、面向应用的。它的根本任务就是及时地、安全地将当前事务所产生的 记录保存下来。这些用途准确地说只能归之为数据操作。与之相对的分析型数据系统，其系统的目 标是要对历史数据进行分析，查询较长时间范围内的数据，观察事务数据变化的趋势或分析数据变 1 0 东南大学硕士学位论文 化的规律，为某些问题的决策提供辅助。表2 1 中列出的分析型数据系统的特点可以概括为四点： 数据仓库中的数据是面向主题的、集成的、不可更新的、随时间不断变化的。 1 ) 数据仓库的数据是面向主题的 主题是一个抽象的概念，是较高层次的信息系统中的数据综合、归类并进行分析利用的抽象。 在逻辑意义上，它是对应企业中某一宏观分析领域所涉及的分析对象。面向主题的数据组织方式， 就是在较高层次上对分析对象的数据信息的一个完整、一致的描述，能完整、统一地刻画各个分析 对象所涉及的企业的各项数据，以及数据之间的联系。所谓较高层次是相对面向应用的数据组织方 式而言的，是指按照主题进行数据组织的方式具有更高的数据抽象级别。 传统的操作型系统是围绕公司的应用进行组织的，对于某个主题数据常常分布在不同的应用数 据库中，这样对于各层管理人员的决策极为不利。比如对于一个电厂来说，可能已经有发电信息数 据库、帐务数据库、客户数据库、市场信息数据库。其中发电信息数据库记录了车间发电情况，帐 务数据库记录了客户的缴费情况，客户数据库记录了客户的需求、投诉等情况，后三个都是跟客户 主题相关的。如果使用应用系统直接进行决策支持，则需要访问则三个数据库，将会极大的浪费系 统处理的时间和效率，并且存在数据之间的不一致性和不同步性问题。所以根据实际情况我们可以 选择利润、客户、市场3 个主题对应于某个主题的数据全部存放在同一数据表中，这样决策者可 以非常方便地在数据仓库中的一个位置检索包含某个主题的所有数据。如图2 2 。 应用主鼬 图2 2 数据仓库面向主题的特性 2 ) 数据是集成的 数据仓库中的数据是从原有的分散的数据库数据抽取来的。第一，数据仓库的每一个主题所对 应的源数据在原有的各分散数据库中有许多重复和不一致的地方，且来源于不同的联机系统的数据 都和不同的应用逻辑捆绑在一起；第二，数据仓库中的综合数据不能从原有的数据库系统直接得到。 因此在数据进入数据仓库之前，必然要经过统一与综合，以保证数据仓库内的信息是关于整个企业 的一致的全局信息。这一步是数据仓库建设中最关键、最复杂的一步所要完成的工作有： 要统一源数据中所有矛盾之处，如字段额同名异义、异名同义、单位不统一、字长不一致等。 进行数据综合和计算。数据仓库中的数据综合工作可以在从原有数据库抽取数据时生成但 囝囝囝o 东南大学硕士学位论文 许多是在数据仓库内部生成的，即进入数据仓库以后进行综合生成的。 3 ) 数据是不可更新的 数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是在数据查询的基础上进行 统计、汇总及分析，不同的信息使用者对统一信息源会有不同的结论。因此，数据仓库的数据反映 的应该是一段相当长的时间内历史数据的内容，是不同时间的数据库快照的集合，以及基于这些快 照进行统计、综合和重组的导出数据，而不是联机处理的数据。为了保证分析结果的公正性、客观 性、科学性，原始数据是不可以修改和更新的。数据仓库可以看成是一个虚拟的只读数据库系统。 用户只能通过分析工具进行查询和分析，而不能修改其中存储的数据。 4 ) 数据是随时间不断变化的 数据仓库中的数据不可更新是针对应用米说的，也就是说，数据仓库的用户进行分析处理时是 不进行数据更新操作的。数据仓库中的数据包含着历史信息，系统记录了企业从过去某一时点到目 前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。并 不是说，在从数据集成输入数据仓库开始到最终被删除的整个数据生存周期中，所有的数据仓库数 据都是永远不变的。数据仓库的数据是随时间的变化而不断变化的，这一特征主要表现在以下几个 方面： 数据仓库随时间不断变化增加新的数据内容。数据仓库系统必须不断地生成o l t p 数据库的快 照，经统一集成后增加到数据仓库中去；但对于确实不再变化的数据库快照，如果捕捉到新的数据 变化数据，则只生成一个新的数据库快照增加进去，而不会对原有的数据库快照进行修改。 数据仓库随时间变化不断删去旧的数据内容。数据仓库的数据也有存储期限，一旦超过了这 一期限，过期数据就要被删除。只是数据仓库内的数据时限要远远i 圭于操作型环境中的数据时限。 在操作性数据中一般只保存6 0 9 0 天的数据，而在数据仓库中则需要保存较i 受时限的数据( 如5 年 一1 0 年) ，以适应d s s 进行趋势分析的要求。 数据仓库中包含有大量的综台数据，这些综合数据中很多跟时间有关，如数据经常按照时间 段进行综合，或隔一定的时间片进行抽样等。这些数据要随着时间的变化不断进行重新综台。 因此，数据仓库的数据特征都包含时间项，以标明数据的历史时期。 2 1 3 数据仓库的数据组织 面向主题的特性是数据仓库最重要的特征之一，是数据仓库中数据组织的基本原则。从信息管 理的角度看，主题就是在一个较高的管理层次上对信息系统中的数据按照某一具体的管理对象进行 综合、归类所形成的分析对象。从数据的组织角度看，主题就是一些数据集合，这些数据集合对分 析对象进行了比较完整的、一致的数据描述，这种描述不仅涉及数据自身，还涉及数据之间的联系。 数据仓库中的数据存在着不同的细节级，分别是高度综合级、轻度综合级、当前细节级、早期 细节级。 当前的数据首先进入当前细节级，然后根据应用的需求，通过预运算将数据聚合成轻度综合级 和高度综合级。随着时间的推移，系统中的一些细节数据已经老化了，很少被用户使用，此时，为 2 东南大学硕士学位论文 了节省系统的存储空间，可以将这些老化的细节数据导出到备份设备上 1 4 。 总的说来，数据仓库的这种数据组织方式的核心思想是在系统中保留最有可能被用户使用的数 据，而用户很少使用的数据则备份出系统。在数据仓库中，处理提取和综合后的数据还包括非常重 要的元数据，它描述的是提取和综合后的数据的组织方式。 在数据仓库的数据组织结构中有这样几个重要的概念：粒度、元数据和分割。 1 ) 数据粒度：粒度是指数据仓库中数据单元的详细程度和级别。粒度的具体划分将直接影响数 据仓库中的数据量以及查询质量。数据仓库中的数据粒度可以根据应用的需要采取单一粒度形式或 多重粒度形式。数据仓库是面向0 l a p ( 联机分析处理) 和d m ( 数据挖掘) 的，对于o l a p 和d m 数据 粒度有不同的含义。 o l a p 的一个重要的功能就是向最终用户呈现不同综合程度的数据。第一种粒度就是对数据仓库 中数据综合程度高度一个度量。数据越详细，粒度就越小，级别也就越低：数据综合度越高，粒度 就越大，级别也就越高。对于多维查询来说，可能使用的是细节数据，而对于询问综合性程度高的 问题时使用综合度高的数据所花代价要小的多。因此，在数据仓库中多重的数据粒度是必不可少的。 但是数据仓库最主要的目的是反映企业整体信息，回答综合性问题，如果为了回答许多细节问题， 而使系统的数据量膨胀，从而降低系统的运行效率就背离了系统建设的初衷。我们可以将综合程度 高的数据存放在访问效率较高的磁盘上，而将细节数据定期导出到低速的磁带上。 粒度的第二种形式是针对数据挖掘的。数据挖掘通常会使用非常复杂的算法( 如神经元网络等) ， 其计算的复杂度高，如果将数据仓库中的巨量数据直接运算，则计算时间和空间复杂度将太高，以 至于系统难以承受。因此，在进行数据挖掘时，需要对数据仓库中的数据进行抽样。粒度的第二种 形式就是抽样率，即以一定的抽样率对数据仓库中的数据进行抽样后得到一个样本数据库，数据挖 掘将在这个样本数据库上进行。如图2 3 。 图2 - 3 数据挖掘抽样 2 ) 元数据：元数据是“关于数据的数据”，如在传统数据库中的数据字典就是一种元数据。数 据仓库中的元数据是数据仓库结构的一个重要组成部分，它提供了有关数据的环境，利用元数据能 够有效的管理数据仓库。在数据仓库环境下，主要有两种元数据：第一种是为了从操作性环境向数据 仓库转化而建立的元数据，包含了所有源数据项名、属性及其在数据仓库中的转化；第二种元数据 在数据仓库中是用来和终端用户的多维商业模型前端工具之间建立映射，这种元数据称之为 d s s ( d e c is i o ns u p p o r ts y s t e m ) 元数