（计算机应用技术专业论文）基于数据仓库和olap技术的故障分析应用研究.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 随着计算机技术的发展，信息化已经成为各个产业的必然需求。而且 人们对信息的获取、加工、处理的要求越来越高，传统的操作型数据库已 不能满足管理者决策分析的需求。数据仓库( d a t a w a r e h o u s e ) 和联机分析 处理( o l a p ) 技术作为两种重要的决策支持技术，受到越来越多的关注。 论文结合数据仓库和o l a p 两种技术，实现了以电视机故障分析为主 题的决策系统。研究的原系统是某电视机制造厂的产品信息管理系统，该 系统的作用是记录产品的基本信息以及产品质量检测的信息。管理者希望 利用这些历史数据帮助分析产品质量，发现故障原因，从而调整生产中的 相关环节。新系统的最终目标是实现企业的产品信息管理系统向产品故障 分析系统的转变。 全文围绕着产品故障分析系统的方案、数据仓库的建立、o l a p 多维立 方体的设计实现，以及数据分析客户端的实现展开探讨。首先，分析了原 产品信息管理系统的整体流程，提出基于数据仓库和o l a p 技术的决策分 析系统的方案，并进行了系统的总体规划：其次，根据该系统的需求分析， 建立产品质量分析的数据仓库数据模型，并且实现了数据从数据源到数据 仓库的抽取，清洗和转换过程，完成了数据仓库的生成：再次，在数据仓 库完成数据准备的基础上，探讨应用o l a f 技术进行决策分析，设计并实 现了多维立方体，完成了o l a p 分析服务端。最后，遵循软件工程的思想， 采用甜语言，利用数据访问模型a d o m d n e t ，m d x 等技术，完成了前 端数据展示层的图表分析，初步实现了基于数据仓库和o l a p 技术的决策 分析系统的原型。 从逻辑上来看，系统的整体框架分为四层：前端展示层、o l a p 服务器 层、数据仓库层、业务数据库层。系统最主要的工作是业务数据到数据仓 库的迁移和用户查询分析的实现。最终建立了一个支持动态多维分析，支 持视图可视的故障分析联机处理系统。 关键词：数据仓库，联机分析处理( o l a f ) ，多维立方体，a d o m d n e t 西南交通大学硕士研究生学位论文第h 页 a b s t r a c t w i t ht h ed e v e l o p m e n to fc o m p u t e rt e c h n o l o g y , i m f o r m a t i o n i z a t i o nh a s b e c o m ean e c e s s a r y r e q u i r e m e n t f o ra l m o s te v e r y i n d u s t r y a n dp e o p l e s r e q u i r e m e n tf o ro b t a i n i n ga n dp r o c e s s i n gi n f o r m a t i o nb e c o m e sh i g h e ra n d h i g h e r t r a d i t i o n a lo p e r a t i o nd a t a b a s e 啪n o ts a t i s f yt h ed e m a n do fd e c i s i o n a n a l y s i sy e t a st w ok i n d so fi m p o r t a n td e c i s i o n - m a k i n gt e c h n o l o g i e s ，m o r ea n d m o r ep e o p l ef o c u so nd a t aw a r e h o u s ea n d0 l a p( o n l i n ea n a l y t i c a l p r o c e s s i n g ) n et h e s i sh a sr e a l i z e dt h ed e c i s i o n m a k i n gs y s t e mt a k i n gt vf a u l ta n a l y s i s a ss u b j e c tb yu s i n gd a t aw a r e h o u s ea n do l a p t e c h n o l o g y 硒co r i g i n a ls y s t e m i sac e r t a i np r o d u c ti n f o r m a t i o nm a n a g e m e n ts y s t e m t h es y s t e mi su s e df o r r e c o r d i n gp r o d u c tf i m d a m e n t a li n f o r m a t i o na n dp r o d u c tq u a l i t yi n s p e c t i o n i n f o r m a t i o n n ed i r c c t o me x p e c tu s i n gt h e s eh i s t o r yd a t at oa n a l y s ep r o d u c t q u a l i t y ，f i n d i n gf a u l tr e a s o na n da d j u s t i n gr e l a t e dt a c h e t h eu l t i m a t et a r g e ti st o r e a l i z et h ec h a n g ef r o mp r o d u c ti n f o r m a t i o nm a n a g e m e n ts y s t e mt op r o d u c t q u a l i t ya n a l y s i ss y s t e m 皿et h e s i sd i s c u s s e st h es c h e m eo fp r o d u c tf a u l ta n a l y s i ss y s t e m i ta l s o s t u d i e sh o wt ob u i l dd a t aw a r e h o u s e ，h o wt ob u i l dt h e0 u 蟑c u b e ，a n dh o wt o r e a l i z et h ed i s p l a yl a y e ro fs y s t e m f i r s t t h ea u t h o ra n a l y z e st h ew o r k f l o wo f p r o d u c ti n f o r m a t i o nm a n a g e m e n ts y s t e m ，b r i n g sf o r w a r dt h es c h e m eo ft h e d e c i s i o na n a l y s i ss y s t e mb a s e d0 nd a t aw a r e h o u s ea n d0 l a pt e c h n o l o g ya n d a c c o m p l i s h e st h ep r o g r a m m i n go ft h es y s t e m s e c o n d l y , a c c o r d i n gt o t h e r e q u i r e m e n to ft h es y s t e m ，t h ea u t h o rt r i e st ob u i l dt h ed a t aw a r e h o u s em o d e l o ft h ep r o d u c tq u a l i t ya n a l y s i s ，a n da l s or e a l i z e st h ep r o c e s so fd a t ae x t r a c t i n g , c l e a n i n ga n dc o n v e r s i o nf r o mt h eo r i g i n a ld a t as o u r c et ot h ed a t aw a r e h o u s e t h i r d l y , o nt h eb a s i so ft h ed a t aw a r e h o u s e ，t h et h e s i sd i s c u s s e s0 l a pa n a l y s i s m o d e l m u l t i d i m e n s i o n a lc u b ei sb u i l ta n do i a pa n a l y s i ss e r v i c el a y e rh a s a c c o m p l i s h e d a tl a s t k e e p i n gt ot h et h i n k i n go fs o f t w a r ep r o j e c t , w i t ht h ec 舞 l a n g u a g ea n dt e c h n o l o g ys u c ha sa d o m d n e t , m d x ，t h ea u t h o rc o m p l e t e s t h ed i a g r a ma n a l y s i s t h ea n t e - t y p es y s t e mi sa c h i e v e dp r i m a r i l y i nt h el o g i c ，t h ef r a m e w o r ko ft h es y s t e mi sc o m p o s e do fa n a l y s i sd i s p l a y l a y e r , o l a ps e l n e rl a y e r , d a t aw a r e h o u s el a y e ra n do p e r a t i o nd a t a b a s el a y e r t h ct r a n s f e ro fo p e r a t i o nd a t af r o md a t as o u r c et od a t aw a r e h o u s ea n du s e r s q u e r ya r et h em o s ti m p o r t a n tp a r t si nt h es y s t e m n ep u r p o s eo ft h er e s e a r c h a n dd e v e l o p m e n to ft h e0 l a pd a t aa n a l y s i ss y s t e mi st ob u i l da no n l i n ef a u t t 西南交通大学硕士研究生学位论文第h i 页 a n a l y s i sp r o c e s s i n gs y s t e m w h i c hi s s u p p o r t i n g v i e wa n d d y n a m i c m u l t i d i m e n s i o n a la n a l y s i s k e yw o r d s ：d a t aw a r e h o u s e ；o l a p ；m u l t i d i m e n s i o n a lc u b e ； a d o m d n e t 西南交通大学硕士研究生学位论文第1 页 1 1 研究背景及意义 第1 章绪论 当今的世界正处于一场信息革命之中，伴随着计算技术的迅速发展，信 息处理技术也得到了长足的进步。在过去的几十年中，数据库技术的飞速发 展和采用使人类在自动化生产、信息处理等领域发生了深刻的变革，数据库 技术己成为人类信息和数据处理强有力的工具。随着数据库应用的不断扩展 和深入，很多企业、行业己经建好了业务系统，并且在各部门都积累了大量 数据。社会的发展和进步使人们已经不满足于简单的数据操作，人们希望利 用这些现有的数据进行分析和推理，从而为科学决策提供支持。 传统数据库系统作为数据管理手段，以数据库为中心，进行事务处理、 批处理到决策分析等各种类型的数据处理工作。尽管数据库在事务处理方面 获得了巨大成功，但对分析处理的支持一向不令人满意。人们开始尝试对数 据库中的数据进行再加工，形成综合的、面向分析的数据环境，以更好的支 持决策分析，于是数据仓库技术便出现了。数据仓库从根本上说是一种数据 存储和组织技术，将大量用于事务处理的传统数据库数据进行清理、抽取和 转换，并按决策主题的需要进行重新组织，为数据分析提供高质量的数据源， 从而更好地支持管理决剩t l 。 数据仓库中存储和管理着经过处理的、面向主题的数据集合，这些数据 为各种不同决策需求提供了分析基础，但是还必须有强有力的工具进行分析 和决策。联机分析处理( o n l i n ea n a l y t i c a lp r o c e s s i n g ，0 u 心) 技术就是其中 之一。 o l a p 是基于数据仓库的最重要的多维分析上具。它的目标是满足决策 支持或多维环境特定的查询和报表需求，它的技术核心是多维分析 2 1 。o i _ a p 具有灵活的分析功能、直观的数据操作和分析结果可视化表示等突出优点， 从而使用户对基于大量复杂数据的分析变得轻松而高效，以利于迅速做出正 确的判断，辅助决策。 信息作为一种资源，已经被越来越多的企业所重视，能够比他人更快更 多的获得有用的信息，就意味着在竞争中能够领先一步。基于企业对信息需 求的迫切性和o l a p t 具对信息分析处理的支持，越来越多的公司都意识到 建立o l a p 系统的重要性。因此，在数据仓库基础上；研究如何将o l a p 技 西南交通大学硕士研究生学位论文第2 页 术真正应用到企业中，开发符合企业需求的o l a p 应用系统或应用产品，来 提高企业的决策分析能力有着十分重要的理论意义和现实意义。 数据仓库和o l a p 技术在制造业企业有着广泛的应用前景，因为制造 业的生产环节多，生产流程繁杂，企业的各级管理人员迫切需要面对不同层 次的大量信息迅速做出选择。这就要求各级管理人员能够从大量复杂的业务 数据中获取各自权限内的决策信息，及时把握市场变化的脉搏，做出正确有 效的判断和抉择。特别是随着数据库系统的逐日运行，数据的堆积将越来越 庞大，这种需求就比以往任何时候都更加迫切。从各级决策者的来看，数据 处理的重点应该从传统的业务过程扩展到对业务数据的联机分析处理，并从 中得到面向各种主题的统计信息和决策支持信息。 电视机生产行业是制造业的一个重要组成部分，可以应用数据仓库和联 机分析技术进行产品质量分析，资源优化，生产过程分析等，通过对产品数 据进行分析，可以发现容易产生质量问题的工序以及相关的故障等因素。另 外，在电视机生产企业应用数据仓库系统，具备了两个基本条件：第一，该 行业有较为成熟的联机事务处理系统，它为数据仓库提供客观条件；第二， 该行业面临市场竞争的压力，它为数据仓库的建立提供外在的动力。 1 2 相关技术发展概述 近半个世纪以来，数据管理技术经历了三个发展阶段，分别是人工管理 阶段，文件系统阶段和数据库系统阶段【3 1 。而数据仓库则是数据库技术的进 一步发展。 经历了层次型数据库和网状数据库之后，关系数据库的出现开创了数据 管理的一个新时代。大量新技术、新思路涌现出来并被用于关系数据库系统 的开发和实现：客户服务器体系结构、存储过程、多线索并发内核、异步 i o 、代价优化等等，这一切使得关系数据库系统的处理能力不断完善和强 大。加上计算机硬件处理能力呈数量级的递增，关系数据库最终成为联机事 务处理系统的主宰。整个8 0 年代直到9 0 年代初，联机事务处理一直是数据 库应用的主流。 然而，应用在不断地进步。当联机事务处理系统应用到一定阶段的时候， 管理者们便发现单靠拥有联机事务处理系统已经不足以获得市场竞争的优 势，他们需要对其自身业务的运作以及整个市场相关行业的态势进行分析， 而做出有利的决策。这种决策需要对大量的业务数据包括历史业务数据进行 西南交通大学硕士研究生学位论文第3 页 分析才能得到。在如今这样激烈的市场竞争环境下，这种基于业务数据的决 策分析，也就是联机分析处理，比以往任何时候都显得更为重要。如果说传 统联机事务处理强调的是更新数据牵一向数据库中添加信息，那么联机分 析处理就是从数据库中获取信息、利用信息。因此，著名的数据仓库专家 r a l p h k i m b a l l 写道：“我们花t - - 十多年的时间将数据放入数据库，如今是 该将它们拿出来的时候了。” 将大量的业务数据应用于分析和统计原本是一个非常自然的想法。但在 实际的操作中，人们却发现要获得有用的信息并非如想像的那么容易，这是 因为： 第一，所有联机事务处理强调的是密集的数据更新处理性能和系统的可 靠性，丽联机分析关心的是数据查询的方便与快捷。联机分析和事务处理对 系统的要求不同，同一个数据库在理论上都难以兼顾这两个方面； 第二，业务数据往往被存放于分散的异构环境中，不易统一查询访问， 而且还有大量的历史数据处于脱机状态，这就需要从不同的地方读取数据， 这样就不是很容易，因为这些不同的数据库存储信息的方式不同； 第三，业务数据的模式针对事务处理系统而设计，数据的格式和描述方 式并不适合非计算机专业人员进行业务上的分析和统计 针对这些问题，人们设想专门为业务的统计分析建立一个数据中心，它 的数据从联机的事务处理系统中来、从异构的外部数据源来、从脱机的历史 业务数据中来这个数据中心是一个联机的系统，它是专门为分析统计和 决策支持应用服务的，通过它可满足决策支持和联机分析应用所要求的一 切，这个数据中心就是数据仓库【4 】。数据仓库所要研究和解决的问题就是从 数据库中获取信息的问题。 传统的联机事务处理系统并不单独考虑数据仓库，但实际应用对数据仓 库所能提供的功能却早有需求。因此，许多事务处理系统近年来陷入一个两 难的境地：在现有系统上增加有限的联机分析功能，包括复杂的报表和数据 汇总操作。这一方面严重影响了事务处理联机性能，另一方面统计分析又因 系统结构上的种种限制而不能充分体现。其结果是，应用技术的发展朝着更 加细化，更加专业的方向。在新一代的应用系统中，数据仓库在一开始便被 纳入系统设计的考虑，联机分析应用于普遍的事务处理系统之中。在数据管 理上，联机事务处理和数据仓库在应用中相对独立，使联机事务处理系统本 身更加简洁高效，同时分析统计也更为便利。 西南交通大学硕士研究生学位论文第4 页 1 3 论文的研究内容 文中针对的原系统是某电视机生产厂家的产品信息管理系统。该系统的 作用是记录产品的基本信息以及产品质量检测的信息。通过一段时间的运 行，原系统的数据库里积累了大量有关产品故障信息的数据，而管理者要求 利用这些历史数据帮助分析产品质量，发现故障原因，从而调整生产中的相 关环节。由于电视机生产制造业中故障分析涉及的因素非常多，用传统的 o l t p ( o n l i n et r a n s a c t i o nl h o c e s s , 联机事务处理) 系统不易实现复杂查询分 析，本文结合了数据仓库和o l a p 技术，设计实现电视机故障分析o l a p 系统解决了这个问题。本文所研究的内容如下： 1 ) 根据电视机故障分析的需求，为了分析过程的准确性，要把故障分 析的相关数据抽取转换重新存放。本系统利用数据仓库相关技术，并利用数 据转换服务( d a t at r a n s f o r m a t i o ns e r v i c e s ，d i s ) 来实现数据的提取转换加 载，设计并实现了基于s q l s e r v e r 2 0 0 0 的以故障分析为主题的数据仓库。 2 ) 在构建了故障分析的数据仓库之后，要在其上进行多维分析。根据 联机分析处理( o l a f ) 的相关概念和定义，在充分了解a n a l y s i ss e r v i c e s 体系结构的基础上，根据具体业务创建分析模型，并实现了三个o l a p 多 维立方体，构建了0 u 心分析服务器端。 3 ) 为了使用户能容易查看故障分析的结果，还必须设计实现0 u 啦分 析客户端。本系统中以w i n d o w s2 0 0 3s e r v e r 操作系统为平台，a 晤言为开 发工具，应用a n a l y s i ss e r v i c e s 数据访问模型一一a d o m d n e t 和 m d x ( m u l t i d i m e n s i o n a le x p r e s s i o n s ，多维表达式) ，并利用a c t i v e x 组件技 术来实现对多维数据集的数据表现。从而实现了用户对多维数据集的基于 w e b 方式的个性化查询。 4 ) 本文还研究了构建数据仓库的e t l ( e x t r a c t i o n t r a n s f o r m a t i o n l o a d ) 技术，结合本系统讨论了e t l 的工具选择，实现方法，变化数据捕捉以及 具体的e t l 操作。 5 ) 关于o 乙廿客户端的实现，本文给出了两种不同的方法：e x e c l 局 域网实现方案和利用a d o m d n e t 、m d x 技术实现w e b 解决方案。其中 后者是更加灵活和先进的方法。 西南交通大学硕士研究生学位论文第5 页 1 4 论文的内容安排 本论文共分五章，内容安排如下： 第一章：绪论部分。主要概述了论文的研究背景、研究意义、论文的研 究内容和文章的结构安排。 第二章：系统需求及总体设计。分析了系统需求，阐明了原系统的局限 性以及开发o l a p 系统的要求。另外，介绍了故障分析应用系统的体系结构 和系统的难点。 第三章：系统数据仓库的设计与实现。介绍了数据仓库的基本理论，给 出了数据仓库事实表和维度表的详细设计，说明了数据仓库e t l 过程的设 计实现，讨论了用数据转换服务作为e t l 工具实现数据转换。 第四章：o l a p 系统的设计实现。介绍了在线联机分析的基本理论，阐 明了建立o l a p 系统的两种解决方案，详细说明了后一种方案分析服务服 务器端和客户端的实现方法。讨论a n a l y s i ss e r v e r 体系结构和 a d o m d n e t ，还介绍了o w c ( o f f i c ew 曲c o m p o n e n t s ) 和m d x 多维查 询语句。 第五章：结论部分。 1 5 本章小结 本章分析了传统的操作型数据库的不足，随着大量数据的积累，人们希 望利用这些现有的数据进行分析和推理。因而，以数据仓库技术为基础的联 机分析处理( o l a p ) 技术越来越受到重视，并成为决策分析的重要手段。 本文以电视机生产制造业的故障分析为例，说明了传统的信息管理系统如何 向信息分析决策系统的转交。最后说明了本文主要的研究内容和论文的内容 安排。 西南交通大学硕士研究生学位论文第6 页 第2 章故障分析系统需求及总体设计 2 1 系统设计背景 本系统所要分析的是某电视机生产厂家的产品质量问题，它所涉及的原 系统是为某电视机制造厂家生产部门、采样部门和质检部门编写的产品信息 管理软件 在原系统中，生产部门负责记录完成产品的信息，录入产品的一些属性 信息，如型号、生产线等等。所有的成品都将被录入系统。采样部门负责产 品采样，并录入采样信息。产品采样是指从所有成品中抽取一定数量的产品 进行质量检测，确认是否合格品。采样部门抽取的采样品数量依据事先制定 好的计划，另外这个环节的质量检测只是功能性测试，也就是说工作人员由 电视机工作的特征判断是否是合格产品。质检部门主要由工程师组成，他们 负责检测确认不合格的采样品是否是故障品，并录入相关的故障信息。 原系统的作用是为了管理所有完成产品的信息以及记录产品的采样信 息和质量信息，从而帮助生产部门、采样部门和质检部门完成实时操作的业 务。随着系统的运行，业务数据的积累，原系统数据库中积累了大量关于产 品信息的数据，这些数据中潜藏着产品生产管理的信息，产品采样的信息以 及产品质量信息，用户希望可以从大量的细节数据里发现这些信息，以便来 掌握产品的质量和发现故障原因，更好的制定生产计划和采样计划。 2 2 原系统功能概述 原系统采用了浏览器( b r o w s e r ) 服务器( s e r v e r ) 体系结构，用户可 以通过互联网访问系统。服务器采用了w i n d o w s 2 0 0 3s e r v e r ，数据库系统采 用了s o ls e r v e r2 0 0 0 ，开发语言为c 妒s i n 和j a v e s c r i p t 。图2 - 1 显示了原系 统的结构，首先以批次为单位进行生产的产品数据会被录入系统：采样部门 再从中抽检部分产品录入采样信息，其中会有采样不通过的产品被记录，等 待工程师确认；然后不同部门不同级别的工程师对其检查，确定是否故障件， 查找故障原因并填写故障报告单。 西南交通大学硕士研究生学位论文第7 页 图2 1 系统的结构图 1 成品管理模块 电视机的生产以批次为单位进行，而每个批次中的每台电视机的详细数 据被录入系统。同一批次生产出的产品对应唯一的批次号。 2 采样管理模块 采样模块的目的是为了检测产品的功能特征是否合格。采样的结果有两 种，一种是采样检测合格，没有问题，这部分被记录在q c i _ s a m p l i n g 表中。 另一种结果是产品可能会是合格品也可能是故障品，采样人员由检测特征无 法保证采样品的质量是否合格，这些采样品除了要在q c i _ s a m p l i n g 表记录 外，还要在q c id e f e t 表中记录。 3 故障管理模块 这个模块与采样管理模块存在紧密的衔接关系。在采样管理部分，记录 在q c i表中的采样品并不确定是否故障件，这些数据要交给故障管理defet 模块进一步处理。在这个模块中，处理顺序分为三步。如图2 2 所示： 西南交通大学硕士研究生学位论文第8 页 图2 2 故障管理流程图 2 。3 原系统数据存储方式 原系统是一个事务数据库，数据存储的存储核心是数据项。系统用户通 过w e b 页面输入的数据，被拆分或者转化成不同的数据项进行存取。产品 信息管理模块主要涉及了两个数据表，批次表l o t i n f o 和批次细节表 d i n t c t s e t l o t s 。批次表描述了批次的统计信息，如批次数量等。而批次细 节表则描述了产品的细节信息，如表2 1 ： 西南交通大学硕士研究生学位论文第9 页 表2 - 1 批次细节表d i n t c t s e t l o t s 字段描述 表名：d i n t c t s e t l o t s描述：记录批次细节信息 字段名类型说明 l o t si n t 批次号码 g r o u p v a r c h a r 电视机所属的类别，例 如等离子、液晶等等。 c h a s s i sv a r c h a r 电视机底盘，即外壳。 m o d e l v a r c h a r 电视机型号 l i n e v a r c h a r 生产线 d a t ed a t c t l m e 生产日期 其他 采样管理模块两个主要数据表，采样表q c i _ s a m p l i n g ( s a m p l e _ i d , g r o u p , c h a s s i s ，m o d e l ，s e r i a l ，l i n e ，l o t s ，s a m p l i n g _ d a t e ，s a m p l e _ s h i f t ，s a m p l e _ f r o m ) ； 故障表q c i _ d e f e t ( d e f e t _ i d , s e v e f i t y s y m _ c l a s s ，s y ms u bc l a s s ，c a t e g o r y , r e p a i r e d ，d e f _ l o c a f i o n ，d e f e t _ d a t e ，j u d g e m e n t ) 。采样表记录了所有采样品的 细节信息，如表2 2 ： 表2 - 2 采样表q c i _ s a m p l i n g 字段描述 表名：q c i _ s a m p l i n g描述：记录所有采样品的信息 字段名类型说明 s a m p l e _ i d i n t 采样品编号 s a m p l e _ f r o m v a r c h a r 采样地点，例如生产线上或 仓库。 s a m p l e s h i f t h a t 采样班次，共有四个班次。 l o t si n t 采样品所在批次 s a m p l i n g _ d a t e d a t e t i m c 采样日期 其他 故障管理模块修改的数据表是故障表q c i _ d e f e t ，故障表里记录的产品不 定是故障品，只有j u d g c m e n t 为“r c j e c t e d ”才是故障品，如表2 3 所示： 西南交通大学硕士研究生学位论文第1 0 页 表2 - 3 故障表q c i _ d e f e t 字段描述 表名：q c i _ d e f e r 描述：记录采样检测未通过的产品信息， 包括了所有故障品信息及部分合格品信 息。 字段名类型说明 d e l e ti d i n t 编号 s y m _ c l a s s v a r c h a r故障特征 c a t e g o r y v a r c h a x 故障分类 j u d g e m e n t v a r c h a r “a c c e p t ”合格品， “r e j e c t e d ”故障品 s e v e t i t vc h a r 故障等级 d e l e td a t e d a l f n m e 故障品确认日期 其他 2 4 系统需求分析 改进原系统的目的是为了帮助决策者分析掌握产品的质量信息，找出可 以改进产品质量的环节因素，最终辅助决策者制定更好的方案提高产品质 量。另外，还可以帮助管理者掌握成品和采样品的信息，从而制定生产计划 和采样计划。下面就针对三个功能模块分别说明： 1 成品管理模块 原系统录入了产品的生产信息，并统计了每个批次的产品数量，但是除 了记录产品细节属性的数据和总体概况的数据外，管理者希望尽可能多角度 的分析查询有关因素与产量的关系，从而制定出更好的生产计划、产品计划 等等。相关的需求如下： 1 ) 成品产量与单个因素的关系。比如哪些生产线的产量高( a r c h i v e d 与 l i n e 的关系) ，什么时段是生产的高峰期( a r c h i v e d 与d a t e 的关系) ，哪个批 次的产量最高( a r c h i v e d 与l o t s 的关系) ，哪些类别的产量高( a r c h i v e d 与 g r o u p 的关系) 。 2 ) 成品产量与多个因素的关系，比如：在两个不同生产线上，上月和 本月不同型号的成品产量的比较，这时涉及a x c h i v e d 与d a t e ，l i n e ，g r o u p ， c h a s s i s ，m o d e l 的关系。 总之，生产部门的管理者想要掌握成品产量与相关因素的关系，希望尽 西南交通大学硕士研究生学位论文第1 1 页 可能多角度的分析产量值，在此基础之上管理者可以找出影响产量的关键因 素，从而优化生产管理，在现有条件下，提高生产能力。 2 采样管理模块 采样的准确性会影响下一步对故障产品的统计分析。采样计划是由相关 人员事先凭经验制定的，而实际情况是不断交化的，采样人员实施起来具有 很大的随机性。因此，采样部门主管想要查询分析出采样的某些信息，包括 以下几点： 1 ) 采样覆盖范围是否全面，也就是说采样是否覆盖了所有的生产线、 生产班次、批次、产品类别、底盘、型号等等。 2 ) 采样的数量是否合理，采样的数量是和产量相关的。管理者想要掌 握采样品数量与成品数量的比值，多角度的分析这个度量值才可能分析判断 采样数量的合理性。 3 ) 采样产生的故障品数量。故障品的数量和哪些采样因素有关，哪种 采样方式，哪些采样环节最容易发现故障品。 这些问题的回答可以帮助采样部门制定更好的采样计划，从而保证下一 步对产品质量分析的可信性。 3 故障管理模块 在整个的处理流程结束后，数据库中存在有大量关于故障品的信息，一 个故障品从其在生产过程中的数据到采样过程中的数据，到故障管理阶段的 数据，都可以在数据库中找到。 1 ) 管理者想通过历史数据对产品质量进行分析，比如：查询某批次或 某时段产品质量是否有提高，从而调整生产各个环节，更好的提高产品质量。 2 ) 决策用户想从这些大量的细节数据里发掘出不易察觉的故障原因或 者是验证自己对故障原因的猜测。比如：查询不同生产线的故障率，如果总 是某个生产线偏高，则很有可能是生产线设备或操作管理问题。又如，决策 用户怀疑某种外壳的设计有问题，如果能查询不同外壳的故障率，就可以用 数据证实用户的预测是否合理。 2 5 系统架构设计 故障分析应用系统是一个建立在数据仓库之上，面向分析的o l a p 系 统。它通过数据e t l 过程( 即数据抽取转换装载) 把存储在事务数据库中 的数据抽取出来，进行预处理，存放到数据仓库中的维度表和事实表中，然 后利用o l a p 数据模型，把数据以多维立方体的形式组织存储，最后以可 西南交通大学硕士研究生学位论文第1 2 页 视化多维视图的方式进行输出。故障分析o l a p 系统的体系结构图如图2 3 ： 前端展示层 o l a i 服务器层 数据仓库层 业务数据库层 i 可视化查询分析 f f曰广曰 1 一 ， n 日日日 图2 3 系统体系结构图 如图示，本系统的整体框架分为四层：前端展示层、o u 蟠服务器层、 数据仓库层、业务数据库层。其中o l a v 服务器层的设计实现利用了s q l s e r v e r2 0 0 0 中的a n a l y s i ss e r v i c e s 组件，而系统的难点是业务数据到数据仓库 的迁移和前端用户查询分析的实现。业务数据库层由原系统提供，下面就其 它三层分别说明： ( 1 ) 数据仓库层：把决策主体所需要的数据，从相关的数据源中抽取出 来，进行各种必要的清理、整合和转换等处理，再将这些数据集成，并以一 定的组织结构存储在数据仓库中。在此系统中，数据仓库层是依据原产品信 息管理系统中的数据，通过定期运行e t l i 具数据转换服务中的d t s 包 形成数据仓库中数据。数据仓库是系统数据组织存储的核心，包含了从细节 级、轻度综合、中度综合至高度综合各级粒度的数据层，是按照主题分析的 需要建立的企业级全局数据存储。 ( 2 ) o i a p 服务器层：这一层的实现依靠了分析服务( a n a l y s i s s e r v i c e s ) 。a n a l y s i ss e r v i c e s 系统包括一个服务器，用来构造用于分析的多维 数据集，同时a n a l y s i ss e r v i c e s 将数据仓库中的数据组织成包含预先计算聚 西南交通大学硕士研究生学位论文第1 3 页 合数据的多维数据集，以便为复杂的分析查询提供快速解答。 ( 3 ) 前端展示层：在0 l a p 服务器层的基础上通过a d o m d n e t 技术连接多 维数据源，构建分析决策支持应用，最后按客户机，浏览器等各种接入方式 为用户提供决策分析的结果。 2 6 本章小结 本章分析了系统的需求，概括了原系统的总体结构和主要模块功能， 分析了各个模块对应的o l a p 需求，总结了原系统的局限性和开发o l a p 系统的要求。另一个重要内容是故障分析应用系统的体系结构和系统的难 点。 西南交通大学硕士研究生学位论文第1 4 页 第3 章故障分析系统数据仓库的设计与实施 3 1 数据仓库技术 3 1 1 数据仓库的定义 数据仓库的定义比较经典的有以下几种： 1 ) d a t aw a r e h o u s ei sas u b j e c to r i e n t e d , i n t e g r a t e d , n o n - v o l a t i l ea n dt i m e v a r i a n tc o l l e c t i o no fd a t ai n s u p p o r to fm a n a g e m e n t sd e c i s i o n 【i n n l o n ，1 9 9 6 】 2 ) d a t aw a r e h o u s ei sas e to fm e t h o d s ，t e c h n i q u e s ，a n dt o o l st h a tm a yb e l e v e r a g e dt o g e t h e rt op r o d u c eav e h i c l et h a td e l i v e r sd a t at oe n d u s e r so n a ni n t e g r a t e dp l a t f o r m 【l a d l e y , 1 9 9 7 】 3 ) d a t aw a r e h o u s ei sap r o c e s so f c r a t i n g , m a i n t a i n i n g , a n du s i n ga d e c i s i o n - s u p p o r ti n f r a s t r u c t u r e a p p l e t o n , 1 9 9 5 】【h a l e y , 1 9 9 7 】， 【g a r d n e r1 9 9 8 】 其中最有影响力的是数据仓库之父w h i n m o n 对数据仓库的定义：数 据仓库( d a t aw a r e h o u s e ) 是一个面向主题的( s u b j e c to r i e n t e d ) 、集成的 ( i n t e g r a t e d ) 、反映历史变化的( t i m ev a r i a n t ) 、相对稳定的( n o n - v o l a t i l e ) 数据集合，用于支持管理决策 7 1 。下面就针对数据仓库的这几个特点分别加 以说明： 主题是一个在较高层次将数据归类的标准，每一个主题对应一个宏观的 分析领域。一个主题领域的表来源于多个操作型应用( 如：故障分析主题， 来源于：产品管理；采样品管理；故障品管理；) ，相关的表通过键值联 系起来。 数据仓库的集成特性是指在数据进入数据仓库之前，必须经过数据加工 和集成，这是建立数据仓库的关键步骤，首先要统一原始数据中的矛盾之处， 还要将原始数据结构做一个从面向应用向面向主题的转变。其中的过程包括 数据提取、净化、转换、装载。 相对稳定是指数据经加工、集成进入数据仓库后是极少或根本不修改 的。反映历史变化是指数据仓库是不同时间的数据集合。这两个特点并不矛 盾，在时间维的一点上来看，数据是稳定不变的，但是从时间维的一段上来 看，数据随时间是变化的更新的。 西南交通大学硕士研究生学位论文第1 5 页 3 1 2 数据仓库系统 数据仓库系统是一个信息提供平台，它从业务系统获取数据，以星型架 构和雪花形架构进行数据组织，并为用户提供各种手段从数据中获取信息和 知识。一个完整的数据仓库系统包含几个部分：源数据、e t l 、数据仓库、多 维数据集、前端查询工具、元数据i s 。 从理论上来分，数据仓库系统包括三个基本部分：首先最关键的是e t l ， 即数据抽取( e x t r a c t i o n ) 、转换( t r a n s f o r m a t i o n ) 、装载( l o a d ) ，这个部分 负责从外部数据源获取数据，数据被区分出来，进行拷贝或重新定义格式等 处理后，准备装入数据仓库。然后，是数据存储和管理，这个部分负责数据 仓库内部维护和管理。最后一个部分是信息访问，这个部分属于数据仓库的 前端，面向不同种类的最终用户，主要由查询工具、多维分析工具和数据挖 掘工具等工具集组成，以实现决策支持系统的各种要求 9 1 。 图3 - 1 数据仓库系统的层次模型 3 1 3 建立数据仓库的原因 这里结合原系统说明建立数据仓库的必要性。用一句话概括就是，直接 在o l t p 数据库上产生决策分析结果是比较困难的，这是因为： 1 原系统数据库的高度规范化结构 原系统的数据库采用的是范式化设计，这有利于系统更新数据，但却不 西南交通大学硕士研究生学位论文第1 6 页 利于从数据库中读取信息。当需要从少量表中返回小结果集的查询时，原数 据库当然是很好的选择，但是当用户需要查看大量的信息时，这种查询有可 能会耗费大量时间。 2 原系统数据库的独占规则 当用户想要查询大量信息时，为了得到结果要进行大量表的连接，需要 很多c p u 和磁盘处理，这就减少了其他数据库用户可使用的系统资源，减 慢了他们的事务的执行。特别是要进行大量行的聚集时，将进一步降低在线 事务的性能。这种情况下，一个用户读取行时，其他用户不能修改这些行。 应用这种独占规则，而又没有索引辅助，系统性能会更糟。使用非索引的列 提取数据时，将不德不扫描整个表，如果表有几百万行，其他用户将被阻塞。 3 多个数据源 原系统进行分析所需数据不单存放在s q l 数据库中，还存放在多个独 立的o l t p 数据库中，所以需