（计算机软件与理论专业论文）基于数据仓库的钢铁企业产品分析系统.pdf

东北大学硕士学位论文 摘娶 基于数据仓库的钢铁企业产品分析系统 摘要 数据仓库技术是近年来出现的、发展迅速的一项技术。它可以充分利用存储于数摒 仓库中的已有信息，帮助企业领导层进行正确的决策，使企业能在激烈的市场竞争q ，把 搌先机。报表是企业的领导层了解企业的经营状况、修改制定企业经营策略、做出长远 决策的重要依据，因此报袭的准确性、及时性就显得尤其重要。 本文详细讨论了基于数据仓库的攀钢企业统计系统轨梁厂模块和系统l j 台模块的 设计和实现过程。主要目的是对攀钢轨粱厂生产的重轨、型钢、方钢及圆钢等产品进行 统计分析，并将得到的数据以报表的形式展现出来，企业领导层可以利用得到的数据分 析产品的生产销售情况，优化产品结构。首先简要介绍了数据仓库技术和攀钢产销e r p ( 。企业资源规划) 系统；数据仓库是开发本系统的理论基础，攀钢产销e r p 系统是本 系统的数据源。接着重点讨论了一种e t l ( 抽取、转换、装载) 的实现方法以及攀钢企 业统计系统的数据抽取、转换、加载过程。详细分析了数据从数据源系统到主题，再到 台帐，并最终以报表的形式展现给用户的过程。然后重点讨论了本系统前台模块的设计 及开发，并对其中的“报表查询”、“资源管理”、“报表运行目志”等几个主要的功能进 行了详细讨论。最后重点讨论了攀钢企业统计系统的系统测试与系统实现过程，并对软 硬件设备及网络配置等进行了详细介绍。 基于数据仓库的攀钢企业统计系统能使用户最终使用的报表不仅在效率上，而且存 数据的准确度上都比用户原来使用的系统有了很大的提高，而且其有很好的扩展性，方 便用户以后增加多维分析和决策支持方面的功能，为企业信息化建设的进一步发展奠定 了良好的基础。 关键词 数据仓库；b s 结构；e t l ；e r p 1 i - 东北大学硕士学位论文a b s 豫 凹 p r o d u c ta n a l y s i ss y s t e mf o r i r o na n ds t e e le n t e r p r i s eb a s e do nd a t aw a r e h o u s e a b s t r a c t d a t aw a r e h o u s e ，an e wd a t am a n a g e m e n tt e c h n o l o g yw h i c ha p p e a r e ds e v e r a ld e c a d e s a g o ，i sd e v e l o p i n gr a p i d l y i te n a b l e sp e o p l et ou s et r e m e n d o u sd a t as t o r e di nt h ed a t a w a r e h o u s et om a k ea p p r o p r i a t ed e c i s i o n a n dh e l p sp e o p l et oa c h i e v es u c c e s si nt h es e v e r e c o m p e t i t i o no f t h ew o r l d w i d em a r k e t t h er e p o r tf o r mi sa ni m p o r t a n td e p e n d e n c eo nw h i c t l e n t e r p r i s ec a nk n o wi t sb u s i n e s ss i t u a t i o n ，m a k eo rm o d i f yt h es t r a t e g yo fm a n a g e m e n ta n d m a k eal o n gt e r md e c i s i o n , s ot h ev e r a c i t ya n db e t i m e so f t h e r e p o r tf o r m si sv e r yi m p o r t a n t t h ed e t a i l e dd i s c u s s i o no ft h i st h e s i si n c l u d e st h ed e s i g no fs t e e le n t e r p r i s es t a t i s t i c a l s y s t e ma n di t sr e a l i z a t i o n i t sm a i nt a s k i st o a n a l y z et h e s ep r o d u c t s ，s u c h 船z h o n g g u i ， x i n g g a n g , f a n g g a n ga n dy m m g a n g , w h i c ha r ep r o d u c e di ng u i l i a n gf a c t o r yo f p a n g g a n g , a n d s h o wt h ed a t ai nr e p o r tf o r m s f i r s t l y , t h eb r i e fi n t r o d u c t i o n so fd a t aw a r e h o u s ea n dp a n g a n g s t e e le r ps y s t e mi sg i v e n ；d a t aw a r e h o u s ei st h eb a s i si nd e v e l o p i n gt h i ss y s t e m p a n g a n g s t e e le r ps y s t e mi sd a t as o u r c e s e c o n d l y , t h i st h e s i sg i v e sf l a i li n t r o d u c t i o n so ft h e p r o c e s s i n ga n dr e a l i z a t i o no fe t l ( e x t r a c t ，t r a n s f o r ma n dl o a d ) o fp a n g a n ge n t e r p r i s e s t a t i s t i c a ls y s t e m ，a n da n a l y z e st h ep r o c e s so fm a k i n gd a t af r o md a t as o u r c et oz h u t i 。 t a i z h a n g , a n dr e p o r tf o r m sw h i c hu s e r sg e t t h i st h e s i sa l s og i v e sf u l ld i s c u s s i o no f t h ed e s i g n o f t h es y s t e m sw e b s i t em o d u l e ，a n ds e v e r a lk e yp a g e so f t h em o d u l e ，s u c ha s “r e p o r tq u e r y ”， “r e s o u r c em a n a g e m e n t ，a n d r e p o r tr u n t i m el o g ”f i n a l l y ，t h i st h e s i sd i s c u s s e ss y s t e mt e s t a n di t sr e a l i z a t i o n ，i n c l u d i n gt h es o f t w a r ea n dh a r d w a r ee q u i p m e n ta n dt h en e t w o r k d i s p o s i t i o n p a n g a n ge n t e r p r i s es t a t i s t i c a ls y s t e m ，w h i c hi sb a s e do nd a t aw a r e h o u s e ，c a l lm a k e r e p o r t sm o r ee f f i c i e n ta n dm o r ea c c u r a t et h a nb e f o r e ，a n dh a v ee x c e l l e n te x t e n s i b i l i t y i t sa l s o ag o o db a s i sf o rt h ef l l r t h e rd e v e l o p m e n to f e n t e r p r i s ei n f o r m a t i o nc o n s t r u c t i o n k e y w o r d s ：d a t aw a r e h o u s e ；b ss t r u c t u r e ；e t l ；e r p 珏i | 独创性声明 本人声明所呈交的学位论文是在导师的指导下完成的。论文中取得的 研究成果除加以标注和致谢的地方外，不包含其他人已经发表或撰写过的 研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工作 的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示诚挚 的谢意。 学位论文作者签名：李投 日 期：印护石并j 睁 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论 文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部 或部分内容编入有关数据库进行检索、交流。 ( 如作者和导师不同意网上交流，请在下方签名；否则视为同意。) 学位论文作者签名：导师签名： 签字日期：签字日期： 东北大学硕士学位论文第一章引言 第一章引言 1 1 问题的提出 当前计算机技术在迅猛发展，社会的信息化程度越来越强，信息量急聚增长，大量 的信息来不及组织和处理。原来的数据库系统只能停留在查询、检索和统计等几个方而， 远远没有发现大量数据中所隐含的作用和价值以便利用这些数据进行决策支持。近几 年发展起来的数据仓库技术正是解决上述问题的新技术。 数据仓库不是简单地对数据进行存储，而是对数据进行再组织。各个业务数据库的 数据通过建模，再经过e t l ( 抽取，转换，加载) 处理后按照不同的主题存放在数据仓 库中，原先存放在多个业务系统中的反映企业局部情况的数据经过整理后转换成反映企 业整体情况的信息。企业的领导层可以利用o l a p 处理得到的数据制订相应的策略，并 反馈到业务系统中，最终改善企业的运营。 本谍题作为攀枝花钢铁公司企业统计管理系统的一部分，正好满足了数据仓库技术 在钢铁等需要处理海量数据的行业需要。建立在数据仓库理论基础上的攀钢企业统计管 理系统，完全贯彻集中统计的观点，能比较全面地统计攀钢产销系统覆盖产线的产量、 技术经济指标、收发存等指标。 为了能够及时、准确和全蘧地收集整理攀钢相关统计数据并按设定的统计指标体系 进行定期统计汇总，满足企业领导层进行管理和决策的需要，满足企业外部( 包括各级 政府部门和其他外部使用者) 了解掌握公司生产经营管理情况的需要，攀钢决定在整体 产销系统中增设统计系统攀钢( 集团) 公司企业统计管理系统。 1 2 数据仓库在钢铁企业中的应用现状分析 在国外，数据仓库技术已经开始了大规模的应用，产品的功能也日渐完善，可以很 好的满足各种需求1 2 6 1 。一些钢铁企业在数据仓库的研究和应用方面都明显迮在了我国钢 铁行业的前面。在上世纪9 0 年代，奥钢联就已实现了对熟轧产品的性能质量参数进行 精确预报，新曰铁则通过优化过程控制系统，缩短了新材料和新工艺流程的开发周期。 韩国浦相钢铁公司在钢铁生产中运用了数据仓库技术来管理产晶质量信息，取得了良好 的效果。雨钢铁市场的国界保护作用不断削弱，我国的钢铁企业要想在国际市场上占据 自己的一份市场，就必须迎头赶上，不断汲取外界的先进经验，培育和增强自身的核心 竞争力。 1 东北大学硕士学位论文第一章引言 在国内，数据仓库技术的应用主要是从九十年代中期开始，但是只是研究了数据仓 库的概念，没有进行数据仓库的深入研究。到了九十年代术开始了数据仓库平台的研究。 近年来数据仓库在钢铁、银行等需要处理大量数据的行业得到了越来越广泛的应用。宝 钢就已经在数据仓库应用方面取得很好的经验，每天联机分析处理1 6 0 0 多条信息，为 宝钢的经营决策提供了有力的数据支持。但数据仓库在国内钢铁行业的大规模应用，日 前主要的障碍还在于钢铁企业对数据仓库的认识上。只有切实的认识到知识管理同样能 够提升企业业务能力和价值，才能真正深入到企业的应用中去。随若我们经济的发展， 各钢铁企业已经充分认识到了实施企业信息化战略的重要性，纷纷开始了e r p 系统的 建设。在完成了e r p 系统的建设后就可以建立数据仓库系统以满足企业决策的需要。 本课题以攀钢企业统计系统轨粱厂模块和系统前台模块的开发为背景，提出了一种 适合钢铁企业实施数据仓库项目的可行的解决方案。 1 3 本文的主要工作 本文是结合我在上海宝信软件股份有限公司参与开发攀钢企业统计系统的过程总 结写出来的。主要做了以下工作： ( 1 ) 引言，说明本课题的研究背景，并对数据仓库在国内外钢铁企业中的应用现状 进行了分析。 ( 2 ) 讨论了一些有关数据仓库技术的概念、体系结构及建立数据仓库步骤等知识。 同时还简要介绍了作为攀钢企业统计系统数据源系统的攀钢产销e r p 系统及本人具体 开发的攀钢轨梁厂的业务逻辑。 ( 3 ) 介绍了一种e t l 的实现方法，我们在开发攀钢企业统计系统的过程中也是使 用的这种方法。 ( 4 ) 建立了攀钢企业统计系统数据仓库。完成攀钢企业统计系统的系统设计和详细 设计，详细讨论了攀钢企业统计系统从数据源到主题层数据，再到台帐层数据，最后在 报表层展示给用户的数据e t l 的过程。 ( 5 ) 完成攀钢企业统计系统的系统絮构设计以及系统前台模块的开发，并对其中几 个主要的页蕊做了详细讨论。 ( 6 ) 完成攀钢企业统计系统的系统测试与系统实现，并对系统的软硬件设备及网络 配置等进行了详细介绍。 ( 7 ) 结论与展望。 2 一 东北大学硕士学位论文第二章数据仓库技术及攀铜产销系统简介 第二章数据仓库技术及攀钢产销系统简介 2 1 数据仓库技术概述 2 1 1 数据仓库的概念及其特点 数据仓库是一个面向主题的、具有集成性和相对稳定性、反映历史变化的数据集合， 用二f 支持管理决策【1 1 。数据仓库面向分析型数据处理，它不同于企业现有的操作型数据 库：数据仓库是对多个异构的数据源的有效集成，集成后按照主题进行重组，并包含历 史数据，而且存放在数据仓库中的数据一般不再修改。 数据仓库在实际应用环境中主要有以下几个特点1 2 】： ( 1 ) 面向主题 面向主题是数据仓库中组织数据的基本原则，数据仓库中所有数据都是围绕某一主 题组织而展开的。数据仓库的用户大多是企业的决策者，这些人所面对的往往是一些比 较抽象的、层次较高的决策分析对象。例如，企业中客户、产品、供应商等都可作为主 题看待。从信息管理角度看，主题就是在个在较高管理层次上对信息系统中的数据按 照某一具体目标进行综合、归类所形成的分析对象；从数据组织角度看，主题就是一些 数据集合，这些数据集合对分析对象进行了比较完整、一致的数据描述，这种描述不仅 涉及数据自身，还涉及数据之间联系。 ( 2 ) 数据的集成性 数据仓库中存贮的数据是从分散的各应用模块中抽取出来的，但并不楚原有数据的 简单拷贝，而是经过了一个统一、综合的过程。第一，数据仓库的数据不能宜接从原自 数据库系统得到，原有数据库系统的记录是每一项业务处理的流水账，这些数据不适合 决策分析，在进入数据愈库之前必须经过综合、计算，抛弃决策分析不需要的数据，增 加一些可能涉及到的外部数据；第二，数据仓库每个主题所对应的源数据在原来分散的 数据库中存在熏复或不一致，必须将这些数据转换成全局统一的数据，消除不一致或错 误的地方，确保数据的质量。 ( 3 ) 数据的非易失性 数据非易失性指数据仓库中的数据不经常进行更新，因为数据仓库中的数据大多是 过去某一时刻的数据，主要用于查询。业务系统中的数据，需要经常被更新、添加。数 据仓库的操作除了进行查询以外，还可定期进行数据的加载，追加源数据中新产生的数 3 东北定学硕士学位论文第二章数据仓库技术及攀钢产销系统简介 据。数据在追加以后，一般不再修改，因此在数据仓库中可以通过使用索引、预先讨算 等方式提高数据仓库的查询效率。数据的非易失性，可以支持不同的用户在不同的时间 查询相同的问题时，获得相同的结果，消除了以往在决策分析过程中面对同一主题时， 得到不同结论的问题。 ( 4 ) 数据的时变性 数据的非易失性是针对应用而言的，即用户进行决策分析时对数据不进行更新操 作。但数据进入数据仓库后并不是一成不变的。数据仓库中的数据随时间推移而被定期 更新，每隔一定的固定时间后，现有业务数据库中的数据被抽取、转换后添加到数据仓 库中，而数据仓库中的原来数据继续保留，如同“定期摄影术”，每隔一周、一月或适当 的间隔照一张像。随着时间的推移，为适应形势的要求，数据以更高的层次被不断地综 合。当数据的历史超过了数据仓库的存储期限，或对分析不再有用时，将从数据仓库中 删除。 2 1 2 数据仓库系统的体系结构 数据仓库的典型系统结构阎如图2 1 所示，主要由以下几部分组成：数据抽取、转 换和集成( e t l ) 工具、数据仓库数据库、数据库管理系统、前端展现工具( o l a p ， 查询分析，报表等) 和数据挖掘工具。数据仓库前端展现工具不仅仅能作一般的查询， 还具有强大的分析能力，它是数据仓库系统的重要组成部分。 数据源 数据源数据源 图2 1 数据仓库的典型系统结构 f i g 2 1t h et y p i c a ls y s t e mf r a m e w o r ko f d a t aw a r e h o u s e 4 东北大学硕士学位论文 第二章数据仓库技术及攀钢产销系统简介 整个系统结构由以下模块组成： ( 1 ) 数据抽取、转换和集成( e t l ) 工具 对多个内容相关，物理和逻辑上都相互独立的数据源中的数据进行分类、综合、转 换等操作，提取面向主题的、符台分析要求的数据集合，并加载到数据仓库数据库中。 同时负责获取数据源的修改内容，追加到数据仓库中。 ( 2 ) 数据仓库元数据管理 主要通过数据仓库中的元数据对熬个数据仓库的大基数据进行管理，它不仅负责史 现数据共享、数据安全保密和数据仓库维护，还要为查询和分析提供向导。 ( 3 ) o l a p 、查询分析和数据挖掘工具 数据仓库分析工具就是利用计算机对大规模数据实行管理的同时，对数据库和数掘 仓库中的数据使用一系列方法，分析大量数据，从中识别、发现和挖掘数据间的相互关 系和潜在的有价值的信息，来帮助我们分析和决策。数据仓库的中的主要分析工具：有 o i 。a p 和数据挖掘。 ( 4 ) 应用接口和前端展现工具 应用接口是数据仓库与应用系统的数据接口，通过接口用户可以实现各种各样的前 端应用，主要是用户查询和各种掇表生成，实现数据的可视化。攀钢企业统计系统使用 的报表工具是s 哆l er e p o r t 。 2 1 _ 3 建立数据仓库的基本步骤 在数据仓库的环境中可以敷用各种不同的数据模型。在设计和完善数据库时，应该 从哪几个层次角度来考虑数据模型的建立。针对这个闯题，不同的模型设计人员和数据 库管理员会有不同的考虑因素。 通常，主要从三个不同的层次加以分析：企业组织的交流、逻辑的表结构、物理的 表结构。 首先从第一个层次看，任何企业都需要一种交流机制保证团体之间的沟通。从本质 上讲，这也正是企业空间模型( b d m ) 的初衷所在。数据模型为企业提供了一种环境， 让企业人员对数据的组织加以理解。那些对数据模型完全不知的人员，往往不能正确的 使用模型，从而被隔离在这个数据交换环境之外。幸好大多数企业人员具备理解b d m 的能力和素质。目前，这种理解通常表现在用户通过商业智能工具进行数据交互的能力。 在传统的系统开发中，很重要的一点就是评价逻辑数据模型并把它转换为合理的、科学 的表结构，这种设计通常集中于运行性能的指标上。而对于现在的空间数据模型，这一 点i e 在逐渐淡化，因为，空间数据模型主要基于快速查询分析的要求，需要保持用户对 5 东北起学硕士学位论文 第二章数据仓库技术厦攀钢产销系统简介 模型的理解度。总之，b d m 的设计要考虑副企业相关人员对数据组织的理解程度。 第二个层次是逻辑袭结构的设计。这一过程也就是将空间数据模型转换为维度表利 事实表的过程。在建立维度表对可能会有多种方案可供选择，但必须考虑的一些重要因 素是：现存的d b m s 的需求、所选择的商业智能( b i ) 2 1 2 其以及数据获取工具等。挟 而言之，逻辑表结构的设计要基于所选择或所能提供的技术手段。任何企业人员对数据 空间摸型的理解都基于所使用的b i 工具，因此既然投资了某种技术，数据模型的设计 就要保证该技术的有效实旋。在逻辑表的设计中，首先要考虑所选择的商业智能工具是 否支持聚合导航，如果不支持，就必须采用传统的模式。其次，在事实表的设计中还要 注意到与维度表主键相匹配的键值，另外还要确定逻辑表中字段的数值类型、长度等等。 最后，还要根据实际的使用效率确定事实表的聚合集。 第三个层次是物理袭的详细设计。这一层次与其他的物理设计没有本质上的区别， 当然翦提是d b a 完全了解所使用的维度结构。如果d b a 对于数据模型没有足够的了 解，所涉及的物理结构通常会违背空间模型的建立原则。在物理表的设计中，要考虑到 数据的物理分区、字段的顺序、行簇的建立和索引的需求等等。 在数据空间模型的设计过程中，设计小组成员之闽要进行确切的分工，并明确其责 任。同时为了保证各项任务的顺利完成，还要进行密切的合作。 数据仓库系统的原始需求不明确，且不断变化与增加，开发者最初不能确切了解到 用户的明确而详细的需求，用户所能提供的无非是需求的大方向以及部分需求，更不能 较准确地预见到以后的需求。 因此，采用原型法跚来进行数据仓库的开发是比较含适的，因为原型法的思想是从 构建系统的简单的基本框架着手，不断丰富与完善整个系统。但是，数据仓库的设计开 发又不同于一般意义上的原型法，数据仓库的设计是数据驱动的。这是因为数据仓库是 在现存数据库系统基础上进行开发，玄着眼于有效地抽取、综合、集成和挖掘已有数掘 库的数据资源，服务于企业离层领导管理决策分析的篙要。 但需要说明的是，数据仓库系统开发是个经过不断循环，反馈丽使系统不断增长 与完善的过程，这也是原型法区别于系统生命周期法的主要特点。因此，在数据仓库的 开发的整个过程中，自始至终要求决策人员和开发者的共同参与和密切协作，要求保持 灵活的头脑，不做或尽量少做无效工作或重复工作。 对企业自身来说，数据仓库的建设是一个系统工程，是一个不断建立、发展、完善 的过程，通常需要较长的时间。这就要求各企业对整个系统的建设提出个全面、清晰 的远景规划及技术实施蓝图，将整个项酲的实旋分成若干个阶段，以“总体规划、分步 实施、步步见效”为原则，不仅可迅速从当前投资中获得收益，而且可以在已有的基础 6 东北大学硕士学位论文第二章数据仓库技术及攀钢产销承统简介 上，结合其他已有的业务系统，逐步构建起完整、健壮的数据仓库系统。 企业数据仓库的建设通常按照快速原型法予以实施，主要包括：确定范围、环境评 估、分析、设计、开发、测试和运行等几个阶段。同时企业数据仓库又是一个在原型的 基础上进行不断迭代的过程。 2 2 攀钢整体产销e r p 系统简介 2 2 1e r p 的概念 e r p ( e n t e r p r i s er e s o u r c ep l a n n i n g ，企业资源计划) 【4 】是荚国g a r t n e rg r o u p 公司 于1 9 9 0 年提出的，其确切定义是：m r p i i ( 企业制造资源计划) 下一代的制造业系统 和资源计划软件。除了m r p i i 已有的生产资源计划，制造、财务、销售、采购等功能 外，还有质量管理，实验室管理，业务流程管理，产品数据管理，存货、分销与运输管 理，人力资源管理和定期报告系统。 e r p 把客户需求和企业内部的制造活动以及供应商的制造资源整合在超，形成企 业一个完整的供应链，其核心管理思想主要体现在以下三个方丽： ( 1 ) 体现对整个供应链资源进行管理的思想； ( 2 ) 体现精益生产、敏捷制造和同步工程的恩想； ( 3 ) 体现事先计划与事前控制的思想。 e r p 应用成功的标志是： ( 1 ) 系统运行集成化，软件的运作跨越多个部门； ( 2 ) 业务流程合理化，各级业务部门根据完全优化后的流程重新构建； ( 3 ) 绩效监控动态化，绩效系统能即时反馈以便纠正管理中存在的问题； ( 4 ) 管理改善持续化，企业建立一个可以不断自我评价和不断改善管理的机制。 2 2 2 攀钢e r p 系统简介 攀钢企业统计系统是以攀钢整体产销e r p 系统为数据源的，在这一节中简要介绍 一下攀钢整体产销( e r p ) 系统1 3 1 。 攀钢整体产销系统包括销售管理、质量管理、生产管理、出厂管理和财务管理五大 管理模块。 销售管理模块负责产品合同的签订下发、合网结算开票，并对用户合同、资金、服 务进行全方位姣控管理。质量管理模块从产品质量设计开始，以冶金规范和产品规范为 基本依据，对生产过程实旄质量跟踪，在各生产阶段对产品进行过程检验，最终进行产 7 东北大学硕士学位论文g - - 章数据仓库技术及攀钢产销系统简介 品质量判定，在产品出厂时为用户提供质量保证书，实现了对产品质量的一贯管理。 生产管理模块贯彻按合同组织生产的管理理念，功能包括合同管理、计划管理和存 货管理。生产管理模块实现了从炼钢到最终成品的一贯计划管理。出厂管理模块根据合 同确定的运输方式、交货期限和成品的产出情况进行产品出厂和运输管理。 出厂管理模块规范了攀钢产品的出厂运输，缩短了发货周期。财务管理模块通过在 各工序设立抛帐点并实时抛帐，收集、累计生产活动的原始成本交易资料，实现成本帐 务处理自动化，按成本费用最小单位即成本中心归集成本费用，改变了原来按厂核算的 粗放模式，做到按实际成本结转，实现了一级财务核算。 财务管理模块主要包括成本会计管理、厂务会计管理、产副品帐务管理、普通会计 管理、报支管理和固定资产管理等管理功能。 攀钢整体产销系统从计算机体系结构逻辑上设置为四级： ( 1 ) 一级系统为各主体生产厂的基础自动化系统( 简称l 1 ) ： ( 2 ) 二级系统为各主体生产厂产线和主要设备的过程控制系统( 简称l 2 ) ： f 3 ) 三级系统为各主体生产厂生产控制系统，主要包括炼钢、轨梁、线材、热轧和 冷轧生产控制系统( 简称l 3 ) ； ( 4 ) 四级系统为攀钢整体产销管理系统( 简称i a ) 。 由于攀钢整体产销系统用户数多，业务处理量大，且应用系统之间的数据关联较大， 计算机系统架构采用数据库相对集中的三层架构，即前端客户层、中间应用服务层和后 台数据库层。 2 3 攀钢轨梁厂业务逻辑及功能 由予攀铜的业务流程比较复杂，使攀钢整体产销系统申对每个工序，比如孰梁，。、 线材厂、热轧厂、冷轧厂等，实现的功能及其实现方式都不太一样。结合我开发的轨粱 厂的统计模块为例，轨梁厂模块的总体功能如下。 2 3 1 轨梁厂业务流程图 2 3 1 1 物流图 ( 1 ) 轨梁厂大型轧机的物流图如图2 2 所示，它反映了大方坯在轨梁厂大型轧机罩 经过一一系列的加工处理后最终成为成品的过程。 8 东北大学硕士学位论文第二章数据仓库技术及攀钢产销系统简介 圈2 2 轨梁厂大型轧枫物流圈 f i g 2 2t h ef l o wc h a r to f d a x i n gr o l l i n gm i l lo f g u i l i a n gf a c t o r y ( 2 ) 轨梁厂万能轧机的物流圈如图2 3 和2 4 所示，它反映了大方坯在轨梁厂万能 轧机里经过系列的加工处理后最终成为成品的过程。 图2 3 轨梁厂万能轧机物流阁( 第一部分) f i g 2 3 t h e f l o wc h a r t o f w a n n e n gr o l l i n g m i l lo f g u i l i a n g f a c t o r y ( p a r t i ) 一9 一 东北欠学硕士学位论丈 第二章数据仓库技术度攀钢产销系统简介 精钻床丹段卜+ i 取样结果卜_ 叫 工检测p t 叫贴条膨码 j _ _ 叶i 米分橱台拥卜叫檐牯席分段卜叫取样绾果卜_ 叶 工幢涮卜r 叫黠基形鹤 话钻床分段j 叫取样结果卜- + 1 工检测r 厂 贴条形码 蛾未惮剁 匦函亟卜压函亟卜巨亟岖亟卜圈 图2 4 轨粱厂万能轧机物流圈( 第二部分) f i g 2 4 t h e f l o wc h a r t o f w a n n e n gr o l l i n g m i l l o f g u i l i a n g f a c t o r y ( p a r t i i ) 2 _ 3 1 2 业务流程图 ( 1 ) 轨梁厂大型轧机的业务流程图如图2 5 所示，从图中我们可以看出轨梁厂大氆 轧机业务里计划管理、存货管理、合同管理和成本管理之间的关系。 计划管理存货管理合同管理 成本管理 l 作业计划城翻 i 丈方垤_ i 存 _ 乜鼍外肿) 卜i 太方垤糟用充当l f r - ：兰：= l 竺一 作啦计划蠢枷 堕困 1 一 _ - 、i 垃越一十鼾_ - 蔓卜一呻i 音两耳蛛 i 医匦蠡圈匾卤 ( 成车井面档 |方喇_ 威品摩t 曩卜_ _ 叫 准整计划 方啊一出库蕾理 r j 存黄对鞭臂理j 一 醴$黑境 图2 5 轨梁厂大型轧机业务流穗图 f i g 2 5t h eo p e r a t i n g - f l o wc h a r to f d a x i n gr o l l i n gm i l lo f g u i l i a n gf a c t o r y 1 0 东北大学硕士学位论文第二章数据仓库技术及攀钢产销系统简介 ( 2 ) 轨梁厂万能轧机的业务流程图如图2 6 所示。从图中我们可以看出轨梁厂万能 轧机业务里计划管理、存货管理、合同管理和成本管理之间的关系。 计划管理 存货管理合同管理成本管理 太方塥转用充当 l 作业计划豫锚l x 勰p n 聿t 广百晶 作业计划董询j 厂丽菡习 i 台卿履辟 同酾老菇习医磊麦翮 。 f 韭奉秤面挡 j t 孰成品卑瞥俎ii 型蚺赢晶辟f 堆； 准发计捌 电立宴墙倌息董诲 r 1 存童耐帷t 理i - i - 成率 最统 图2 6 轨粱厂) j 能轧机业务流程图 f i g 2 6t h eo p e r a t h a g - f l o wc h a r to f w a n n e n gr o l l i n gm i l lo f g u i l i a n gf a c t o r y 2 3 2 总体功能说明 ( 1 ) 接收电文处理 电文的接收与处理功能是存货管理的核心功能。对l 2 计算机系统发来的生产实绩 及其它信息，系统都要自动地按照设定的处理逻辑进行处理，对电文格式及其内容的正 确性进行校核，记录电文具体内容，并对电文本身做好记录。从而实时掌握材料的各种 变动情况。譬如材料的投入产出、材料质量等级的判定及改判、材料入库出库及库区变 动等等，并以此更新物料状态信息，保持信息和实物的一致。 生产实绩处理功能还是合丽跟踪的基础。生产实绩处理后，存货管理要立即以事件 形式向合同跟踪提供数据，保持合同跟踪的实时性和精确性。实时掌握材料的各种变动 情况，并以此更新存货档，保持实物和信息的一致。它包括：产出实绩实绩变更处理、 入库出库处理、材料信息增加更新取消处理、判废品洲次品余材处理等。 在存货管理系统的相应抛枨点，存货系统根据抛帐规则向成本管理系统提供所需的 基础数据，自动将生产信息转换成为成本信息。 ( 2 ) 电文与实绩查询 存货模块可提供多种生产实绩、质量实绩查询功能。 1 1 东北尢学硕士学位论文t e 2 - 章数据仓库技术及攀钢产销系统简介 电文查询：以电文为查询对象，按照材料号、时间范围、电文号( 事件的编号) 等 进行电文履历及电文的详细内容进行查询； 生产实绩查询：以机组为查询对象，查询某段时间范围内该机组的生产明细及汇总 信息。以炉为查询对象，查询该炉的明细信息。以物料为查询对象，查询该物料的明 细信息。 ( 、3 ) 大方坯去向变更及违规处理 大方坯去向变更处理：对末编入计划的大方坯，可进行去向变更。大方坯去向变更 分两种，老线原料库的大方坯到新线轧制；新线原料库的大方坯到老线轧制：由产销系 统通过终端页面进行操作，并下发电文通知新轨粱l 2 ；老线原料库的大方坯到新线轧 制或新线原料库的大方坯到老线轧制，通过产销系统终端页面进行去向变更，下发新轨 梁去向变更电文，等收到新轨梁l 2 去向变更应答电文后，产销系统自动实现对材料进 行脱合同、换制程、挂合同的功能。若老线原料库的大方坯到新线轧制，产销系统在计 划下达的同时，把材料上的信息下传给新轨梁l 2 。菪新线原料库的大方坯到老线轧制， 等待新轨梁l 2 应答，应答正常后，产销自动实现对材料进行脱合同、换制程、挂合同 的功能。 大方坯违规处理：对入轨粱原料库的大方坯，表面判定码、尺寸判定码均合格，因 某种原因违规，即合同要求缓冷而束缓冷的大方坯，在制品表面处理标志必须不为0 产销系统自动做材料降级，进行材料降级脱合同、清p s r 、a p n 、m i c _ n o 、l i n e _ n o ， 综合判定码为“a ”，等待质量进行降级判定。降级判定结果反馈存货后，产销系统按质 量推荐的冶金规范码( m i c _ n o ) 、产品规范码( p s r ) 、最终用途码( a p n ) 赋到铸坯 表中的m i cn o 、p s r 、a p n ，同时违规标志清空，综合判定码置空，在制品袭面处理 标志为“0 ”。 ( 4 ) 脱合同操作 脱合同操作的说明：产销系统的脱合同功能有两部分，一种是页面操作，见合同管 理的转用充当功能。另一种是存货的功能。对轨粱原料大方坯来说，在大方坯入库时应 缓冷而来缓冷的，即违规的大方坯，存货系统置大方坯的综合判定码为“a ”并自动进 行脱合同处理；对轨梁中闻库的轧批来说，中间材应淬火而未淬火的，存货系统对这批 物料置综合判定码为“a ”，并自动进行脱合同处理。 其它的是接收到页面或电文时在制品表面处理标志非“0 ”时，且表面判定码或尺 寸判定码之一不合格、质量判定的综合判定结果反馈接口中综合判定码为“a ”( 人工待 判) 时系统自动进行处理的。 存货在脱合同处理时，需要把材料上的会同号( o r 赳o e r n o ) 、冶金规范码 1 2 东北大学硕士学位论文 第二章数据仓库技术及攀钢产销系统麓介 ( m i c _ n 0 ) 、产品规范码( p s r ) 、最终用途码( a p n ) 、产线号( l i n e1 0 ) 、赋到原 合同号( o l do r d e rn o ) 、原冶会规范码( o l d m i c n 0 ) 、原产品规范码 ( o l d _ p s r ) 、原最终用途码( o l d a p n ) 、原产线号( o l dl i n e i o ) 字段上，并记 录余材责任人( u n c o m _ p e r s o n 一电文号或程序名) 、余材时间( u n c o m 丁i m e 系统 时间) 、余材原因( u n c o mc o d e 见代码定义) ，然后调用合同跟踪模块合同跟踪事件 收集程序( o f f 0 2 ) ，进行合同跟踪事件处理，事件类别见合同跟踪模块基本设汁书的 总体功能说明部分。 ( 5 ) 算法及公式 钢琏重量= 长度每米重报数 ( 21 ) 钢坯单重= 供线材向方钢重量供线材向方钢搬数 ( 2 2 ) ( 6 ) 淬火说明 对轨梁老线的在线淬火来说，产销系统通过终端页面进行大方坯轧制实绩收集时， 产销系统自动对合同要求淬火而实际未淬火的中间材与正常淬火的中问材区分开米，并 对宋淬火的中间材进行降级处理，脱合同、清产品牌号、清p s r 、a p n 、m i cn o 、置 热处理标志为异常处理，置综合判定码为“a ”，在制品表面处理标志置为“a ”等待质 量降级判定。降级判定结果反馈存货后，产销系统按质量推荐的冶金规范码( m i cn o ) 、 产品规范码( p s r ) 、最终用途码( a p n ) 赋到中间材轧批库存薰表中的m 1 c n o 、p s r 、 a p n ，同时置表面判定码、尺寸判定码为“0 ”，综合判定码置空，在制品表面处理标志 为0 。 ( 7 ) 成本的抛帐说明 存货向成本抛帐关键字为：系统代码+ 交易种类+ 功能+ 机组+ 交易前产副品代码 + 去向+ 质量码+ 序号。 ( 8 ) 其他逻辑处理 在制品转成品的说明：供线材向方钢因质量原因，在供线材时挑出方钢部分，作为 方圆钢成品捆管理，与产销系统页面转换。通过产销系统终端页面供线材向轨粱轧批挑 出方钢作业，输入方圆钢捆号，捆号前九位继承轨梁轧翎计划号，后三位为流水号，表 面判定码、尺寸判定码、缺陷原因，产销系统进行脱合同、脱p s r 、脱a p n 同时置综 合判定码为“a ”等待质量进行最终判定处理，判定有结果后向成本系统抛帐。 抛帐点为机组产出入库、增加入库，对成品，抛帐点为综台判定且产出入库、增加 入库。己抛过成本系统的材料发生实绩变更、二次综合判定需要再次向成本系统抛帐。 抛帐时，先查询产副品会计模块生产抛产副品系统规则衰，形成向成本抛帐信息，插入 产副品会计模块轨梁抛产副品系统界面表记录，更新轨梁大方坯轧制实绩表、c 扣闻库轧 1 3 东北大学硕士学位论文第二章数据仓库技术及攀钢产销系统筒介 批库存量袭及成品材外供捆表的产副品代码，并记录产副品三版数据。对板坯分割成大 方坯的情况，抛第一笔产出帐的同时要抛整个原料的消耗帐，抛第二笔之后的产出帐时 不再抛原料的消耗帐。捆包拆成二个分包与板坯分割相同。 1 4 东北大学硕士学位论文第三章数据仓库中e t l 的实现 第三章数据仓库中e t l 实现 3 1e t l 简介 e t l 是指数据的抽取( e x t r a c t ) 、转换( t r a n s f o r m ) 和加载( l o a d ) ，是构建数据仓 库中极其重要的环，其在数据仓库系统中的位置如图3 1 所示。 ，一、 数据仓库i 多兰篓辜茎： 卜 一， f 一、 e t l 1 一。 1 一一l k 一一o 、 i j 、 弋 裔g l l l j 移 无数据( m m d a t 丑) 匿3 1e t l 在数据仓库系统中的位置 f i g 3 1t h ep o s i t i o nw h e r ee t le x i s t e di nd a t aw a r e h o u s es y s t e m 3 1 1e t l 的功能 e t l 首先要做的是按业务需求从源数据( 业务系统或外部数据等) 中抽取( e x t r a c t ) 数据仓库所需要的数据：然后对抽取出来的数据进行变换( c o n v e r t ) 、转换( t r a n s f o r m ) 、 清洗( c l e a n ) ，去除不必要信息转化为数据仓库要求的统一格式，再进行必要的处理； 晟后，将数据按着物理数据模型定义的数据结构类型装载( l o a d ) 到数据仓库中。这个 阶段必须要考虑到异常情况，比如空值处理、字段类型或长度不符合要求等。 3 1 2e t l 的必要性 e t l 是必要的，这主要是出所抽取的源数据和数据仓库功能决定的。 首先，源数据是分布式异构的。可以是企业内部逝务数据，来自不同的部门，泡有 可能是外部数据，所以为了保证数据仓库的数据是全面的、可信的，必须要把这些不同 来源数据抽取出来，整合在一起。 其次，由于数据来源的多样性，所以数据表示形式崧然不一致，其内容甚至可能相 1 s 柙 东北大学硕士学位论文第三章数据仓库申e t l 的实现 互矛盾。这种情况下，必须要对从各个不同来源的数据进行变换，统一表示形式，同时 对相互矛盾的数据辨识真伪，保证加载到数据仓库数据的统一性和准确性。 再次，由于数据来源的多样性，不可避免地会造成数据的空间和时间冗余度较大， 因此须对数据进行清洗，保证数据的唯一性。 还有，在e t l 过程中，对数据进行适当处理，比如变换、关联、拆分或合并等， 加上时间戳及其他特性，形成符合物理数据模型要求的多维数据，才能将数据顺利加载 到数据仓库中。从用户角度来考虑，经过e t l 将不同来源数据集中到数据仓库中，使 企业有了个更好的信息平台，打破先前部门界限，方便企业内部信息流通，使各部门 得到信息将更方便，这必将提高各部门决策水准。 3 1 3e t l 在数据仓库系统中的重要性 从数据仓库的系统架构可以看出，e t l 是数据仓库中的非常重要的一环。它是承前 启后的必要的一步。相对于关系数据库，数据仓库技术没有严格的数学理论基础它更 面向实际工程应用。所以从工程应用的角度来考虑，按着物理数据模型的要求加载数据 并对数据进行一些系列处理，处理过程与经验直接相关，同时这部分的工作商接关系数 据仓库中数据的质量，从而影响到在线分析处理( o l a p ) 和前端工具处理的结果的质