（计算机应用技术专业论文）企业计量中数据仓库解决方案的设计与实现.pdf

i 一 at h e j 本人声明，所 的研究成果除加以 的研究成果，也不 作的j 剧志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢 = 思0 学位论文作者签名：骨氨i 、l 签字日期：7 叼铷糊 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论 文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部 或部分内容编入有关数据库进行检索、交流。 ( 如作者和导师不同意网上交流，请在下方签名；否则视为同意。) 学位论文作者签名： 签字日期： 导师签名： 签字日期： - 0 - 一 寸 东北大学硕士学位论文摘要 企业计量中数据仓库解决方案的设计与实现 摘要 在我国，随着我国入世步伐的深入，钢铁行业的优惠政策逐步消除，我国的钢铁工 业将面临严峻的挑战，竞争更加激烈。钢铁企业占地面积一般比较大，面积小的有几平 方公里、面积大的有数十平方公里，这使得企业的生产信息难以及时集中，管理决策反 馈缓慢，生产管理过于倾向于以车间为单位。在水、电、气、油等介质的生产、使用、 管理上往往是从局部出发，或依靠经验，没有一个科学的全局的方法，造成企业的能耗 高，浪费严重。因而钢铁公司不仅要改进技术，开发、抢占新市场以便在竞争中取得优 势，而且要不断提高企业的信息化建设。人类社会进入信息社会以来，信息已经成为一 项重要的生产力要素在企业的生存和发展中发挥着越来越大的作用。企业的信息化水平 已经成为衡量企业科技水平和综合力量的重要标志。 本文首先讨论了企业计量的问题和一般过程，研究了钢铁企业计量的存在相关问题 与功能需求。还叙述了企业计量存在诸多与现代信息社会不相称的计量信息采集、计量 信息孤立、计量信息发散、计量信息表达、计量知识发现等问题，并对以上问题的处理 方法做了系统的比较；接着说明了操作层数据库的解决方案，探讨物资计量信息采集、 集中，流体计量信息采集、集中的问题与解决方案；进而研究了基于数据仓库技术的企 业计量解决方案，首先介绍元数据的设计，大概定向了数据仓库服务的对象和内容。再 者，说明了相关数据的提取，清洗、转换与装载。第三、介绍了有关计量数据的粒度划 分、数据存储分割等技术。进一步阐述了数据集市与数据个体的实施表现；而实施结果 与分析，则阐述了具体实施数据仓库解决方案的步骤以及遇到的相关问题，并对相关实 施结果进行了分析与总结；最后，高级数据的发现与分析，重点说明了在实施数据仓库 后，计量信息的高级数据的发现，计量信息的挖掘以及计量有价值数据的分析。 当然，钢铁企业计量数据仓库解决方案的研究，在一定程度上解决了计量信息孤岛， 计量信息发散等一系列问题，是为了企业节能降耗，企业成本标准化服务，最终达到绿 色工业而共同努力。 关键词：企业计量，数据仓库，e t l ，元数据，高级数据，d m 0 l a p - - i _ l 。，r ，1 i t s t u d yo nd e s i g na n di m p l e m e n to fd a t aw a r e h o u s es o l u t i o nf o r e n t e r p r i s em e a s u r e m e n t a b s t r a c t i no u rc o u n t r y , a sw eg of u r t h e ri n t ot h ew t o ，a st h ep r e f e r e n t i a l p o l i c i e sf o rs t e e l i n d u s t r yb e i n gc a n c e l e dg r a d u a l l y , s t e e li n d u s t r yf a c e sat o u g hc h a l l e n g e s ，a l s ot h e c o m p e t i t i o nw i l lb em o r ef i e r c e t h es t e e li n d u s t r y sc o v e r i n ga r e ai sa l w a y sl a r g e ，f r o m s e v e r a lt ot e n sk i l o m e t e r s ，t h i sm a d et h ep u d u c t i o ni n f o r m a t i o nc a l l a tf o c u si m m e d i a t e l y , t h e m a n a g e m e n td e c i s i o nf e e d sb a c ks l o w l y , t h ep r o d u c t i o nm a n a g e m e n tu n i tt e n d st ob et h e w o r k s h o p t h ep r o d u c t i o n ，t h eu s ea sw e l la st h em a n a g e m e n to ft h em e d i ao fw a t e r , e l e c t r i c i t y , g a sa n dt h eo i ld i d n th a v eas c i e n t i f i co ro v e r a l lp l a n , w i t hs t a r t i n gf r o mt h el o c a l o rr e l y i n go ne x p e r i e n c e ，t h i sm a d eah i g he n e r g ya n das e r i o u s w a s t e s o ，t h es t e e li n d u s t r y m u s ti m p r o v et e c h n o l o g y , c a p t u r en e wm a r k e tt o g e ta d v a n t a g e si nc o m p e t i t i o n ，a l s ot h e y m u s ti m p r o v et h ei n d u s t r y si n f o r m a t i o nc o n s t r u c t i o n s i n c et h eh u m a nb e i n gw e n tt ot h e i n f o r m a t i o na g e ，a n dt h ei n f o r m a t i o nb e c o m ea i l i m p o r t a n tp r o d u c t i v i t y f a c t o ri nt h e c o m p a n y sl i v i n ga n dd e v e l o p i n g t o d a y , t h el e v e lo fi n f o r m a t i o nh a sb e c o m ea ni m p o r t a n t s i g n so ft h ee n t e r p r i s e st e c h n o l o g ya n dc o m p r e h e n s i v es t r e n g t h t h i st h e s i sf i r s td i s c u s s e st h ee n t e r p r i s e sm e a s u r e m e n ta n dt h e g e n e r a lp r o c e s s ，t h e n f o c u s e so nt h er e l a t e di s s u ea n df u n c t i o n a lr e q u i r e m e n t so ft h ei r o na n ds t e e le n t e r p r i s e s m e a s u r e m e n t i ta l s od e s c r i b e st h ep r o b l e mo ft h em e a s u r e m e n td i s p r o p o r t i o n a t i n gw i t h m o d e mi n f o r m a t i o ns o c i e t y , s u c ha si n f o r m a t i o n c o l l e c t i o n ，i n f o r m a t i o ni s o l a t i o ni n f o r m a t i o n d i v e r g e n c e ，i n f o r m a t i o nr e p r e s e n t a t i o n , m e a s u r e m e n tk n o w l e d g ed i s c o v e r y , a n dm a k e st h e c o m p a r i s o no ft h es o l u t i o no ft h ep r o b l e mn o t e da b o v es y s t e m a t i c a l l y a n dt h e ne x p l a i n st h e s o l u t i o no ft h eo p e r a t i n gl a y e rd a t a b a s e ，e x p l o r e st h ei n f o r m a t i o nc o l l e c t i o no fm a t e r i a l m e a s u r e m e n t ，a sw e l la st h ef l u i dm e t e r i n gi n f o r m a t i o nc o l l e c t i o n f o rt h ed a t aw a r e h o u s e b a s e dt e c h n o l o g yo fe n t e r p r i s e sm e a s u r e m e n t ，f i r s ti n t r o d u c e st h em e t a d a t a d e s i g n , t h eo b je c t a n dt h ec o n t e n tt h a tt h ed a t aw a r e h o u s es e r v e d ，s e c o n d ，e x p l a i n st h ee x t r a c t i o n ，c l e a n s i n g ， t r a n s f o r m a t i o na n dl o a d i n go ft h er e l a t e dd a t a , t h i r d ，i n t r o d u c e st h et e c h n o l o g yo f d a t a g r a n u l a r i t y , d a t as t o r a g ea n dd a t ad i v i s i o no ft h em e a s u r e m e n td a t a , f i n a l l ye x p l a i n st h e i m p l e m e n t a t i o na n dp e r f o r m a n c eo fd a t am a r ta n dd a t ai n d i v i d u a l f u r t h e ri m p l e m e n t a t i o n r e s u l t sa n da n a l y s i se x p l a i nt h es t e p sa n da s s o c i a t e dp r o b l e mo ft h ed a t aw a r e h o u s e s o l u t i o n s ， 一i i r一 型型堕堡坠l 塑t ! l 型一 u ) d 吣l a l s oa n a l y z e sa n da g g r e g a t e st h er e s u l ta s s o c i a t e d f i n a l l y , t h ea d v a n c e dd a t ad i s c o v e 巧a n d a n a l y s i sa r ei n t r o d u c e d ，e s p e c i a l l yt h ed i s c o v e r yo ft h ea d v a n c e dd a t ao ft h em e a s u r e m e n t i n f o r m a t i o n ，t h ee x c a v a t i o na n da n a l y s i so ft h em e a s u r e m e n ti 1 1 晒n n a t i o na sw e l la l st h eu s eo f t h ed a t aw a r e h o u s e o fc o u r s e ，t h es t u d yo ft h e i r o na n ds t e e le n t e r p r i s e sm e a s u r e m e md a t aw a r e h o u s e s o l u t i o n ，t oac e r t a i ne 斌e n t ，s o l v e st h em e a s u r e m e mo fi s o l a t e di s l a n d so fi n f o n n a t i o n ，a s e r i e so fq u e s t i o n so fm e a s u r e m e mi n f o r m a t i o n d i v e r g e n t i ta i m sa tt h ee n e r g yc o n s m n p t i o n a n ds t a n d a r d i z a t i o no ft h ee n t e r p r i s e s ，a n de v e n t u a l l yt h eg r e e n i n d u s t r y k e y w o r d s ： e m e r p r i s em e a s u r e m e m ，d a t aw a r e h o u s e ，e x t r a c tt r a n s f o m l o a d m e t a d a t a , a d v a n c e dd a t a ，d a t am o d e l & o nl i n ea n a l y t i c a lp r o c e s s i n g - - i i i - l ， j l ， 东北大学硕士学位论文目录 目录 摘亨罢i a b s t r a c t i i 第一章绪论1 1 1 课题的研究背景和意义1 1 2 数据仓库技术2 1 2 1 数据仓库概述2 1 2 2 数据仓库的体系结构3 1 2 3 数据仓库的参照结构6 1 2 4 数据挖掘技术概述7 1 2 5 数据挖掘技术与工具7 1 3 钢铁企业计量的现状8 1 3 1 本钢计量基本情况8 1 3 2 本钢计量信息网络基本情况9 1 3 3 计量信息网系统目标9 1 3 4 本钢计量信息网建设的主要性能指标1 0 1 3 5 定义11 1 4 本论文的主要研究内容1 2 1 5 本论文的安排1 2 第二章企业计量的相关问题与功能需求1 5 2 1 基本业务需求1 5 2 1 1 项目开发基本任务1 5 2 1 2 计量信息网的服务与对象与功能要求1 5 2 1 3 本钢计量信息网的能源计量管理需求1 6 2 2 详细业务需求1 7 2 2 1 能源计量结算品种1 7 2 2 2 统计与结算要求1 8 2 2 3 台帐要求18 2 2 4 历史曲线18 2 2 5 日报表19 2 2 6 小系统日报表19 2 2 7 小系统平衡统计与分析1 9 一i v 东北大学硕士学位论文 目录 2 2 8 分品种报表2 0 2 2 9 各单位能源消耗计量月报表2 0 2 2 1 0 公司主体厂矿主要能源指标数据分析2 1 2 3 能源计量的基本数据关系2 1 2 3 1 能源数据采集的传递关系2 1 2 3 2 测量点数据属性关系2 2 2 4 物资计量的相关功能2 3 2 4 1 物资量信息功能的设计。2 5 2 4 2 综合信息( 内部) 2 9 2 4 3 综合信息( 外部) 3 0 2 5 系统建设内容3 0 2 5 1 网络系统建设内容3 0 2 5 2 数据库和应用程序建设内容3 0 第三章操作层数据库解决方案设计3 3 3 1 物资量网升级方案3 3 3 1 1 网络建设目标3 3 3 1 2 网络建设的策略3 3 3 1 3 系统的总体结构3 3 3 1 4 网络系统硬件要求3 4 3 1 5 网络安全设计要求3 5 3 1 6 业务功能需求及处理流程3 5 3 2 流体量网设计方案3 5 3 2 1 系统网络结构设计3 5 3 2 2 系统功能结构设计3 6 3 2 3 系统业务流程设计3 8 第四章数据仓库层解决方案设计4 1 4 1 主题域的选型4 1 4 1 1 时间主题4 1 4 1 2 区域主题4 2 4 1 3 用户主题4 2 4 1 4 品种主题4 3 4 1 5 产品主题4 3 4 1 6 异常主题4 3 4 2 数据清洗4 4 4 2 1 对物资信息清洗4 4 一v 一 东北 4 4 4 5 4 6 4 7 第五章数据仓库解决方案的实施4 9 5 1 采集站系统建设4 9 5 1 1 独立运行采集系统4 9 5 1 2 采集系统业务词典维护5 0 5 2 建设计量操作库5 0 5 2 1 数据清洗5 0 5 2 2 数据转换与数据传输5 1 5 2 3 数据轻度归集计算5 1 5 2 4 故障监测51 5 3 建设计量信息网数据仓库5 1 5 3 1 数据归集建设详细过程5 2 5 3 2 异常归集建设详细过程5 4 5 3 3 重点机炉数据归集建设详细过程5 8 5 3 4 建设数据集市5 8 5 3 5 建设计量信息网5 9 5 4 本章小结5 9 第六章实施结果与数据分析6 1 6 1 实施结果6 l 6 2 实施分析6 3 6 2 1 工序能耗6 3 6 2 2 重点机炉工序物耗分析6 4 一v i 东北大学硕士学位论文目录 6 2 3 生产指挥系统6 5 6 2 4 管网运行监测6 6 6 2 5 计量生产运行监测6 8 6 2 6 电力系统6 9 6 2 7 计量结算管理6 9 6 2 8 高级数据发现7 0 6 2 9 高级数据分析7 2 第七章总结与展望7 5 7 1 总结7 5 7 1 1 计量信息网物资部分特点7 5 7 1 2 计量信息网物资部分的技术性能特点7 5 7 1 3 计量信息网流体部分总结j 7 6 7 2 展望。7 6 7 3 计量信息系统完善建议7 8 参考文献7 9 致 射8 3 一v i i 东北大学硕士学位论文 第一章绪论 第一章绪论弟一早殖了匕 本章着重阐述了钢铁企业计量中数据仓库解决方案的研究这个课题的来源及其意 义，以及该技术的当前国内外的现状，最后介绍了本论文的研究内容及论文的安排。 1 1 课题的研究背景和意义 随着信息技术、网络技术和计算机技术的飞速发展，企业中的原始数据是整个企业 的精本所在，著名的数据仓库专家r a l p hk i m b a l l 称：“我们花了2 0 多年的时间将数据 放入数据库，如今是该将它们拿出来的时候了。”经过多年的计算机应用和市场积累， 尤其是钢铁企业保存了大量原始数据和各种业务数据，它是企业生产经营活动的真实记 录，由于缺乏集中存储和管理，这些数据不能为本企业加以利用，不能进行有效的统计、 分析及评估，无法将这些数据转换成企业有用的信息自动的数据收集工具和成熟的数据 库技术导致巨大的数据存储在文件系统、数据库和其它的信息库中。我们会淹死在数 据中，但却为信息、知识所饿心31 由中国钢铁工业协会历时9 个月编写，于2 0 0 6 年1 月发布的“十一五中国钢铁 企业信息化发展建议，建议全面总结了“十五”期间钢铁企业信息化所取得的成就。 “发展快、规模大、起点高、收效大、引进、吸收、消化关键技术并快速使之国产化”是 钢铁企业信息化的显著特点；其效果表现在：促进了企业面向市场，逐步从以产品为中 心向以市场、以客户为中心的转变，满足用户需求；促成了体制创新、管理创新和技术 创新，使流程优化、管理水平提升、管理机构扁平化；推进了通过业务流程重组和i t 平台工具的使用，打破条条块块的信息壁垒和信息割据，有效的解决了信息孤岛，实现 了统一平台上的信息共享；全面加强了企业管理的标准化和规范化；企业信息化成为企 业运作的安全阀，改变了只重结果不重过程的传统管理方式，信息公开，程序透明，运 营规范；企业信息化是企业走向世界实行跨国经营的直通车。 在8 0 年代中期及9 0 年代初，许多企业开始重新设计其商业流程，以期降低成本并 提高效率和竞争能力。同时，这些企业也意识到，要达到这些目的，所需要开发的技术 耗资巨大、复杂且耗时冗长。因此，许多公司转而求助于企业资源规划( e r p b l ) 应用 系统。这些应用系统帮助它们实现了内部商业流程，如计量、财务、制造、库存管理和 人力资源的自动化和优化，从而将企业从战术性的日常商业运作事务中解放了出来。 通过不断采用新的技术手段，推出新的业务模式，企业的发展规模在不断的扩大， 一1 一 y 东北大学硕士学位论文第一章绪论 企业所积累的信息( 包括企业内部业务数据和客户相关数据) 越来越多，如何充分利用 这些信息，为企业的进一步发展服务，已经成为企业急需解决的一个关键问题，8 0 年代 兴起的现场总线技术和9 0 年代兴起的工业以太网技术，沟通了生产过程现场级控制设 备之间及其与更高控制管理层之间的联系，使自控系统与设备加入工厂信息网络，使企 业的信息沟通的范围一起延伸到生产现场。基于现场总线技术和工业以太网技术在钢铁 企业建立覆盖全企业的综合自动化计量系统，可以极大地提高企业的信息化水平。它使 得生产、管理部门及时了解全企业及各车间的水、电、气、油等各种介质的实时和历史 生产、消耗状况，为生产调度提供及时、可靠、丰富的数字依据，使各种介质的生产、 使用、管理从过去的局部的单靠经验的孤立静止状态进入到一个较为全面的整体的瞬时 动态平衡。管理部门在进行生产计划作业时可以做到均衡生产，可以使各种气体介质的 生产、使用、储备相对稳定，可以合理安排检修计划等，从而最终达到促进生产、节能 降耗、提高效益目的。同时综合自动化计量系统作为工业企业网的一部分，能与企业的 信息网融为一体，从而使得生产、决策、经营管理融为一体。当然，这依然存在诸多问 题。 企业如何来面对挑战，适应网络时代发展的需要，我们传统的业务模式和经营理念 正面临强大的冲击，我们必须逐步改变我们的管理方式和业务流程，利用信息时代的技 术优势，更好理解企业所面对的市场环境，更好的分析优化企业内部的业务流程，更好 的协调客户需求与企业发展的平衡关系。 最有效的解决之道，就是建立企业级的数据仓库h 3 ，有效的存储和分析企业的大量 珍贵的数据，从中发现市场变化的趋势、客户的需求、企业的实际经营情况等有用的信 息，为企业的科学化管理决策服务，为企业的深层次发展服务。 1 2 数据仓库技术 1 2 1 数据仓库概述 随着信息技术的不断推广和应用，许多企业都已经在使用管理信息系统处理管理事 务和日常业务。这些管理信息系统为企业积累了大量的信息。企业管理者开始考虑如何 利用这些信息海洋对企业的管理决策提供支持。因此，产生了与传统数据库有很大差异 的数据环境要求和从这些海洋数据中获取特殊知识的工具需要。 1 2 1 1 从传统数据库到数据仓库 随着市场竞争的加剧，信息系统的用户已经不满足于仅仅用计算机去处理每天所发 2 一 一一 东北大学硕士学位论文第一章绪论 生的事务数据，而是需要信息能够支持决策的信息陌1 ，去帮助管理决策。这就需要 一种能够将日常业务处理中所收集到的各种数据转变为具有商业价值信息的技术，传统 数据库系统无法承担这一责任。因为传统数据库的处理方式和决策分析中的数据需求不 相称。这些不相称性主要表现在决策处理中的系统响应问题、决策数据需求的问题和决 策数据操作的问题。如：决策处理的系统响应问题；决策数据需求的问题；决策数据操 作的问题；数据仓库与传统数据库的对比晦1 ，如表1 1 。 表1 1 数据仓库与传统数据库的对比 t a b l e1 1d a t aw a r e h o u s ec o m p a r ew i t ht r d d i t i o nd a t a b a s e 对比内容数据库数据仓库 数据内容当前值历史的、存档的、归纳的、计算的数据 数据目标面向业务操作程序、重复处理面向主题域、管理决策分析应用 数据特性动态变化、按宁段更新静态、不能直接更新、只定时添加 数据结构高度结构化、复杂、适合操作计算简单、适合分析 使用频率高中到低 数据访问量每个事务只访问少量记录有的事务可能要访问人量记录 对响应时问的要求以秒为单位计量以秒、分钟、甚虿小时为计量单位 1 2 1 2 数据仓库的定义与基本特性 定义：“一个面向主题的、集成的、随时间变化的、非易失性数据的集合，用于支 持管理层的决策过程口b 。其特性：面向主题性，数据集成性，数据的时变性，数据的非 易失性，数据的集合性，支持决策作用。 1 2 1 3 数据仓库的未来发展 基于关系对象数据库的数据仓库，网络的影响，操作型数据仓库要求，w e b 中的代 理技术。 1 2 2 数据仓库的体系结构 1 2 2 1 数据仓库的概念结构 从数据仓库的概念结构看，应该包含：数据源、数据准备区、数据仓库数据库、数 据集市知识挖掘库以及各种管理工具和应用工具。如图1 1 。 一3 一 图1 1 数据仓库的概念结构 f i g 1 1c o n c e p t i o ns t r u c t u r eo fd a t aw a r e h o u s e 1 2 2 2 虚拟数据仓库结构 虚拟数据仓库利用描述了业务系统中数据位置和抽取数据算法的元数据直接从业 务系统中抽取查询的数据进行概括、聚合操作后，将最终结果提供给用户。如图1 2 。 图1 2 虚拟数据仓库 f i g 1 2v i r t u a ld a t aw a r e h o u s e 1 2 2 3 数据集市结构 数据集市结构或称为主题结构的数据仓库是按照主题进行构思所形成的数据仓库， 没有一个独立的数据仓库嘲。系统的数据不存储在同一数据仓库中，每个主题有自己的 物理存储区。如图1 3 。 _ 4 一l - l _ - _ l 一 东北大学硕士学位论文 第一章绪论 f i g 1 3s t r u c t u r eo fd a t am a n 1 2 2 4 单一数据仓库结构 将所有的主题都集中到一个大型数据库中的体系结构。数据源中数据被按照同一标 准抽取到独立的数据仓库中，用户在使用时再根据主题将数据仓库中的数据发布到数据 集市中。如图1 4 。 f i g 1 4s i n g l es t r u c t u r eo f d a t aw a r e h o u s e 1 2 2 5 分布式数据仓库结构 在企业各个分公司具有相当大的独立性时，企业总部设置一个全局数据仓库，各个 分公司设置各自的局部数据仓库。局部数据仓库主要存储各自的未经转换的细节数据， 全局数据仓库中主要存储经过转换的综合数据。如图1 5 。 ， 东北大学硕士学位论文第一章绪论 站点a站点b 图1 5 分布式数据仓库结构 f i g 1 5d i s t r i b u t e ds t r u c t u r eo fd a t aw a r e h o u s e 1 2 3 数据仓库的参照结构 数据仓库的基本功能包含：数据抽取，数据筛选、清理，清理后的数据加载，设立 数据集市，完成数据仓库的查询、决策分析和知识的挖掘等操作。 数据仓库的管理层分成数据管理与元数据管理两部分，主要负责对数据仓库中的数 据抽取、清理、加载、更新与刷新等操作进行管理。 数据仓库环境支持层包含数据传输和数据仓库基础两部分。 1 2 3 1 数据仓库基本功能层 数据来源主要包含：业务数据、历史数据、办公数据、w e b 数据、外部数据以及数 据源元数据，数据准备区的功能结构部分由数据标准化处理、数据的过滤与匹配、数据 的净化处理、标明数据的时间戳、确认数据质量与元数据抽取和创建等操作组成，数 据仓库的功能结构部分由数据重整和数据仓库创建以及元数据管理组成，数据集市知 识挖掘库的功能结构与数据仓库的功能结构极为相似，数据仓库的数据存取与使用结 构主要为数据仓库的最终用户提供进行决策分析和挖掘知识的功能。数据仓库的数据存 取与使用结构应该包含数据仓库存取与检索、元数据管理以及数据仓库分析与报告 1 2 3 2 数据仓库的元数据管理层 负责管理数据仓库所使用的元数据，其中包括：数据仓库、数据集市知识挖掘库和 词汇表管理，元数据抽取、创建、存储和更新管理，预定义的查询和报表以及索引管理， 刷新与复制管理，登录、归档、恢复与净化管理阳1 。 6 一一_ 东北大学硕士学位论文第一章绪论 1 2 3 3 数据仓库的环境支持层 数据传输层包含了：数据传输和传送网络，客户服务器代理和中间件，复制系统， 数据传输的安全保障系统 1 2 4 数据挖掘技术概述 1 2 4 1 数据挖掘的发展 在促进数据挖掘诞生、发展和应用的众多原因中主要有：超大规模数据库的出现， 先进的计算机技术，经营管理的实际需要，数据的精深计算能力。 1 2 4 2 数据挖掘的定义 从技术角度看，数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际 数据中，提取隐含在其中的、人们所不知道的、但又是潜在有用的信息和知识的过程n 0 1 。 从商业应用角度看，数据挖掘是一种崭新的商业信息处理技术，其主要特点是对商 业数据库中的大量业务数据进行抽取、转化、分析和模式化处理，从中提取辅助商业决 策的关键知识n 。 表1 2 数据挖掘工具与传统数据分析工具的比较 t a b l e1 2d a t am i n i n gt o o l sc o m p a r ew i t ht r d d i t i o nd a t ao l a pt o o l s 传统数据分析工具( d s s e i s )数据挖掘工具 f t 具特点 回顾型的、验证型的预测型的、发现型的 分析重点已经发生了什么预测未_ ) i 乏的情况、解释发生的原冈 锁定采来的可能客户，以减少未来的销售成 分析目的 从最近的销售文件中列出最大客户 本 数据集大小数据维、维中属性数、维中数据均是少量的数据维、维中属性数、维中数据均足庞大的 启动方式企业管理人员、系统分析员、管理顾问启动与控制数据与系统启动，少量的人员指导 技术状况成熟统汁分析工具已成熟，其他工具正在发展中 1 2 5 数据挖掘技术与工具 1 2 5 1 常用数据挖掘技术 数据挖掘的发展受到数据库系统、统计学、机器学习、可视化技术、信息技术以及 其它学科的影响，例如神经网络、模糊粗糙集理论、知识表示、归纳技术与高性能计算 等。从常用的数据挖掘技术来看可以分成三大类：传统分析类；知识发现类；其它最新 发展的一些数据挖掘技术n 到。 1 2 5 2 常用数据挖掘工具 数据挖掘工具按照使用方式，可以分成：决策方案生成工具、商业分析工具和研究 分析工具三大类；按照数据挖掘的技术可以分成：基于神经网络的工具、基于规则和决 一7 一 东北大学硕士学位论文第一章绪论 策树的工具、基于模糊逻辑的工具和综合性数据挖掘工具等；按照数据挖掘的应用范围 可以将挖掘工具分成专用型数据挖掘工具和通用型数据挖掘工具。 1 3 钢铁企业计量的现状 1 3 1 本钢计量基本情况 本钢计控厂担负着全公司的计量管理和计量检测业务，现有公司进出口和厂际流体 能源计量点( 一、二级计量点) 7 0 0 余个；用于公司进出口和厂际物流的计量衡器计量 点4 4 个，为公司各有关部门提供结算基础数据。据目前掌握的基本数据，全公司各单 位共有工序间物耗、能耗计量点2 6 0 0 多点，各种称量装置2 4 0 多台套。另外，全公司 还有约5 0 0 个一、二级电能计量点和2 0 0 0 多个三级电能计量点。中国计量协会冶金分 会于2 0 0 6 年1 2 月3 - - 5 日在上海召开年会，主题为“计量与节能”，宝钢股份宝钢分公 司能源部技术室主任桂其林做了“能源数据源于计量，节能管理基于数据 的大会主 题报告，我们可以将其含义扩展为“企业数据源于计量，节能降耗管理基于数据”。 目前，公司一、二级流体能源和物质计量设施配备基本齐全，部分已进入计量网络 系统管理，在结算上仍以月结算为主。存在的问题是外进石灰石等个别品种不能1 0 0 检测，而采取抽检方式出数；一些基建工程遗留的计量设施配备不全问题没有彻底解决。 由于历史原因及管理原因，过去三级计量一直是生产厂矿自己管理，负责配备、安 装、使用、维护，有相当一部分测量点不具备安装仪表条件，计量不准，与二级量存在 平衡问题，需制定相应数据平衡标准，主要问题有以下几个方面： ( 1 ) 计量设施配备不全，初步统计缺口在2 0 左右。特别是一些入厂大宗原燃料入 厂后料场二次消耗用量没有检测，进到高炉、烧结、焦炉、锅炉等消耗计量手段不全， 使的生产厂在炼铁原料、焦化焦煤、发电动力煤消耗指标只能按公司制定的考核定额反 推数据，完成指标不是真实数据。 ( 2 ) 有量无数，一些厂矿对三级计量重视不够，车间、工序的物耗能耗数据得不到实 际应用。 为了落实公司提出的“周结周清”，实现三级计量检测1 0 0 的要求，计控厂要“以 信息化带动计量工作”，在完善公司一、二级计量基本设施建设的基础上，强化三级计 量管理，加速计量信息系统建设，采用先进技术和管理手段实现计量数据的实时采集处 理，为公司e r p 系统提供基础数据，并为公司及各厂矿合理调度使用资源，推动工艺 进步提供保证。 一8 一 东北大学硕士学位论文第一章绪论 1 3 2 本钢计量信息网络基本情况 本钢计量网络建设于1 9 9 7 年开始实施，分为物质计量系统和流体计量系统。 物质计量网络建设至2 0 0 0 年在1 2 台主要衡器入网的基础上，实现了对原燃处等8 个单位的数据网络发布和结算。2 0 0 5 年下半年，又对物质计量网络进行了扩展升级改造， 目标是完成公司主要进出口物资计量衡器的网络管理，到2 0 0 6 年5 月底，新的物质计 量系统已经开始投入运行，并已向公司e r p 系统提供实时数据。近期还要进一步扩展 接入点数，实现一、二级计量数据全部入网和部分三级计量数据入网。 流体计量网络先后于2 0 0 0 年和2 0 0 1 年完成一期、二期工程，将1 2 0 多点计量数据和 部分工艺数据入网并通过网页发布方式将信息送到公司。2