（机械设计及理论专业论文）本钢连铸工程基于cs模式的数据仓库应用系统的研究与开发.pdf

摘要 论文主要对c s 模式的数据仓库应用系统进行了研究。 在深入研究了数据库技术、数据仓库技术积c s 模式数据摩成用系统设计 开发技术的基础上，本文完成了本钢连铸离线数据仓库应用系统的设计与开 发。 本钢涟铸离线数据仓库应用系统是典型的c s 模式数据仓库应用系统。其 主要功麓是将连铸在线控涮系统静产晶工艺数鬻离线保存三年班主，并实疆对 这些历史数据的焱询和综合分析。根据系统功能，该系统设计成由数据仓库、 e t t 实用程序和d q a s 三部分缎成。这三部分之闻彼此独立又褶互联系。其 中数据仓库主要用来存储鞠管理离线后的生产工艺数据以供d q a s 使用。e t t 实用程序实现生产工艺数据从在线控制系统向离线数据仓库中转移，并在数据 转移过程哮t 送行必要匏数援绝稳转换。d q a s 则髑来对数据仓库中鲍生产工艺 数据进行查询和分析。 在完戏系统慧体方案设诗爱，分裂对葵三令缀成部分送行了狡诗舞发。为 了满足数据仓库的开放性疆求并确保d q a s 高速运行，数据仓库采用了第三 范式与星黧结构稳结合的形式。为了确傈e t t 实用程净的健轻襁和高效 垡阻 及数据仓库中数据的一致性和完熬性，在e t t 实用程序的设计开发过稷中采 掰了p o w e rb u i l d e r 具有邂辑限制条件的数据管邋技术，并在数据仓库中设置 了时闯标记表和数字标记褒。在d q a s 的设计舞发中，用了p o w e rb u i l d e r 赘于视图的数据窗口技术以增强d q a s 的独立性。 该系统经三个舞运行测试，功能正掌，嚣兹滠被本镄燎钢厂黢收台楂。 美键词：篷恚系绫；鼗攒瘁；数据仓库；客户蹿夔务器 a b s t r a c t t h et h e s i sr e s e a r c h e st h ed a t aw a r e h o u s ea p p l i c a t i o ns y s t e mo fc s m o d em a i n l y o nt h eb a s i so f s t u d y o fd a t a b a s e t e c h n o l o g y ，d a t aw a r e h o u s e t e c h n o l o g y a n dt h e d e s i g n a n d d e v e l o p m e n t o fd a t a b a s e a p p l i c a t i o n s y s t e m ，t h i st h e s i sh a sc o m p l e t e dt h ed e s i g na n dd e v e l o p m e n to fb e n x i s t e e lc o r p o r a t i o nc o n t i n u o u sc a s t i n go f f l i n ed a t aw a r e h o u s e a p p l i c a t i o ns y s t e m ( a b b r e v i a t e dt oc c d w a s ) c c d w a si sat y p i c a ld a t a b a s ea p p t i c a t i o ns y s t e mo fc sm o d e i t s f u n c t i o ni sm o v i n gt h ep r o d u c td a t ao fc o n t i n u o u sc a s t i n go n l i n ec o n t r o l s y s t e m ( a b b r e v i a t e dt oc c o c s ) i n t oo f f l i n ed a t aw a r e h o u s ei nw h i c ht h e d a t ac a nb ek e p tf o rt h r e ey e a r sa n dc a nb eq u e r i e da n da n a l y z e d b yu s e r a c c o r d i n gt ot h ef u n c t i o n ，t h es y s t e mi sd i v i d e di n t ot h r e ep a r t s 。w h i c h a r ed a t aw a r e h o u s e ，e t tu t i l i t yp r o g r a ma n dd q a s d a t aw a r e h o u s es t o r e a n dm a n a g et h ep r o d u c td a t a e t tu t i l i t yp r o g r a me x t r a c t s ，t r a n s f e r s a n dt r a n s p o r t st h ep r o d u c td a t af r o mc c o c si n t oc c d w a s d q a sc a nb eu s e d t o q u e r ya n da n a l y z et h ep r o d u c td a t ai nd a t aw a r e h o u s e a f t e rc o m p l e t i n gt h ef r a m ed e s i g no fc c d w a s ，l d e s i g ni t st h r e e p a r t ss e p a r a t e l y i no r d e rt om e e tt h eo p e n i n gr e q u e s to ft h ed a t a w a r e h o u s ea n dg u a r a n t e et h a td q a sc a n r u na ta h i g hs p e e d ，d a t aw a r e h o u s e a d o p t sas t r u c t u r et h a tc o m b i n e s3 n fw i t hs t a rm o d e f o ri n s u r i n gt h e r o b u s t n e s sa n d h i g h e f f i c i e n c y o fe t t u t i l i t yp r o g r a m ，p i p e l i n e t e c h n o l o g yw i t hl o g i c a lc o n d i t i o no fp o w e rb u i i d e ra n dt i m e - m a r k e r t a b l ec r e a t e di nd a t aw a r e h o u s ea r e a d o p t e d w h i l e d e s i g n i n g a n d d e v e l o p i n ge t tu t i l i t yp r o g r a m d a t aw i n d o wt e c h n o l o g yb a s e do nv i e w o fp o w e rb u i i d e ri su s e dt os t r e n g t h e nt h ei n d e p e n d e n c eo fd q a sd u r i n g t h ed e s i g n i n go fd q a s a f t e rt e s t i n go fs i xm o n t bc c d w a s h a sb e e nc o n f i r m e dl ob e q u a lf f ie da lr e a d yal p r e s e n t k e yw o r d s ；i n f o r m a t i o ns y s t e m ；d a t a b a s e ；d a t aw a r e h o u s e ；c l i e n t s e r v e r 大连理工大学硕士学位论文第一章绪论 第一章绪论 2 1 世纪人类已经走入了信息时代，人们获取信息和处理信息的方法、手段 和技术已经发生了革命性的变化，近年来如雨后春笋般出现的各种类型和规模 的信息系统便充分证明了这一点。信息系统是信息时代的产物，其构建过程中 有两大关键技术，即计算机网络技术和数据库技术。本章首先概括介绍了这两 项关键技术，然后对信息系统的两种模式进行了详细分析。 卜1 计算机网络技术 信息时代由计算机组成的信息网络已经成为人们获取信息的主要途径。目 前计算机网络技术已基本发展成熟，今后大致有以下几个发展方向。 第一，信息基础结构全球化。2 0 世纪9 0 年代以后，以因特网为代表的计 算机网络技术得到了飞速发展。它改变了我们工作和生活的许多方面，也给许 多国家带来了巨大好处，并加速了全球信息革命的进程。1 9 9 3 年9 月1 5 日， 美国政府发布题为“国家信息基础结构( n a t i o n a l i n f o r m a t i o n i n f r a s t r u c t u r e ，n 1 1 ) 行动计划”的文件。该文件提出，高速信息网是国家 信息基础结构的一个重要组成部分。1 9 9 4 年9 月美国又提出建立全球信息基 础结构g i i ，建议将各国的n i i 互连起来组成世界范围的信息基础结构。这两 个文件推进了信息基础结构全球化的进程。现在全世界几乎所有的发达国家和 很多发展中国家都在建设自己的n i l ，这使得计算机网络朝着信息基础结构全 球化方向发展迈进了巨大的一步。 第二，网络高速化。随着计算机网络的普遍使用和计算机处理速度的不断 提高，人们对网络传输速度的要求也越来越高。例如，要求网络具有实时通信 功能和在短时间内传送大量多媒体数据的能力。因此8 0 年代流行的l o m b p s 的局域网已不能满足应用要求，目前已出现具有l o o m b p s 的f d d i 光纤环网， 1 0 0 0 m b p s 和更高速率的网络通讯技术也正在研究之中。 第三，有线网络和无线网络混合化。移动数字通信技术的产生和发展使无 大连理工大学硕士学位论文第一章绪论 线网络技术得到了广泛应用。无线网络的崛起和发展不会淘汰有线网络，今后 的发展趋势只能是二者的相互融合共同发展。 卜2 数据库技术与数据仓库技术 1 2 1 数据库技术 信息时代数据库技术己经成为人们管理信息和处理信息的主要手段。自从 2 0 世纪6 0 年代中期数据库技术产生以来，时至今日仅仅几十年的历史。其发 展速度之快，使用范围之广是其它技术远所不及的。可以从数据模型、数据库 管理系统开发技术、数据库应用三个方面来概述数据库技术的发展历程。 1 从数据模型方面看数据库技术的发展 数据模型是数据库系统的核心和基础，也是数据库发展阶段的划分依据和 标志。根据数据模型的发展变化，目前的一种观点是把数据库系统划分为三代。 层次数据库系统和网状数据库系统的数据模型虽然分为层次模型和网状 模型，但实质上层次模型是网状模型的特例，它们都是格式化模型，两类系统 也都是在6 0 年代后期研究和开发的。它们从体系结构、数据库语言、到数据 存储管理均具有共同特征，所以应该将它们划分为同一代，称为第一代数据库 系统。 关系数据库系统支持关系模型。关系模型不仅简单、清晰，而且有关系代 数作为语言模型，有关系数据理论作为理论基础。因此关系数据库系统具有形 式基础好、数据独立性强、数据库语言非过程化等特色，它标志着数据库技术 已发展到了第二代，因此关系数据库系统称为第二代数据库系统。第二代数据 库系统的数据模型虽然描述了现实世界数据的结构和一些重要的相互联系，但 是仍不能捕捉和表达数据对象所具有的丰富而重要的语义，因此只能属于语法 模型。 虽然对于第三代数据库系统学术界还没有一个统一的数据模型标准，但大 家公认第三代数据库系统将以更加丰富的数据模型和更强大的数据管理功能 大连理工大学硕士学位论文第一章绪论 为特征，以满足传统数据库系统难以支持的新的应用要求。 2 从数据库管理系统开发技术方面看数据库技术的发展 目前在数据库管理系统开发技术方面，主要有以下两个研究方向。 第一，在r d b m s 产品中实现先进技术。例如，在系统结构方面从8 0 年代末 的一用户一进程的进程结构发展到单服务器多线索( m u l t i _ t h r e a d e d ) 或多服 务器多线索的进程结构、动态可扩展的系统结构；在用户界面方面从字符界面 发展到窗口( w i n d o w s ) 环境，为用户提供更为方便高效集成的数据库应用开 发环境，以及友好的图文并茂的用户界面，提供具有先进的中文处理、表达能 力及更加符合中国用户要求的报表处理等外围工具；在核心技术上继续提高和 优化，包括提高系统性能、支持存储过程和成组提交l o g 文件等；在r d b m s 核心层实现数据完整性检查和控制；实现更高的安全级别；提高r d b m s 软件容 错能力以提高系统的可用性和可靠性；增强网络互连能力和与异构数据库互操 作功能等。 第二，扩展r d b m s 使之进化到第三代数据库管理系统。1 9 9 0 年，r d b 的著 名学者和厂商组成了高级d b m s 功能委员会，并著文第三代数据库系统宣言。 这些r d b 的专家认为，从当前r d b m s 出发增加更多的类型构造符，增加继承性、 实现持久性程序设计语言等等，r d b m s 便可以进化到第三代d b m s 。在宣言思想 的影响下，r d b m s 厂商努力实践，对r d b m s 进行逐步地、不同层次上的扩充， 例如：增加支持多媒体数据管理能力；从数据管理扩展到对象管理；增加知识 管理的能力等，以希望通过扩展r d b m s 使之进化到第三代数据库管理系统。 3 从数据库应用方面看数据库技术的发展 从8 0 年代以来，数据库技术在商业领域的巨大成功刺激了其它领域对数 据库技术需求的迅速增长。新一代数据库技术的研究和发展导致了众多不同于 第一、第二代的数据库系统的诞生，从而也使当今数据库系统的大家族呈现出 百花齐放百家争鸣的局面。这些新的数据库系统有的是基于扩展关系数据模型 的，有的是基于面向对象模型的；有的是分布式体系结构，有的是客户n 务 大连理工大学硕士学位论文第一章绪论 器体系结构，还有的是混合式体系结构的；有的是在s m p ( 对称多处理器) 或 m p p ( 超并行处理器) 并行机上运行的并行数据库系统：还有一些是用于某一 专门领域( 如工程、统计、g i s ) 的工程数据库、统计数据库、空间数据库等 等。虽然这些数据库系统的应用领域五花八门，但它们却都具有以下共同特点： 即支持面向对象的方法和技术，实现了与多学科技术的有机结合，同时又各自 面向专门领域。因此它们可以被统一称为新一代数据库系统。 1 2 2 数据仓库技术 数据库技术不但与网络通讯技术、人工智能技术、面向对象程序设计技术、 并行计算技术等等互相渗透，互相结合，成为当前数据库技术发展的主要特征， 而且随着人们对大量历史数据进行分析的需求的增长，还出现了数据仓库技 术。因此，数据仓库技术是数据库技术发展到一定阶段的产物，是适应人们统 计、分析和处理大量历史数据的需要而产生的。 数据仓库是相对于联机事务处理( o l t p ) 而言的，它是为数据查询和分析 而设计的关系型数据库，而不是用于事务处理的。它通常包括源于事务数据的 历史数据，但也包括从其它资源得来的数据。它把分析工作量从事务工作量中 分离出来，并使从几个资源来的数据统一成一个整体。除了关系数据库之外， 数据仓库环境经常由e t t ( e x t r a c t i o n ，t r a n s f o r m a t i o n t r a n s p o r t a t i o n ， 提取、转换和传输) 解决方案、o l a p ( o n l i n e a n a l y t i c a lp r o c e s s i n g 联机 分析处理) 引擎、客户分析工具、和其它管理收集数据和分发数据给商务用户 过程的应用程序等部分组成。 l 数据仓库的特征 数据仓库具有以下特征： 第一，面向主题性。数据仓库是帮助分析数据而设计的。例如，想要了解 更多的公司销售的数据。为此可建立一个有关销售的数据仓库。在这个仓库里， 就能回答诸如“去年谁是该项目的最好客户? ”之类的问题。这种集中关注的 主题，象销售情况，就是所谓的面向主题。 大连理工大学硕士学位论文 第章绪论 第二，集成性。数据仓库需要把从不同资源来的数据转换成统一的格式。 这就意味着必须解决名字冲突问题，也必须解决类似数据在不同度量单元之间 转换的问题。 第三，不易失性。不易失性意味着数据一旦输入到仓库就不应改变。这是 合乎逻辑的，因为建立仓库的目的就是要分析过去的数据。 第四，以时间为变量。许多数据分析都需要分析发展趋势。因此，分析往 往是需要大量的历史数据，这与o l t p 系统形成很大的差异。 2 数据仓库与o l t p 系统的比较 两种系统类型间的主要区别是数据仓库通常不采用第三范式的形式。数据 仓库和o l t p 系统的需求有很大的差别。在典型的数据仓库和o l t p 系统之间有 一些明显不同的例子： 在工作量方面，数据仓库设计用来适应一些特殊查询。数据仓库的工作量 不可能完全预先了解到，优化过的数据仓库要比各种可能的查询操作完成得 好。o l t p 系统只支持预定义的操作。 在数据修改方面，数据仓库里是根据e t t 过程( 经常、每晚或每周) 的标 准，可使用成批数据修改技术进行数据更新。数据仓库的最终用户不能直接更 新数据仓库。在o l t p 系统里，最终用户经常地在数据库里执行单个的数据修 改语句。o l t p 数据库总是最新的，反映了每个商业事务的当前状态。 在模式设计上，数据仓库总是使用非范式的模式( 如星型模式) 来优化查 询性能。o l t p 系统总是使用全范式的模式去优化更新插入删除的执行，保 证数据的连续性。 在典型操作方面，一个典型的数据仓库查询可以扫描成千上万行，一个典 型的o l t p 操作只可以访问少数的记录。 在存储数据方面，数据仓库通常存储许多年或月的历史数据。目的是为了 对商务数据进行历史分析。o l t p 系统通常存储几周或几月的有价值数据。o l t p 系统只存储那些能有效地满足当前事务处理需求所必需的历史数据。 大连理工大学硕士学位论文 第一章绪论 3 数据仓库的e t t 技术 只有正式调用数据仓库才能用来进行数据分析，但这需要将个或多个 系统来的数据提取并复$ i i ! i 数据仓库里。从源系统里提取数据并输入到数据仓 库的过程常称为e t t ，代表了提取、转换和传输( e x t r a c t i o n ，t r a n s f o r m a t i o n t r a n s 口o r t a t i o n ) 。应该理解e t t 是广义的，并不只是定义的三个步骤，还 应包括调用数据仓库。e t t 过程具体包括数据提取、数据传输、数据转换、数 据装载和刷新。 数据提取通常是把数据从数据库复制到文件或是网络连接上。这是e t t 过 程的第步。数据必须从源系统中提取出来，以便该数据以后能转换并装载到 数据仓库里。数据仓库的源系统( s o u r c es y s t e m ) 一般是事务处理型数据库 应用系统。在e t t 过程中，设计或创建提取过程是十分耗时的任务。源系统可 能很复杂，且确定需要提取哪些数据比较困难。而且，源系统一般不能修改， 也不能影响其性能或可用性。一般而言，这是提取和e t t 要重点考虑的。 数据传输是指在数据仓库环境里把数据从个系统移动到另一个系统的 动作。传输最常见的需求是把数据从源系统移动到分段升级数据库或数据仓 库，从分段升级数据库到数据仓库，或从数据仓库到数据中心。数据传输常是 e t t 过程中最简单的一部分，并且经常集成在过程的其它部分里。传输数据有 不同种技术，包括：普通文件的传输、通过分布式操作传输和可传输的表空间 等。 数据转换经常是e t t 过程里最复杂的，就处理时间而言也是最昂贵的部分。 它是将简单的数据变换为极其复杂的数据的刷洗技术。许多o r a c l e 用户都使 用p l s q l 进行复杂的数据转换逻辑编程。 在提取和转换后，e t t 过程的最后步骤是数据装载和刷新，也就是物理上 把新的干净的数据插入到数据仓库里，并执行所有其它必需的步骤( 例如构建 索引、验证约束、备份等) ，使最终用户能使用新数据。可以使用分区来改善 数据仓库刷新，或使用并行装载来填充数据。 大连理工大学硕士学位论文 第一章绪论 建立和维护e t t 过程是数据仓库项目中最困难和最消耗资源的一部分。许 多数据仓库项目使用e t t 工具来管理该过程。例如，o r a c l e w a r e h o u s eb u i l d e r 就提供e t t 的能力。其它的数据仓库构建程序也选择建立自己的e t t 工具和过 程。o r a c l e8 i 不是e t t 工具，不提供e t t 的完整解决方案，但提供一整套接 口，让e t t 工具和自制e t t 解决方案都能使用。 卜3 信息系统 信息系统是信息时代各企事业单位所必需的资源，其重要性无需多说。信 息系统中最常用的是事务处理系统、管理信息系统、决策支持系统和专家系统。 这些系统一起帮助工作人员完成日常工作和各种专门工作。信息系统是计算机 网络技术与数据库技术融合发展的结果。其实质是计算机网络上的数据库应用 系统。目前，计算机网络上的数据库应用系统主要有两种模式，即c s 模式和 b s 模式。下面分别介绍了这两种模式的数据库应用系统以及信息系统的构建 原则。 1 3 1 基于c s 模式的数据库应用系统 c s 模式( c l i e n t s e r v e r ) 即客户机n 务器模式，是一种分布式处理网 络模型，是一种先将任务分解，再协同解决的计算模式。客户机与服务器之间 的关系体现为请求响应的关系，即客户机向服务器提出某种信息或数据请求， 服务器针对请求完成相应处理，将结果作为响应发送回用户。对多个客户并发 请求服务器上相同的资源时，服务器对这些资源进行最优化管理。c s 模式是 目前网络系统应用最为广泛的系统模式，同时也是目前开发数据库应用系统的 首选模式，它极大地推动了数据库应用技术的发展。 c s 模式的数据库应用系统将数据库处理任务划分成两部分：客户机运行 数据库应用程序，数据库服务器运行全部或部分d b m s 。客户机上的应用程序 被称为“前端系统”，它负责所有的用户输入和输出的处理，数据库服务器上 的“后端系统”则负责数据处理和磁盘访问。传统的c s 模式数据库应用系统 大连理工大学硕士学位论文第一章绪论 为两层结构，其逻辑结构如图卜1 所示。 图1 - 1两层结构的c s 模式 c s 模式数据库应用系统的主要优点是，在充分发挥客户机和服务器的计 算能力基础上，极大地减少了通过网络传输的数据流量，降低了网络负载。而 且，c s 模式的数据库应用系统具有高度灵活性，用户不必局限在一种类型的 系统或平台。服务器和客户机可以是不同厂商、不同型号的计算机，并且可以 运行不同的操作系统。 c s 模式数据库应用系统的主要不足是客户端应用程序的分发工作十分烦 琐。不仅要为每台客户机安装客户端应用程序，还必须完成每台客户机的o d b c 的配置工作。而且，每次对客户端程序的修改和升级，又意味着上述相同分发 过程的又一次重复。 传统的c s 模式数据库应用系统由于客户端和服务器端直接连接，服务器 将消耗部分系统资源用于处理与客户端的连接工作。那么每当同时存在大量客 户端数据请求时，服务器有限的系统资源将被用于频繁应付与客户端之间的连 接，从而无法及时响应数据请求。当并发用户超过一定数量时，系统整体运行 效率就会大幅降低，为了解决这种矛盾，近些年也出现了三层结构的c s 模式 数据库应用系统。三层结构的c s 模式数据库应用系统是在客户端与数据库服 务器之间加入一个业务逻辑( b u s i n e s sl o g i c ) 层，该层通常存在于另一台被 称为应用服务器( a p p l i c a t i o ns e r v e r ) 的机器上( 当然也可以存在于客户端 计算机中，只是这样就无法充分发挥应用服务器的优越性) 。新加入的业务逻 辑层将专门负责数据库服务器与客户端的连接工作。它一方面把客户端请求传 送给数据库服务器，另一方面将服务器的查询结果回送给客户端。于是数据库 服务器只用于专心响应客户端数据请求。这样就大幅度减轻数据库服务器的负 大连理工大学硕士学位论文第一章绪论 担，从而提高了其响应速度和系统的整体工作效率。另外，还可以将原先系统 中使用的一些商业逻辑规则的处理工作( 既可在客户端又可在服务器端实现) 也分配给业务逻辑层完成，于是客户端和服务器端程序的功能得到进一步简 化。三层结构的c s 模式数据库应用系统的逻辑结构如图卜2 所示。 请求 客户机广一 竺竺! 卜丽 应用服务器 ( a p p l i c a t i o ns e r v e r ) 查询 结果 数据库服务器 ( d a b b l es e r v e r ) 图1 2三层结构的c s 模式 有多种数据库平台支持c s 模式数据库应用系统的开发，如o r a c l e 、 s y b a s e 、s q ls e r v e r 等。开发工具可以选择基于数据库的开发工具，也可以 选用一些通用的开发工具，如v b 、v c + + 、v j + + 、v i s u a lf o x p r o 等。 1 3 ，2 基于b s 模式的数据库应用系统 b s 模式( b r o w s e r s e r v e r ) 即浏览器服务器模式，是在c s 模式的基础 上发展起来的一种网络体系结构。最早在c s 模式数据库应用系统基础上发展 起来的b s 模式数据库应用系统为三层结构，其逻辑结构如图卜3 所示。 请求 客户机广一 竺竺! 卜鬲丽 w e b 服务器 ( w b bs e r v e r ) 壹询 结果 图1 - 3三层结构的b s 模式 数据库服务器 ( d a t a b a s es e r v e r ) 在三层b s 模式数据库应用系统中，客户端软件被大大简化，只需在客户 机上装上浏览器即可。所有的开发、维护和升级工作都集中在服务器端。用户 使用浏览器上网，向w e b 服务器提交请求，w e b 服务器处理请求，查询数据库， 并将查询到的信息组织成h t m l 页面发送给用户，在用户的浏览器上显示。 随着三层c s 模式数据库应用系统的出现，相应地也出现了四层结构的 b s 模式数据库应用系统，其逻辑结构如图卜4 所示。 9 大连理工大学硕士学位论文第一章绪论 浏览器 ( b r o w s e r ) 数据库服务器 ( d a m b a s es e r v e r ) 请求 h t m l 页 结果 查询 w e b 服务器 ( w e bs e r v e r ) 羹fl 黍 应用服务器 ( a p p l i c a t i o ns e r v e r ) 图1 4四层结构的b s 模式 四层b s 模式数据库应用系统由浏览器、w e b 服务器、应用服务器、数据 库服务器组成。其核心是w e b 服务器，它既具有w e b 服务器的作用，又具有三 层c s 模式数据库应用系统中客户机的功能。它负责接收w e b 浏览器的w e b 页请求和数据请求，并处理w e b 页请求，同时将数据请求通过应用服务器转给 数据库服务器。数据库服务器根据数据请求执行相应的数据库操作( 如查询、 修改、统计等) ，并将结果通过应用服务器送回w e b 服务器。w e b 服务器将结 果处理成w e b 浏览器能够接受的形式( 如h t m l ) 后，送回发出请求的w e b 浏 览器，由浏览器解释执行结果并将其显示出来。 b s 模式数据库应用系统的主要特点是：客户端除了浏览器无须安装其它 软件，即实现客户端零配置，系统管理员无须再为客户端操心，大大减轻了管 理负担。此外，b s 模式数据库应用系统实现了开发环境与应用环境的分离， 数据库结构的改变不再对客户端产生连锁影响，只需修改服务器端的应用程序 即可，极大地提高了系统的维护效率。由于系统运行时绝大部分工作在服务器 端完成，只有生成的h t m l 页面被送回到客户端，这可保证所有用户通过浏览 器调用应用程序，实现了平台的无关性。统一的客户端程序浏览器，简化 甚至免除了对用户的使用培训，今后即使修改信息系统或进行系统升级，也无 须再对用户进行培训。 大连理工大学硕士学位论文第一章绪论 有多种数据库平台支持b s 模式数据库应用系统的开发，如o r a c l e 、 s y b a s e 、s q ls e r v e r 等。而开发b s 模式下的应用程序目前最常用的是a s p 技术。 l _ 3 3 信息系统构建原则 建立信息系统最重要的是确定系统结构。系统结构设计的好坏，不仅影响 着系统的效率、安全性和维护性，更影响系统使用的方便性及可靠性。c s 模 式与b s 模式各有优势与不足。 c s 模式的优势在于：第一，交互性强。b s 模式虽然也提供了一定的交 互能力，但与c s 的整套客户应用相比是太有限了。第二，网络通讯量低。 b s 模式由于增加了客户机与w e b 服务器之间的通信从而使其在这方面不如 c s 模式，因此也导致c s 模式处理大量信息的能力是b s 模式所无法比拟的。 c s 模式的不足之处在于它开发成本较高、维护复杂，升级麻烦，信息内容和 形式也比较单一。与c s 模式相比，b s 模式的主要优势是：第一，客户端简 单，管理人员维护工作量小。第二，用户操作容易，无需专门培训。第三，升 级容易，信息内容和形式丰富。 适合采用c s 模式的信息系统应具备以下特点：安全性要求高；要求具有 较强的交互性；使用范围小，地点固定：要求处理大量数据。 适合采用b s 模式的信息系统应具备的特点有：使用范围广、地点灵活； 功能变动频繁；安全性、交互性要求不高。 c s 模式与b s 模式各有利弊。总体上来说，在进行信息系统设计时，应 当综合考虑需求的各个方面，以选择最为合理的系统模式。也可根据系统中各 个功能模块的具体需求，分别使用c s 模式及b s 模式。 查垄堡三查堂堡主兰垡堡奎 茎三童墨堑堕笪兰i 立 第二章系统总体设计 2 1课题背景 2 1 1 本钢连铸系统简介 本钢炼钢厂板材公司是国有大型企业。两期连铸工程是经国务院批准的国 家重点工程，连铸主体设备引进于奥地利奥钢联公司，2 0 0 0 年1 2 月两期连铸 系统全部正式投入使用。这两期连铸系统控制了钢坯连续铸造的全部工艺过 程，图2 一l 为其组成结构示意图。 图2 - l连铸系统结构示意图 从图2 - l 中可以看到，本钢连铸系统由两级自动化系统组成。一级自动化 系统包括连铸机、所有的传感设备和执行设备。二级自动化系统包括控制数据 库服务器、现场工作站和系统维护工作站。两级自动化系统通过网络以及p l c 数据线连在一起。连铸系统的工作原理是，二级自动化系统的控制数据库服务 大连理工大学硕士学位论文第二章系统总体设计 器将控制数据通过网络和p l c 数据线传给一级自动化系统的执行设备，执行设 备与连铸机一起完成钢坯连铸工作。在钢坯连铸过程中，一级自动化系统的传 感设备将测得的各种参数通过p l c 和网络回传给二级自动化系统的控制数据 库服务器，控制数据库服务器根据这些回传参数和来自二级自动化系统其他各 现场工作站的数据调整控制参数，实时控制执行设备和连铸机。 2 1 2 本钢对连铸系统的新需求 二级自动化系统的控制数据库服务器是整个连铸系统的核心。该服务器上 除了控制连铸系统运行的控制数据外，还驻留了产品工艺数据库、质量评判数 据库和板坯数据库。这些数据库可以为工艺人员和管理人员提供产品数据、工 艺数据、质量分析数据和板坯数据。尽管工艺人员和管理人员可以通过网络访 问和查询这些数据，但由于控制数据库服务器的大部分时间和资源用于连续浇 铸的控制，所以响应工艺人员和管理人员的查询请求的速度十分缓慢，有时甚 至查询一炉钢水的数据竟要等待半个小时。因此，本钢需要连铸系统能够快速 向工艺人员和管理人员提供所需数据。 目前连铸系统的控制数据库服务器除了控制数据和质量评判数据外，其他 数据只能保留1 0 0 天。这种数据存储量满足不了钢铁企业产品工艺数据保存三 年的国家标准，也无法满足工艺人员和管理人员随时查询和分析三年内的历史 数据的要求。因此，本钢希望连铸系统能够保存三年以内的产品工艺数据。 此外，控制数据库服务器提供的数据分析项目较少，数据报表格式也不太 符合工艺人员和管理人员的要求。因此，本钢希望连铸系统能提供更多的数据 分析方法和数据分析项目，并改进数据报表的格式。 为了满足生产和管理的需求，我们受本钢板材公司炼钢厂之托，对连铸系 统进行完善，使其能满足本钢的新需求。 2 - 2 总体需求分析 经过两个月的现场调研和实践，认真分析了连铸系统的各项功能，并和用 大连理工大学硕士学位论文 第二章系统总体设计 户进行了多次交流。最后确定改善后的连铸系统应具有以下功能： l 、具有更高的数据查询和分析速度，查询响应时间在1 秒以内。 2 、可查询分析的数据范围更广，能查询三年以内的产品和工艺数据。 3 、具有更多的数据分析方法和数据分析项目，详细内容见附录一。 4 、具有开放性。便于连铸系统接入将来的企业信息系统。 2 - 3 总体方案设计 根据总体需求分析的结果，为了使改善后的连铸系统达到用户所要求的功 能，拟定两种方案。一种是彻底地改造原系统，我们称之为改造原系统方案。 另一种是在不改变原系统的基础上另建一套新系统，我们称之为建立新系统方 案。两种方案的比较和分析如下。 2 3 1 改造原系统方案 改造原系统方案的方法是： 1 、更换高性能的控制数据库服务器，以提高其运行速度性能和存储容量。 2 、更换高速网络设备，以提高连铸系统的整体运行速度。 3 、修改控制数据库服务器上各数据库的结构，以满足用户增加数据分析 项目和内容的要求。 图2 2 是改造原系统的方案图。这种方案有如下缺点： l 、更换大量高性能的设备，需要大量的资金。而且对于刚刚投入使用的 连铸系统来讲也不太现实。 2 、修改控制数据库服务器上各数据库的结构，很可能造成原系统功能的 损失，同时又涉及奥钢联的知识产权和售后服务问题，比较麻烦。 3 、彻底改造原系统会影响连铸系统的正常运行，这对于一个大型钢铁企 业来讲，是一个不小的损失。 因此，综合来讲，该方案不是切实可行的。 大连理工大学硕士学位论文 第二章系统总体设计 图2 - 2改造原系统方案图 2 3 2 建立新系统方案 建立新系统的方案如图2 - 3 所示。其方法是在原来的连铸系统的基础上新 建一个数据仓库应用系统，并将该系统命名为连铸离线数据仓库应用系统 ( c o n t i n u o u sc a s t i n go f f l i n ed a t aw a r e h o u s ea p p l i c a t i o ns y s t e m 简称 c c d w a s ) 。这里的离线是相对于原来的控制数据库系统而言的，所以将原来的 控制数据库系统称为连铸在线控制系统。 连铸离线数据仓库应用系统其实质是一个数据库应用系统。因此，无论采 用c s 模式还是b s 模式，在硬件方面它都必须包含网络和充当数据库服务器 和客户机的计算机。网络部分可以利用原系统的网络，客户机则既可以采用原 系统的客户机，也可以向网络中加入新的计算机。此外，该方案所必须添加的 设备是在网络中加入一台高性能计算机作为数据库服务器。离线数据仓库应用 系统建好后，工艺人员和管理人员不需再使用连铸在线控制系统即可快速地查 询和分析三年内的各种数据。 这种方案与改造原系统方案相比其优点是：硬件投资少，开发过程中不影 响原来的连铸系统的正常运行，而且系统开发相对容易得多。 大连理工大学硕士学位论文 第二章系统总体设计 图2 - 3建立新系统方案图 2 3 3 总体方案确定 经过方案比较与分析，建立新系统方案可保证在正常生产的条件下进行系 统开发，而且所需投入的资金少、系统相对独立性强，是解决目前所存在问题 的最佳方案。因此确定选择建立新系统方案作为最终的总体方案。 2 - 4 数据仓库应用系统总体设计 2 4 1 数据仓库应用系统模式选择 连铸离线数据仓库应用系统应属于本钢未来信息系统的一部分。之所以将 其建成一个数据仓库应用系统，是因为用户的需求和数据库的特点在许多方面 都符合了数据仓库的特征。 第一，数据库所存储的数据是历史数据，用户不能进行修改。 第二，数据库内数据存储量较大，三年后可达到六千兆。 第三，新系统只用来查询和分析产品工艺数据，不属于事务处理型数据库 大连理工大学硕士学位论文第二章系统总体设计 应用系统。 第四，新系统必须具有较高的数据查询和分析速度，并能分析复杂的数据 项目。因此，新系统必须以数据存储冗余为代价换取系统的高速运行。这需要 使用数据仓库典型的星型结构才能实现。 根据以上四点，将新系统建成数据仓库应用系统是合理的。 离线数据仓库应用系统采用c s 模式有以下几个原因。 第一，数据仓库应用系统交互性强，比较复杂，采用b s 模式比较困难。 第二，数据仓库应用系统需要处理大量的数据，为了减少网络通信量，提 高系统运行速度，c s 模式比b s 模式更适合。 第三，数据仓库应用系统的用户较少，在3 0 人以下，并发用户很少超过 i 0 人。因此，采用两层结构的c s 模式时，其缺点并不突出。相反，若采用 三层结构则显得有些多余，既发挥不出应用服务器的优势，又造成网络通讯量 的增加。 第四，目前用户还没有自己的i n t r a n e t ，若采用b s 模式将会增加系统开 发工作量，若不增加工作量，b s 模式就显不出其优点。 基于以上四种原因，离线数据仓库应用系统决定采用c s 模式。 2 4 2 系统功能模块的确定 根据总体需求分析和c s 模式数据仓库应用系统的特点，新建立的连铸离 线数据仓库应用系统应具有三个功能模块，数据采集功能模块、数据存储与处 理功能模块、数据查询与分析功能模块。 数据采集功能模块负责从连铸在线控制系统的各数据源中采集数据，并将 采集来的数据经过转化处理后传输给数据存储与处理功能模块。数据查询与分 析功能模块是用户直接使用的功能模块，用户通过直接操纵它来查询和分析自 己想要的数据。数据存储与处理功能模块负责存储由数据采集功能模块传输过 来的数据，另一方面向数据查询与分析功能模块提供处理过的数据。 连铸离线数据仓库应用系统各功能模块之间的相互关系如图2 4 所示。 大连理工大学硕士学位论文 第二章系统总体设计 图2 4连铸离线数据仓库应用系统的功能模块 2 4 3 系统逻辑结构的确定 根据系统的功能模块确定系统的逻辑结构由三部分组成，数据提取、转化 与传输实用程序( e x t r a c t i o n ，t r a n s f o r m a t i o n t r a n s p o r t a t i o n 简称e t t 实用程序) 、数据仓库、数据查询与分析系统( d a t aq u e r y a n a l y s i ss y s t e m 简称d q a s ) 。这三部分分别完成系统三个功能模块的功能。其中e t t 实用程序 用来完成数据采集功能模块的功能。数据仓库用来完成数据存储与处理功能模 块的功能。数据查询与分析系统用来完成数据查询与分析功能模块的功能。连 铸离线数据仓库应用系统的逻辑结构图如图2 - 5 所示。 图2 - 5连铸离线数据仓库应用系统的逻辑结构 大连理工大学硕士学位论文 第二章系统总体设计 2 4 4 系统物理结构的确定 根据连铸离线数据仓库应用系统的功能模块和逻辑结构进行系统物理结 构的设计。由于连铸离线数据仓库应用系统采用的是c s 模式，所以必须先建 立c s 模式数据库应用系统的计算机网络环境。由于连铸在线控制系统也是 c $ 模式数据库应用系统，为了减少设备投资，决定采用原系统的网络环境。 因此，只需在原系统网络环境中接入一台数据仓库服务器和部分客户机即可。 数据仓库位于数据仓库服务器上。数据查询与分析系统是一个与用户直接 进行交互的客户端应用软件，它位于客户机上。在执行数据从在线控制系统向 离线数据仓库中转移的过程中，虽然e t t 实用程序同时连接了两台数据库服务 器，但它仍然是一个客户端应用软件，可以安装在任何一台可充当客户机角色 的计算机上。为了减少设备投资和网络通讯量，将e t t 实用程序安装在离线数 据仓库服务器上。这样当e t t 实用程序执行数据转移时，就不必通过网络向数 据仓库传输数据了，既降低了网络通讯量，又提高了e t t 实用程序的数据转移 速度。 连铸离线数据仓库应用系统的系统物理结构如图2 - 6 所示。 连铸在线控制系统 数据库服务器 连铸离线数据仓库应用系统 数据仓库服务器 图2 - 6连铸离线数据仓库应用系统的物理结构 大连理工大学硕士学位论文 第二章系统总体设计 2 4 5 离线数据仓库应用系统与在线控制系统的关系 离线数据仓库应用系统与在线控制系统的关系如图2 7 所示。 图2 7离线数据仓库应用系统与在线控制系统的关系 2 4 6 系统用户级别的划分 连铸离线数据仓库应用系统的用户分为三级，这里称为a 级、b 级和c 级。 a 级用户的权限最高，拥有连铸离线数据仓库应用系统的全部使用权和维护 权。c 级用户权限最低，它只拥有d q a s 的部分使用权。b 级用户的权限在a 级用户和c 级用户