（计算机软件与理论专业论文）面向重型机械行业的科学数据库系统研究.pdf

摘要 摘要 随着科学研究手段的进步，获得的科学数据越来越多，如何有效管理、 分析科学数据成为一个重大挑战。采用科学数据库技术是一个好的解决办 法。本文以重型机械行业为研究背景，对面向重型机械行业的科学数据库 系统进行了研究。 首先，介绍了科学数据和科学数据库，对科学数据和科学数据库从不 同角度进行了分类，以明确研究的范围。分析了科学数据库的设计难点， 提出了相应的解决方法。 其次，对重型机械生产过程进行了概述，分析了数据库技术在其中的 应用。 接着，制定了重机科学数据库的元数据标准，提出了重机科学数据库 的元数据管理框架，为重机科学数据库的数据组织奠定了基础。 随后，设计了重机科学数据库的三层体系结构，实现重机科学数据的 有效管理以及与外部数据分析工具的集成。采用动态名称映射，为文件系 统管理提供了极大的灵活性。数据管理组件调用重定位支持把调用操作从 一个数据管理组件转移到另一个，既可以均衡系统负担，又可以扩展系统。 最后，基于上述研究成果，设计了重机科学数据库的原型系统。主要 进行数据上传子系统、数据管理子系统、用户管理子系统和数据服务子系 统的设计与实现。 关键词重型机械；科学数据库；元数据；数据管理；处理逻辑 燕山大学工学硕士学位论文 a b s t r a c t w i t ht h ea d v a n c e m e n to fs c i e n t i f i cr e s e a r c hm e t h o d s ，m o r ea n dm o r e s c i e n t i f i cd a t ai si n c o r p o r a t e d h o wt om a n a g ea n da n a l y s es c i e n t i f i cd a t a e f f e c t i v e l yb e c o m e sab i gc h a l l e n g e ap r o p e rr e s o l u t i o ni ss c i e n t i f i cd a t a b a s e t e c h n o l o g y t h i sd i s s e r t a t i o nm a k e sar e s e a r c ho ns c i e n t i f i cd a t a b a s es y s t e m o r i e n t e do nh e a v ym a c h i n e r yi n d u s t r y f i r s t l y , s c i e n t i f i cd a t aa n ds c i e n t i f i cd a t a b a s ea r ei n 仃o d u c e da n da r e c l a s s i f i e da c c o r d i n gt od i f f e r e n ts t a n d a r d t h ed e s i g nc o n s t r a i n t si sa n a l y s e d a n ds o m es o l v em e t h o d sa r em a d e s e c o n d l y ，t h i sd i s s e r t a t i o ns u m m a r i z e sh e a v ym a c h i n e r yp r o d u c t i o na n d a n a l y s e st h ea p p l i a n c eo fd a t a b a s ei nh o ts t r i pr o l l i n g t h i r d l y , t h i sp a p e re s t a b l i s hm e t a d a t a s t a n d a r da n dd e s i g nm e t a d a t a m a n a g e m e n tf r a m e w o r k ，l a y i n gt h eg r o u n d w o r kf o rd a t am a n a g e m e n to f s c i e n t i f i cd a t a b a s eo r i e n t e do nh e a v ym a c h i n e r y f o r t h l y , a r c h i t e c t u r e o ft h r e el a y e r si s d e s i g n e d ，w h i c hi n t e g r a t et h e e f f e c t i v ed a t am a n a g e m e n ta n dd a t aa n a l y s i st o o l s d y n a m i cn a m em a p p i n g m a k e sf i l es y s t e mm a n a g e m e n tm o r ef l e x i b l e d a t am a n a g e m e n tc o m p o n e n t c a l lr e d i r e c t i o n ，w h i c hr e d i r e c tc a l l sf r o mo n ec o m p o n e n tt oa n o t h e r , c a r lb e u s e dt ob a l a n c et h es y s t e ml o a da n de x p e n d 让幢s y s t e m f i n a l l y , b a s e do na b o v er e s e a r c h ，ap r o t o t y p e i sd e s i g n e da n di m p l e m e n t e d ， w h i c hi n c l u d e sf o u r p r i m a r ys u b s y s t e m s ：d a t al o a d i n gs u b s y s t e m ，d a t a m a n a g e m e n ts u b s y s t e m ，b s e rm a n a g e m e n ts u b s y s t e m ，d a t as e r v i c es u b s y s t e m k e y w o r d sh e a v ym a c h i n e r y ；s c i e n t i f i cd a t a b a s e ；m e t a d a t a ；d a t am a n a g e m e n t ； p r o c e s s i n gl o g i c i i 燕山大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文面向重型机械行业的科 学数据库系统研究，是本人在导师指导下，在燕山大学攻读硕士学位期间 独立进行研究工作所取得的成果。据本人所知，论文中除已注明部分外不 包含他人已发表或撰写过的研究成果。对本文的研究工作做出重要贡献的 个人和集体，均已在文中以明确方式注明。本声明的法律结果将完全由本 人承担。 作者签字翻、功牝 日期：么缶细曰 燕山大学硕士学位论文使用授权书 面向重型机械行业的科学数据库系统研究系本人在燕山大学攻读 硕士学位期间在导师指导下完成的硕士学位论文。本论文的研究成果归燕 山大学所有，本人如需发表将署名燕山大学为第一完成单位及相关人员。 本人完全了解燕山大学关于保存、使用学位论文的规定，同意学校保留并 向有关部门送交论文的复印件和电子版本，允许论文被查阅和借阅。本人 授权燕山大学，可以采用影印、缩印或其他复制手段保存论文，可以公布 论文的全部或部分内容。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密曲。 ( 请在以上相应方框内打“4 ”) 作者签名： 导师签名： 翻、冰 札择 日期：细孱月；日 醐：跚日 第1 章绪论 1 1 课题研究背景 第1 章绪论 由各种团体组织维护的科学数据库以分离状态存在了好多年，通信技 术的发展和i n t e m e t 的出现使得这些孤立的信息资源可以相互联系。尽管全 球网络基础设施开辟了高级数据交换之路，但是从发布的资源中定位、检 索、合并信息仍是一项复杂且浪费时间的工作。实际上，即使专业用户也 不清楚在哪里、怎样寻找什么样的信息。 例如，工作于c z m ( c o a s t a lz o n em a n a g e m e n t ) t l 】的环境学家和公共团体 需要从若干数据库中提取感兴趣的数据并进行可视化，这些数据库涉及不 同的科学领域，如海洋生物、海图、化学、地理、工程。他们不仅需要熟 悉许多商业或定制的数据库接口、操作系统、网络协议，还要识别有用、 可靠、完整的信息，懂得如何把这些信息集合到一起。所以，在多个科学 数据源的情况下管理、存取、集成信息就成为数据库领域面临的一个很大 的挑战。 科学数据库的许多议题与传统商业数据库的相似，但研究的重点不同。 主要列举如下。 第一，高效的事务处理和并发控制对于大容量数据处理应用程序十分 关键，而对于d n a 序列分析圆、地震数据分析3 1 、天体物理计算就不是那 么重要了。 第二，大多数科学数据库有容量大、更新不频繁等特点，而且来自科 学观测的科学数据一般不会丢弃。这样，未来数据的容量将是惊人的。比 如，3 0 亿核苷的图谱绘制将导致巨大的容量。m a g e l l a n 行星探测器在其五 年的运行期内将产生一万亿字节的数据【4 】，这意味着比过去所有行星探测 器产生的图像数据总和还要大。 第三，科学数据十分复杂，在长度、宽度、深度、时间等多个维度上 燕山大学工学硕士学位论文 有大量属性，因此不能用关系数据库等面向记录的模型直接而有效地进行 表达。 第四，科学环境不仅包含数据，还会包含各种程序。这些程序往往比 较复杂，需要使用通用或定制的软件，而且可能要在特定的硬件上长时间 运行吲。 但是，不论是传统商业数据库还是科学数据库，灵活性和有效的查询 处理在其中都是至关重要的。 随着数据数量的迅速膨胀，下载整个数据集变得不现实。即使专业的 浏览、检索引擎也会产生大量的信息，导致不可接受的延迟。目前数据库 技术的支持只能缓解其中部分问题，如大数据容量的一致性、查询优化等， 但不能从根本上解决问题。由于这种状况，2 0 0 2 年在v l d b 会议上专家们 热烈讨论了关于科学数据库应该包含实际数据还是仅仅保存指向数据文件 的元数据问题1 6 】。 1 2 国内外研究现状 随着科学研究手段的进步，科学研究所获得的数据量迅速膨胀，各个 科学领域陆续建立了自己的科学数据库，对于科学数据库的研究也越来越 多。下面介绍几个国内外著名科学数据库项目。 ( 1 ) 中国科学院科学数据库中国科学院科学数据库是从1 9 8 3 年开始 建设的一个大型科学数据库群，是目前国内信息量最大、学科专业最广、 服务层次最高、综合性最强的科技信息服务系统。科学数据库的内容涵盖 了化学、生物、天文、材料、腐蚀、光学机械、自然资源、能源、生态环 境、湖泊、湿地、冰川、大气、古气候、动物、水生生物、遥感等多种学 科，由中国科学院各学科领域几十个研究所的科研人员参加建设。目前已 有4 5 个建库单位( 中科院的研究所) ，2 0 0 4 年1 1 月达到专业数据库3 8 8 个，总 数据量1 3t b 。 ( 2 ) h e d c首先介绍一下r h e s s i ( t h er e u v e nr a m a t yh i g h e n e r g y s o l a rs p e c t r o s c o p i ci m a g e r ) 。它是一颗于2 0 0 2 年2 月5 日由美国宇航局( n a s a l 2 第1 章绪论 发射的科学卫星。主要目标是研究太阳上磁化等离子区中的能量释放和加 速过程，尤其是产生的大大小小的耀斑。 h e d c ( t h er _ h e s s ie x p e r i m e n t a ld a t ac e n t e r ) n 9 是一个由天文学家和 计算机学家共同发展的科学数据库。它是e t hz u r i c h 的几个组( 天文协会， 信息系统协会，软件技术实验室) 的合作项目，要处理r h e s s i 任务返回的 科学数据。其主要目标是方便对数据的存取，支持数据处理、图像生成、 在e t h 及全球范围内分享对r h e s s i 数据的使用。 h e d c 的关注点在于加速科学家抽取有用信息的过程。所以，h e d c 的大部分功能不是管理元数据，而是有效创建、管理、利用由原始数据产 生出来的衍生数据或数据产品。 当原始数据到达h e d c ，利用程序搜索“有趣的”事件，如太阳耀斑、 v 射线爆发、平静期等。当这些程序发现了一个潜在事件，就采用若干分 析算法处理有关数据。 h e d c 在线存储所有r h e s s i 观测数据以支持交互性的数据分析。同时 允许用户生成数据产品并提交给系统。 f 3 ) t h e t i st h e t i s 系统f 1 0 1 是一个地中海海岸带环境科学信息管理 系统。它的目标是设计、发展一个开放性联邦环境科学信息系统来支持跨 学科的海岸地域管理。 t h e t i s 系统采用了数字图书馆、中介、图形信息系统( g i s ) 等技术来 实现对分布式环境科学数据库的数据、程序、图象的存取、定位、集成、 检索和可视化。 此系统可以允许用户对分散的科学数据库中存储的数据、程序、图像 等进行存取。用户能用w e b 浏览器定位、检索和可视化存储在这些数据库 中的数据。同时，用户可以远程执行程序，并使用基于用户界面的g i s 可 视化这些数据，按需产生结果。 除此之外，在生物信息学陋1 4 1 、地球科学1 5 川】、天文学 1 8 , 1 9 1 等领域， 还有许多正在迅速发展的科学数据库。 在重型机械领域，检测数据主要用来对生产过程的实时调整，在生产 完成后，这些检测数据需要进行存储、分析。但是，对于在存储、分析过 燕山大学工学硕士学位论文 程中发挥主要作用的科学数据库系统的研究还是一个空白。 1 3 课题研究的主要内容 目前重型机械行业实验数据的共享程度很低，各企业的数据基本上局 限于企业内部使用。其中的原因很多，有技术方面的限制，也有涉及安全 保密或政策方面的限制。这样，大量科学实验数据不能在同行业间进行交 流，更谈不上跨学科交流。数据的利用效率低下，且各企业间存在许多重 复的实验数据。即使在同一个企业中，面对海量的测量数据，人们也经常 因为找不到感兴趣的数据而感叹信息的缺乏。 本课题的研究背景是某钢铁企业的热轧带钢工程数据库集成系统平 台。该系统平台的目的是使得轧钢数据库适应处理算法、计算环境、数据 库模式和使用模式等方面的不断变化，改变有效数据难以识别、充分利用 的现状，建立起先进的科学数据库管理系统。解决企业海量数据难以提取 出有用信息的问题，解决各厂数据信息共享问题，最终实现全行业信息共 享。 1 4 本文组织结构 本论文总体上分为五章，从第2 章开始具体布局如下。 第2 章是科学数据库概述。本章首先对科学数据进行了明确的分类，然 后按照三种方式对科学数据库系统进行分类，最后分析了科学数据库系统 设计的主要难点。 第3 章是重型机械生产技术概述。对重型机械行业的生产技术，特别是 轧钢生产过程进行了介绍，讨论了数据库技术在其中的应用。 第4 章是重机科学数据库的元数据管理。元数据管理方式有助于海量科 学数据的存储、查找。本章首先介绍了元数据的概念和作用，然后针对重 机科学数据的特点提出了元数据的编码语言和总体结构，最后详细介绍了 元数据编辑器。 4 第1 章绪论 第5 章是重机科学数据库的体系结构及关键技术。本章首先对重机科学 数据库体系结构进行了分析，然后详细讨论了构建重机科学数据库需要用 到的关键技术。 第6 章是原型系统。本章阐述了原型系统的体系结构和方案，详细说明 了各子系统的设计，实现了对重机科学数据的有效管理和分析。 最后是本文的结论，并对下一步的研究工作进行了展望。 燕山大学工学硕士学位论文 第2 章科学数据库概述 科学数据库由数值数据、图像、声音、文本文档以及进行数据处理和 过程模拟的软件方法组成，出现在大多数研究机构和组织中。在许多领域 中，出于研究和管理的目的，需要对数据库进行集成和可视化，并置于可 互操作的网络环境中。大多数科学数据库不使用一般的d b m s 进行管理， 因为一般的d b m s 不能很容易地针对科学数据的数据结构和使用模式进行 处理。因此，首先需要分析科学数据的特点及分类，在此基础上分析和设 计合适的科学数据库系统，支持对这些科学数据的存储、管理瓤操作。上 一章主要阐述了本课题的研究背景、研究现状和研究内容。在本章中，将 详细介绍科学数据及科学数据库的一些特点和分类。 2 1 科学数据的分类 研究科学数据库首先要清楚科学数据库中所存储的数据的特点。通过 对科学数据的分析，识别出相似的数据结构、数据特点和数据的使用方式， 我们对科学数据进行如下分类。 2 1 1实验数据 大多数科学数据来自实验和模拟。来自实验的数据通常是对一些物理 现象的测量。例如，微粒束的碰撞，强磁场中分子产生的光谱。来自模拟 的数据典型地来自复杂的计算。实验和模拟数据有相似的特点，因此可以 看作是一样的，统称实验数据。实验数据能按照三种特征进行分类：规则 性、密度性和时间变量。 规则性指进行测量或计算的点或坐标的模式。例如，物理实验中，探 测器置于特定的布局中。如果布局描述了一个规则的格式或其它几何结构， 就可以说实验有规则性1 2 0 1 。相似地，许多模拟按照规则的格来计算值，因 6 第2 章科学数据厍概述 此具有空间规则性。此外，若以规则的时间间隔测量或计算值，则可以认 为时间是另一个规则的坐标。 一般来说，规则性指测量的值的坐标与这些值的存储位置的映射，比 如数组线性化是多维空间到线性空间的映射。因此，不用把每个测量的值 都存储在坐标值中，可以节省存储空间并达到快速存取的目的。另一方面， 当存在不规则时，需要列举这些数据点并存储其值于标志符中。 密度性说明是否所有的潜在数据点都有与它们相关联的实际的值。稀 疏说明存在大量可以被压缩的无用值。所选择的压缩技术取决于数据的存 取模式是顺序的还是随机的。 时间变量说明坐标随时间的变化。时间变量对坐标的存储提出了一个 重要的要求，即除了存储每个时间段上点的坐标，还必须保持点之间的时 间关系。 2 1 2 相关数据 除了上面讨论的实验数据，还存在支持实验的数据、从实验数据衍生 的数据。支持数据分为两种：布局数据和仪器数据。相似地，衍生数据分 为三种：分析数据、摘要数据和属性数据。我们把它们统称相关数据。 2 1 2 1 布局数据布局数据是描述实验或模拟初始结构的数据。如在对 建筑物的热传递进行模拟时，必须描述建筑物的布局。又如在一个实验中， 布局数据描述了不同仪器或探测器的位置。布局分布实际上决定了上面提 到的科学数据的规则性。通常布局数据在一个实验期间不会改变，但在多 个实验或模拟之间可能发生变化。跟踪这些变化并把布局数据与对应的实 验联系起来是十分重要的。 2 1 2 2 仪器数据仪器数据由实验中使用的仪器和物质的描述，以及它 们随时间的变化组成。它们对于实验数据的正确分析是十分重要的。例如， 实验中使用的气体的压力和温度以及它们随时间的变化，电压随时间的漂 移，实验之前对探测器和仪器的测量等都属于仪器数据。仪器数据也包括 实验操作的臼志，如一个坏了的模数转换器的替换时间、负责人。不过， 许多仪器数据收集在不相关的文件或日志中，使得它们与实验数据的关联 燕山大学工学硕士学位论文 十分繁琐且极易出错。 2 1 2 3 分析数据在对实验数据的分析过程中产生了许多数据，即分析 数据。这些数据以及它们与实验数据的关系也需要进行管理。分析过程可 能需要多个步骤，记录每一步的分析处理数据、输入输出数据以及各步骤 间的关系十分关键。 2 1 2 4 概要数据科学数据库中的数据常常需要聚集、合并，这就产生 了概要数据。需要组织、搜索、浏览概要数据，保存其与底层数据的关系。 2 1 2 5 属性数据在科学领域，多年来收集的信息是有用的。对材料、 物质、微粒的属性进行组织、分类需要大量的工作。例如，有若干个系统 致力于存储、检索化学物质的属性。许多属性数据库不能在线存取，这些 数据只能在周期性出版的书中得到且不可更新。属性数据是非一致的，包 括数字、文本、目录数据、图表和图像。此外，由于这些数据涉及复杂的 术语，所以需要高级查询、浏览能力。 2 2 科学数据库系统的分类 科学数据库可以按照三种方式分类：其存储的数据被解释的程度、期 望对数据进行的分析、数据源。 2 2 1 数据的解释程度 科学数据库存储的可能是原始数据或经过处理的解释数据。按照处理 的程度，数据分为下列几种。 ( 1 ) 原始数据是直接从测量仪器中获得的原始值，它极少被存储。 ( 2 ) 校准数据是原始数据经校准操作订正的数据，正常情况下被保留下 来。 ( 3 ) 有效数据是经质量保证流程过滤的校准数据，是科学上最普遍采用 的数据。 ( 4 ) 衍生数据是那些频繁被聚集的数据，如平均数据或汇总数据。 ( 5 ) 解释数据是关联到其它数据集或研究领域的衍生数据。 第2 章科学数据库概述 这些依次深入解释的数据类型不一定十分准确，但是它说明数据库中 的数据类型高度依赖于其处理水平。而且，关于处理的信息也必须保留， 这种辅助的描述性数据和信息对于深入理解和使用数据集是十分重要的。 2 2 2 期望的科学分析 所有的科学数据都应该有进一步分析的价值，否则就没有理由保留它 们。随后分析的特点决定着所期望的数据表现形式。例如，地球科学数据 经常以统计方式进行分析；生物基因数据库的主要行为是对线性的字符数 据的精确匹配【2 1 ，2 2 1 ；空间科学中多光谱分析采用傅立叶等转换口孤，因此用 到非常大的二维或三维数组。对每种类型的分析处理，最好有不同特点的 数据库。 2 2 3 数据源 按照数据源的不同，科学数据库分为单源数据库和多源数据库 2 4 , 2 5 。 按照数据处理中心的不同，科学数据库分为单数据处理中心数据库和多数 据处理中心数据库。单源数据库如图2 1 所示。 图2 - 1 单源数据库 f i g u r e2 - 1s i g n a l s o u r c ed a t a b a s e 原始数据以原始状态保存于原始数据库中。经过仪器校准、噪声过滤 或其他处理操作，原始数据被处理成更适于使用的处理数据集，存于处理 9 燕山大学工学硕士学位论文 数据库中。最后，把处理数据解释成解释数据，存于解释数据库中。 多数据源环境如图2 2 所示。 图2 - 2 多源数据库 f i g u r e2 - 2m u l t i s o u r c ed a t a b a s e 人类基因工程就是一个典型的多数据源环境。在此工程中，不同的机 构具有各自不同的基金、任务、方法论。它们利用不同的计算机系统和数 据库管理技术产生数据。所有机构把数据提交给一个公共的数据库，如 g e n b a n k t 2 8 1 。随后，这个公共数据库就可以作为一个公共的数据源， 方便多个研究实验室进行进一步的研究。 2 3 科学数据库设计的难点 由于科学数据库有许多不同于常用数据库的特点，在进行系统设计时， l o 第2 章科学数据厍概述 需要进行特殊的处理。下面列举主要设计难点及相应解决办法。 2 3 1 适应各种变化 任何数据库都必须适应各种各样的变化，如操作系统的更新，j a v a 、 d b m s 新版本的使用等。而一个科学数据库还需要适应其它一些变化。比 如原始数据的变化，分析流程的变化以及用户改变研究重点时系统使用模 式的变化 2 9 , 3 0 。 科学数据库极少是面向事务的，它们所记录的数据应该保留以供日后 使用，所以科学数据库中的数据不能随意变化。对于原始数据的校准等需 要改变数据的情况，科学数据库可以采用版本控制m 3 2 1 的方法。采用版本 控制方法，原始数据和基于它的导出数据必须增加版本信息，而且数据和 分析算法要支持“血统跟踪”。 分析流程的改变也是经常遇到的问题。分析流程的改变有许多原因。 有可能由于数据的校准，也有可能由于设计者优化了现有的分析流程。更 多的时候是由于研究者有了一定经验后，采用新的方法来抽取信息。为适 应这种变化，我们在体系结构中引入处理逻辑( p l ) 组件。 2 3 2 不确定的使用模式 科学数据库设计的一个最大的挑战是设计者不清楚数据将来用于何 处，以何种方式使用。举一个例子说明，r h e s s i 用于太阳观测。如果利用 其观测数据进行单一方面的研究，如太阳耀斑研究，可以构建一个非常有 效且成功的系统。因为针对这方面的研究，可以去除许多对研究无关的数 据，并优化查询、处理和数据的表示。问题是这样就减弱了数据所能发挥 的作用。r h e s s i 的许多测量数据虽然不能应用于太阳耀斑的研究，但是可 能用于y 射线的研究。因此要最大限度发挥数据的作用，不能严格限定它 用于何处，如何使用。 2 3 _ 3 查询 利用s q l 语言进行查询是一种查找相关数据的有效方法。比起只能按 燕山大学工学硕士学位论文 序扫描数据文件的脚本方法 3 3 , 3 4 1 ，它具有明显的优势。但是，s q l 方法只 能用于科学家所查找信息已经恰当地表达于数据库模式的情况下。例如在 重型机械方面，一个仅用于板型控制的数据库不能回答出轧辊磨损的问题。 试图创造一种超级模式来适应数据所有可能的使用方式是不可能的。在包 含海量数据的科学数据库中这种问题尤其突出。 因此，如果一个科学数据库需要支持无法预先确定的分析，那么它应 该采用一种非常灵活的数据组织形式，即不严格规定科学家用这些数据可 以做什么，不可以做什么。这个问题不是单纯通过模式改进就可以解决的。 系统的使用者可能采用自己的方式处理数据。如果可以的话，他们会使用 一般的工具进行粗略的查找，但是随后他们会执行自己的分析过程。任何 科学数据库都不可能有效支持如此多的数据视图。 对此问题的解决方法分两部分，一部分与数据组织有关，另一部分与 数据处理有关。数据组织方面，不对数据提供预先定义的类型。只采用“事 件”这种“类型”。一个“事件”是对特定用户有某些意义的一段监测时期。 “事件”的概念使得用户可以利用原始数据中任何数据构建自己的目录。 这些目录一般可以看作一种特殊的类型。在数据处理方面，把外部程序引 入进来，作为操作集的一部分。对用户来说也可以提交能够引入系统的分 析流程，并提供给其它用户使用。 2 3 4 响应时间 科学数据库的一个要求是应该尽量减少从原始数据中获取有意义结果 的时间。重机科学数据库中的原始数据处于非常低的层次，它们只是许多 由传感器返回的附有时间标识的温度、压力等参数值。大多数情况下，专 家要想识别有意义数据必须先进行一系列处理步骤。典型情况下，这一处 理过程包括识别一个监测时间段，产生此时间段的图像或其它分析结果， 然后决定哪些数据是有意义的。这里的关键是分析流程有不同的属性，并 且以不同的方式来使用。为作出一个正确判断可能需要许多的分析。这样， 一个专家能发掘的数据数目依赖于分析结果出来之前的整个时间。 响应时间的概念十分重要，因为它除了包括系统为分析流程检索必要 第2 章科学数据厍概述 数据的时间，还包括处理时间。相对于数据查找，数据处理需要越来越长 的时间。主要因为如下几个原因。 首先，需要使用大量仪器进行分析的复杂算法越来越多。 其次，许多分析算法是非线形的，需要o ( n 2 ) 或o ( n 3 ) 数量级的时间来 处理n 个数据节点。 再次，i o 带宽跟不上存储容量的增长速度。最近十年，计算机存储能 力增长了l o o 多倍，而带宽仅提高了l o 倍。 要解决这个问题，研究者需要采用更好的分析算法，比如利用近似算 法处理大的数据集。还需要采用并行算法，利用许多的处理器和磁盘来满 足c p u 和带宽要求。 2 3 5 避免冗余工作 科学数据库中原始数据的分析是一件很费时间的工作。许多相似的分 析经常要重复进行。可以保存这些经常重复的分析结果，从而减轻系统负 担，加速相关数据的查找过程。当一个用户请求分析给定数据集时，系统 首先检查该数据集是否已经分析过，如果已经分析过，直接找到储存的分 析结果。 现在有一种趋势，用户在数据中心建立一个个人工作区，把自己数据 的分析结果存储在这里。这样可以最大程度减少数据的移动，方便研究者 之间进行合作。 2 4 本章小结 本章主要对科学数据和科学数据库进行了系统的介绍。 首先，通过大量的调查对科学数据进行了分类，为以后按不同类型数 据的特点进行管理提供了方便。 其次，从三个角度对科学数据库系统进行了分类。面向重机行业科学 数据库系统根据自身特点可以归入适当的类别，这样方便研究，并可以借 鉴同类型科学数据库的设计思想。 燕山大学工学硕士学位论文 最后，分析了科学数据库系统设计的难点。这是设计过程中需要重点 解决的问题。这些问题的解决是科学数据库系统设计成功与否的一个重要 标志。 第3 章重型机械生产技术概述 第3 章重型机械生产技术概述 3 1轧制在钢材生产中的地位 在钢材的大量生产中，轧制是最经济、最便利的方法。因为轧制法生 产效率高，产品种类多，生产成本低，适合于大规模生产。所以在钢铁联 合企业中形成了炼铁、炼钢和轧钢三个生产环节。随着生产的发展，科学 技术的进步，轧制技术也在不断发展和进步。这从以下几个方面可以看出。 ( 1 ) 生产过程缩短和紧凑炼钢与轧钢的衔接形成连铸连轧。与传统的 铸锭、开坯、轧材相比，生产周期短、工序少、能耗及其他消耗少。生产 过程的综合形成了紧凑式短流程生产车间。 ( 2 ) 新技术越来越多地应用于轧钢生产计算机控制、液压技术、板型 控制、控轧控冷等技术使轧制过程向最佳化，轧制产品向最优化发展。 ( 3 ) 塑性加工基础理论的发展使轧制过程模型化建立各种生产条件 下的轧制数学模型、综合力学模型，利用计算机控制生产过程，使工艺技 术向工程科学迈进。 ( 4 ) 最优化技术利用最优化技术确定最佳参数和工艺制度，优化生产 过程，以便优质、高产、低消耗、低成本地生产各种钢材。 ( 5 ) 新技术新工艺新技术和新工艺的应用，使轧制产品的质量、性能 提高，满足了使用上越来越高的要求。 3 2 轧钢生产系统概述 在钢铁联合企业，由于轧制产品的种类多，各类轧制产品的加工方法 也不尽相同，所以生产各种轧制产品的轧机必须组成各种专门的生产系统。 传统的轧制产品的生产方法，是由炼钢车间浇铸的钢锭，经初轧机( 开 坯机) 轧制成各种规格的钢坯，然后再通过成品轧机轧制成各种钢材3 5 1 。 燕山大学工学硕士学位论文 钢坯轧制系统大致组成如图3 1 所示。 it j 加热炉 图3 - 1钢坯 l $ 1 j 系统 f i g u r e3 - 1t h es y s t e mo f b i l l e tr o l l i n g 近几年来由于连续铸钢技术的发展，连铸坯的产量在大幅度增加。炼 出来的钢水通过连铸机直接浇铸成各种规格的连铸坯，然后再将连铸坯轧 制成各种钢材。这种方法省去了铸锭、初轧等许多工序，简化了生产工艺 过程，而且有节约金属、提高成材率、节约能耗、降低生产成本、改善劳 动条件、提高劳动生产率等一系列优点，所以各国都在大力发展连铸。连 铸坯的发展为简化轧钢生产系统提供了有力的条件。 轧钢生产系统是依据原料来源、产品种类和生产规模不同，将初轧机 或连铸机与各种成品轧机配套设置，形成在原料规格和生产能力上供求平 衡的生产流程。 按生产规模可分为大型、中型和小型生产系统：按产品种类可分为板 带钢、型钢、合金钢和混合生产系统。 其中，板带钢生产系统由板坯初轧机将大钢锭轧成板坯，然后再由钢 板轧机轧成中厚板或热带钢。也可由连铸机铸成板坯后再轧制成中厚板或 热带钢。该生产系统年产量比较高。 在钢铁联合企业，由于成品轧机生产不同规格的钢材所需要的原料规 格和数量不同，轧钢生产都形成一定的生产系统。为了充分发挥成品轧机 的能力，必须满足成品轧机的供料要求。各轧钢车间所用原料，炼钢车间 1 6 第3 章重型机械生产技术概述 不可能做到直接用钢锭供料。因为多种规格大小不等的钢锭会使炼钢铸锭 无法处理，而且质量差消耗大，所以炼钢车间一般浇铸少数几个规格的大 钢锭。这些大钢锭再经初轧机轧制成各种规格的钢坯，供成品轧机轧材。 当然也可通过连铸机直接铸成连铸坯供成品轧机。这样，原料的品种和规 格、产量都配套设置，就组成了轧钢生产系统。各类成品轧机只有形成轧 钢生产系统，才能充分发挥其生产能力。 3 3 轧钢生产的工艺过程 将钢锭或钢坯制成一定形状和性能的钢材，需要经过一系列的工序， 这些工序的组合叫做轧钢生产工艺过程。 由于钢材品种繁多，规状、钢种和用途各不相同，因此轧制不同产品 采用的工艺过程不同。正确地制定工艺过程，对保证产品质量、产量和降 低成本具有重要意义。轧钢生产的工艺过程，根据使用原料的不同，生产 品种的不同以及轧钢设备的不同而不同。一般来说，轧钢生产工艺过程是 由坯料准备、坯料加热、钢的轧制、精整四个基本工序组成的。 3 3 1坯料准备 包括按炉号将坯料堆放在原料仓库，清理表面缺陷，去除氧化铁皮和 预先热处理坯料等。 钢锭和钢坯在轧制之前要检验是否符合技术要求。有些钢锭或钢坯表 面带有某些缺陷，需要在轧前将缺陷清理掉。否则这些缺陷将会保留到成 品材的表面，造成废品。因此，轧前原料准备中清除钢锭或钢坯的表面缺 陷，是保证成品钢材的质量，提高成品率的重要工序之一。 钢锭和钢坯在原料库存储堆放时，要严格按照要求堆放，如果发生钢 号混乱，则将作为废品处理。 3 3 2 坯料加热 在热轧生产中，如初轧开坯，轧制中厚板和热轧带钢、s l n 各种型材 燕山大学工学硕士学位论文 及线材、无缝钢管生产等，轧制之前需将原料加热。在轧制之前将原料进 行加热，也称热轧生产。 加热可以提高钢的塑性，降低变形抗力。因为钢锭或钢坯在较高的温 度下塑性好变形抗力低，这样便于轧制时发生塑性变形。并且可以加大压 强量，并使轧制设备满足强度要求。 加热还可以改善金属的内部组织和性能。坯料中的不均匀组织通过高 温加热的扩展作用使组织均化，消除偏析。 坯料加热的质量影响到轧钢生产的质量、产量及能耗。合理地确定加 热制度，加热出合乎质量要求的原料，是优质、高产、低消耗地生产钢材 的首要条件。 3 3 3 钢的轧制 钢的轧制是轧钢生产工艺过程的核心工序。钢的轧制分为粗轧和精轧。 粗轧的作用是压缩轧件，使之延伸。粗轧机一般采用1 至2 架二辊轧机。根 据粗轧机的布置，可以连续轧制或可逆轧制。粗轧机的轧制向精轧机提供 尺寸精确、板形好的坯料。 由粗轧机组轧出的带坯经输送辊道送入精轧机。带坯进入精轧之前还 要进行测温、测厚，进行再整定计算，并用飞剪切头、切尾。切头是为了 切除温度较低的头部，使头部规整便于精轧机咬入；切尾是为了卷取或后 部精整方便。切头后带钢要经过高压水除鳞，清除次生氧化铁皮。同时在 精轧机的前几架之间也设置高压水喷嘴。精轧机一般有6 或7 架，最多有9 架。因为增加精轧机架可使粗轧来料厚度增加、提高轧机产量，而且可以 轧制薄规格产品。 3 3 4 精整 精整工序通常包括钢材的切断或卷曲、轧后冷却、矫直、成品热处理、 成品表面清理、包装等工序。该工序对产品质量起着最终的保证作用。 在制定生产工艺过程时，不论采取哪种加工方式和选用什么工序，都 必须保证产品质量达到相应的技术要求，产品才能具有较高的使用价值。 第3 章重型机械生产技术概述 因此，产品的技术要求是制定工艺过程的首要依据。 在制定工艺过程时，还应考虑所加工钢种的工艺性能，包括变形抗力、 塑性、导热性能、对某些缺陷的敏感性等。它反映了钢的加工难易程度， 决定并影响钢的加工方式和方法。生产工艺过程确定的合理与否与所生产 的产品成本有关。一般说来，钢的加工工艺性能越差，产品技术要求越高， 其工艺过程就越复杂，工艺要求越严格，生产过程中各种消耗也越高。反 之，则成本下降。因此，成本高低在一定程度上反映了生产工艺过程是否 合理。 3 4 热轧带钢生产方法 热轧带钢的厚度在中板和薄板之间，实际上是钢板生产的一种新方法。 热轧带钢的生产方法有连续式轧制方法、半连续式和3 4 连续式轧法， 最后一种是单机可逆式轧法，用四辊可逆式轧机，又叫炉卷轧机。炉卷轧 机的粗轧机组由一台立式破鳞机和两台可逆式轧机组成。这种方法的特点 是粗轧机组往复轧制，既可轧制中厚板，又可与炉卷轧机配合，生产带钢。 热轧板带钢生产一直是轧制行业中高新技术应用最为集中、人们最为 关注的领域。伴随着近2 0 年来相关技术领域的技术进步，热轧带钢生产和 研究领域新技术层出不穷，推进了工艺、设备、技术飞跃式的发展。表3 1 列出了轧制过程中主要参数控制的技术进步情况。 表3 一i 热轧带钢生产技术的进步 t a b l e3 - 1t h ea d v a i l c eo f t e c h n o l o g yi nh o ts t r i pr o l l i n g l 3 6 时间2 0 世纪8 0 年代前2 0 世纪鲫年代2 0 世纪9 0 年代2 0 0 0 年后 测厚仪前馈a g c 、流量 液压压下绝对智能厚控系 厚度控制a o c a g c 、机架间测厚、 值a g c统 监控a g c测速 立辊短行程控 轧件头尾曲 宽度控制立辊宽度控制高精度张力控制 制线优化控制 1 9 燕山大学工学硕士学位论文 续表3 1 时间2 0 世纪8 0 年代前2 0 世纪8 0 年代2 0 世纪9 0 年代2 0 0 0 年后 各种板形控制板形、板凸度、 基于负荷分配板形板厚解耦控 板形控制 轧机( c v c ，p c ， 断面轮廓综合控 的板形控制 制 h c m制 薄板坯连铸连轧 热装轧制自由程序轧制 热轧无头轧制 智能轧制技术 其他计算机设定直接轧制 热轧超薄规格 信息处理技术 参数检测 冷却轧制 在线磨辊、高速钢 薄带钢铸轧 轧辊 从6 0 年代开始，我国陆续在鞍钢、武钢、本钢等大型钢铁企业建成投 产了一批半连续热轧带钢厂，其年产量大多在1 5 0 万吨以上。但随着近年来 国内钢材市场竞争的日趋激烈以及热轧带钥技术的快速发展，这些老厂在 产品质量、生产成本等诸多方面都无法很好地适应用户要求，对其进行技 术改造已迫在眉睫f 3 7 】。 热连轧在7 0 年代就采用了计算机控制，主要用于板坯的厚度、温度控 制，n s o 年代已实现了对加热炉控制、轧制节奏控制和带钢宽度控制。但 直到9 0 年代对带钢的宽度控制其成熟度和应用深度还有待提高。 3 5 数据库技术在热轧带钢生产中的应用 热轧带钢生产中数据库技术的应用有两种形式。一种是供实时控制系 统进行轧钢设备的调整，保证生产的带钢质量。另一种是存储检测数据， 供日后相关技术人员分析研究。本文的数据库系统主要起第二种作用。 热轧带钢生产线安装有许多检测仪，如测速装置、测厚装置、测压仪、 凸度仪、板形仪、宽度仪、温度仪等，用来检测板凸度、平直度、轧辊磨 损等多种参数。在连续的检测过程中就产生了大量的复杂数据。这些数据 需要大量的描述信息，以明确说明生产环境、日期、型号等信息。要有效 管理这些复杂数据并利用已有处理工具进行数据分析，工作量是十分大的。 2 0 第3 章重型机械生产技术概述 3 6 本章小结 本章主要对重机行业背景进行了概述，介绍了轧钢生产系统和工艺过 程，以及热轧带钢的相关知识。要研究面向重机行业的科学数据库，清楚 重机行业背景是必要的。最后，讨论了数据库技术在热轧带钢生产中的应 用。 2 1 燕山大学工学硕士学位论文 第4 章重机科学数据库的元数据管理 随着重型机械技术的迅速发展，海量重型机械数据的收集、组织、管 理和共享的复杂性正成为数据生产者和用户的最突出问题。如何从海量的 数据中快速、准确地发现、访问、获取和使用所需要的数据就显得特别重 要。元数据作为描述数据集内容、质量、表示方式、管理方式以及其他特 征的数据，无疑是解决这一问题的关键，并被认为是实现数据共享和分布 式信息计算的核心技术之一。 上一章主要介绍了与所研究课题相关的基础知识和行业背景，本章将 阐述要在重机科学数据库中采用的新颖的元数据管理方式。为重机科学数 据库的数据管理奠定基础。 4 1 元数据 当我们利用数据库在计算机上进行检索查询、数据处理、辅助管理决 策和科技过程计算时，经常要通过数据库的注释和说明，了解我们所用到 的数据库的意义、性质、存储格式及检索查询方法等内容，这时我们已自 觉或不自觉地用到了“元数据”。 元数据的概念应该说早已有之，只是随着数据库数据类型的增多和数 据量的增大，计算机网络的发展和普及，数字信息资源共享时代的u 来和 快速发展，才口益受到人们的重视。对元数据认识和接受最早的是地学界 国际上有不少地学方面的研究机构进行元数据方面的研究、标准制定和使 用等工作。随着计算机网络技术的发展，使信息共享成为信息领域发展的 一种趋势。现在，国际上一些著名的软硬件公司，如i b m 、s y b a s e 等，己 使用元数据管理他们的数据库和数据仓库等信息资源。元数据在我国也得 到了广泛重视，并在中国生态系统研究网络c e r n 和中国可持续发展网络 c s d n p 上得到了成功的试用。他们制定了网络上元数据的执行标准并已经 c s d n p 上得到了成功的试用。他们制定了网络上元数据的执行标准并已经 第4 章重机科学数据库的元数据管理 在项目参与单位使用。 4 1 1 元数据的定义和特点 迄今为止，元数据( m e t a d a t a ) 尚没有一个统一的定义。目前，有关元数 据的定义一般泛称为：d a t aa b o u td a t a ( 关于数据的数据) 3 9 1 。然而，元数 据的具体定义和应用随学科不同和应用领域不同而异。 元数据在科学数据库中的具体定义是“元数据是描述一个具体的科学 数据库数据资源对象( 数据集或数据) ，并能对这个对象进行定位管理，且 有助于它的发现与获取的数据。一个元数据由许多完成不同功能的具体数 据描述项构成。具