热轧过程控制系统中数据库的应用与性能优化

热轧过程控制系统数据库的应用与性能优化 昝 培 （ 攀 钢钒热轧板厂） 摘 要： 介绍攀钢热轧过程控制系统中数据库系统的应用情况、设计原则；分析了数据库应用系统在运行过程中出现的各种性能问题，提出了提高数据库系统运行性能的解决方法，以满足热轧过程控制系统的实时性要求。 关键词 : 热轧；过程控制；数据库； 讯； I/O； 引言 攀钢热轧板厂主轧线自动化系统采用 2级控制结构，其第 2 级过程控制系统，由据库系统来存储加热区、粗轧区、精轧卷取区控制系统所要求的模型数据、设定计算参数、跟踪数据以及从基础自动化采集的轧制过程数据；同时也利用 统的 通讯方式来部分承担三个区的过程控制系统及数据中心机间的数据通讯任务。然而，热轧生产过程是一个快速过程，过程控制系统需要进行轧件跟踪、数据采集、模型计算及自学习，运行负荷很重，系统生成的大量轧制数据还需要长期保存下来，供日后统计分析。生产过程对系统的响应时间有很高的要求，通常在100 500。由于 据库不是一个实时数据库，如何设计一个适应热轧过程控制的数据库应用系统，以及如何优化系统，使其稳定高效运行， 既能满足实时系统对响应时间的要求，又能保证大数据量的查询能在用户可接受的时间范围内进行，是热轧过程控制系统急需解决的一个问题。 1数据库应用系统设计 程控制系统结构 热轧厂过程控制系统共配置 4 台服务器，其中 3 台是 型机，运行 作系统， 1 台是 务器，运行 作系统，如图 1。 图 1 过程控制系统网络图 3 台 务器分别用于加热区、粗轧区和精轧卷取区过程控制系统。另用 1 台 3 台过程控制计算机和数据中心机接到以太网交换机上，在物理上过程机各自连接到二个局域网上，一个用于基础自动化通讯，一个专用于过程机之间的数据交换。 务器共用一套 盘阵列，分别使用其中的三对 1 型磁盘阵列（镜像），存储加热、粗轧及精轧数据库数据文件。另外，系统还采用一台 务器作为数据中心机，它带有独立的 盘阵列，内装有 8 块硬盘，构成一个 5 型的磁盘阵列，存储大量的生产过程、产品质量等历史数据，运行相应的数据应用程序 【 1】 ，进行各种数据统计分析。 程机的数据库应用 精 轧过程机运行的是 作系储阵列 过程机数据 交换网络 加热 据中心机 至基础自动化 轧 轧 储阵列 过程机数据 交换网络 热 储阵列 至基础自动化 据中心机 存储阵列 统，有 1 个磁盘镜像系统盘。操作系统、应用系统程序及数据库系统均安装在该本机盘上，数据库数据文件，其中包括系统表空间文件、应用系统数据表空间文件及索引文件等均配置在外置的磁盘阵列 。精轧过程机数据库系统的主要功能是：（ 1）存储应用系统的静态数据，包括应用系统启动参数、钢种分类特性表、轧制数据模型常数参数及控制状态数据等；（ 2）用于数据库间传送数据的通讯表。由于过程机之间及过程机与数据中心机之间将通过 式传送数据，为此在数据库中建有很多通讯表 ，供通讯的发送方写入用；（ 3）存放现场采集数据。这类数据主要是供轧制模型进行计算用，以及作为向数据中心机传送数据的缓存。由于是来自于现场的采集数据，这类数据对表写入的频率很高，数据量也很大，但是保存时间不长，一般处理完以后就可以删除。 据中心机的数据库应用 数据中心机数据库的数据文件，其中包括系统表空间文件、应用系统数据表空间文件及索引文件等均配置在外置的磁盘阵列上，大约能存储 3 年的历史数据。 数据中心机通过 通讯方式与加热、粗轧和精轧过程计算机进行数据交换，实现轧件实际数据的收集、生产计划 数据的管理、轧辊数据的管理 ,并对产品质量和生产轧件历史数据及生产设备运行状态的分析和统计，达到提高生产质量和产量的目的。 . 数据中心应用系统划分为若干子系统：轧制计划管理系统、轧辊管理系统、统计分析系统和通信服务系统。 制计划管理系统 轧制计划是由生产管理人员根据合同、板坯来料及生产节奏，再综合设备状况等因素，制定的以每块钢卷为单位的生产计划，该计划将作为基本参数被输入过程控制计算机，过程机的轧件跟踪、模型参数设定都是以轧制计划为基础。轧制计划管理子系统主要包括计划编制、计划修改、计划下发、计划 实绩查询等主要功能。 轧制计划管理系统的投入，改善了轧制计划的编排环境，使得编排的效率提高。轧制计划的下发、修改通过电文形式发往个轧制区域的通讯区，并修改相关表的标志字段，保证了信息传递的同步性和及时性。 辊管理系统 轧辊管理系统负责全厂所有轧辊的磨削、检测、保养以及轧制产量的考核和轧辊性能指标的评估。轧辊管理系统的数据库建立在数据中心，在精轧数据库上建立换辊操作数据库，其基本功能包括：（ 1）数据输入。包括轧辊计划的编制，新辊入库的填写，轧辊磨削、温度、硬度、探伤检测等数据的输入；（ 2）轧辊查询 。可以查看新输入的数据，并验证其正确性，查询某根轧辊的使用记录，以及轧辊的最新情况；（ 3）轧辊跟踪。提供轧辊的位置状态跟踪信息；（ 4）统计分析功能。提供轧辊的使用报表，包括日报、周报、月报等，以及轧辊使用过程中异常情况统计，为轧辊的性能考核提供信息。 量统计分析和报表系统 质量统计分析和报表管理系统主要为质量管理部门、工艺部门和模型维护部门提供研究分析的依据，通过使用报表管理系统，质量工作人员对生产过程采集的数据进行分析，作出产品的质量判定，还可以对出现质量异议的钢卷进行原因调查和分析，同时模型 维护人员可以根据报表信息检查模型的使用情况和设定精度，分析模型使用过程存在的问题，以便进一步优化精轧数学模型。 数据中心负责收集生产实绩数据。可以实现样本数据的描述和预处理，假设检验；可以进行方差分析、回归分析、线性分析、聚类分析等多种统计分析，并可以图形显示和生成报表。 据库间的通讯 过程机和数据中心机之间有大量数据要进行通讯。根据实时性的要求不同分为二类。 (1)高实时性 (通常在 500 1 s)。这类数据主要包括轧线跟踪、生产控制及设备状态等信号。应用系统通过这些信号来控制现场轧制过程，不允 许延时传送。这类数据的特点是实时性要求高，数据量很小，涉及读写的数据库表也少。 （ 2）低实时性 (1 块带钢的轧制时间，通常在 3 右 )。这类数据包括每块带钢的属性、模型计算设定参数及现场采集参数。这些数据传送到数据中心机存储保存，作统计分析用。这类数据的实时性要求不高，但数据量很大、涉及读写的数据库表多 。 以上二类数据都是通过 来传送的，只是传送的频率不同。第一类数据是随时产生、随时发送；第二类数据是在过程机本机的数据库表中进行缓存，由应用系统进程利用现场二块带钢的轧制间隙，进行批 量传送。 通讯方式通过 2，利用 接写入目的数据库的数据通讯区表，目的计算机的数据库再通过触发器通知应用进程或写入目的计算机的工作区表。反之亦然。通讯模式如图 2 所示。 图 2 数据库间 讯方式 每个通讯的数据库双方，在各自数据库侧逻辑上划分为两个数据表区，一个是本系统使用的工作区数据表，另一个是与其他数据库通讯的数据区通讯表。每个发送信息方只能将数据写入对方的通讯区数据表。接收方可简单的在数据通讯区表中定义插入式类 型的触发器，将通讯区表的数据写入本方工作区数据表，同时删除通讯数据表中的记录。通讯双方的工作区数据表和通讯区数据表结构，并不要求完全一致。只要在通讯中完全匹配即可。 2数据库应用系统的优化 系统投用之初，运行极不稳定。主要是由于在数据库的设计中存在一些问题，同时对数据库也没有进行一定的优化维护，随着数据量的增加，系统经常出现响应缓慢；被锁定的表无法自己释放，导致应用系统的进程死锁；数据库间的通讯时有中断，应用系统间丢失信息；另外，经检查网络流量，发现网上传输的数据量非常大。 针对出现的问题，通过研究 各种优化方法，将其应用于热轧数据库系统。 化内存 在 ，内存参数的调整主要是指系统全局区 (调整。 统保留 3个基本的内存高速缓存，数据字典高速缓存、数据块高速缓存和重做日志高速缓存。 据字典高速缓存的调整 数据字典高速缓存包含了有关数据库的结构、用户、实体信息。可通过查询v$来了解数据字典高速缓存活动情况，以决定如何调整。 据块高速缓存的调整 指一个 据块的大小，它是在创建数据库时设置的 ,缺省值为 8 通常是越高越好。保存在内存中的据块的数量。该值应足够大以便产生一个有效的高速缓存命中率。 在数据库建立以后就不能改变，在实际应用中是通过调整调整缓冲区高速缓存的大小。 供了 3 个缺省值，默认值是 虑到该系统的并发用户数不会很多，但在做批量输入时共享数则可能较大，因此将该值设为 2048，比标号为 做日志缓冲区的调整 重 做 日 志 缓 冲 区 的 大 小 是 由始化参数决定，决定在内存中保留多少空间缓存重做日志项。如果这个值通讯区 工作区 过程机 数据库 通讯区 工作区 数据中心机 数据库 _发器 工作用表 触发器 工作用表 设置得过低，进程之间相互竞争，日志写入进程读出和写入缓存，有可能会导致性能问题。 缺省值为 32768 个字节，等于数据块尺寸的 4 倍，考虑到应用系统在某些时段运行的事务比较集中，为避免用户等待重做日志缓冲区，将该值由缺省值提高为65536。 化 I/O 磁盘的 I/O 速度对整个系统性能有重要影响。解决好磁盘 I/O 问题，可显著提高性能。影响磁盘 I/O 的性能的主要原因有磁盘竞争和数据块空间的分配管理。 空间与数据文件的磁盘存储 如果服务器上有多个磁盘，则可将文件分散存储到各个可用磁盘上，减少对数据库的数据文件及事务日志文件的竞争，从而有效地改善服务器的性能 3。 数据中心机承担大数据量的存储，同时还要对大量的查询作出及时的反应。在设计上单独为数据中心机配置了 1 台磁盘阵列 8 个磁盘构建一个 5 型磁盘阵列。5 型阵列是最常用的磁盘阵列，数据可以平均分布到各个磁盘中去，大大减少了数据读写时的磁盘 I/O 时间。 有时候由于某些进程的影响 或网络的原因，很多通讯数据表中的数据无法及时处理，导致这些表存储了大量的数据。而当故障排除，这些表中的数据被删除后，表占用的表空间却不会自动释放，由于通讯表的数量比较多，这种情况占用了大量的表空间，给系统性能带来了很大的影响。一般利用工厂检修时间，把相关的通讯表全部删除，再重建，目的是彻底释放这些表占用的表空间。 区的使用 分区可以把较大的数据库对象分解成更易于管理的较小段，可以改善表的维护、事务及查询性能，表和索引都能够被分区。数据中心机上有的数据表 1 年的存储量将近 5G。系统刚投入运行时，并没 有意识到这个问题的严重性，随着数据的不断增加，对这样的表的查询响应时间大幅上升，严重影响的系统的运行。 通过分析发现，对这些大表的查询一般是以月为单位进行操作的，可以用月范围来进行分区，把 1 年的数据分布到 12 个分区中，也就是分布到 12 个表空间中，这样虽然增加了表空间文件的数量，但是每个文件的大小变小了，以月为单位的查询只涉及到一个表空间，显著提高了查询的效率。 化 句 言是一种灵活的语言，相同的功能可以使用不同的语句来实现，但是语句的执行效率却很不相同。总得来讲，写 句需要满足如 下规则：（ 1）避免对返回的行无任何限定条件，即不使用索引列进行查询；（ 2）避免条件列在表达式中使用；（ 3）避免条件中使用 不相等；（ 4）在子查询中慎重使用 者 句；（ 5）慎重使用视图的联合查询。 系统投入运行一段时间后，专门组织人力对系统中所有的 句进行了排查，依据上述原则进行了大量的修改，尤其是对一些涉及到多表连接且数据量较大的查询语句进行了仔细分析，对存在执行效率问题的 例如在轧制计划的查询中，由于查询一个计划涉及到多个子表，最初开发人员只用了一条 包含多表连接的 句，随着数据量的增加，查询的响应时间越来越慢。通过修改，把多表的连接分解为几个对单一表的查询，把查询结果传送到客户端的内存中，由客户端程序处理数据。虽然客户端程序要稍微复杂一些，但总的查询响应时间只有修改前的 30%，而且随着数据量的增加，性能下降并不明显。 化网络性能 网络性能的好坏直接影响数据库的性能。在最初的设计中，系统中的 4 台服务器之间的数据库通讯是和基础自动化系统共用一个以太网段，由于基础自动化各台 间传输大量的现场数据，网络带宽争用情况非常激烈。考虑到 4 台服务器 数据库之间传送的数据与基础自动化并没有关系，完全可以通过另一个网段来传送。因此，在主交换机上，增加了 1 个通讯模块，给每台服务器安装了第 2块网卡，在物理上构建了一条服务器专用以太网，所有数据库之间的传送数据都转移至该网段上。通过该措施，网络的带宽得到了明显的改善，基本上杜绝了因网络原因造成的系统停机情况。 化效果 综合运用上述各种措施，对系统进行了全面优化，取得了良好的效果，主要有：（ 1）基本杜绝了数据库锁表的现象；（ 2）过程机的进程不会因为过长时间等待数据库系统的响应而导致崩溃；（ 3）由于采用专用网 段传送数据库间的数据，网络带宽得到了充分的保证，避免了因网络不稳定带来的系统不稳定现象，甚至是死机；（ 4）查询响应时间明显加快，尤其是对利用分区技术存储的表，效果更加明显，响应时间不到原来的四分之一；（ 5）客户端程序连接数据库时的等待时间明显缩短。 总之，通过优化，系统在运行中因数据库系统的原因导致的事故时间大大减少，有力地保证了生产的正常运行。 3结语 由于数据库系统的复杂性较高，很难将参数调整到使整个系统的所有环节性能都达到最优，项目组所能做的只是对系统不同方面的性能做出权衡，将系统调整到较为满意的状态 。 通过实践，认为数据库应用系统的设计优化工作，应当从以下几点来进行：（ 1）重视设计阶段的工作。由于设计阶段对系统分析不透彻，造成整个数据库逻辑或物理设计不