（计算机应用技术专业论文）大坝形变监测数据处理方法研究.pdf

r ， 学位论文独创性声明 本人声明，所呈交的学位论文系在导师指导下本人独立完成的研究成果。文 中引用他人的成果，均已做出明确标注或得到许可。论文内容未包含法律意义上 已属于他人的任何形式的研究成果，也不包含本人已用于其他学位申请的论文或 成果，与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示谢意。 论文作者签名： 茎立1 学位论文知识产权权属声明 本人在导师指导下所完成的论文及相关的职务作品，知识产权归属山东轻工 业学院。山东轻工业学院享有以任何方式发表、复制、公开阅览、借阅以及申请 专利等权利，同意学校保留并向国家有关部门或机构送交论文的复印件和电子 版，本人离校后发表或使用学位论文或与该论文直接相关的学术论文或成果时， 署名单位仍然为山东轻工业学院。 论文作者签名： 堡幺皂 导师签名： 一 a b s t l ；l a c t i 第1 章绪论1 1 1 课题背景及意义1 1 2 国内外发展现状2 1 3 大坝监测的基本内容3 1 4 本文的研究内容4 1 5 本文的组织结构5 第2 章大坝安全监测的决策支持技术7 2 1 决策支持技术的理论基础7 2 1 1 信息管理系统7 2 1 2 数据库技术7 2 2 决策支持系统概述8 2 2 1 决策支持分类9 2 2 2 决策支持系统的定义1 0 2 3 基于“一机四库”的决策支持系统1 l 2 4 数据仓库及其相关技术1 3 2 4 1 数据仓库1 3 2 4 2 数据挖掘1 3 2 4 3 联机分析处理1 4 2 5 基于数据仓库的决策支持1 4 2 5 1 智能决策支持系统概述1 4 2 5 2 智能决策支持系统应用举例1 6 2 5 3 开发数据仓库的注意事项1 6 2 6 本章小结1 7 山东轻工业学院硕上学位论文 第3 章大坝安全监测系统的数据挖掘平台架构1 9 3 1 数据挖掘的任务1 9 3 2 数据挖掘方法。2 0 3 3 大坝安全监测信息的数据挖掘处理过程2 2 3 4 大坝安全决策支持系统的数据挖掘架构2 3 3 4 1 大坝安全监测系统的数据挖掘平台2 3 3 4 2 数据挖掘应用平台下的元数据管理2 6 3 4 3 数据挖掘平台的远程管理2 7 3 5 本章小结。2 8 第4 章基于小波去噪分析的沉降监测数据处理2 9 4 1 小波分析基本理论2 9 4 1 1 小波分析2 9 4 1 2m a l l a t 分解与重构3 0 4 2 小波分析去噪原理31 4 2 1 小波阈值去噪3 1 4 2 2 小波变换模极大值去噪3 2 4 2 3 尺度间小波系数相关性去噪3 3 4 3 基于尺度问变换的小波去噪仿真实验j 。3 3 4 3 1 实验准备3 3 4 3 2 实验过程3 4 4 3 3 结论3 6 第5 章基于b p 神经网络的大坝变形监测数据处理3 7 5 1 神经网络概述3 7 5 2b p 神经网络算法3 8 5 2 1 标准b p 算法3 8 5 2 2 变学习率的优化b p 神经网络算法4 0 5 3 线性回归模型4 2 5 3 1 一元线性回归4 3 5 3 2 多元线性回归4 3 5 4 优化b p 神经网络与逐步线性回归方法实验对比。4 4 2 山东轻t 业学院硕十学位论文 5 4 1 实验数据准备4 4 5 4 2b p 网络结构的确定4 5 5 4 3 逐步线性回归分析4 6 5 4 4 实验对比结论4 6 第6 章总结与展望4 9 6 1 总结。4 9 6 2 进一步工作展望4 9 参考文献5 l 致谢5 5 在学期间发表的学术论文5 7 3 山东轻工业学院硕l 学位论文 4 山东轻工业学院硕，i ：学位论文 摘要 近年来，随着计算机辅助分析在工程领域的发展，利用计算机实现大坝安全 监测信息的智能管理和数据分析处理是大坝安全监测系统的发展趋势。与之相关 联的传感器技术、网络通信、数据挖掘方法和智能决策支持系统等各种技术和概 念也有了长足的进步，进而推动了现代化大坝安全监测的产生和发展。 本文着重对如何应用数据挖掘技术处理大坝安全监测信息进行了研究。主要 研究内容如下： ( 1 ) 第二章首先对大坝安全监测的决策支持系统进行了阐述，在分析传统的 基于“一机四库”的决策支持系统的基础上，给出基于数据仓库的智能决策支持 系统的组织结构，其核心部件是数据仓库、数据挖掘和联机分析处理技术，并分 别介绍了相关技术知识，与传统的决策支持相比，智能决策支持系统表现出的优 越性。 ( 2 ) 第三章在分析了大坝安全监测的数据挖掘处理流程和数据挖掘的任务和 方法之后，构建了大坝安全监测系统的数据挖掘应用平台，探讨了其特点和主要 构件功能。 ( 3 ) 第四章和第五章对如何应用数据挖掘技术处理大坝监测数据进行了研 究。第四章应用小波技术对沉降监测数据进行去噪分析，第五章对现有的标准b p 算法加以改进，将原有的固定学习率用改进的b p 神经网络方法和线性回归作对 比，对大坝位移监测数据的拟合做误差分析。从而得出结论说明数据挖掘算法可 以用于大坝监测的数据处理中预测和描述大坝信息。数据挖掘技术可以用来作为 决策支持和安全评价的重要工具。 关键词：大坝安全监测；数据挖掘；决策支持；小波分析；b p 神经网络 山东轻t 业学院硕f j 学位论文 a b s t r a c t i nr e c e n ty e a r s ，w i t ht h ed e v e l o p m e n to fc o m p u t e r - a i d e di ne n g i n e e r i n gf i e l d ，t h e u s eo fc o m p u t e rs c i e n c ea n dt e c h n o l o g yi ni n t e l l i g e n tm a n a g e m e n ta n dp r o c e s s i n go f d a ms a f e t ym o n i t o r i n gi n f o r m a t i o ni sad e v e l o p m e n tt r e n do fd a ms a f e t ym o n i t o r i n g s y s t e m ，o t h e rt e c h n o l o g y a n dc o n c e p t i o ns u c ha ss e n s o rt e c h n o l o g y , n e t w o r k c o m m u n i c a t i o n s ，d a t am i n i n gt e c h n o l o g ya n di n t e l l i g e n td e c i s i o ns u p p o r ts y s t e m sa r e a l s oh a sal o n g - t e r md e v e l o p m e n t ，a n dt h e yd r i v ef o r w a r dt h ea d v a n c e m e n to fm o d e m d a m s a f e t ym o n i t o r i n g t h i sp a p e rd i s c u s s e st h ep r o b l e m so fh o wt ou s ed a t am i n i n go nd a ms a f e t y m o n i t o r i n gi n f o r m a t i o nw i t hg r e a te m p h a s i s t h e m a i nc o n t e n t sa r ea sf o l l o w s ： ( 1 ) c h a p t e r2g i v e sa no v e r v i e wo fd e c i s i o ns u p p o r ts y s t e mo nt h ed a ms a f e t y m o n i t o r i n g o nt h e b a s e so fa n a l y z i n gt h e ”o n e m a c h i n e - f o u r - l i b r a r i e s ”d e c i s i o n s u p p o r ts y s t e m ，g i v e sa ni n t e l l i g e n td e c i s i o ns u p p o r ts y s t e mb a s e do nd a t aw a r e h o u s e ， t h ec o r ep a r ti sd a t aw a r e h o u s e ，d a t am i n i n ga n do n l i n ea n a l y t i c a lp r o c e s s i n g t e c h n o l o g y , a n dt h e np r o d u c e st h er e l a t e dk n o w l e d g e b ec o m p a r ew i t ht h et r a d i t i o n a l d s s ，i d s sh a si t sa d v a n t a g e s ( 2 ) i nc h a p t e r3 ，a f t e ra n a l y z i n g t h ep r o c e s so fd a t am i n i n go nd a ms a f e t y m o n i t o r i n gi n f o r m a t i o na sw e l la st h em i s s i o na n dm e t h o d so fd a t am i n i n g ，d e s i g n i n g t h ef r a m e w o r ko ft h ed a t am i n i n ga p p l i c a t i o np l a t f o r mf o rd a ms a f e t ym o n i t o r i n g i n f o r m a t i o n ，a n dd i s c u s s i n gi t sc h a r a c t e r i s t i ca n dt h ef u n c t i o no ft h em a i np a r ti nt h e s y s t e m ( 3 ) c h a p t e r4a n dc h a p t e r5 ，s t u d yh o w t ou s ed a t am i n i n gt e c h n o l o g yd e a l i n gw i t h t h ed a mm o n i t o r i n gd a t a t w os i m u l a t et e s t sa r em a d e ：f i r s to n ei sd e n o i s i n ga n a l y z i n g o nt h es e d i m e n t a t i o nm o n i t o r i n gd a t au s i n gw a v e l e t sa n a l y s i st e c h n o l o g y , s e c o n do n e i sc o m p a r i n gt h ei m p r o v e db a c kp r o p a g a t i o nn e u r a ln e t w o r k sa l g o r i t h mw i t hl i n e r e g r e s s i o nm e t h o d ，a n dt h er e s u l ts h o w st h a tt h ef o r m e rm e t h o dh a sal o w e re r r o rr a t e t h a nt h el a t t e ro n e f i n a l l y , w ec a ng e tt h ec o n c l u s i o nt h a td a t am i n i n gm e t h o dc a nb e u s e di np r e d i c t i n ga n dd e s c r i b i n gt h ed a mm o n i t o rd a t aa n a l y z i n g ，a l s o i ti sa n i m p o r t a n tt o o lt od e c i s i o ns u p p o r t a n ds a f e t yv a l u a t i o n k e y w o r d s ：d a ms a f e t ym o n i t o r i n g ；d a t am i n i n g ；d e c i s i o ns u p p o r t ；w a v e l e t sa n a l y s i s ； b pn e u r a ln e t w o r k s 山东轻t 业学院硕士学位论文 第1 章绪论 1 1 课题背景及意义 随着经济的发展，人们生产生活中对水利的应用需求不断提高，这推动了水 利建设事业的大力发展，大坝建设的规模越来越大。与此同时，规模越大，涉及 到的参数也越多，对于大坝安全监测的要求也越来越高，大坝的风险往往同规模 成正比i 。大坝的安全与否直接关系到下游生态环境和人民生命财产安全，这就要 求对大坝的运行状态进行实时监测，并对监测数据进行有效的分析，建立决策支 持系统未雨绸缪，来预防安全事故的发生。目前，在监测形式上，主要采用布置 在大坝上的自动化监测仪器来监测大坝的运行状况；在评估技术上，主要通过建 立包含安全评价知识库的大坝安全决策系统来确保大坝的安全性态。 监测数据的自动化采集，使数据量成几何级大量增长，传统的人工数据录入、 数学计算分析已无法满足需要，这就迫切需要应用计算机分析处理，通过计算机 进行自动数据采集、自动分析、给出操作建议己在股票、电子商务领域初步实现， 对有大量数据分析需求的行业来说，一体化监测与评价是今后研究发展的必然趋 势p j 。各种数学分析方法和对大量数据进行处理的数据挖掘方法被应用到大坝监测 数据中来，目前，主要采用统计模型、确定性模型和混合模型等数学方法【2 1 ，但是 其模型精度在很大程度上取决于建模因子的选择是否恰当，此外，时效的影响因 素复杂，存在很大的不确定性。因此用传统的数学模型进行监测数据的拟合一般 精度不是很高。神经网络、小波分析等数据挖掘方法不管是对于单个变量的系统 还是多个变量的系统都可以进行有效的分析，它不需要建立确定的数学模型，拟 合与预报的精度都能满足实际应用的需要。为此，顺应技术发展的要求，解决目 前大量观测资料不能被实时应用的缺点，将信息智能处理引入工程实践，推进信 息化进程，为大坝安全做出贡献。 对于大坝监测系统的风险评估和决策支持，众所周知，传统的决策支持系统 主要是以模型库系统为主题，通过定量分析进行辅助决策，其模型己由数学模型 扩大到广义模型，这些广义模型包括数据处理模型、图形模型、知识模型等。决 策支持系统的本质1 4 】就是将各种类型的广义模型有机的结合起来，构成解决问题的 模型体系，对数据库中的数据进行处理而形成对决策问题的信息支持。数据仓库 和联机分析技术对计算机辅助决策起到了很大的推动作用，这些新技术尽管和传 统的模型库对决策的支持是两种不同的形式，但它们可以相互补充、相互结合、 相互渗透，把数据仓库、联机分析、数据挖掘、模型库、知识库系统结合起来形 成的综合集成决策支持系统，是更高级形式的决策支持系统，这是决策支持系统 山东轻工业学院硕上学位论文 未来发展的方向和重点研究的问题。计算机应用于大坝信息管理，从最初的辅助 计算统计，到监测数据的自动采集自动存储，从应用单一数学模型的单机处理和 分析评价，发展到现在的基于b s 、c s 模式的网络监测系统，以后将实现大坝安 全监测的智能决策支持系统( i n t e l l i g e n c ed e c i s i o ns u p p o r t i n gs y s t e m ，i d s s ) 5 1 ，达 到远程监控、数据挖掘和智能决策的有机融合，这将是大坝安全监测系统的发展 方向。 1 2 国内外发展现状 大坝安全监测系统是一个时问跨度大、多学科综合的复杂工程系统，在国内 外都引起业界的充分关注和重视，其中数据监测和算法分析是安全监测的一个重 要手段。数据分析的主要工作是对自动化采集过来的各种数据进行存储，以数据 库、图库、分析方法库、数学模型库和相关知识库的形式进行管理，并应用一系 列数据分析软件，通过对各个测点数据进行统计分析、时序分析，对建筑物的性 状和安全状态做出评价，当监测到异常变化时，及时预报并分等级报警，由知识 库给出对应解决措施，为主管部门提供辅助决策的作用。国内外的数学模型有统 计学模型、确定性模型和混合型模型。8 0 年代以来，模糊数学理论、灰色系统理 论【6 1 、神经网络、遗传算法【7 1 、突变理论、小波分析【8 1 等各种理论和方法也逐渐被 引入大坝安全监测资料分析中来，建立各种预测预报方法、风险评估方法和异常 值监测方法，并取得了一定成果。这一系统的国内外成功案例并不多见。典型案 例如下： 意大利开发了著名的微机辅助监测系统m a m s 9 1 ，实现了数据自动采集和在 线监控，并利用其著名的存储和处理系统m i d a s 进行管理，可实现大容量监测数 据的实时存储、更新、恢复和图形表示，还可建立统计回归模型、确定性模型和 混合模型i5 1 。 芬兰k e m i j o k i 集团开发的大坝安全监测服务系统【1 0 】，用于对水电站、水库、 重要堤段的安全监测，目前在k e m i j o k i 集团下属的1 6 座水电站中投入使用，通过 对土石技术结构大坝基本数据的采集和监测，来对土木坝建筑结构进行探测维护， 并实现自动产生图形、表格或图表形式的监测报表，供人工分析使用。 在国内，我国的三峡大坝在设计施工到投入运行，全程过程中都建立了完整 的安全监测网络，布置有六十多种监测仪器，数量多达一万多支，而且这些监测 设备大都采用了自动化数据采集方式，应用传感器和自控控制技术，量测频率和 精度都较以往有很大的提高【l 。这些收集数据的检测分析，为及时了解和评价大 坝运行性态提供了重要数据保障。 在系统自动实现安全监测和资料分析评价方面，还没有完全的决策支持系统 可供参考。 2 山东轻t 业学院硕士学位论文 我国的大坝安全监测资料分析工作起步较晚，现有对大坝安全的评估也取得 了一定的成绩，在数据处理方法方面，如李珍照提出了用模糊数学进行资料分析 的思路，并阐述了大坝观测数据模糊识别的方法和步骤【l2 l ；杨杰等对h o p f i e l d 网 络和b p 网络在大坝观测资料处理中的应用进行了探讨【l 引。在模型设计方面，吴中 如、顾冲时等通过引入空间三维坐标，提出混凝土坝空间位移场的时空分布模型， 将单测点模型拓宽至空间三维【1 4 】；2 0 0 1 年徐洪钟、邓念武等将偏最d - - 乘回归引 入到大坝安全监测资料分析中【l5 1 ，使传统的统计模型有了新的发展；2 0 0 3 年陈继 光等利用小波分析消除测量误差，提高了分析精度。在安全评估系统方面，有水 库地震预测与风险评估系统( r i s a r i s k a s2 0 0 7f o rw i n d o w ) 1 6 】，在监测技术方面， 大坝c t 技术、g p s 定位监测、渗流热监控技术和光纤传感技术等是几项正在发展 的监测新技术。 以上这些成就大多只是对大坝安全监测系统的实验室研究成果，尚没有成型 的智能决策支持系统代替传统的基于“一机四库”的决策支持系统。具体到某一 个大坝监测系统，由于监测仪器和数据库的不一样，通信网络的实现也不一样， 专用性太强，而通用性不足。 1 3 大坝监测的基本内容 大坝安全监测，就是为了防止水库大坝发生事故而采取的预防措施，它根据实 时监测采集的数据，随时进行自动巡检和人工抽检，通过对过往数据的统计，对 未来有可能发生的事件进行安全评价。 水库大坝发生的事故主要有以下三类原因：第一类是由于施工设计不当引起 的，一般是因为设计经验的缺乏，没有做好足够的事故预测，比如说洪水水位设 计不当、钢筋混凝土选择强度不当、未考虑地震载荷等。第二类是由于在大坝运 行管理过程中，自然损耗造成的，比如水的冲刷、混凝土开裂老化、金属结构的 侵蚀等，此类事故几率随着时间的推移而逐渐增大，有一个量变到质变的过程。 第三类是由于前两类原因的综合情况，即设计施工过程中存在缺陷情况，同时在 运行过程中得不到及时修正而导致的事故发生。大坝安全监测，就是针对后两种 情况采取的措施。 大坝安全监测大坝建设运行过程中的一个重要组成部分，从大坝的设计施工阶 段到停止运行阶段，贯穿始终。其目的如下：第一，施工阶段，通过监测温度、 设计标准的位移，确保大坝按照规格标准建造；第二，投入运行阶段，通过对大 坝应力、位移、扬压力、渗流等的连续监测，以便及时发现异常，采取相应的措 施；第三，为提高设计水平，总结经验，改进设计方法，进行全程监测，采集数 据进行科学研究。 大坝安全监测的研究内掣1 。7 j 主要包括：变形监测、渗流监测、应力监测、温 3 山东轻工业学院硕士学位论文 度监测、裂缝监测、水文和地震监测等。前四种是根据我国的实际生产需要而采 取的主要监测项目。这些监测项目根据监测仪器的不同可以分为内部监测和外部 监测。内部监测指监测仪器和设备填埋在坝体、岸坡内部，包括应力、应变、裂 缝、温度、渗流压力等监测。外部监测指监测仪器和设备安装在建筑物和岸坡的 表面，监测内容包括竖直位移、水平位移、扬压力、渗流量等。下面介绍4 种最 基本的监测内容： ( 1 ) 大坝变形监测 大坝变形监测的目的是在设计施工到运行过程中，监控大坝的安全设计和运 行，起到监督和预测的作用。大坝变形监测包括水平位移监测、竖直位移监测( 沉 降监测) 、倾斜、表面裂缝监测等。由位移监测的性质决定在建筑物外侧有代表性 的断面分布测点，并将水平和竖直位移测点设置在同一标点上。 ( 2 ) 大坝渗流监测 渗流指水流在孔隙介质中的流动，由于大坝的建筑材料是混凝土、砂土等均为 多相体，介质自身有孔隙、裂缝，这些坝体缺陷构成水的渗流通道。水库投入使 用后，水库两侧上下游之间有水位差，截流状态下，水会通过坝体、坝基和坝头 两岸材料的孔隙缝隙流动，大坝渗流会对大坝材料造成侵蚀，减弱坝体的抗灾能 力。 ( 3 ) 大坝应力监测 为保证大坝安全运行，除了保证坝体材料稳定之外，还要求坝体材料还有一定 强度，能够承载水的压力。大坝应力监测的目的就是根据大坝设计模型，监测坝 体应力分布情况，为大坝的安全评估和加固维护提供依据。 ( 4 ) 大坝温度监测 大坝温度监测就是监测大坝内部和材料的温度变化情况，判断由于一年四季变 化和温差变化对大坝潜在的安全风险。监测内容有气温、水温、坝体温度等。 四种基本的监测内容当中，以大坝变形监测和渗流监测为主，因为这两种监测 内容最能反映大坝安全性态，监测得到的数据具有结构化、便于分析处理等优点， 适合自动化大坝监测的要求。 本文第四、第五章的数据挖掘实验部分，采用的数据源是大坝沉降监测数据， 通过智能信息处理方法对大坝变形监测进行初步诊断。 1 4 本文的研究内容 本文首先论述了大坝安全监测的决策支持系统，在对比传统的“一机四库的 决策支持系统的基础上，分析了基于数据仓库、数据挖掘的智能决策支持系统， 给出了基于数据挖掘平台的大坝安全监测系统大体框架，此框架将原先的“数据 取得一查询处理一显示图表 扩展为“数据层一核心层一交互层 的三层架构， 4 山东轻t 业学院硕j ：学位论文 在数据层可以通过多数据库的整合、加工，使包括声音、图像在内的非结构化数 据得以应用；在核心层，通过数据仓库的管理，将符合规则的数据形成知识，增 加数据的有效性和复用性，通过数据挖掘、联机分析、s o l 查询等部件，实现预测 预报、数据查询、多方式显示的功能；在交互层，不仅能够显示原有的数据形成 的图表，还能够显示数据挖掘的结果，直观供专业技术人员决策。 在给出数据挖掘平台的基础上，重点讨论了两种数据挖掘方法在仿真实验中的 应用。第四章实验用小波去噪的方法对原始数据去除可能存在的误差，小波方法 是将一组输入数据作为信号，对其中的噪声部分( 监测的误差) 用不同尺度的小 波变换，去除噪声部分保留真实部分，从去噪图像上看，此方法得到的曲线更符 合随时间变化而变化的合理情况，可以直观的供人们进行趋势分析，也可以将得 到的信号用于下一步神经网络的数据拟合。第五章实验，在基础b p 神经网络基础 上提出变学习率的改进b p 神经网络，并用b p 神经网络方法和线性回归分析方法 做了对比，得出结论：通过b p 神经网络的学习和检验，它的预测误差小于线性回 归分析，更适合于大坝监测数据的分析。 本文大体框架图如图1 1 所示： 论述决策支持系统 0 数据挖掘平台和关键技术 j r上 小波b p 神 分析 经网 络 图1 1 本文研究内容框架图 1 5 本文的组织结构 本文分六章，各章内容安排如下： 第一章绪论部分概括的介绍了课题的研究背景，国内外大坝安全监测系统的 架构、实现功能和新的监测技术，安全监测的基本内容有哪几方面，本论文研究 的两方面内容及各章节组织结构。第二章论述了大坝安全监测的决策支持系统， 它是开发大坝安全监测系统的目标。介绍了决策支持系统的定义和分类，它的理 论基础是信息管理系统和数据库技术，传统的基于“一机四库”的决策支持系统 和基于数据仓库技术的决策支持系统。第三章介绍了大坝安全监测的数据挖掘平 台架构，此架构分为三层结构：数据源层、核心层和交互层。给出每层结构部件 的功能和数据处理步骤。数据仓库中的元数据的管理。第四章和第五章分别介绍 5 山东轻1 二业学院硕士学位论文 了应用两种数据挖掘技术对位移监测数据的仿真实验。第四章用小波去噪方法去 除沉降监测数据中的监测误差，是实现预测分析的第一步工作。第五章对比改进 的b p 神经网络和线性回归方法对数据的预测，说明b p 网络作为数据挖掘方法用于 监测数据分析的可行性。第六章结束语，总结了本文做的研究工作以及下一步工 作的研究方向。 6 山东轻t 业学院硕十学位论文 第2 章大坝安全监测的决策支持技术 2 1 决策支持技术的理论基础 2 1 1 信息管理系统 信息管理系统( m a n a g e m e n ti n f o r m a t i o ns y s t e m ，m i s ) 1 s l 是以计算机为基 础，用来收集、传输、存储、加工、处理使用信息的数据库系统。针对大坝管理， 由于在大型水利水电工程中的监测点数量众多，观测数据量和加工处理后的数据 量庞大，大坝安全监测信息管理系统的主要特征有：大的数据量、多样的数据类 型、分布存储数据。总的来说，涉及到的数据有三种类型，如图2 1 所示。信息管 理系统的目的就是在保证加工整理异构数据库中的数据的基础上，保持数据的可 读性、可用性。 图2 1 信息管理系统数据类型 2 1 2 数据库技术 在由信息管理系统逐步发展起来的决策支持系统中，数据库及数据库技术一直 是研究的重点，早在上世纪七八十年代，在美国、意大利、法国等应用大坝安全 监测系统较成熟的国家，就初步形成了基于数据处理功能的信息管理系统，实现 用计算机数据库来管理监测数据。数据库是将多种数据集、不同监测范围内的异 构数据进行集合。数据库的发展经历了层次数据库、关系数据库、客户端服务器 ( c l i e n t s e r v e r ，c s ) 结构、基于计算机互联网的i n t e r n e t w e b 架构乃至无特 定结构的网络数据库等几个阶段，越来越实现了数据同步和数据处理的高效性。 随着当今o r a c l e 、s q ls e r v e r 等大型数据库的应用，信息管理系统的重点由数据 山东轻工业学院硕上学位论文 加工转移到了数据共享【l9 1 。 现今大量使用的c s 结构是较为通用的开放式平台，能够实现网络分布式计算 功能，在降低系统维护成本的同时，增加了复用性和灵活性，在这种c s 结构的 系统中，应用资源广泛分布于客户机端和服务器端，其结构也分为前台界面和后 台存储计算两部分。前台是应用平台，以图表化的用户界面形式便于客户操作。 后台是数据库处理平台，形式是结构化的查询语言s q l 。使用时，客户通过网络客 户端在前台发送请求，由服务器组件响应请求，通过后台做出数据库调用和计算 等处理，最后将处理结果在客户端显示给用户，此种应用处理模式普遍应用于社 会服务信息的查询。 随着计算机网络和远程监控的发展，c s 结构网络应用的扩展分为以下两种形 式：一种形式是基于w e b 的客户端服务器系统，和传统的客户端服务器模式不 同的是，在保留原有模式复用性和灵活性的优点的基础上，增加了用户访问权限 和访问层次的扩充，实现对用户群的分类服务。另一种形式是浏览器服务器 ( b r o w e r s e r v e r ，b s ) 结构，顾名思义，此种形式是用户通过浏览器向网络提 供相关服务的服务器发送请求。这种结构在实现形式上只需要通过相应网站登陆， 不需要特定的客户端软件，进一步简化了客户端的工作，具有更大的灵活性，服 务器将承担更多的工作，是当今开发和研究决策支持系统的主流形式。 一般来说，数据库中的信息可以分为两类：一类是用数据表的形式存储表示 的，即结构化数据，如数字、符号；另一类是非结构数据，如声音、，图像、文本 等。非结构化的网络数据库管理系统将w e b 服务器、网络数据库服务器和应用程 序服务器集成在一起，使数据库称为w e b 服务器的核心部件，使数据库不仅具有 数据存储的作用，还实现了w e b 和数据库的有机结合。各种复杂数据在这种数据 库系统上被定义为资源，可以实现增加、删除、修改、查询、发布、索引等功能， 通过后台数据库系统对资源的有效管理，实现由“死”的数据管理到“活”的内 容管理的升级变化，数据挖掘技术、数据仓库和联机分析处理成为了可能。长期 来看，未来大坝安全监测系统就是在智能数据处理的基础上对非结构化的网络数 据库开发系统。 2 2 决策支持系统概述 决策支持系统( d e c i s i o ns u p p o r ts y s t e m ，d s s ) 是在决策支持的概念上，利 用方法和工具，对已知事物推理、判断，模拟可能出现的结果，形成的一系列过 程，是一个有输入、有输出的结构化解决方案。我们所讨论的决策支持系统是在 计算机辅助基础上，具有以下三点特征，其最终目的是在一定程度上达到决策支 持的目的。 一、帮助领导决策者在半结构化或非结构化的任务中做出决策。比如在雨季来 8 山东轻t 业学院硕一f ：学位论文 临时，当水位超过警戒水位，且位移、裂缝监测值大于往年平均值时，可以由决 策支持系统评估大坝出现风险的概率。 二、支持决策者的决策，显然没有替代决策者的判断力的意思。如上文举例， 当决策支持系统给出风险概率时，是否做出决策还需要决策者的专业经验、历史 资料、目的等情况做出判断。 三、改进决策效能，在兼顾性能和效率的同时，主要以提高准确率为目标，降 低统计预测结果的波动性。 虽然当今计算机性能提高很快，智能算法及其改进算法和计算机云计算开始 在大坝安全决策领域展丌应用，但是要达到以上这三个目的并不是一件轻而易举 的事情，还需要计算机软件各领域的共同合作。现在，利用基于b s 结构的交互 式网络终端可以以很低的代价存储模型、构建系统、建立数据库，网络终端的构建、 实施和应用已经有相当成熟的理论和实践，在此不在赘述。当相应硬件设施变得 更便宜、更灵活时，也就有更多机会和可能性构建系统实现决策支持这一概念。 2 2 1 决策支持分类 讨论决策支持的分类问题，可以使我们更加深入了解决策支持系统和信息管理 系统的区别和联系，明确决策支持系统的技术架构，有助于改进系统设计。我们 可以根据决策支持系统的手段和应用方法，架构的逐步完善合理对决策支持进行 分类。 l 、消极支持 消极支持是指给决策者提供比较满意的工具，让决策者不再通过专业经验判 断，不改变他们现有的运行模式。决策支持系统的设计者只根据工具得出结果， 并不考虑决策应该如何处置，也没有特定的目标，用户则有完全的处理权。这里， 需要说明决策支持系统和信息管理系统的关系：由于在消极支持的概念下，决策 支持系统和信息管理系统的概念、研究方法、研究对象、使用工具基本相同，二 者没有本质区别。在决策支持系统发展的早期阶段，决策支持系统并没有发挥理 想中的支持决策的作用。随着相关决策支持理论的发展，在决策支持系统中，逐 渐增加了许多规则和评价模块，也逐步摆脱了消极支持，使决策更加有针对性。 2 、传统的决策支持 传统的决策支持是指通过分析产生各种不同的解决方案，对比并选择最佳解决 方案从而优化决策过程，此种决策方法需要有一定的实践经验和直觉判断，先验 性较强，我们称之为传统的决策支持。传统决策支持在技术上需要靠决策支持系 统( d e c i s i o ns u p p o r ts y s t e m ，d s s ) 通过计算机提出方案，决策者依靠自己的 能力和经验判断选择最佳方案。 传统的决策支持引入逻辑判断代替信息管理系统中的纯计算，使方案具有一 9 山东轻工业学院硕士学位论文 定可行性，但是，判断中使用到的定量分析没有考虑目标的变化，可能存在判断 质量不高的问题；通过计算机提供很多符合条件的质量不高的方案，无法突出最 优方案，不利于决策者进行选择。由此可以看出，传统决策支持系统在改善决策 过程方面缺乏一定规范的约束。 3 、 规范支持1 2 0 】 在传统决策支持的基础上，为更好的适应金融市场、商业信息、社会统计等 方面的应用研究，重点考虑改善决策的问题，由此提出规范支持的概念。但是， 由于研究领域的多样性和不可重复性，那些有用但一时无法实现的分析方法还不 是决策支持系统研究者的研究重点，在此阶段，他们的注意力集中在让计算机和 决策者协同工作。随着计算技术和人工智能的逐步应用，准确的分析推理算法有 望应用于复杂和重大的决策中。本文后两章所探讨的数据的智能分析技术从展示 了计算机实现复杂决策的可能性和必然性。 4 、扩展的决策支持1 2 扩展的决策支持理论框架是传统的决策支持，理论上说是基于判断的决策支持 系统，在保留判断的重要地位基础上，兼顾到决策者的思维，考虑到决策者对分 析工具的依赖性，通过人机交互影响和指导决策者的决策行为。 扩展的决策支持和f j 几类决策支持的区别是：规范支持过于强调决策者的主导 性；消极支持和传统支持采取固定模式，忽视了决策者的指导作用；扩展的决策 支持是前几类决策支持的折中，具有实现的可行性。 2 2 2 决策支持系统的定义 直到目前为止，由于决策支持系统所做工作的复杂性，包括研究和解决问题的 广泛领域，计算机应用技术的不断发展，研究领域的理论和新方法层出不穷，学 术界还无法准确、全面的界定决策支持系统的定义。各个领域的许多学者也做了 大量的理论工作，试图明确阐述决策支持系统的定义，在文献中常见的对决策支 持系统的定义表述如下：凡能对决策提供支持的计算机系统，这个系统充分运用 可供利用的、合适的计算技术，针对半结构化或非结构化问题，通过人机交互方 式帮助和改善管理决策制定的有效性的系统【2 2 。由于决策支持过程没有标准模式 可供衡量，这个定义的表述还是不尽如人意，决策支持系统可以用所有能达到决 策支持这一目标的技术来构造。决策支持系统因为技术发展不同，所处工程领域 不同，而达到的架构和作用有可能有出入，但是，d s s 的性质决定它一定具有决策 支持的功能。 与决策支持系统的定义相比，我们更看重它的本质特征，根据决策支持系统的 应用目的可以概括其本质特征有如下五个方面1 2 3 j ： 1 、面向上层管理人员经常面临的结构化程度不高、说明不够充分的问题； 1 0 决策。 特征分为如下 中的上层建筑。 传统意义上的大坝安全监测评价系统的核心是理论与实践发展较为成熟的“一 机四库”系统，“一机”指综合分析推理机，功能是根据评判规则得到决策结果， “四库”指知识库、工程数据库、方法库和图库，用于存储各种经验、评判规则、 监测数据、大坝安全模型等。如水口水电站工程在线监控及反馈分析系统、二滩 大坝安全监控系统都通过“一机四库”模式实现大坝安全的决策支持，具有辅助 决策的功能。“一机四库体系结构图如图2 2 所示。 图2 2 “一机四库”结构( y - 知识匹配，n ：知识不匹配) “一机四库 结构的流程可以描述为： 通过人机界面，输入监测数据到工程数据库中，数据库中的数据通过综合分析 山东轻t 业学院硕士学位论文 推理机可以转变为方法，也可以通过分析推理后反馈给用户。 用户将设定好的规则作为知识放入知识库，由分析推理机处理过的数据和知识 库中的一定规则相比较，当知识匹配时，可以输出显示给用户作为下一步决策的 支持信息，也可以做成图表存入图库以便下次使用。当知识不匹配时，返回分析 推理机循环执行。 此结构由于需要在人机交互时录入数据，人为操作时有可能导致出现二次误 差。 这种决策支持系统的框架由数据库、模型库和方法库构成，如图2 3 所示。 数据库管理系统模型库管理系统 方法库管理系统 问题求解系统 交互语言系统 上 人机界面 ： 用户 图2 3 传统的决策支持系统结构 其设计弊端有以下几点：首先，这三种库的设计和实现是相互独立的，分别组 成各自的管理系统，缺乏内在的统一性。 还是管理数据，综合数据还是历史数据， 其次，数据资源不足，无论是操作数据 都需要不断更新，工作量大。第三，由 于决策支持系统是面向分析的系统，这需要大规模的数据积累对分析和设计所采 用的模型与算法进行大量计算并进行结果修正，在系统设计与实现的初期，大量 的数据积累是不现实的，从而造成数据分析结果形成信息孤岛，不具有统一性。 第四，缺乏有效的分析工具，多数分析工具是管理方自行定义开发，不具有开放 性。总体而言，不便于用统一的技术方法对信息进行操作，只适用于具体的小规 模决策支持，对大规模工程而言实用型不够。 此外，传统决策支持系统中模型库的使用是问题的关键，虽然模型库有廉价、 方便使用的优点，但模型的参数难以确定，用线性回归方法反演建模时，参数值 拟合精度不够好；在大坝安全监测决策支持系统中，对建模要求的数学力学知识 要求较高，使得实际工作中有一定难度。 为克服以上设计弊端，基于数据仓库技术的决策支持系统应运而生。 山东轻工业学院硕士学位论文 2 4 数据仓库及其相关技术 智能决策支持系统的几部分关键技术如下：数据仓库、数据挖掘、联机分析。 其中数据仓库是基础，联机分析和数据挖掘是手段。数据仓库用于数据的组织存 储，联机分析用于数据分析，数据挖掘用于知识的发现。在论述智能决策支持系 统的相关技术的基础上，给出其系统架构。 2 4 1 数据仓库 数据仓库【2 4 】是将有用数据从数据库中抽取，经过数据清洗、规约化和数据重 组形成的一种存储管理体系，它所处理的数据有特定的数据使用对象( 例如大坝 安全监测领导者) ，根据数据特定的统计性和趋势性的进行抽取，数据仓库构建的 目的是将进一步加工整理的数据作为集成化信息库供决策者查询分析。因此，可 以下这样的定义来界定数据仓库：它能够用以更好的支持决策分析处理，面向特 定主题的、集成的、不可更新的