（计算机应用技术专业论文）大坝安全监控中监测数据挖掘的研究.pdf

浙江工业大学硕士研究生学位论文大坝安全监控中监测数据挖掘的研究 大坝安全监控中监测数据挖掘的研究 摘要 数据挖掘是从大量数据中抽取出潜在的、不为人知的有用信息、 模式和趋势，并用于指导实践。目前该技术已经广泛地应用于电信、 银行、保险、零售、服务和政府部门等具有大量数据和复杂分析需求 的行业与部门。 在大坝安全监控领域，监测数据具有良好的挖掘条件：一方面， 监测数据本身的复杂性非线性、多因子、高噪声、非高斯分布以 及白相关；另一方面，经过几十年的积累，监测数据的数据量也达到 了较大规模。同时，随着时代的发展，传统的监测数据分析系统已经 无法满足“集中”、“实时”、“在线”的需求。 因此，本文以大坝安全远程管理信息系统项目为依托，将数 据挖掘技术引入到大坝安全监控中，并对此展开研究，分析了大坝安 全监控模型理论，研究了监控模型中线性模型的处理方法，探讨了多 模型预测问题。主要的研究内容如下： ( 1 ) 综述了大坝安全监控领域监测数据分析的研究现状。 ( 2 ) 阐述了以监控模型理论为基础构建监测数据挖掘系统的思路。 ( 3 ) 分析了逐步回归算法，并结合模糊理论对其进行改进，提出了模 糊化逐步回归动态学习算法。实验结果表明，用该算法进行线性模型 分析具有很好的效果。 浙江工业大学硕士研究生学位论文 大坝安全监控中监测数据挖掘的研究 ( 4 ) 探讨了用改进的e l m a n 神经网络进行多模型预测优化的方案。 ( 5 ) 结合大坝安全远程管理信息系统，设计并实现了一个大坝安 全监测数据挖掘系统。实际应用表明，该系统具有建模简便、模式信 息清晰精确、预测精度高的特点。 本文最后对研究工作进行了总结，并提出了对今后研究工作的展 望。 关键宇：大坝安全监控、监测数据、监控模型、数据挖掘 浙江工业大学硕士研究生学位论文大坝安全监控中监测数据挖掘的研究 m i n i n g t h ed a t ai nd a m s a f e t ym o n i t o r i n g a b s t r a c t d a t am i n i n g ( d m ) i saw o r t h yt e c h n o l o g yt h a tt a k e sp o t e n t i a la n d u n b e k n o w ni n f o r m a t i o no u to fah u g en u m b e r so fd a t at og u i d a n c et h e p r a c t i c e n o w , i ti sw i d e l yu s e di nl o t so fa r e a s ，w h i c hh a v e ag r e a td e a l o fd a t aa n dn e e d c o m p l e xa n a l y s e s o ni t ，l i k et e l e c o m ，b a n k i n g ，i n s u r a n c e a n d g o v e r n m e n t ，e t c i nd a ms a f e t ym o n i t o r i n g ，m o n i t o r i n g d a t ah a sav e r yw e l lm i n i n g c o n d i t i o n ：i tn o t o n l y h a sc h a r a c t e r i s t i cl i k e n o n l i n e a r , m u l t i - g e n e ， s e l f - r e l a t i n g ，n o n - e q u a l i t yd i s t r i b u t i n ga n d s oo n ，b u ta l s op r o v i d eal a r g e d a t as e tw h i c ha c c u m u l a t e df o rd e c a d e s i na d d i t i o n ，a l o n gw i t ht h er a p i d d e v e l o p m e n t o ft h ee r a ，t r a d i t i o n a la n a l y s e ss y s t e mc a n ts a t i s f yt h en e e d s o n c e n t r a l i z i n g ，r e a l - t i m ea n d o n l i n e c o n s i d e r i n ga l la b o v e ，t h i sp a p e ri n t r o d u c e sd m i n t ot h ed a m s a f e t y m o n i t o r i n ga n de x e c u t et h i s r e s e a r c hr e l yo n i n f o r m a t i o ns y s t e mf o r d a ms a f e t yr e m o t em a n a g e m e n t p r o j e c t b y s t u d y i n gt h em o d e l i n g t h e o r y , l i n e a rm o d e lp r o c e s s i n ga n dd a t af o r e c a s t i n g ，t h em a i nc o n t e n ti n t h e p a p e r i sa s f o l l o w i n g ： ( 1 ) t h e s t a t u so f m o n i t o r i n g d a t aa n a l y s e sr e s e a r c h i n g i ss u m m a r i z e d ( 2 ) t h ew a yt o c o n s t r u c t m o n i t o r i n g d a t am i n i n gs y s t e m b a s e do n 浙江工业大学硕士研究生学位论文 大坝安全监控中监测数据挖掘的研究 m o d e l i n gt l l e o r yi se x p a f i a t e d ( 3 ) s t i l d i e do nm em t h m e f i co fg r a d u a l l ym g r e s s i o n ( g r ) ，a 1 1 dt h e n ，b y c o m b m gw i mt l l ef u z z yl o g i cm e o 吼g r i s i i i l p m v 酣i n t oad y n a m i c l e a r n i n ga r i t h m e f i c e x p e r i m e n tp r o v e dm en e wa r i t h m e f i ct ob ew e l l d o n e ( 4 ) t h em e a i l st oo p f i i i l i z ed a t af o r e c a s t i n gb yt r a i n i n gt l l em u l t i m o d e l s r e s d t su s m gm e u p d a t e d e l m a n n e u r f ln e t w o r ki sd i s c u s s e d ( 5 ) a na r c h e t y p em o m t o r i n g d a t am i n i n gs y s t e mi sb u i l t w 1 1 i c hi n d i c a t e d t oh a v ee x c e l l e n t p 刑6 咖a n c eb yp m c 在c a lu s m g a t l a s t ，as u m m a r y o fm e p a p e r i sg i v e na n df u r t h e rr e s e a r c hm t e r e s t s a r ea l s op r o p h o s e d k e yw o r d s ：d a m s a f e t ym o m t o n n g ，m o n i t o r i n g d a t a ，m o m t o n n ga n d c o n t r o l l i n gm o d e l ，d a t al i l i l l i n g 浙江工业大学硕士研究生学位论文 p 7 4 9 7 2 3 大坝安全监控中监测数据挖掘的研究 浙江工业大学学位论文原创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工 作所取得的研究成果。除文中已经加以标注引用的内容外，本论文不包含其他个 人或集体已经发表或撰写过的研究成果，也不含为获得浙江工业大学或其它教育 机构的学位证书而使用过的材料。对本文的研究作出重要贡献的个人和集体，均 已在文中以明确方式标明。本人承担本声明的法律责任。 作者签名：话也日期：口厂年争月2 f 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保 留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权浙江工业大学可以将本学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密口。 ( 请在以上相应方框内打“4 ”) 作者签名： 寿，造日期：护，年5 月苕日 导师签名i j 期：o f 年r 月硝。日 浙江工业大学硕士研究生学位论文大坝安全监控中监测数据挖掘的研究 1 1 概述 第一章绪论 以2 0 0 4 年9 月2 3 日黄河上游的公伯峡水电站首台3 0 万千瓦机投产发电为 标志，我国水电装机容量突破1 亿千瓦大关，水电开发程度达到3 2 ，我国水电 开发的历史也迈上了崭新的台阶。 然而，由于多种原因，如水文、地质、施工质量及老化等，部分大坝存在安 全隐患，影响着这些工程效益的发挥，甚至威胁下游人民的生命财产安全；一旦 大坝失事，将导致难以估量的灾难和损失。大坝安全已经引起我国政府和人民的 普遍关注【1 】。 世界范围内的最新统计结果表明 3 1 ：2 0 世纪中，已建坝的总失事比例约为1 ， 且大坝失事主要表现为四种形式 2 1 ：设计洪水偏低引起漫顶；地质勘探不充分造 成失稳和渗漏；设计与拖工缺陷导致大坝老化加速；遭遇地震等特殊荷载。因此， 必须针对不同大坝的具体情况和特点，设置相应的安全监测项目，对大坝变形、 渗流、应力应变等进行连续而全面的监测，并对实测数据进行及时的处理和分析， 在此基础上实现大坝安全性态的综合评判，以控制大坝的安全和运行”。 1 2 大坝安全监控及其研究现状 通过获取监测数据，进而分析监测数据、挖掘监测数据的内在联系、发掘监 测物理量之间的相互关系、发现大坝安全监控中一些规律性的知识，最后使用这 些规律性的知识来控制大坝的安全和运行，这就是大坝安全监控理论，它符合人 类认识的全过程。 根据大坝安全监控目的，需要进行监测的物理量主要有：变形、应力应变、 按缝开度、温度、水位、降雨量、扬压力( 或测压孔水位) 、渗流量以及水质等 等1 1 】。大坝安全监控可以分为两个主要领域：对监测物理量的数据采集；对监测 物理量的数据分析与评判。经过长期的研究，都获得了很大的发展，下面就各个 领域的研究现状进行概要综述。 浙江工业大学硕士研究生学位论文大坝安全监控中监测数据挖掘的研究 1 2 1 监测数据采集 监测数据是依靠各类监测仪器设备采集的，因此在监测数据采集研究领域重 点是监测仪器设备的精确性、稳定性和自动化水平。 国外的监测仪器设备研制始于2 0 世纪3 0 年代，到8 0 年代初已经形成了较 完整的监测仪器系列，品种多、类型齐全。 我国跚从2 0 世纪5 0 年代中期开始了监测仪器设备研制和生产。5 0 年代末， 在原水电部的领导和支持下组织了卡尔逊系列仪器的仿制攻关。经过3 0 多年的 努力，该仪器已成系列批量生产，满足工程所需。同时，弦式仪器也在国内多家 厂生产，已日趋成熟并在土坝观测中推广应用。7 0 年代，南京自动化研究所、 南京电力自动化设备厂共同研制接触式遥测垂线座标仪，揭开了研制“外观”自 动化监测仪器的序幕。7 0 年代末，中科院成都分院在龚咀水电厂研制安装了我 国第一套“内观”仪器的自动化检测装置。8 0 年代初，原能源部南京自动化所 投入大量人力物力研制的“b n z - 1 ”型内观仪器检测装置在葛洲坝安装运行。在 此基础上不断完善改进，开发了“b z c - a ”型检测装置并投入正常运行，标志该 技术已达到实用阶段。在变形监测方面，原南京自动化研究所7 0 年代末研制了 伺服电机光电跟踪式遥测引张线仪，并在几个工程试运行，获部科技成果奖，但 仪器因机械传动光学跟踪很难保证在高湿度环境下长期可靠工作而未推广应用。 8 0 年代，随着对变形等“外观”监测熏要性认识的提高，南京自动化所和福建 奋生研究所同时分别研制出电容感应式和步迸马达光学跟踪式非接触遥测垂线 座标仪，并在工程上投入试运行。南京自动化所又研制出电容感应式遥测引张线 仪及测量系统。电容感应式仪器因其结构简单、无传动部件、测量精度高、能在 高湿度等恶劣环境下长期可靠工作，因此在工程中获得了大量应用。东北勘测设 计院等单位研制的真空管道激光测量装置，无大气折光干扰。测量精度高，能同 时测水平和垂直位移，并在丰满、太平哨水电厂成功运行，国际上，这是首次将 该技术用于大坝安全监测上。长委勘总、武汉地震所、南京自动化所等单位研制 的静力水准遥测仪填补了国内空白，性能达国际同类产品先进水平。为缩短我国 与国际先进水平方面的差距，列为国家“七五”攻关项目的“大坝安全自动化监 测微机系统及仪器研制”由南京自动化所为主要承担单位，清华大学、北科院、 东勘院等参加，经技术人员刻苦钻研，三向垂线仪、双向引张线仪、高精度扬压 2 浙江工业大学硕士研究生学位论文大坝安全监控中监测数据挖掘的研究 力计、管口渗流量仪、量水堰渗流量仪、链式挠度计、深层变位计等一批工程急 需的先进仪器研制成功，填补了国内空白。经过几十年的不断努力，目前我国的 安全监测仪器设备在原理、品种、性能和自动化程度等方面都取得了很大的发展， 有些仪器的性能已优于国外同类仪器。 近几年，g p s 、光纤、纳米、网络等一批新技术正在被国内外的科研人员应 用到新型监测仪器的研制中。这些新技术的应用必将进一步改善监测仪器的性 能，提高监测数据的精确性、稳定性和实时性。 1 2 2 监测数据分析与评判 当监测仪器采集到监测数据后，就需要对监测数据进行及时的处理和分析， 实现大坝安全性态的综合评判，以控制大坝的安全和运行。监测数据分析与评判 可以大致分为五个方面1 】【2 】：观测数据的误差处理与分析；观测数据的正分析； 观测数据与大坝结构性态的反演分析；反馈分析与安全监控指标的拟定；大坝安 全综合评判与决策。 1 _ 1 2 1 监测数据的误差处理与分析1 】1 2 6 - 小1 在利用大坝安全监测数据进行正反分析前，首先应对原始监测数据进行误差 处理与分析，一般可将大坝安全监测数据的误差分为系统误差、随机误差和粗差 三类。 目前，国内外主要采用最小二乘法对大坝安全监测数据进行处理。自从高斯 ( geg a u s s ) 在1 7 9 4 年提出最小二乘法以来，广大学者对测量平差理论和方法 进行了大量的研究。1 9 4 7 年，田斯特拉( t - m t i e n s t r e ) 提出了相关平差法，把对 观测值独立的要求推广到随机相关；1 9 6 2 年，迈塞尔( gm e i s s l ) 提出秩亏自由 网平差，把测量平差中的满秩阵推广到奇异阵，卡尔曼( k a l m a n ) 等提出了一种 递推式滤波方法，已成功应用于航天、工业自动化等方面；1 9 6 9 年，克拉鲁普 提出最小二乘滤波、推估与配置，把平差参数从非随机变量推广到随机参数。在 具体研究工作方面，s e r i ogk o r e i s h a 和y u ef a n g 对滑动平均模型时序过程 ( a r m a ) 的测量误差影响进行了定量分析；岳建平通过对回归分析中观测误差和 模型误差的分离，从而更客观地评价测量系统和模型的精度：刘文宝等提出了顾 浙江工业大学硕士研究生学位论文大坝安全监控中监测数据挖掘的研究 及先验信息的大坝位移反分析方法，探讨了测量误差对位移反演结果的影响规 律。 最t j x - 乘法假定观测值中只含偶然误差，这实际上是不可能的，为此，产生 了研究系统误差和粗差的新理论。2 0 世纪6 0 年代后期，巴尔达( wb a a r d a ) 提出 了数据探测法和可靠性理论，为粗差研究奠定了基础。目前，对粗差的处理方法 有两种，一是仍然属于最d , - - 乘法范畴的数据探测法；二是有别于最d , - - 乘法的 抗差估计法或稳健估计法。在国内，周江文等提出了一些较为实用的抗差算法； 郑东健用平均杠杆理论识别实测数据异常值，实现了误差的灰箱诊断；赵斌在大 坝观测数据处理中引入污染分布、观测权等概念，以逐步消除粗差的影响，最终 得到了合理的参数估计。 1 1 2 2 监测数据的正分析o 】【2 】 8 - - 1 1 1 9 5 5 年，意大利的法那林( f a n e l i ) 和葡萄牙的罗卡( r o c h a ) 等应用统计回归方 法来定量分析大坝的变形观测数据；1 9 7 7 年，法那林等又提出了混凝土大坝变 形的确定性模型和混合模型，将有限元理论计算值与实测数据有机地结合起，以 监控大坝的安全状况。近3 0 年来，随着计算机技术的快速发展，大坝观测数据 的正分析研究也取得了很大的进步，统计模型、确定性模型及其混合模型在生产 实践中得到了广泛的应用。此外，法国在数据分析方面，采用m d v 法，即在测 值序列中分离出水压分量和温度分量，然后对时效和残差的变化规律进行分析， 进而评判大坝的安全状况。目前，葡萄牙、法国、意大利、西班牙和奥地利等国 家在大坝安全监测以及相关的各项研究方面不同程度处于国际领先水平。 我国大坝安全监测的数据分析工作起步相对较晚，最初只以定性分析为主， 通过对实测过程线和简单统计的特征值来分析大坝的运行状况。1 9 7 4 年后，陈 久宇等开始应用统计回归分析大坝安全监测数据，并对分析成果加以物理成因的 解释，还对时效变化进行研究，提出了时效变化的指数模型、双曲函数模型、对 数模型、线性模型等。 2 0 世纪8 0 年代以来，模糊数学、灰色理论、神经网络、滤波法、小波分析、 混沌动力学等各种理论和方法也纷纷被引入大坝安全监测数据分析中来，并取得 了一定的成果。我国邓聚龙于2 0 世纪8 0 年代首次在国际上提出灰色系统( g r e y 浙江工业大学硕士研究生学位论文大坝安全监控中监测数据挖掘的研究 s y s t e m ) 理论；李珍照等于1 9 9 1 年最早将g s 理论引入到大坝安全监测数据分析 领域；蓝悦明等应用灰色理论，提出位移预报模型；杨杰在一阶单变量灰色线性 预测模型基础上，引入灰元作模型参数，建立了土石坝变形的灰色非线性模型， 并对其适用性进行了探讨。同时，模糊聚类分析、似然推理和模糊评判等模糊数 学方法也在大坝安全监测数据的分析处理和模型预测方面得到了应用，如李珍照 等在1 9 9 1 年提出了用模糊数学进行数据分析的思路，并阐述了大坝观测数据模 糊识别的方法和步骤。近几年，人工神经网络在大坝观测数据处理与分析方面的 应用研究已经开始，尤其是模糊数学与神经网络方法的有机结合，为相关的研究 展现了广阔的前景。神经网络模型属于隐式模型，有自组织、自适应能力，已有 的研究成果表明，用神经网络模型对大坝变形、渗流等进行拟合，其精度优于传 统的统计模型。陈继光等采用模糊近似推论后的隶属度作为b p 网络的输出神经 元，从而实现位移量的预报；赵斌、杨杰等对h o p f i c l d 网络和b p 网络在大坝观 测数据处理中的应用进行了探讨：徐平通过对大坝观测数据作吸引子分析，定量 计算出建立相应的大坝安全监控数学模型时，描述大坝运行系统动态特性所需要 的最小因子数。近年来，国内外学者提出了多种监控模型对大坝安全监测数据进 行分析，如张进平等于1 9 9 1 年提出大坝安全监测的位移分布数学模型；吴中如、 顾冲时等通过引入空间三维坐标，提出混凝土坝空间位移场的时空分布模型，将 单测点模型拓宽至空间三维；尹辉等提出一种实时引入新信息的等维新信息和等 维灰数逆补组合的动态预测方法；何金平、李珍照等提出重力坝位移二维分布模 型，并把单测点确定性模型扩展为空间多测点确定性模型。还有学者提出大坝安 全监控的位移分布模型、数字滤波模型、优化组合模型、岭回归与主成分回归模 型等。此外，沈振中用基岩和大坝的粘弹性模型，分析三峡大坝和基岩施工期的 变形，建立了一种特殊的施工期监控模型。在土石坝研究方面，郦能惠、蔡飞、 沈珠江等基于土石坝变形与孔隙水压力产生机理的分析，提出了较合理的统计分 析方法。 1 1 2 3 监测数据与大坝结构性态的反演分析2 l 7 】嘲 1 2 - - 1 5 1 太沙基在1 9 6 9 年提出的观测设计法( o b s e r v a t i o nd e s i g nm e t h o d ) ，是反演分 析思想的最早应用。近年来，在隧道工程中，由于推行奥地利学者l vr a b c e w i t h 浙江工业丈学硕士研究生学位论文大坝安全监控中监测数据挖掘的研究 提出的新奥法( n e wa u s t r i at u n n e l i n gm e t h o d ) 而取得了显著的经济效益。新奥 法的思想是，在隧洞开挖过程中，通过对围岩及支护的观测，由此反馈施工和设 计。 国内外对大坝和坝基参数的反演分析比较深入，尤其对混凝土坝反演分析研 究较为普遍，并取得了较多成果。b o n a l d i 、f a n a l l i 、g i u s e p p t t i 等提出有明显物 理概念的确定性模型，并以此来反演坝体的弹性模量和温度线膨胀系数；陈久字 等利用离上游面不同距离的渗压计测值，并考虑上游水位的波动，来反演坝体混 凝土的扩散系数：吴中如等提出利用安全监测数据，由确定性模型和统计模型， 并结合有限元计算成果，反演坝体混凝土的平均弹性模量和温度线膨胀系数的方 法；吴中如、刘眉县等还提出利用离下游不同深度的温度计测值，并考虑坝面粘 滞层的影响，来反演混凝土导温系数的方法。对土石坝的反演分析研究，近年来 国内外最具代表性的是采用非线性弹性模型或双屈服面弹塑性模型；沈珠江、赵 魁芝等还提出了比较简单实用的三参数模型。 近2 0 年来，对于大坝位移的反演分析方法研究发展很快，已从弹性问题发 展到弹塑性和粘弹塑性问题的位移反演分析。在弹性问题的位移反演分析中， n s h i m i z u 和s s a k u r a i 提出边界元位移反演分析方法；杨志法、吴凯华、g g i o d a 等在隧洞、非圆形洞室的位移反馈分析方面提出了各自的位移反演分析方法。在 粘弹性参数反演方面，刘怀恒和杨林德引入基于时间的等效弹性模量，然后反推 流变参数，但这种算法只局限于简单的线弹性材料；沈家荫、林炳仕等提出由位 移观测数据反演分析的边界元法；此外，国内外众多学者如薛琳、g g i o d a 等也 在岩体粘弹性参数反演分析方面提出一些实用的计算方法。在弹塑性问题的反演 分析研究方面，意大利g i o d a 、s a k u r a i 、m a i e r 等首先利用单纯形优化方法进行 弹塑性反演分析，在此基础上国内外学者进一步完善和发展了这种方法。在粘弹 塑性的位移反演分析上，陈子荫通过对圆形洞室的l a p l a c e 变换，导出了广义开 尔文模型的位移解析解，并利用直接搜索法求解非线性方程中的待定参数；王芝 银等研究了西原流变模型的反演分析问题，并提出了粘弹塑性增量位移反演分析 的复合形法，提高了优化效率；沈振中在单纯形法的基础上，通过动态约束搜索 误差，提出参数反演分析的可变容差法，以加速迭代速度：胡维俊等基于优化理 论，提出拱坝位移反演分析的多点拟合法，得到了合理的成果；近几年，吴中如、 浙江工业大学硕士研究生学位论文大坝安全监控中监测数据挖掘的研究 顾冲时、朱伯芳等提出位移时空模型、模糊数学反演以及其他的一些反演分析方 法。 1 1 2 4 反馈分析与安全监控指标的拟定【l 】【2 】u - - g 为了监控大坝及其他水工建筑物的安全运行，目前坝工界对反馈分析的研究 主要包括以下几方面：拟定大坝等水工建筑物各个观测量的安全监控指标及其相 应的水压、温度等控制荷载；根据安全监测数据，应用可靠度理论反馈大坝的实 际安全度，以复核大坝的稳定、强度和抗裂安全度；分析裂缝、再生缝的物理成 因、机理及其对建筑物结构性态的影响，以反馈控制裂缝发生和发展的临界荷载。 安全监控指标是评价和监测大坝安全的重要指标，拟定安全监控指标的主要 任务是根据大坝和坝基等建筑物已经抵御经历荷载的能力，来评估和预测抵御可 能发生荷载的能力，从而确定该荷载组合下监控效应量的警戒值和极值。由于有 些大坝可能还没有遭遇最不利荷载，同时大坝和坝基抵御荷载的能力在逐渐变 化，因此安全监控指标的拟定是一个相当复杂的问题，也是国内外坝工界研究的 重要课题。通常对于大坝应力和扬压力是以设计值作为监控指标，因此目前研究 的重点和难点是对大坝变形监控指标的确定。目前，对坝体和坝基变形监控指标 的拟定方法主要有置信区间法、典型监控效应量的小概率法、极限状态法、仿真 计算法和力学计算法等。 1 1 2 5 大坝安全综合评判与决策川2 】 1 3 - 1 9 综合评判与决策是指对各种数据进行不同层次的分析，找出荷载集与效应 集、效应集与控制集之间的非确定性和确定性关系，然后通过一定的理论和方法 或凭借专家的丰富经验进行综合分析和推理，以评判大坝等水工建筑物的工作性 态。 近年来，国内外对水工建筑物安全评价方法的研究有了较大发展。在国外， 美、加等国已用s e e d 法及风险值概念，对大坝失事的总概率进行计算，如b c y e n 对随机荷载和抗力作用下水工建筑物系统的可靠性估算方法进行研究，对 均值一次二阶矩法和改进的一次法进行重点探讨，并将它们与事件树联合应用， 为定量考虑影响整个系统可靠性的所有因素提供了个虽然近似但较为合理的 7 浙江工业大学硕士研究生学位论文大坝安全监控中监测数据挖掘的研究 框架；b c y e n 描述了6 种常用的可靠性工程设计方法，并用安全系数来考虑 水文不确定性和结构设计的不确定性；l d u c k s t e i n 和e j p l a t e 发展了b c y e n 的工程可靠性分析方法，从直接用安全系数考虑风险与可靠性改为用更一般的离 散系统性能识别指标考虑风险和可靠性。我国则一直偏重于工程结构安全系数k 的复核评判，近年来也开始将可靠度理论用于安全度评价，如刘宁、卓家寿等在 全面介绍串、并联体系和一般体系现有的各种可靠度计算方法及其实用性的基础 上，给出了基于增量理论的三维弹塑性随机有限元及可靠度计算公式，推导了相 应的随机有限元迭代格式和加速收敛公式，并提出应变空间表征法高效计算出 “塑性单元”的可靠指标；刘宁还结合工程实例，从随机仿真温度场及徐变应力、 随机损伤- 断裂力学、工程稳定性问题的概率分析、工程参数的敏感性分析以及 随机反分析和可靠度反馈等方面，对工程随机力学和可靠性理论研究中的若干问 题进行了探讨；姚耀武、杨柏华以重力坝为例建立了可靠度计算分析模型，对坝 体、坝基内某点或沿某面的强度及滑动稳定可靠度进行计算；何蕴龙、陆述远、 段亚辉等提出一种重力坝地震动力可靠度的分析方法，在j c 法和泊松过程法基 础上，提出重力坝同时承受地震荷载和静力荷载作用下的动力可靠概率的计算方 法；陈德新在模糊可靠性方面进行相关研究，建立了一套关于混联系统与桥式系 统的模糊可靠性计算公式。 1 3 大坝安全监测数据挖掘 数据挖掘口1 1 是从大量数据中取出正确的、新颖的、潜在有效的并最终能被人 理解的模式的非平凡的处理过程。一般认为，数据挖掘是知识发现过程中的一个 特定步骤，它用专门算法从数据库中抽取模式然后通过知识发现中的解释和评价 模块将模式转换成最终用户可以理解的知识。但是，广义的数据挖掘通常被认为 是数据准备、模式抽取、知识表达等一系列步骤组成的知识发现全过程。数据挖 掘系统通常建立在数据仓库基础上，实现了诸如在线分析( o l a p ) 、可视化挖掘 等功能。 随着时代的发展，传统的监测数据分析已经无法满足“集中”、“实时”、“在 线”的需求。为此，将数据挖掘技术引入到大坝安全监控中。 大坝安全监测数据挖掘就是数据挖掘技术在大坝安全监控领域的应用，是从 浙江工业大学硕士研究生学位论文大坝安全监控中监测数据挖掘的研究 大量的、不完全的、有噪声的、模糊的、随机的监测数据中，提取隐含其中有用 的大坝安全监控信息和知识的过程。根据大坝的监测目的，监测数据的物理量主 要有：变形、应力应变、接缝开度、温度、水位、降雨量、扬压力( 或测压孔水 位) 、渗流量以及水质等等【l l 。 对于传统的大坝安全监控理论而言，监测数据的误差处理与分析可以看作数 据挖掘中的数据准备阶段，监测数据的正、反分析可以看作数据挖掘中的模式抽 取、知识表达阶段，监测数据的评判可以看作对发现的知识的应用。 本文针对大坝安全远程管理信息系统中监测数据挖掘的需要，对挖掘系 统所采用的挖掘流程、应用的挖掘算法展开研究，并在此基础上实现一个监测数 据挖掘原型系统。 1 5 小结 本章介绍了大坝安全及其监控理论，收集整理了国内外监控理论的最新研究 成果，结合数据挖掘技术提出了大坝安全监测数据挖掘的概念。 9 浙江工业大学硕士研究生学位论文大坝安全监控中监测数据挖掘的研究 第二章理论基础与相关技术 2 1 逐步回归算法 一般采用回归分析1 】圜来处理线性模型。对于n 元回归，回归方程一般表达 式为： n y = b 。+ z b j x i ( 2 1 1 ) i - l 式( 2 1 - 1 ) 中，y 为因变量，x i 为自变量( 因子) ，b o 、b l 为参数。用最 b - - 乘法求 解参数b i 的法方程为： 【s 却 b i 】= 【s i y 】 ( 2 1 2 ) 式( 2 1 2 ) 中， s i j 为自变量之间的相关系数矩阵，【s i ，】为自变量与因变量间的相关 系数矩阵。此外，为了消除自变量和因变量采用单位不同而导致系数值不能直接 反映自变量对因变量的真实作用的影响，一般还要将法方程标准化为： 嘶】【b i 】= r i y 】 ( 2 1 3 ) 式( 2 1 3 ) 中，r i i = ( s u 2 ，( s “) ) m ，f l y = ( s i y 2 ( s u s y y ) ) m ，s y y 为因变量的 离差平方和，b i 为标准参数。 理论分析和实际经验证明：把全部的因子放入回归方程，往往导致法方程的 系数矩阵【s 胡的蜕化和病态，大大降低参数估计的准确性和稳定性，甚至法方程 无法求解；因子之间存在线性相关的可能性，引入回归方程的因子越多，这种可 能性就越大，而一旦有线性相关的存在，则加法模型就存在因子冗余。因此，必 须根据对y 贡献的大小，有选择的将因子放入回归方程，建立最佳回归方程， 使其中只包含显著的因子、不包含不显著的因子或冗余因子，参数估计的方差较 小。 逐步回归算法1 】 2 6 1 就是遵循此思路的求解最佳回归方程的方法。它的运算过 程描述如下： 条件：因子全集f = f f a c l ，f a c 2 ，f a c 3 ，f a c n 运算初始化：源因子集合s = f ；目标因子集合d = 中。 运算步骤： 1 0 浙江工业大学硕士研究生学位论文大坝安全监控中监测数据挖掘的研究 ( 1 ) 保存集合d 到d 中 ( 2 ) 因子引入：对s 进行回归分析，选择s 中对y 作用最显著的因子f a c i ( 标准 偏回归平方和最大) ；对f a e i 进行s 集上的参数估计检验( 标准偏回归平方和统 计量的阀值检验，大于阀值为通过，否则不通过) ，若通过检验则将f a c i 从s 中 剔除、放入d 中( s = s - - ( f a c i ，d = d + ( f a q ) ，若未通过检验则无操作。 ( 3 ) 因子剔除：对d 进行回归分析，选择d 中对y 作用最不显著的因子f a c j ( 标 准偏回归平方和最小) ；对f a q 进行d 集上的参数估计检验( 标准偏回归平方和 统计量的阀值检验，小于等于阀值为通过，否则不通过) ，若通过检验则将f a q 从d 中剔除、放入s 中= d - - f a e j ，s = s + l f a q ) ，若未通过检验则无操作。 ( 4 ) 判断d 和d 集合是否一致，若不一致则返回步骤( 1 ) ，否则结束。 运算结果：d ，由它可以建立最佳回归方程。 对于标准偏回归平方和统计量的阀值检验，在工程实际中往往选择固定阀值 的方式简化计算，这时阀值的选择必须慎重，因为采用了不同的阀值就会得到不 同的d 集台，导致d 集合的两种可能情况：含因子过少，使参数估计发生偏差， “精确”度降低，进而对最佳回归方程的统计特性产生影响；含因子过多，参数 估计的方差变大，“精练”度降低，可能存在不显著或冗余因子，不能达到去“伪” 存“真”的目的。 2 2 模糊理论基础 模糊理论 2 7 - 2 9 是以模糊数学为基础的，模糊数学是一种表达和处理模糊信息 的数学工具，并不是“模糊”的数学，它是采用严格的精确的数学手段来处理“模 糊”的现象以达到消除“模糊”的一门数学，其核心是模糊集合论。而模糊集合 表述的则是现实世界中大量的、其元素归属界限不清晰、不分明的那些集合。大 量的事实表明许多事物过分的追求精确反倒更模糊；相反，适当的模糊处理反而 达到更精确的目的。其关键在于如何寻求适当的数学语言来描述事物的模糊性。 美国伯克莱加州大学电气工程系l a z a d e h 教授于1 9 6 5 年，在i n f o r m a t i o n a n dc o n t r o l 杂志上发表了“f u z z ys e t s ”，宣告了“模糊数学”的诞生，创立了模 糊理论，主要包括模糊集合理论、模糊逻辑和模糊控制等方面的内容。 当前，模糊理论的深入研究主要集中在以下几个方面： 浙江工业大学硕士研究生学位论文大坝安全监控中监测数据挖掘的研究 ( 1 ) 糊理论基础研究 ( 2 ) 模糊计算机方面的研究 ( 3 ) 机器智能化研究 ( 4 ) 人机工程的研究 模糊逻辑技术中有如下需要明确的基本问题： ( 1 ) 模糊逻辑与随机事件的联系和区别 概率是事件发生的可能性大小的度量，它表示事件结果的不确定性；隶属函 数是事件本身多大程度属于某个分类的度量，表示事物本身的内在不确定性。 ( 2 ) 模糊逻辑与人工智能 人工智能实际上是用来模仿人的精神方面而加到计算机上的“智能”；模糊 逻辑实质上是一种方法，用这种方法计算机就有可能更可靠地去处理那些无法用 数学表示的概念、现象和问题。 ( 3 ) 模糊逻辑与神经网络 模糊技术，允许模糊表示，积极地处理模糊知识，与神经网络相比，能较清 楚地表达知识：另一方面，模糊技术地自学习能力不如神经网络技术。 2 2 1 模糊集合 2 2 1 1 模糊集合的定义 设论域为u ，x 为u 中的元素，a 是论域u 中的一个模糊集合，则模糊集台 a 可以用隶属函数来表示： a = f ua ( x ) ：u 一 0 ，1 1 隶属函数pa ( x ) 把论域u 中的元素映射到值域 0 ，l 】中的实数。隶属函数ua ( x ) 的 大小反映了元素x 对于模糊集合a 的隶属程度，称为x 对a 的隶属度。 可见，隶属函数“a ( x ) 的值越接近1 ，表示x 对a 的隶属度越高；隶属函数 ua ( x ) 的值越接近0 ，表示x 对a 的隶属度越低。当隶属函数u a ( x ) 的值域1 0 ，i i 变成( o ，1 时，模糊集合a 就退化为传统集合。 浙江工业大学硕士研究生学位论文大坝安全监控中监测数据挖掘的研究 2 2 1 2 模糊集合的表示方法 对于论域u 上的模糊集合a ，通常采用的表达方式有如下三种： ( 1 ) z a d e h 表示法 令论域u 是有限域，u = x j ，x 2 ，x n j ，a 的隶属函数为ua ( x i ) ( i - 1 ，2 ，n ) ， 则a 可以表示为： a = p a ( x 1 ) ，x l + i za ( x 2 ) x 2 + + i l a ( x ) x n = 队( x i ) x i( 2 2 1 ) i = i 式( 2 2 1 ) 中，na ( x i ) ，x i 不是分数形式而是一种记号，分母表示元素x i ，分子表示 元素x i 对模糊集合a 的隶属度；e 与+ 也不是求和运算，而是各元素和对应的 隶属度的总括。 令论域u 是无限域，x 是u 的元素，a 的隶属函数为p a ( x ) ，则a 可以表示 为： a = 几。( x ) ，x ( 2 2 - 2 ) 同样，式( 2 2 2 ) 中，ua ( x ) ，x 不是分数形式而是一种记号，分母表示元素x ，分 子表示元素x 对模糊集合a 的隶属度；f 也不是积分运算，只表示论域中各元 素和对应的隶属度的总括。 ( 2 ) 矢量表示法 a = ( 1 - ta ( x 1 ) ，i j - a ( x 2 ) ，ua ( x 。) ) 该表示法要求论域u 的元素先后顺序是确定的，把每个元素对应的隶属度按 给定的顺序组成一个向量，该向量称模糊向量。向量中若有a ( x ) = o ，该项不能 省略。 ( 3 ) 序偶表示法 a = f ， ， ) 2 2 i 3 模糊集合的运算 在模糊集合上可以定义各种运算，两个具有相同论域的模糊集合之间的预 算，实际上就是对其隶属函数作相应的计算。 令论域u 中的两个模糊集合a 和b ，分别具有隶属函数ua ( x ) 和ub ( x ) ，它 浙江工业大学硕士研究生学位论文丈坝安全监控中监测鼓据挖掘的研究 们之间的基本运算定义如下： 1 交a n b ：l i a n b ( x ) = m i n fpa ( x ) ，u b ( x ) ) 2 并a u b ：ua 。b ( x ) = m a x ua ( x ) 1 tb ( x ) 3 卒h a ：u ，a ( x ) = l pa ( x ) 上面给出了模糊集合之间的交、并运算的一种定义形式，其实还有许多交运 算( 如：求极小、有界积、实数积、爱因斯坦积、亚格尔积、哈马邱尔积) 和并 运算( 如：求极大、有界和、概率和、爱因斯坦和、亚格尔和、哈马邱尔和) 的 定义形式，它们反映了模糊集合计算的不同需要，可以用于各种不同的实际问题。 为了方便使用，将各种“交”运算统一用记号“n ”表示，将各种“并”运算统 一用记号“u ”表示。 各种运算满足以下定律： 1 幂等律：a n a = a ，a u a = a 2 吸收律：a n ( a u b ) = a ，a u ( a o b ) = a 3 交换律：a a b = b f t a ，a u b = b u a 4 分配律：a n ( b u c ) = ( a n b ) u ( a oc ) ， a u ( 1 3 0 c ) = ( a u b ) n ( a uc ) 5 结合律：( a n b ) o c = a o n c ) ，( a u b ) u c = a u ( b u c ) 6 0 1 律：a i 1 中= 由，a u u = a ( 由为空集，u 为全集) 7 对偶律：1 ( a r i b ) = - ia u lb ， ( a u l 3 ) = a o - ib 模糊集合运算不满足传统集合运算中的补余律。 2 2 2 模糊关系 模糊关系是经典集合论中经典关系的一种推广。经典关系用于描述元素之间 是否关联，即元素包含或不包含在一个关系中；而模糊关系则描述元素之间关联 的程度，即元素包含在一个关系中的隶属度，从更深刻的意义上表现事物问更广 泛的联系。模糊关系的抽象形式更接近于人的思维。 2 2 2 1 模糊关系的定义 设u 和v 为两个论域，x 和y 分别是论域u 和v 中的元素，并组成序偶对 1 4 浙江工业大学硕士研究生学位论文 大坝安全监控中监测数据挖掘的研究 ( x ，y ) ，则u 到v 的一个模糊关系r 是直积u k v 中的一个模糊子集。模糊关系 r 可以用隶属函数表示为： r = 卜。( x ，y ) ( x ，y ) ( ( x j ) u v ) nr ( x ，y ) ：u k v 一【o ，1 】 当论域u 和v 为有限域时，模糊关系r 可以用模糊关系矩阵来表示。 2 2 2 2 模糊关系的运算 模糊关系也是模糊集合，同样具有各种基本的运算。 1 l 包含r 1 r 2 ：1 1 r 1 ( x ，y ) 扯r 2 ( x ，y ) 2 相等r 1 = r 2 ：u r 1 ( x ，y ) = 1 tr 2 ( x y ) 3 交r l n r 2 ：1 3 r l n r 2 ( x ，y ) = n ( i tr 1 ( x ，y ) ，1 2r 2 ( x ，y ) ) 4 并r 1 u r 2 ：p r l u r 2 ( x ，y ) = u ( 1 z r i ( x