（水工结构工程专业论文）大坝安全监控信息融合与挖掘方法研究.pdf

摘要 摘要 大坝安全监控系统是大坝安全管理的重要组成部分，随着对系统管理要 求的不断提高、硬件水平的不断进步以及智能化的发展，大坝安全监控系统 还需要进一步完善和加强。本文综合运用坝工、计算机、数学等多方面理论 知识，对大坝安全监控信息的表示方法、挖掘理论及大坝安全监控系统集成 进行了深入探讨。主要研究内容如下： ( 1 ) 从网络安全和可视化表示两方面对大坝安全监控系统的结构特征进 行了重新规划，重新构建了大坝安全监控系统，并对其结构特征及相关功能 进行了分析。 ( 2 ) 依据现代网络技术提出了大坝安全系统的安全防御策略，并着重对 系统信息库自动备份、即时备份和日志子系统的管理方法进行了深入研究， 并基于规则知识库和灰色关联分析模型，开发了系统日志子系统。 ( 3 ) 提出了信息融合模型，并通过数据仓库与信息融合实现了数据融合 模型。研究了知识表示的理论，据此提出了一种面向对象表示的知识集成表 示法。 ( 4 ) 探讨了小波去噪的原理和格拉布斯准则，据此提出了基于格拉布斯 准则的小波去噪算法，利用该方法对各层小波分解系数的阈值进行了估计。 ( 5 ) 研究了基于事件的因果关系模型，并以拱坝为例推导了位移和应力 的因果关系表达式，同时将因果关系模型应用于七向和九向应变计组状态的 判定；此外，还提出了基于专家权重的因果关系重要度分析方法。 ( 6 ) 将基于体数据可视化方法应用于坝工领域的可视化知识表达与解 释，研究了可视化方法在水利工程中的应用，提出了采用等参单元形函数对 大坝三维图像进行插值的方法 关键词：大坝，安全监控系统，信息，融合，数据挖掘，可视化，安全策略，因 果关系 英文摘要 a b s t r a c t d 锄s a f e 锣m o l l i t o r i n gs y s t e mi si m p o r t a n ti l lm ed 姗踞f e t ) rm 锄a g e m e n t w i t l l m ed e v e i o p m e n to fs y s 把mm a n a g e m e n t 觚dt i l ec 0 璐t a mi m p r o v e m e n to ft l l c h j 那d 、撇觚d 面【t e n i g e i 也妇翻l f c t ym o m t o r i i l gs y s t e ma l s o 埘昏e d st 0b ef i l r t h e r i i 】瞳p r c v c d 锄ds t r e n 咖埘订t h ep a p e rd i e a l sw i t l lt l l ee x p r e s s i o no fd 觚ls a f e 锣 m o n i t o r i n gi l l f i o 肌a t i o i l ，t h em 抽i i 培m e t l l o d 觚dm ei n t e 口撕o no fd s m si nd e p t l lb y 吣eo f l ed 锄，c o m p l n e rt e c l m i q u e 趾dm a t l l e m 撕c s l e o r y t h em 血c o i i t e n t s0 f t h i sd i s s e r t a t i o na r ea sf - 0 l l o 、v s ( 1 ) an e ws y s t e m d 锄s a f a ym o n i t o r i n gs y s t e mi s 他g u l a t e di nn 咖出 s e c u r i t y 砒l dv i s u a l i z a t i o n ，锄di t ss 廿u c t u l 限lf e a n l r e s 卸df h c t i o i 坞a r e 卸a l y z e c l ( 2 ) b 笛e do nm o d e mn e t 、，帅出t c c l l l l o l o g y ，a to fd 锄s e c 砸t ) rd e f e 硒es 位l t e g yi s p r o p o s e d a u t o m a t i cb a c k u pt oi n f 0 硼撕。玛i 删跑m tb a c k u pt oi 州f 0 n n a t i o n 肌dl o g s u b s y s t e mm 锄a g e m e n tm e m o d sa s t u d i e di n d e p t i l ，as u b s y s t e mo fs y s t e mi o u m a j i sd e v e l o p e db a ；e do nm l el ( i l o w i e d 璺es t d r e 孤dl 田a yc o r r e l a t i o n 觚a l y sm o d e l ( 3 ) i n f o n i l a t i o n 觚i o nm o d e lo fd a t a b 弱ei sp u tf 0 ，砌t h ed a t a 角s i o nm o d e l i s g a i n e db yi i l t e 耐i o no fd a t aw a r e h o u s e觚di n f o n n a t i o n6 l s i o n e x p l o r em e e x p r e s s i o no fk n o w l e d g e ，柚i n t e g m t e dk n o w l e d g c 他p 麟圯n t a t i o no fo b j e c t - 0 r i e n t e d m e t i l o di sw o r l ( e do u t ( 4 ) w a v e l e tt h r e s h o l dd e n o i s i n ga l g o r i t h mb 孤；e do ng r u b b sr u l ei si n v e s t i g a t e d b 塔i n go nm ew a v e l e td e n o i s i n gt h e o r yp r o p o s e dw a v e l e tt h r e s h o i dd e - n o i s i n g a d t l l m e t i c ，w h i c hi se x p l o i t e di i le s t i m 撕o no fe a c hl a y e r sw a v e l e td e c o m p o s i t i o n c o e m c i e n t st h r e s h o l d ( 5 ) t h ec a u s a lr e l a t i o nm o d e li ss t u d i e d ac a u s a ir e l a t i o nb e t 、e e nm eh o r i z o n t d d i s p l a c e m e n ta n dt h es t r e s ss t a t ei sd e r i v e df o r 锄c hd a ma sa ne x 扣1 1 p l e t h ec a u s a l r e l a t i o nm o d e l i sa p p l i e dt 0j u d g ct 量l es t a t eo f7a n d9s t r a i n sg a u g eg r o u p a c c o r d i n g t ot h i s s t u d y ，a m s e e f ! f e c ti m p o n a n c e i e g r e e 锄a l y s i sb a s e do ne x p e r tw e i g l l ti s p r o p o s e d ( 6 ) t h ev o l u m ed a t av i s u a l i z a t i o nm e t h o di s 访仃0 d u c e dt ot h el ( 1 1 0 w l e d g e r e p 陀s e n t a t i o no ft h ed 锄鼢f - e 僻m o n i t o r i n g t h es p e c i f i ca p p l i c a t i o nm e t i l o di s s t u d i e di nt l l ev i s u a l i z a t i o no ft h eh y d r l a u l i cp i o i e c t ，a n dt i l e3 dr e g u l a rc f i e l do f 如mi sa c h i e v e db ys h 锄卫丘i n c t i o ni n t e r p o l a t i o no f 山ei s o p e r i m e t r i ce l e m e n t k e y w o r d s ：d 2 i l ，姐f - e t ym o n i t o r i n gs y s t e m ，i n f 0 加1 a t i o n ，凡s i o n ，d a t am i l l i n g ， v i s u 龇i z a t i o n ，s e c u r i t ) rs t r a t e g y ，c a u s a jr e i a t i o n n 学位论文独创性声明： 本人所呈交的学位论文是我个人在导师指导下进行的研究工作及 取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写过的研究成果与我一同工作的同 事对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢 意。如不实，本人负全部责任。 论文作者( 签名) ： 学位论文使用授权说明： 二孝年石月压日 河海大学、中国科学技术信息研究所、国家图书馆、中国学术期刊 ( 光盘版) 电子杂志社有权保留本人所送交学位论文的复印件或电子文 档，可以采用影印、缩印或其他复制手段保存论文本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被 查阅和借阅。论文全部或部分内容的公布( 包括刊登) 授权河海大学研究 生院办理。 论文作者( 签名) ：，雷年6只，s 日 第一章绪论 第一章绪论 应用高效的信息集成和信息挖掘方法，设计一套安全监控系统对大坝工作 性态进行监控，通过安全监测信息掌握大坝的运行状况，以便在第一时间发现 异常现象，及时对异常现象进行分析处理，快速进行异常诊断，迅速做出应急 预案，是保证建筑物安全运行的必备措施【1 卜【4 】。 1 1 研究的目的和意义 随着西部大开发、西电东送、南水北调等国家政策的开展，坝工技术的发 展使得大坝规模向高、大的方向发展，如己建的二滩双曲薄拱坝( 坝高2 4 0 m ) 、 天生桥面板堆石坝( 坝高1 7 8 m ) ，在建的三峡重力坝( 坝高1 8 l m ) 、小湾 拱坝( 坝高2 9 2 m ) 、水布垭面板堆石坝( 坝高2 3 2 m ) 、小浪底土石坝( 坝 高1 5 4 m ) ，以及拟建的溪落度拱坝( 坝高2 7 3 m ) 、自鹤滩双曲拱坝( 坝高 2 7 7 m ) 等【2 h 5 1 ，这些特大型坝的兴建在一定程度上代表了我国在坝工领域的 技术力量和实力。然而，这些大坝在带给人们效益的同时也带来了一定的风险 和负面影响，大坝的安全运行不仅直接影响到工程效益的发挥，而且也关系到 下游人民生命财产安全、生态环境优劣以及社会的稳定，大坝的安全问题是关 系到国计民生的大事【2 1 1 6 1 1 7 1 。 运行中的大坝是一个复杂的动力系统，坝体、库水、坝基、环境以及其它 枢纽建筑物相互作用，使得该动力系统具有高度的非线性特征和不确定性。由 于大坝和基岩工作条件复杂，荷载、计算参数、计算模型以及突发因素( 如地 震、恶劣运行环境) 等还都不能精确模拟，也使得目前水工设计与工程实际难 以完全吻合。随着运行时间的不断增加( 有些大坝已经运行了3 0 多年以上) ， 同时由于设计标准、材料性能、施工过程中的人为因素等影响，坝体材料逐渐 老化，有些大坝出现危及大坝安全的裂缝和病变现象，有些大坝的坝址地质条 件复杂导致大坝的安全度偏低，有些大坝的防洪标准偏低，大坝都存在着不同 程度的老化、病变和裂缝等问题。如果这些缺陷和问题不能及时被管理部门发 现，大坝将时刻面临着安全威胁，甚至会导致灾难性事故，造成不必要的损失。 国内外有诸多的垮坝事故，都给人们以深刻的教训，如法国的m a l p 嬲s e t 坝垮 坝、美国的t e t o n 土石坝溃决、我国的板桥、石漫滩以及沟后等大坝失事都造 成了非常严重的灾害。 鉴于以往的经验教训，各级政府、水利管理部门和科研机构在积极兴建大 坝的同时，也认识到了需要对大坝及其附属建筑物、坝基以及周边环境量进行 监控，大坝安全监控理论和方法的研究得到了前所未有的发展。为监测大坝的 安全性态，大坝内一般布置有变形、渗流及应力应变等多类监测仪器，传感器 数目多达数百乃至上千，给大坝的现场工作人员和管理人员带来了巨大的工作 河海大学博士学位论文 量，由于各种条件的限制，水电站和水库管理单位难于直接对采集的数据进行 分析和处理，一般要委托有关单位用一定的时间来完成数据的分析工作，很难 傲到对大坝的实时监控，尤其在汛期或需要及时了解大坝安全状况情况下，更 需要体现这种及时性。为此，一些单位已经建立不同的大坝安全监控系统，在 一定程度上解决了水电站和水库管理单位的难题，但目前的大坝安全监控系 统，还缺乏科学的管理、系统的信息库体系、及时高效的数据传输功能、深度 可视化的数据挖掘方法、完善的异常预报体系、严密的软硬件系统安全防御策 略以及“傻瓜化 的操作平台和人性化的界面设计风格。如何从庞杂的安全监 测信息中挖掘出有用信息是人们十分关注的课题，将挖掘出的有用信息以更直 观、更容易被接受的方式表现出来也是人们十分关心的课题。 有关专家认为，二十一世纪将是老坝加固、病坝除险的高峰期1 3 j 。二十一 世纪也是人力资源得到极大肯定的时代，是计算机科学与网络技术飞速发展的 时代，在更加完善大坝安全监控系统功能和提高大坝安全性的同时，充分使计 算机、网络通讯技术、人工智能与坝工领域知识结合，快速可靠的采集、处理、 分析信息，及时有效的评价大坝安全状况并提出相应应急预案，推进对大坝安 全监控和管理的现代化、网络化、信息化和系统化是当务之急。因此，开发一 套适用性强、操作灵活、基于可视化、实时化的大坝安全监控系统具有十分重 要的意义。 1 2 研究现状 1 2 1 大坝安全监测信息管理系统 通常信息管理系统按照功能和应用范围分为四种i lo 】： ( 1 ) 事务处理系统( t p s ，t r 锄s a c t i o np r o c e s s i n gs y s t e m ) ：用来记录完 成企业交易的人员、过程及数据库及各种设备的有组织的集合； ( 2 ) 管理信息系统( m i s ，m a n a g e m e n ti n f 0 唧a t i o ns y s t e m ) ：用来为管 理人员和决策者提供日常信息的人员、过程、数据库和设备的有组织的集合； ( 3 ) 决策支持系统( d s s ，d e c i s i o ns u p p o ns y s t e m ) ：在某些问题做决 策时，为其提供支持的人员、过程、数据库和设备的有组织的集合； ( 4 ) 人工智能和专家系统( 甜，a n i f i c i a li n t e l l i g e n c e ：e s ，e x p o r ts y s t e m ) ： 专家系统是人工智能应用研究的主要领域，它能够以人类专家的水平完成特别 困难的某一领域的任务。 1 2 1 1国外大坝安全监测信息管理系统 法国和意大利是最早研究大坝安全监测信息管理系统的国家，其他发达国 家也都充分利用现代信息技术建立了较完善的大坝安全监测信息管理系统 【9 l f i l h l 6 1 。 第一章绪论 法国电力公司开发的大坝监测处理系统管理着1 5 0 多个大坝的监测数据， 是较大型的大坝群安全监测系统1 1 2 l 。该大坝监测处理系统一旦确定结构发生 异常后，管理部门将迅速集中专家进行现场调查，及时开展必要的计算分析等 工作。 美国较有代表性的是t o l t 大坝【”l ，它位于西雅图附近，大坝的监控中心 在西雅图市。t o l t 大坝的数据采集和传输系统为构建大坝安全监测信息管理系 统起到了不可替代的作用，大坝各测点的监测数据及其它环境水文数据首先通 过无线方式发送到测点控制单元( m c u ) ，然后由大坝电厂中心监控计算机 将m c u 中的数据读出，最终由位于西雅图市的监控中心通过m o d e m 和电话 线从水电厂中心监控计算机获取数据。 西班牙g u a d a l q u i v i r 流域的大坝群安全监控系统i j 实时监控6 座大坝的安 全运行状况。该系统监控中心是一个c s 结构的局域网，一个远程子网用于工 程管理，一个远程工作站用于咨询管理，6 个局域网分别位于各大坝监测现场， 用于数据收集及相应的监测工作。 葡萄牙h i d r o c e n e l 公司的某大坝安全自动化监测和远程传输系统【1 5 l ， 其数据自动采集单元通过g s m 网络连接到p o n o 市的h i d d r o r v m o 办公室 远程计算机，现场采集单元以预先设定的时间间隔，每天两次将监测数据传送 到远程监控计算机，也可人工修改自动读数的频率。 意大利在大坝安全监控系统的开发研究方面一直处于国际领先地位2 0 世纪8 0 年代初，意大利开发了著名的混凝土坝微机辅助监测系统m 刖s ，实 现了数据自动采集和在线监控。九十年代，意大利相继开发了烈d a c o 、 m i s t r a l 、d a m s a f e 等系统。i n d a c o 是一个模块化的自动化采集系统， 可进行监测数据采集( 包括采集数据、在线检验和超限报警) 、绘制过程线、数 据记录存贮、数据通信( 标准电话线、广域网、无线通信、卫星等) 、监测网的 远程操作和维护等，数据采集通道数量可达l 万个。m i s t l 认l 是一个应用于 结构自动化监测( 专门处理自动化监测超界值) 的专家系统，可提供大坝性态 的在线解释，以减少对专家干预的需要。d a m s a f e 最为出名，它是一个对结 构综合安全管理的决策支持系统。它将人工智能应用于大坝安全管理中并与互 联网相连接，可使多个专家通过共享它们的知识及数据资源来合作管理大坝的 安全。此外，意大利南部1 8 座大坝通过i s i d e 中心建立了大坝群安全监控系统 引。i s i d e 中心和1 8 座大坝自动化监测系统实时连接，可支持大坝业主部门的 监控活动和查询服务，向政府主管部门提供报告和监测结果。 1 2 1 2 国内大坝安全监测信息管理系统 我国大坝安全监测工作始于二十世纪五十年代1 1 7 l ，可以说开始的比较早， 但是，由于当时技术水平不成熟、认识程度不够，使得发展比较缓慢，到了八 河海大学博士学位论文 十年代，跟随着我国改革开放的步伐，计算机技术得到了迅猛发展，管理部门 和技术人员通过与国外相关部门的沟通与学习，逐渐认识到了对大坝等水工建 筑物进行安全监测和建立安全监测系统的重要性。基于这种原因，我国在开发 监测数据自动化采集的同时，也进行了监测信息处理系统的开发。 上世纪八十年代，一些科研机构先后研制了基于微机的大坝监测数据管理 系统和数据处理程序，并开始出现了单机式监测数据管理软件。主要功能比较 简单，主要有对数据进行存储、管理、制作图表及相关统计分析、在线监测、 离线分析等。通过“七五攻关计划的实施，研制成功了集中式数据采集系统。 二十世纪九十年代以来，各大科研院所都进行了大坝安全监测信息管理系 统的研究开发工作，随着计算机软硬件性能的大幅度提高，一些功能完善的监 测信息管理系统也应运而生。吴中如、顾冲时、沈振中等提出并开发了建立在 一机四库( 综合推理机、数据库、知识库、方法库和图库) 基础上的大坝安全 综合评价专家系统”】，这对大坝安全监测信息管理系统的开发研制具有指导性 的作用。南京水文自动化研究所开发了d g 型分布式数据采集系统、m d a p 监测资料分析处理系统、d s i m 大坝安全信息管理系统：南京南瑞集团开发了 d a m s 型分布式监测数据采集系统以及d s i m s 大坝安全监测信息管理系 统。郑东健、吴中如、徐洪钟、苏怀智等提出了大坝安全监控智能框架和结构 i j 。河海大学开发了龙羊峡大坝安全综合评价专家系统【1 9 j 、水口水电站在线 安全监控及反馈分析系统【2 0 j 和古田溪大坝群安全监测系统。北京水利科学研 究院与黄河水利委员会合作开发了“小浪底水利枢纽工程安全监测系统 。 综上，目前国内外大坝安全监控系统正在日趋完善，已经实现了对监测信 息的自动化处理以及对大坝的安全监控。但随着计算机、网络及现代通信等技 术的不断发展，大坝安全监控系统将逐步迈向实时化、远程化、智能化。 1 2 2 信息库技术 数据库发展经历了传统的处理型数据库到当前流行的面向分析的数据仓 库，然而，这些数据库构建方式都是关于数据的处理与分析，而大坝安全监测 信息的特殊性决定了大坝安全监控系统的数据库要具备数据和文字信息共同 融合的特点。 数据仓库( d a t aw a r e h o u s e ，简称d w ) 技术最早起源于二十世纪八十年 代，由d e v l i n 和m u r p h y 发表了关于数据仓库的文章【2 1 】【2 2 1 。w h i n m o n 在1 9 9 3 年所写的论著b u i l d i n gt l l ed a t aw 批h o u s e 首先系统地阐述了数据仓库的思 想、理论，这本著作成为了数据仓库技术发展的里程碑。在数据仓库发展的过 程中，许多人为此做出了贡献，每个人对数据仓库的认识、理解都有不同的侧 重点，也提出了多种概念f 2 3 卜f 2 5 】： 第一章绪论 定义l 数据仓库是面向主题的、集成的、随时间变化的、历史的、稳定 的、支持决策数据过程的数据集合。( 这个定义较为学术界认可，由w h i 姗o n 在 b u i l d i n gt l l ed a t aw a r e l 的u 中提出) 定义2 数据仓库是作为d s s 基础的分析型d b ( 数据库，d a t a b 嬲e ) ，用 来存放大容量的只读数据，为制定决策提供所需的信息。 定义3 数据仓库是与操作型系统相分离的、基于标准企业模型集成的、 带有时间属性的。即与企业定义的时间区段相关，面向主题且不可更新的数据 集合。 这些定义的共同特征就是数据仓库中包含大量数据，组织数据仓库是为了 更好的使用数据进行决策。 数据仓库从纯粹的理论迅速转化为决策支持领域的一种实用性极强的技 术，在于它能够从容面对海量的复杂的数据信息，并从这些数据信息中抽取有 用的数据，经过清洗、转换，使其成为一种有用的、适合于决策支持系统的数 据格式。最初，数据仓库是为商业领域设计的，通过把企业的原始操作数据、 外来的数据、客户与货源信息等资料汇集和整理成一个数据仓库，终端用户可 以根据自己的需要从数据仓库中提取自己感兴趣的数据，以便进行决策分析。 现在，数据仓库己广泛应用于各种商业领域【2 6 h 刈，如零售、银行、食品、邮 政、汽车、医疗、保险、航空、铁路、电信等行业。 随着大坝安全监控理论不断完善，传感器技术和计算机科学的不断发展， 新建大坝的安全监测方法和仪器种类不断增多，已建大坝的监测数据和信息也 在随着运行时间的增加而增长，传统的数据库和单一意义上的数据仓库已经难 以满足当前的需要，有关单位对数据仓库已经进行了研究，温志萍【9 j 在开放式 大坝安全监控系统的研究中引入了数据仓库技术：吴中如、向衍等【3 l j 提出了 将数据仓库技术应用到大坝安全专家系统中；卢兆辉【3 2 】在大坝安全监测信息 的数据挖掘应用平台中也应用了数据仓库；王超、汪迎春等p 3 j 提出了丹江口 大坝安全监测数据仓库的基本构架；李婷婷p 4 】在混凝土坝健康诊断及预警系 统中对数据仓库在大坝安全监控领域的应用进行了新的阐述。本文在此基础上 对信息库融合技术进行深入研究，并使用数据仓库来实现信息库的构建。 1 2 3 数据挖掘技术的产生及研究现状 数据挖掘( d a t am i n i n g ，简称d m ) 技术是指从数据库或数据仓库的大量数 据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。它是一种以 计算机为工具，将人工智能、统计、计算机及数据库等技术相结合，从数据中提 取总结出新信息的技术。数据挖掘是1 9 8 9 年8 月在美国底特律举行的第1 l 届国 际联合人工智能学术会议上正式形成的p 5 1 。数据挖掘也被称为从数据库中发现知 河海大学博士学位论文 识、数据考古、信息收割、数据采掘和数据发掘等【3 6 】 【3 7 】。正如数据仓库一样， 数据挖掘的概念也较岁矧【3 8 l ： 定义l 从大量的、不完全的、有噪声的、模糊的、随机的实际数据中，提 取出隐含在其中的、人们事先不知道的、但又是潜在的、有用的信息和知识的过 程。( 较为学术界认可，由f a y y a d 等给出) 定义2 数据挖掘就是数据库中知识的发现。 定义3 数据挖掘是发现数据中隐藏的模式和关系的过程。 数据挖掘对许多领域都起到重要的作用，最早应用于商业，比如金融( 风险 预测) 、零售( 顾客行为分析) 、电信、气象、电子商务等。成熟的系统有f a i s 用于银行或商业上发现欺诈行为、f i d e l i 哆s 妣ks e l e c t l d r 用于投资、l b sc a p i t a l m 锄g e m e m 用于管理有价证券等。数据挖掘可以适用于各种行业，并且能够高 效的挖掘出用户想要的信息，正因为此，使得全球很多机构都举办数据挖掘年会， 从1 9 9 5 年起，美国人工智能协会每年举行一次知识发现国际学术会议。其它会 议有亚太平洋地区数据挖掘会议( p a c i f i c a s i ac o n f e r e n c eo nk w l e d g c d i s c o v e d ，锄dd a t am i n i n g ，p a k d d ) 、欧洲数据挖掘讨论会( e u m p e 锄s y m p o s i u m 鲫蹦n c i p l e so fd a t am i n i n g 锄dl o o w l e d g ed i s c o v e r y ，p k d d ) 、s i m ( s o c i e t yf o r i n d 戚r i a la i l da p p l i e dm 础e m a t i c s ) 组织的数据挖掘讨论会，以及数据库、信息 处理、知识工程等领域的国际学术刊物也纷纷开辟了l d 专题或刊物【2 耵。 敷乍霉一数据准鲁忙擒过挫_ - 磙达和卜一数据准鲁一挖掘过挫叫瑚达和解释一 图1 1 数据挖掘的过程 f i 9 1 1f i o wo fd a 切m i n i n g 数据挖掘过程一般包括数据准备、数据挖掘以及结果的表达和解释三个主要 步骤】【3 9 h 州，如图1 1 所示数据挖掘是根据各专业和应用领域的特点，将多 种数据挖掘算法和多种辅助技术以及手段有机融合成一个整体，才能完成数据采 集、预处理、模型建立以及结果的表达和解释等一系列任务。 其中，数据准备包括三个子步骤：数据集成、数据选择和数据预处理。数据 集成是指将多个文件或多个数据库或数据仓库运行环境中的数据进行合并处理， 第一苹绪论 解决语义模糊性、信息存储一致性、定性信息的量化等问题。数据选择的目的是 抽取出需要进行数据挖掘的数据集合。预处理是为了去除和改善噪声数据、重复 数据、空缺数据和不一致数据等。 挖掘过程包括方法选择、建立模型、挖掘实施、规则抽取等。针对本系统的 开发目的，需要大量的数据挖掘组件，如模型分析模块的统计模型、灰模型、 b p 网络模型、时间序列模型和混沌预测模型等分析方法、在线监控模块的数据 评判方法( 统计模型监控、监控指标监控、设计允许值监控、测值变化速度和加 速度监控、时效分量变化速度和加速度监控) 、灰色关联分析模型、小波分析挖 掘模型、因果关系挖掘模型等。凭借以上这些数据挖掘组件对信息库中的数据进 行挖掘，抽取有用的知识和得出合理的结论，进而帮助用户做出正确的判断。 结果表达和解释是指根据最终用户的决策目的对提取的信息进行分析，把 最有价值的信息提取出来，并且通过相应途径展示给决策者，因此结果的表达 和解释要具备人性化的特点。 数据挖掘的分类【2 3 】如表1 1 所示。 表1 1 数据挖掘的分类 t a b i e l 1c l a s so fd a t am i n i n g 分类标准 类别 按数据挖掘方法的直接性分类直接数据挖掘、间接数据挖掘 按数据分析的角度分类描述式数据挖掘、预测式数据挖掘 按挖掘的数据库分类 关系型、事物型、面向对象型、主动型、空间型、 文本型、多媒体、异构数据库 按挖掘的规则分类 关联规则、分类规则、聚类规则、趋势分析、偏 差分析、模式分析、特征规则、总结规则 按采用的技术分类 模糊和粗集方法、人工神经网络、遗传算法、决 策树、最近邻技术、规则归纳、可视化技术 按挖掘知识的抽象层次分类原始层次、高层次、多层次 按挖掘知识的反映事物之间的性质分类吴娄董嚣铲蠹霸蒙僦别知识、 直接数据挖掘是指对于可利用的数据建立一个模型，模型对剩余的数据， 对一个特定的变量进行描述、分类和预测。间接数据挖掘是指不选出某一具体 的变量用模型来描述，而是在所有变量中建立某种关系。描述式数据挖掘是指 以简要的方式描述数据，并提供数据的有意义的一般知识。预测式数据挖掘是 指对数据建立一个或一组模型，并试图预测新数据集的行为。 目前数据挖掘大都基于关联规则和决策树方法【4 5 l 1 4 7 l ，先对信息库中的数 据进行挖掘，产生规则和决策树，然后对新数据进行分析和预测。典型的关联 规则挖掘算法有a p r i o r i 和d h p 等。统计方法1 4 8 】【4 9 】主要用于在应用其它挖掘 方法之前进行回归分析、相关分析、差异分析，它主要用于分析数据，而不是 河海大学博士学位论文 进行规则挖掘。模糊集( f u z z ys e t s ) 1 5 0 1 【5 1 1 是继经典数学、统计数学之后，在数 学上的又一新的发展，它用隶属函数确定的隶属度描述不精确的属性数据，重 在处理不精确的概率。在数据挖掘中，模糊集可用作模糊评判、模糊决策、模 糊模式识别、模糊聚类分析、合成证据和计算置信度等。 1 2 4 因果关系推理 通常很多事情都可以用原因( c 蹦e ) 和结果( e 脏c t ) 来解释，很多推理关 系也都基于因果关系。因果关系的表达和推理是人工智能要研究的重要内容。因 果关系的存在形式具有多样性，可以应用到许多实体和领域，事件、状态、动作、 属性、命题等都是它的实体，近年来，在很多领域都建立了因果人工智能( 砧) 模型以及作为独立的子推理模型嵌入专家系统中，例如工程领域将荷载及建筑物 运行条件作为原因，建筑物运行性态作为结果；医疗诊断领域将疾病视为原因， 症状视为结果；在人类日常生活的常识推理中，实体可以是事实、事件等。 因果关系最早体现在哲学问题上【5 2 h 5 6 1 ，它涉及的有代表性的问题包括因 果法则与单个因果陈述的定义与性质，因果关系的本体论与认识论，因果关系 与时间的关系，因果关系与决定论等。h o m 等人【57 】应用因果关系解释了机械 或生物系统的工作原理。l e m e r l 5 8 l 将因果关系应用于对政治和经济领域的决 策。p a t i l 和s i m m o n s 等人1 5 9 h 删将因果关系模型作为一个子模块嵌入专家系 统等等。 1 2 5 可视化表达方法 数据挖掘现已比较成熟，挖掘方法也很多，但如何将挖掘过程和挖掘结果 以合适的方式展现给用户，仍是需要进一步研究的课题。下面介绍本文讨论的 可视化表达方法。可视化是指把数据信息和知识转化为图形、图像等比较直观 的视觉形式的过程。它能够把不易识别的、枯燥的数据通过一定的方式转换为 容易接受的、生动的、直观的图形，以供用户发现信息内部的特征和规律。可 视化并不是一个全新的概念，它是伴随着计算机的出现而兴起的，由于可视化 表达的直观性，使其得到了迅速的发展。二十世纪五十年代，美国洛斯阿拉 莫斯国家实验室( l m l ) 最早利用打印机和绘图仪实现了计算结果的可视化， 六十年代，开始利用显示器作为可视化显示终端。七十年代，美国劳伦斯利 弗莫国家实验室( l l n l ) 开发了能够实现计算结果动态显示的电视监督显示 系统t m d s ( t e l e v i s i o nm o n i t o rd i s p l a ys y s t e m ) 。八十年代，各领域对可视 化的需求越来越强烈，随着硬件性能的大幅度提高以及软件技术算法的不断演 进，对计算过程的可视化演示和计算结果的可视化描述程度向更深的方向发 展。到了九十年代，可视化研究已经成为热点研究学科，许多发达国家都设立 了专门的机构和投入了大量的人力物力来进行这项工作，并取得了长足的进 展。目前，可视化已经渗透到各个领域【6 i l 【6 7 1 ，如气象、医学、地理信息、工 第一苹绪论 程设计、航空、有限元分析、工程设计等。在国内，可视化表达与表示技术也 得到了广泛应用，如王子茹等【6 8 】对堤坝透视投影进行了三维可视化研究，谢 丹俊等【6 9 l 把可视化技术应用于水利工程决策支持系统中，陈立华等【7 0 j 对向家 坝大坝施工进行了三维动态仿真可视化研究等。 l 。2 6 系统安全策略研究 信息技术发展到今天，使庞大的世界变成了所谓的“地球村 ，网络已经 成为现代的基础设施，信息传递、办公、营销、交流、娱乐等各种活动都可以 通过网络完成，网络的质量直接决定了社会生活和经济生活的质量。 然而，网络也是一把。双刃剑 ，它在带来方便、快捷的服务的同时，也 存在着安全问题，如病毒、恶意攻击、木马、监听等很多安全威胁【_ j ，它们 无处不在，时刻威胁着信息网络的安全。有专家提出：因为这些威胁的存在， 网络所带给人们的危害己远远超过它的益处。网络的出现是社会的进步，如今 它已经渗透到各行各业，大坝安全监测也离不开网络，人们无法从信息化社会 退回去，只有对信息安全进行全面深入的研究，才能从容的面对信息安全问题。 下面简单回顾一下信息安全的历史【7 2 h 朽l ： 信息安全是伴随着人类的产生存在的，只不过在计算机出现之前，它的存 在形式和处理方式很单一，人们没有把它作为一个问题而进行专门研究。 直到二十世纪中叶，计算机的出现把人类带到了一个全新的世界，人们的 生活也随之改变，人们的思想也逐渐“信息化一。最早进行信息安全研究的是 美国国防委员会，专门解决远程访问资源共享计算机系统中的机密信息的安全 保护问题。他们提出了计算机安全的三个主要问题：保密性、完整性和可用性。 而且这个概念沿用至今。 上世纪七十至八十年代，对形式化安全模型的研究作了大量工作。如 l 锄p s o n 的机密性访问控制模型( 1 9 7 1 年) ，c l a r k w i l s o n 完整性模型( 1 9 8 7 年) 等。具有里程碑意义的是1 9 8 1 年美国d o d 的计算机安全中心将当时流行 的计算机安全概念和研究成果总结起来并编制的著名的桔皮书可信计算 机系统评估准则( t m s tc o m p u t e rs y s t e me v a l u a t i o nc r i t e r i a ，t c s e c ) 然而 t c s e c 只是将信息的保密性作为了重点，忽视了信息的完整性和可用性。其 他国家的相应机构也进行了该标准的制定，如加拿大可信计算机产品评估准则 ( c t c p e c ) 、信息技术安全评估准则( i t s e c ) 、联邦准则( f c ) 和通用准 则( c c ) 。其中，通用准则c c 是由美国等西方六个国家七个组织共同制定 的，1 9 9 9 年，它正式成为了国家标准( i s o i e c1 5 4 0 8 ) ，我国也将其制定为 国家标准( g b t 1 8 3 3 6 ) 。 在信息安全质量体系中，网络安全是其中一个关键环节。同时，随着网络 应用越来越深入各行各业，出于各种目的的网络攻击和入侵也越来越频繁，网 河海大学博士学位论文 络安全日益成为与国家、政府、企业和个人利益息息相关的大事。目前，水利 部门内部网络和安全监控计算机也与i n t e m e t 相连，使得不法份子有机可乘， 因此急需制定一套适合大坝安全监控系统的严密的安全策略进行防范。 1 3 问题的提出 大坝安全监控系统是大坝安全管理的重要组成部分，随着人们对系统管理 要求的不断提高、硬件水平的不断进步以及智能化的发展，大坝安全监控系统 还需要进一步完善和加强，由上分析，主要有以下几点： ( 1 ) 大坝安全监控信息是海量并且复杂的，这些信息是判断大坝工作性 态的重要依据，如何高效地获取表征大坝安全的有用信息，对数据存储方式如 何组织，也成为影响大坝安全监控知识获取的重要因素。规划信息的组织和存 储方式，建立合理的信息库是解决上述问题的基础。数据仓库作为数据挖掘的 数据源具有良好的组织性、系统性等特点，应用数据仓库作为信息融合模型的 载体，构建适合评判大坝安全的信息集成体系，将为大坝安全监控系统奠定坚 实的基础。 ( 2 ) 数据挖掘作为新兴的概念发展十分迅速，目前的数据挖掘算法众多， 但数据挖掘是作为商业领域的数据分析而提出的，在安全监控领域还需要进一 步研究和开发，不仅需要从安全监测信息中挖掘出大坝运行状况信息，而且要 求能够实现对安全监测仪器硬件状态的判断、对安全监控系统软件管理的分 析、大坝安全监控信息的预处理等，将数据挖掘算法与专业知识的融合，使之 更适合于对安全监测信息的管理。 ( 3 ) 将潜在信息以及新知识挖掘出来后，需要将其展现给管理人员，传 统的信息管理系统主要是对二维的文字或信息进行管理，随着信息技术的发展 和人们对信息处理要求的提高，二维的信息处理技术已经远不能满足现在系统 的需要，空间三维可视化技术越来越广泛的应用到当前的信息管理系统，如何 根据大坝安全监测信息的特点建立空间三维视图，使获取的知识立体化、形式 化、感性化已经成为辅助决策人员进行评判的重要手段。 ( 4 ) 随着大坝安全状况量化的不断发展，大坝安全监控系统软件功能的 不断完善，大坝安全监控信息库的不断扩容，系统和信息库的安全问题越来越 受到各级管理部门和社会的广泛重视，急需制定一套安全策略，加强操作人员 素质，增强系统安全防御能力，尤其是网络功能和远程数据传输的完善，需要 开发公开面向i n t e m e t 的开放窗口，网络的开放性和共享性在方便了使用的同 时，也使系统和信息库不可避免的受到计算机病毒和网络黑客的恶意攻击和威 胁，如果不予处理或处理不当甚至会出现十分严重的后果。 第一章绪论 1 4 本文的主要研究内容 本文针对上述问题，在国家自然科学基金重点项目( 5 0 5 3 9 0 3 0 ) 和国家自 然科学基金雅砻江水电开发联合研究基金重点项目( 5 0 5 3 9 1 1 0 ) 的资助下，综 合运用坝工、计算机、数学等多方面知识，对大坝安全监控信息融合与挖掘方 法进行了研究。本文主要研究内容如图1 2 所示，包括大坝安全监控系统结构 体系、系统安全策略分析、信息融合体系构建、数据预处理研究、逻辑推理体 系研究和可视化知识展现和解释技术研究。 图1 2 主要研究内容框图 f i g1 2 t h em a i nc o n t e n to f m i st h 髂i s 具体内容如下： ( 1 ) 分析目前安全监控系统软件的开发现状，针对其体系结构上的不足 和网络安全防御较弱的缺陷，应用现代计算机网络技术和数学计算理论方法， 构建新的大坝安全监控系统d s m s ，分析其结构特征。 河海大学博士学位论文 ( 2 ) 从硬件系统和软件系统两个方面，分析系统所处环境及面临的威胁， 依据现代网络技术提出一套较为系统的安全防御策略：并应用数据挖掘算法着 重研究系统信息库自动备份和即时备份、日志子系统等管理方法。 ( 3 ) 针对大坝安全监测信息的特点，提出信息融合模型，并将数据仓库 特征与信息融合模型特征进行关联和匹配，用数据仓库实现数据融合模型；研 究d s m s 知识库的组成，提出一种面向对象表示的知识集成表示法，据此实 现对定性资料进行量化分析。 ( 4 ) 探讨大坝安全监控系统信息库中数据变化特点，分析信息库数据预 处理流程及方法；研究基于格拉布斯准则的小波去噪算法，分析小波去噪原理， 针对其阈值确定方法缺乏理论依据的不足，提出应用格拉布斯准则对阈值进行 估计，以保障数据挖掘精度。 ( 5 ) 分析因果关系基本理论，研究其在坝工领域的应用，提出基于事件 的因果关系逻辑推理模型，并结合实例进行分析。同时在研究量化处理坝体信 息方法的基础上，提出基于专家权重的因果关系重要度分析方法，并通过实例 与原始分析方法进行对比分析。 ( 6 ) 构建基于可视化的d s m s 的功能框架，将基于体数据可视化方法应 用于坝工领域的可视化知识表达与解释，研究上述可视化方法在水利工程上的 具体应用，并提出采用等参单元形函数对三维图像进行插值的方法。 河海大学博士学位论文 第二章大坝安全监控系统体系结构 2 1 概述 现代计算机技术和网络为大坝安全监控系统带来的新挑战体现在诸多方 面【3 6 】【8 6 】- 【8 7 】：能够及时迅速调动所有网上资源，实现异常诊断和辅助决策，拉 近了空间距离，实现远