（电力电子与电力传动专业论文）数据挖掘在海洋环境在线监测及赤潮灾害智能预警系统中的应用.pdf

山东大学硕士学位论文 模块化结构增强了软件的扩展性和可配置性；集成了海洋数据接收服 务器，实时接收监测子系统采集的海洋数据并存储到海洋环境数据仓 库中。m d m s 可以处理多种不同类型的海洋数据源，其数据挖掘模块 集成了多种数据挖掘算法，并结合赤潮灾害的特点进行了改进及优化， 有效地提高了算法的实用性和预测的准确率。b s 模式的w e b 数据挖 掘系统是基于开源组合开发平台l m a p ( l i n u x 、m y s q l 、a p a c h e 、p h p ) 开发的。在b s 模式下，用户通过浏览器将业务请求发送至服务器， 服务器执行用户请求并返回结果，仅使用浏览器就可以实现查询、分 析、保存数据等功能。该模式极大地提高了系统的易用性，降低了系 统的部署、维护成本，提高了数据挖掘的可视化程度。 本课题来源于2 0 0 4 年山东省科学技术发展计划( 重点项目) 2 0 0 4 g g 2 2 0 510 8 。数据挖掘技术在海洋环境在线监测及赤潮灾害智能 预警系统中的成功运用，有助于建设、改造、升级现有的监测系统和 信息平台，增强赤潮灾害预报和预警能力，保障我国海洋经济的可持 续发展。 关键词：海洋监测；赤潮；数据仓库；数据挖掘；聚类分析 i i 山东大学硕士学位论文 a b s t r a c t c h i n ai sac o u n t r ya b u n d a n ti nm a r i n er e s o u r c e s t h es u s t a i n a b l e d e v e l o p m e n to ft h en a t i o n a le c o n o m yc a nn o tb em a i n t a i n e dw i t h o u tt h e r a t i o n a l e x p l o i t a t i o n a n dp r o t e c t i o no ft h em a r i n e d r i v e n b yt h e d e v e l o p m e n to fa g r i c u l t u r ea n di n d u s t r y ，a s w e l la st h ep o p u l a t i o n e x p l o s i o ni nc h i n a ，t h ep r o b l e mo fm a r i n ee n v i r o n m e n tp o l l u t i o ni s g e t t i n gi n c r e a s i n g l ys e r i o u s h a r m f u la l g a lb l o o m s ( h a b ) b r e a k i n go u t f r e q u e n t l y a n de x p a n d i n g c o n s t a n t l y i ns c a l e ，h a v ed i s t u r b e dt h e e c o l o g i c a lb a l a n c ea n de n d a n g e r e dh u m a nl i f ea n dp r o p e r t ys a f e t y ，w h i c h r e s u l ti nh u g ee c o n o m i cl o s s e s t os a t i s f yt h es t r a t e g i cp l a no fn a t i o n a l o c e a n i cd e v e l o p m e n ta n dt h eu r g e n tn e e d so fs o c i a ld e v e l o p m e n t ，i ti s n e c e s s a r yt or e s e a r c ha n dc o n s t r u c tar e l i a b l em a r i n ee n v i r o n m e n to n l i n e m o n i t o r i n gs y s t e m ，a n dap r e c i s ea n de f f i c i e n th a bp r e d i c t i n gs y s t e m f i r s t ，b yr e f e r r i n g t ot h e s u c c e s s f u l e x p e r i e n c e o fo c e a n t r i d i m e n s i o n a lm o n i t o r i n gs y s t e ma th o m ea n da b r o a da n db yr e l y i n go n t h ei n c r e a s i n g l ym a t u r e m a r i n em o n i t o r i n gt e c h n o l o g yc o m b i n e dw i t h a d v a n c e dc o m p u t e rt e c h n o l o g y ，n e t w o r kc o m m u n i c a t i o n st e c h n o l o g y ， c o n t r o lt h e o r y ，d a t aw a r e h o u s et e c h n o l o g ya n de m b e d d e ds y s t e m s ，t h i s t h e s i s d e e p l y s t u d i e sa n dp r o p o s e st h eb a s i cf r a m e w o r ko fm a r i n e m o n i t o r i n ga n dh a r m f u la l g a lb l o o m sp r e d i c t i n gs y s t e m ，a n dd e s i g n sa n i n t e g r a t i o np r o t o c o lt os u p p o r tt h ei n t e r a c t i o nb e t w e e nd i s t r i b u t e da n d h e t e r o g e n e o u ss u b s y s t e m s s e c o n d l y ，a c c o r d i n g t ot h e c o m p l e x m e c h a n i s mo ft h eo c c u r r e n c eo fh a ba n dt h ec h a r a c t e r i s t i c so ft h e m a r i n ee n v i r o n m e n t a ld a t a ，w ep l a na n dd e s i g nm a r i n ee n v i r o n m e n t a l d a t aw a r e h o u s eb yu s i n gt h ea d v a n c e dd a t a b a s et e c h n o l o g ya n dt h e b u i l d i n gm o d e lo fd a t aw a r e h o u s e t h u s ，t h em a r i n ee n v i r o n m e n t a ld a t a w a r e h o u s en o to n l yp r o v i d e si t su s e r sw i t hr i c ha n dr e l i a b l ed a t as o u r c e s s ot h a tt h e yc a na n a l y s ea n du t i l i z et h em a r i n ee n v i r o n m e n t a ld a t af r o m d i f f e r e n tl e v e l sa n dd i f f e r e n tp e r s p e c t i v e s ，b u ta l s op r o v i d e sp o w e r f u l 山东大学硕士学位论文 g u a r a n t e ef o rr e l e v a n td a t am i n i n gw o r k t h i r d l y ，t h i st h e s i si n t r o d u c e si n d e t a i lt h er e l a t e dt h e o r e t i c a lk n o w l e d g eo fd a t am i n i n ga n di t sa p p l i c a t i o n ， w i t ht h ef o c u so nt h ec l u s t e r i n ga n a l y s i s ，e s p e c i a l l yf u z z yc - m e a n s ( f c m ) c l u s t e r i n ga l g o r i t h m i nl i g h to ft h ed e f i c i e n c yo ft h et r a d i t i o n a lf c m c l u s t e r i n ga l g o r i t h m ，s w f c mc l u s t e r i n ga l g o r i t h mi sp u tf o r w a r db a s e d o ns i m i l a r i t yr e l a t i o nt oh a v ee f f e c t i v e l yi m p r o v e dt h er u n n i n gs p e e da n d a c c u r a c yo fc l u s t e r i n gr e s u l t s s w f c mi sa p p l i e d t ot h ea n a l y s i so f m a r i n ed a t a ，a n dh a sa c h i e v e dg o o dr e s u l t si nt h eh a b p r e d i c t i n g f i n a l l y ， s u p p o r t e db yv a r i o u sd a t am i n i n ga l g o r i t h m s ，t h i st h e s i sd e s i g n e sav i s u a l m a r i n ee n v i r o n m e n t a ld a t am i n i n g s y s t e mw h i c h i s o p e n - s o u r c e ， c r o s s - p l a t f o r ma n dt r a n s p l a n t a b l e t h ed e f e c t so fc o m p l e xd a t am i n i n g a l g o r i t h m sa r er e m e d i e dt h r o u g hi n t u i t i v ev i s u a l i z a t i o nt e c h n o l o g ya n d t h er e s u l t so f d a t am i n i n ga r ei n t e r p r e t e df r o mt h ev i e w p o i n to fv i s i b i l i t y ， t h u st h ef u n c t i o n so fd a t ap r o d u c ts u b s y s t e mp e r f e c t e d m a r i n ee n v i r o n m e n t a ld a t am i n i n gs y s t e mi sc o m p o s e do ft w op a r t s ： d a t am i n i n gs o f t w a r e ( m d m s ) b a s e do nc sm o d ea n dw e bd a t am i n i n g s y s t e mb a s e do nb sm o d e m d m si sd e s i g n e du n d e rl i n u xo p e r a t i o n s y s t e mb yu s i n gm y s q la n dq td e s i g n e r t h es o f t w a r ei sd i v i d e di n t o f o u rf u n c t i o n a lm o d u l e s ，s t a r tm o d u l e ，d a t aa c q u i s i t i o nm o d u l e ，d a t a m i n i n gm o d u l ea n dr e s u l t sd i s p l a ym o d u l e t h em o d u l a rs t r u c t u r eo ft h e s o f t w a r ee n h a n c e si t se x p a n s i b i l i t ya n dc o n f i g u r a b i l i t y i ti n t e g r a t e sa m a r i n ed a t ar e c e i v i n gs e r v e r ，w h i c hc a nr e c e i v er e a l t i m em a r i n ed a t a f r o mm o n i t o r i n gs u b s y s t e ma n dr e t r a n s f e rd a t at om a r i n ee n v i r o n m e n t a l d a t aw a r e h o u s e m d m sc a nd e a lw i t hv a r i o u sm a r i n ed a t as o u r c e s ，a n di t s d a t am i n i n gm o d u l ei n t e g r a t e sv a r i o u sd a t am i n i n ga l g o r i t h m s c o m b i n e d w i t ht h ec h a r a c t e r i s t i c so fh a b ，t h ea l g o r i t h m sa r eo p t i m i z e d ，w h i c h e f f e c t i v e l yi m p r o v e st h ep r a c t i c a b i l i t yo ft h ea l g o r i t h ma n dt h ea c c u r a c y o fp r e d i c t i o n i no r d e rt or e a l i z et h ew e bd a t am i n i n gs y s t e mb a s e do n b sm o d e ，l m a pi sc r e a t e d l m a pi sac o m b i n a t i o no fo p e n s o u r c e s o f t w a r e s ，s u c ha sl i n u x ，m y s q l ，a p a c h ea n dp h p u n d e rt h eb sm o d e ， u s e r ss e n dr e q u e s t st os e r v e rt h r o u g ht h eb r o w s e r ，a n dt h e nt h es e r v e r i v 山东大学硕士学位论文 e x e c u t e su s e r s r e q u e s t sa n dr e t u r n st h er e s u l t s u s e r sc a na c h i e v et h e f u n c t i o n ss u c ha sq u e r y ，a n a l y s i s ，a n dp r e s e r v a t i o no fd a t as i m p l yt h r o u t h t h eb r o w s e r t h i sm o d eg r e a t l yi m p r o v e st h es y s t e m su s a b i l i t y ，r e d u c e s t h es y s t e m sd e p l o y m e n ta n dm a i n t e n a n c ec o s t ，a n di m p r o v e st h ev i s u a l d e g r e eo fd a t am i n i n g t h i s s u b j e e ti s o r i g i n a t e d f r o ms c i e n c ea n d t e c h n o l o g y d e v e l o p m e n tp l a n ( k e yp r o je c t ) 2 0 0 4 g g 2 2 0 5 10 8o fs h a n d o n gp r o v i n c e i n2 0 0 4 t h es u c c e s s f u la p p l i c a t i o no fd a t am i n i n gt e c h n o l o g yt om a r i n e m o n i t r o i n ga n dh a r m f u la l g a lb l o o m sp r e d i c t i n gs y s t e mc o n t r i b u t e st o t h eb u i l d i n g ，t r a n s f o r m i n ga n du p g r a d i n go ft h ee x i s t i n gm o n i t o r i n g s y s t e m a n di n f o r m a t i o n p l a t f o r m ，e n h a n c e s t h e f o r e c a s t i n g a n d p r e w a r n i n gc a p a b i l i t i e so fh a b ，a n dp r o t e c t st h es u s t a i n a b l ed e v e l o p m e n t o fc h i n a sm a r i n ee c o n o m y k e yw o r d s ：m a r i n em o n i t o r i n g ；h a r m f u la l g a lb l o o m s ；d a t aw a r e h o u s e ； c l u s t e r i n ga n a l y s i s 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进 行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含任何 其他个人或集体已经发表或撰写过的科研成果。对本文的研究作出重要贡 献的个人和集体，均已在文中以明确方式标明。本声明的法律责任由本人 承担。 论文作者签名：刍翌 日期：塑呈：兰：兰! 关于学位论文使用授权的声明 本人同意学校保留或向国家有关部门或机构送交论文的印刷件和电子 版，允许论文被查阅和借阅；本人授权山东大学可以将本学位论文的全部 或部分内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手 段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：盟导师签名：掣日 期：竺! ： 山东大学硕士学位论文 第一章绪论 1 1 选题背景及研究意义 海洋是人类社会可持续发展的宝贵财富和最后空间，是能源、矿 物、食物和淡水等资源的战略基地。近年来世界经济特别是中国经济 的迅猛发展，陆地资源的有限性与经济发展对资源的需求扩大的无限 性的矛盾日益突出，世界各大经济强国对资源渴求的目光都不约而同 的由陆地转向海洋，海洋已成为人类实施可持续发展的希望和寄托。 我国内有渤海，外濒黄海、东海、南海以及西北太平洋，海岸线长达 18 0 0 0 公里，管辖的海域面积近3 0 0 万平方公里。沿海地区在国家经济 建设中具有举足轻重的地位，是国民经济收入的重要来源。赤潮 ( h a r m f u la l g a lb l o o m s ，简称h a b ) 是海水中某些浮游生物在一定环 境条件下突发性地增殖或聚集引起的生态异常现象。近年来，一方 面随着我国沿海工农业的发展和人口的增加，工农业废水和生活污水 向沿岸海域的排放量剧增，近岸海洋环境发生急剧变化，富营养化程 度日趋严重。另一方面，由于沿海开发程度的增高和海水养殖业的扩 大，也带来了海洋生态环境和养殖业自身污染问题；海运业的发展导 致外来有害赤潮种类的引入。与此同时，全球气候的变暖也是赤潮频 发的诱因之一。这些状况导致赤潮灾害发生的频率越来越高，规模越来 越大，持续时间越来越长。赤潮频发严重恶化了海洋环境，破坏了海洋 渔业资源，损害了海滨旅游业，给海洋经济造成了巨大损失，含有毒 素的赤潮生物还能通过食物链的转移和积累使海洋经济生物和人类中 毒甚至死亡。 全面认识、开发利用和保护海洋是我国2 1 世纪的重要战略。赤潮 频发正日益成为我国沿海经济可持续发展的一个重要的制约因素，因 此，迫切需要研制有效的赤潮监测与预警系统，并建立良好的立体监 测与预警网络体系，以满足海洋资源开发、利用和社会、经济发展的 需求。国务院有关领导曾批示“要重视赤潮问题，要科技先行，我国 国民经济“十五 发展纲要中专门提到要“预防、控制和治理赤潮，【2 1 。 2 0 0 1 年，国家“十五 攻关项目“海洋环境预测和减灾技术中，“赤 山东大学硕士学位论文 潮灾害预报技术研究被确立为其中一个子课题。赤潮监测是对赤潮 进行预警预报和防治控制的基础，也是不可缺少的重要环节【3 】，海洋 监测技术主题也被确立为国家8 6 3 计划资源环境领域的四个主题之一 【4 1 。2 0 世纪8 0 年代提出的数据挖掘技术日趋成熟，自动化技术、检测 技术、计算机技术和通信技术近年来有了突飞猛进的发展，其中不少 理论成果已在实践中大量应用，这为高效地处理海量的海洋数据，研 制新型、高性能的赤潮监测与预警系统提供了有力的技术支持与保障。 在此背景下，研制海洋环境在线监测及赤潮灾害智能预警系统， 深入研究数据挖掘技术并建立海洋环境数据挖掘系统，完全符合国家 海洋开发战略部署和社会发展的迫切需要。通过对海洋灾害预报机理 与技术和信息集成化的方法及数据挖掘理论和算法等进行深入研究， 以先进的信息技术( 控制、计算机、通信等) 为支撑，针对海洋赤潮 灾害预警的需求及海洋环境参数实时监测的需要，将软件开发技术、 海洋灾害预报技术与信息管理等方面有机结合起来，对信息系统集成、 建模、分析、多学科仿真及优化等开展多层次的、有重点的、多学科 交叉的研究和创新，最终建立了能够自动、连续监测海洋环境参数， 自动存储、传输、处理和分析数据，数据产品自动发布和共享的高精 度、网络化、分布化、智能化、综合化的海洋环境在线监测及赤潮灾 害智能预警系统。 本课题是山东省科学技术发展计划重点项目“海洋环境在线监测 及灾害智能预警系统的研制( 2 0 0 4 g g 2 2 0 5 10 8 ) ”的子课题。本论文的 研究成果，对我国的加强海洋自然灾害的赈灾减灾工作和海洋环境保 护工作，有重要的实用价值；将加速以高新技术为支撑的我国海洋环 境监测系统的建设，为满足我国经济发展、社会稳定和国家安全及国 际海洋合作对海洋环境信息的急需，为建立我国先进的海洋环境监测 和信息服务网提供重要的借鉴和指导；为“数字海洋 建设提供基本 的海洋信息保障；并能为各级政府综合管理，维护海洋权益，合理开 发利用海洋资源，保护海洋环境等重大决策和长远规划提供及时、准 确、可靠的科学依据。因此其推广应用的产业化前景非常乐观。 2 山东大学硕士学位论文 1 2 海洋监测系统与数据挖掘技术的研究现状 1 2 1 海洋监测系统的研究现状 海洋监测( 观测) 技术是海洋技术的主要组成部分，海洋监测技 术的发展和海洋监测系统的建设是海洋强国建设的重要内容之一。 19 9 8 年全球海洋环境观测实验项目“a r g o 计划 是一项国际合作计 划，其目的是快速、准确、大范围地收集全球海洋上层的海水温度、 盐度剖面资料，以提高气候预报的精度，有效防御全球日益严重的气 候灾害给人类造成的危害。进入21 世纪，美国n o a a ( 国家海洋大气 局) ，针对各种频发的自然灾害逐步建立起了其对应的专题信息系统。 诸如，密西西比湾卡特里娜飓风生态影响信息系统、墨西哥湾西部和 北部溶解氧监测信息系统、国家沿海监测信息系统( c o a s t a lo c e a n o b s e r v i n gs y s t e m ) 、赤潮监测信息系统( h a r m f u la l g a lb l o o m s o b s e r v i n gs y s t e m ) 等。这些系统交叉覆盖了整个美国沿海，采用先进 的卫星遥感和g i s 技术结合形成了一个立体的监测体系，可提供实时 海洋信息数据，为其灾害预警提供了强有力的支持。法国构建的“沿 海环境自动监测网 ( m a r e l ) ，以塞纳河沿岸的海湾为示范海域开展 环境监测，采用计算机通信技术实时向用户发布海水变化数据以及相 关监测信息。德国的“海洋环境遥感控制测量和综合监测系统 ( m e r m a i d ) 、英国的“南部沿海营养盐研究 ( s o n u s ) 都是根据 本国的实际情况建立的区域性海洋环境与资源立体监测系统。联合国 教科文组织海洋学委员会建立了全球海洋监测系统g o o s ( g l o b a l o c e a no b s e r v i n gs y s t e m ) ，该系统为海洋预报和研究、海洋资源的合理 开发和保护、控制海洋污染、制定海洋和海岸带综合开发和整治规划 等提供长期和系统的资料。g o o s 已成为联合国教科文组织海洋学委 员今后一个时期内乃至下一个世纪的重点计划。 我国的海洋监测技术及开发的仪器设备，虽然其市场竞争能力与 发达海洋国家相比尚有较大差距，但经过几十年来的努力，伴随着海 洋监测技术进入国家8 6 3 计划，特别是“九五 期间的海洋监测高技 术研究，取得了一批具有自主知识产权的创新性研究成果，在一定程 度上满足了国内急需，显著缩短了与发达国家在海洋监测技术方面的 一 3 山东大学硕士学位论文 差距，为以后的发展奠定了基础。到2 0 0 3 年底，全国已形成了国家、 省、市、县4 级环境监测网络，共有专业、行业监测站4 8 0 0 多个，其 中环保系统2 2 0 0 多个监测站，行业监测站2 6 0 0 多个【5 1 。 1 2 2 数据挖掘技术的研究现状 数据挖掘是一个多学科交叉研究领域，它融合了数据库技术、人 工智能、机器学习、统计学、知识工程、面向对象方法、信息检索、 高性能计算以及数据可视化等最新技术的研究成果1 6 1 。对其比较公认 的定义是w j f r a w l e y 和g p i a t e t s k ys h a p i r o 等人提出的：数据挖掘就 是从大型数据库的数据中提取人们感兴趣的知识，这些知识是隐含的、 事先未知的、潜在的有用的信息。提取的知识表示为概念( c o n c e p t s ) 、 规则( r e g u l a r i t i e s ) 、模式( p a t e r n s ) 等形式。数据挖掘已在银行、金 融、零售、医药、通信、电子工程、航空、旅馆等具有大量数据和深 度分析需求的易产生大量数字信息的领域得到了广泛应用，并带来了 巨大的社会效益和经济效益f _ 7 1 ，正成为计算机科学和技术应用的一大 研究热点，并且研究重点逐渐从发现方法转向系统应用。国外发达国 家无论是数据挖据技术的研究还是在数据挖掘技术的应用方面都远远 领先我国。目前，国外比较有影响的典型数据挖掘系统有s a s 公司的 e n t e r p r i s em i n e r 、i b m 公司的i n t e l l i g e n tm i n e r 、s g i 公司的m i n e r s e t 、 s p s s 公司的c l e m e n t i n e 、r u l e q u e s tr e s e a r c h 公司的s e e 5 ，还有 c o v e r s t o r y ，e x p l o r a ，k n o w l e d g ed i s c o v e r yw o r k b e n c h ，d b m i n e r ， q u e s t 等。 数据挖掘技术出现以来，经过不断地发展和完善，涌现了大批学 术成果，而且相当数量的成果已被实用化，创造了巨大的经济和社会 效益。但是，将其应用于海洋数据管理和海洋信息处理领域，是近年 来才开展的工作。目前已有国内外多家相关研究机构和大专院校开展 了与海洋数据管理和海洋信息处理相关的理论和技术研究，取得了一 定的理论研究成果，并开发了一些应用系统【8 】。19 9 0 年6 月成立的美 国国家地球物理数据中心( n g d c ) 的国际海道测量组织( i h o ) 数字 测深数据中心( d a t ac e n t e rf o rd i g i t a lb a t h y m e t r y ，d c d b ) ，致力于数 字测绘产品的开发与服务，主要关心深于10 0 m 的大洋海域，目标是建 4 山东大学硕士学位论文 曼曼曼曼曼曼曼曼笪曼! 曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼曼鼍暑皇曼曼舅舅_ iioi i 一i i i i 蔓 立世界数字海洋测深数据仓库。在我国，国家海洋信息中心汇集了大 量国内外海洋信息资源，开发建立了海域使用管理信息系统、海洋功 能区划信息系统、海洋划界信息系统、海洋环境保护管理信息系统、 大洋矿产资源信息系统等专题信息应用系统。在数据挖掘理论与技术 方面，许多学者针对海洋信息进行了更加深入地探讨和研究，如针对 赤潮的基于神经网络的分析方法 9 , 1 0 】、针对遥感图像的关联规则挖掘 【1 1 】、针对台风图像的聚类分析方法 1 2 , 13 】、以海洋数据作为数据源的分 类规则挖掘【1 4 】等。 1 3 存在的问题与不足 虽然我国在海洋环境监测体系的建设和数据挖掘理论的研究应用 方面取得了长足的进步，但是当前仍存在着不少的问题和不足，一些 关键技术有待解决。具体来说，有如下几个方面： ( 1 ) 海洋监测体系不合理，网络化建设刚刚起步。国家级监测中心、 海区监测中心、省( 市、县) 级监测中心分工不明确，对于大量历史 监测数据的管理较为混乱，各级监测中心缺乏有效的联系，监测数据 库不能共享，海洋环境监测网络建设有待进一步加强。 ( 2 ) 监测手段落后，一些监测要素主要依靠人工取样化验，极大地 降低了海洋监测数据准确率；监测力度不够，每天只监测几个时间段， 甚至间隔几周、几个月才监测一次，未能实现监测系统的全天候自动 监测。 ( 3 ) 赤潮成因复杂，与多种海洋环境要素有关。对于海洋生态系统 的变化和赤潮灾害的发生机理缺乏较为深入的理论研究，赤潮预测、 预报模型还有待进一步深入研究，数据挖掘理论在赤潮灾害预警领域 尚未得到广泛应用。 1 4 本文的主要工作 本文共分六章对数据挖掘在海洋环境在线监测及赤潮灾害智能预 警系统中的应用进行阐述，主要工作如下： 1 第一章介绍了本论文的选题背景和研究意义，从总体上分析了 山东大学硕士学位论文 海洋监测系统和数据挖掘技术的研究现状以及存在的问题和不足，从 而确定了本文研究的主要内容。 2 第二章设计并提出了海洋环境在线监测及赤潮灾害智能预警系 统的总体架构，详细介绍了系统的各个组成部分及其实现。该架构的 提出为实现网络化、分布化、智能化、综合化的赤潮监测与预警系统 奠定了基础。 3 第三章介绍了赤潮的定义与成因，根据海洋环境数据的特点， 分析了数据仓库在海洋信息领域的适用性，对海洋环境数据仓库的建 立进行了初步的设计规划。 4 第四章详细介绍了数据挖掘技术，并结合数据仓库技术进一步 探讨了基于海洋环境数据仓库的数据挖掘技术的可行性以及将要面对 的挑战。对数据挖掘技术中的聚类分析尤其是模糊c 均值聚类算法进 行了深入研究，利用相似关系理论提出了一种改进算法s w f c m ，通过 仿真实验证实了s w f c m 聚类算法具有较高的准确率和较快的运行速 度。同时，将该算法成功应用于实际的赤潮预警，取得了良好的效果。 5 第五章设计实现了海洋环境数据挖掘系统。该系统分为两大部 分：基于c s 模式的数据挖掘软件和基于b s 模式的w e b 数据挖掘系 统。使用c + + 语言将多种先进的数据挖掘算法加以实现，在l i n u x 平 台下运用q td e s i g n e r 构建了既可以针对海洋环境数据仓库又可以针对 海洋数据文件或者实时海洋环境数据源进行数据挖掘的数据挖掘软件 ( m d m s ) ；利用p h p 、a p a c h e 、m y s q l 、x m l 技术，建立了基于b s 模式的w e b 数据挖掘系统，方便用户通过浏览器进行海洋环境数据的 数据挖掘操作，使得数据挖掘过程的直观性更强。 6 第六章对全文进行了总结，并对今后需进一步开展的研究工作 进行了展望。 6 山东大学硕士学位论文 第二章海洋环境在线监测及赤潮灾害智能预警系统的架 构设计 近年来，随着信息网络技术的日臻成熟完善以及大量网络通信基 础设施的兴建，信息系统建设的重点丌始从单一应用系统的建设向应 用集成系统的建设转移，如“数字地球”和“数字海洋”等大型应用 集成系统【l5 | 。海洋监测技术是现代科学技术和工业技术的高度综合、 高度集成和新发展，伴随着网络技术和传感器技术的快速发展，科学 技术的进步和新技术在海洋研究领域的不断应用，传统的海洋监测技 术也有了长足的进步。海洋监测自2 0 世纪9 0 年代开始取得了重大进 展，突破了以船只考察为主的格局，先进的计算机技术、能源技术、 无线电传输技术和电子技术的引进，使得各种海洋监测仪器成为汇集 多种先进技术的载体，海洋监测技术总体上向高技术、高集成度、高 时效、多平台、长时间序列、数字化方向发展。 随着海洋环境监测手段和技术的 同益成熟，出现了诸如浮标和浅标技 术、水声监测技术、岸基高频低波雷 达海洋环境探测技术、水下观测平台 技术、沿海生态环境自动监测技术和 遥感海洋应用技术等先进技术。将这 些监测技术通过监测信息系统 有机的组合起来，海洋环境监 图2 1 区域海洋立体监测集成系统示意图 测系统也从最初的单一海洋要素采集器或海洋监测站的多要素观测系 统，发展到区域海洋监测系统集成，并逐渐向建设国家级全球性的一 体化海洋环境立体监测网络体系发展。区域海洋：也体监测集成系统示 意图【16 】如图2 1 所示，该系统集空中、海面、水下、海岸多平台监测 设备为一体，连同数据中心、数据通信网络一起共同构成海洋环境立 体监测网络体系。海洋环境监测信息系统，通过由各种先进监测设备 和技术手段组成的立体监测网络体系，获取海洋监测要素信息。本章 以当今先进的计算机技术、网络技术、控制理论与人工智能，以及嵌 山东大学硕士学位论文 入式系统等为背景，结合国内外海洋监测与灾害预报系统的研究成果 和最新发展趋势 1 7 - 2 1 】，设计了海洋环境在线监测及赤潮灾害智能预警 系统集成架构，为实现海洋环境要素的实时数据、延时数据和历史数 据的采集、处理、分析、管理以及数据通信网络、数据库、赤潮预报 模型、信息产品开发、数据资源共享与信息服务等功能模块的集成， 构造网络化、分布化、智能化、综合化的海洋环境在线监测及赤潮灾 害智能预警系统奠定了基础。 2 1 设计目标 海洋环境在线监测及赤潮灾害智能预警系统架构( f m 2 h a b p s ：t h e f r a m e w o r ko fm a r i n ee n v i r o n m e n to n l i n em o n i t o r i n ga n dh a r m f u l a l g a lb l o o m sp r e d i c t i n gs y s t e m ) 是按照智能化、模块化、网络化、多 功能化、标准化和规范化的原则，以实现立体监测、数据集成、数据 处理与信息产品开发、数据共享与信息服务等功能为目的，设计并构 造一个用户需求驱动的、端到端的海洋环境在线监测及赤潮灾害智能 预警系统。该系统能实时或准实时地、长期地、连续地、准确地完成 监测区域海洋环境要素监测数据的采集、通信、分析、处理、存储及 数据库管理【22 1 ，制作出符合监测海域的环保、海洋资源开发利用、减 灾及防灾需要的实测、预报、预警、评价、图形和统计分析等信息产 品，并能够及时、有效地响应不同用户群体的信息需求，为各类专业 或普通用户提供多种基本的或个性化的定制信息产品，使用户能够快 速、准确地获取并使用他们所关心的海洋要素的监测信息与赤潮灾害 预报信息。最终，实现和其他海洋环境监测系统互通互联、互相补充， 构建一体化的海洋环境立体监测网络体系，共享海洋信息资源，及时、 准确地跟踪和反映海洋环境监测要素的变化状况，为管理决策者提供 详实可靠的监测数据信息和科学的预报、预警信息，共同为我国海洋 环境资源的保护、开发及利用服务。 f m 2 h a b p s 的设计兼顾了系统的灵活性、可扩展性和对用户需求 变化及实现约束的适应性，确保在技术层面和非技术层面上都符合规 范逻辑且清晰易懂。这样的设计方法既兼顾了系统的向下兼容性( 即 海洋环境在线监测及赤潮灾害智能预警系统可以充分依托应用监测海 山东大学硕士学位论文 域现有的海洋环境监测基础设施，有效地利用现存的监测系统、监测 数据及专家知识) ，又保证了系统实现业务化运行的可行性。按照此设 计目标，最终实现的海洋环境在线监测及赤潮灾害智能预警系统将具 有如下特点： ( 1 ) 自动综合监测：由单一的海洋环境参数监测系统或人工采集、 分析系统向自动的、复杂的多层次、全方位的海洋环境参数监测系统 发展，测量参数包括水文、气象、化学、生物等类别的近3 0 个参数。 ( 2 ) 模块化结构：各功能模块采用开放式、标准化和模块化设计， 根据具体需要可以灵活地集成或拼装成不同用途的自动监测系统，无 需重新开发软件。 ( 3 ) 提供基于x m l 2 3 】的数据交换标准，可轻松实现系统内部或和 其他异构监测系统之间的数据交换、传输及处理等。 ( 4 ) 在线预警：采用先进的数据挖掘算法建立相关的赤潮预测模 型，利用监测网络提供的实时监测数据实现在线赤潮灾害预报。 ( 5 ) 数据实时传输：利用无线或有线通讯手段向监测网络中心和用 户实时传输监测数据。 ( 6 ) 监测网络和信息网络二网合一，实现集中监视、操作和管理。 使得管理与现场分离，管理更加综合化和系统化。通过人机接口，可 对远程监测设备进行实时采集、分析、记录、监视和操作控制，以及 在线巡检、动态配置等。 ( 7 ) 数据资源共享，互为补充，提高了系统资源利用率，减少了数 据资源的浪费。 ( 8 ) 增强服务功能，监测和服务一体化，为各类用户提供通用服务 和定制的个性化服务，使用户能高效地使用系统提供的数据资源。 2 2f m 2 h a b p s 设计 2 2 1 系统组成结构设计 海洋环境在线监测及赤潮灾害智能预警系统不同于普通的信息系 统，整个系统的设计、构建、实施都是围绕海洋环境资源这一特殊的 工业生产背景展开的。因此，为了使海洋环境在线监测及赤潮灾害智 山东大学硕士学位论文 能预警系统最终能够实现业务化运行，系统的流程、功能及组成的设 计必 图2 2 海洋环境监测流程图 根据系统设计目标，从系统集成层面规划，f m 2 h a b p s 由监测子 系统、数据管理子系统、模型分析子系统和数据产品子系统组成，其 总体结构如图2 3 所示。 监测子系统数据管理子系统 模型分析子系统数据产品子系统 基 本 监 测 要 文 象 学 物 数 据 处 理 建 库 预 报 模 型 建 模 信 息 产 品 制 作 图2 3 系统集成总体结构框图 2 2 2 系统集成协议设计 信 息 声 口 口口 服 务 数据共享 信息服务 用户 政府部门 涉海单位 公众服务 科研机构 系统集成协议涵盖了当前主流的、通用的、可跨平台操作的通信 协议和编码标准。系统集成协议的应用，使海洋环境在线监测及赤潮 灾害智能预警系统能够允许用户透明地访问和操作分布在不同场所的 子系统的信息资源，而无需根据信息所在场所、信息格式和存储方式 等使用不同的方法。 为了将分布在不同场所的异构子系统无缝地集成在一起，实现用 1 0 山东大学硕士学位论文 曼曼蔓鼍曼曼曼曼置置量曼苎曼量曼曼量鼍曼曼曼曼曼曼曼曼曼曼! 曼曼曼曼曼曼曼曼曼曼曼曼量曼曼曼曼曼鼍曼曼曼曼曼曼量曼曼i _i 户与各子系统及各子系统之间的交互，f m 2 h a b p s 设计了一套系统集 成协议用于支持分布式、异构子系