（检测技术与自动化装置专业论文）有害藻华监测与预报系统研究.pdf

论文题目： 专业： 硕士生： 指导教师： 有害藻华监测与预报系统研究 检测技术与自动化装置 姬鹏( 签名) 张建军( 签名) 摘要 姬1 帖 穆毽冬 随着人类大规模开发利用海洋资源，海洋的污染程度同趋严重，导致有害藻华灾 害发生的频率越来越高，规模越来越大，持续时间越来越长。有害藻华频发对我国沿 海的海洋生态环境产生了严重的影响并导致巨大的直接和间接的经济损失。因此，迫 切需要研制有效的有害藻华监测与预报系统，并建立良好的立体监测与预报网络体 系，以满足海洋资源开发、利用和社会、经济发展的需求。 本文针对当前有害藻华监测与预报系统存在的问题，深入研究了有害藻华监测与 预报系统的基本架构、数据传输子系统、数据仓库基本模型，并对有害藻华密度预测 模型进行了研究。 具体研究工作如下： ( 1 ) 研究并设计了有害藻华监测与预报系统的集成架构，在分析了当前海洋信息系 统的发展趋势的基础上确定了有害藻华监测与预报系统集成架构的设计目标。按照设 计目标，建立了有害藻华监测与预报系统集成架构基本模型，并分别对集成架构的系 统组成结构、系统集成协议和系统功能设计进行了详细的分析和阐述，同时给出了具 体的实现方案。 ( 2 ) 研究并设计了实时海洋数据传输网络子系统。将具有简单、开放、可扩充、灵 活、自描述等特性的x m l 和基于可靠的c l i e n t s e r v e r 通信模式相结合，提出了一种基 于x m l 的实时海洋数据传输网络系统架构，并实现了h a b m l 的设计和海洋数据服 务器的开发。 ( 3 ) 在深入研究了海洋环境数据资料的特点及有害藻华监测与预报系统的需求的基 础上，结合相关的数据仓库技术，对海洋环境资料数据仓库进行了规划设计，主要包 括系统架构设计和数据模型设计。 ( 4 ) 研究了支持向量机回归方法在有害藻华密度预测中的应用。 经模拟业务化环境测试，证明本文提出的有害藻华监测与预报系统的基本架构、 数据传输子系统、数据仓库基本模型和有害藻华密度预测模型具有可行性、普适性和 实用性，对有害藻华监测与预报系统的现场应用有着重要的借鉴和指导作用。 关键词：有害藻华；x m l ；数据仓库：支持向量机 研究类型：应用研究 s u b j e c t ：t h er e s e a r c ho nt h es y s t e mo fo b s e r v i n ga n dp r e d i c t i n go f t h e h a r m f u la l g a lb l o o m s s p e c i a l t y ：d e t e c t i o nt e c h n i q u ea n da u t o m a t i o ne q u i p m e n t n a m e：j ip e n g i n s t r u c t o r ：z h a n gj i a n j u n ( s i g n a t u r e ) 盘：缸上堕o 弩 ( s i g n a t u r e ) a b s t r a c t m a n yo c c u r r e n c e so ft h eh a r m f u la l g a lb l o o m sr e p r e s e n tas i g n i f i c a n ta n ds e e m i n g l y e x p a n d i n gt m e a tt om a r i n ee c o s y s t e m s t os a t i s f yt h er e q u i r e m e n t sf o rt h ee x p l o i t a t i o na n d u t i l i z a t i o no ft h em a r i n er e s o u r c ea n dp r o g r e s so fs o c i e t ya n de c o n o m y , t h ed e v e l o p m e n to f t h eh a r m f u la l g a lb l o o m sm o n i t o r i n ga n dp r e d i c t i n gs y s t e mi si n d i s p e n s a b l e c o n s i d e r i n g t h ep r o b l e m so ft h ec u r r e n th a r m f u la l g a lb l o o m sm o n i t o r i n ga n dp r e d i c t i n g s y s t e m ，an e wi n t e g r a t e di n f r a s t r u c t u r eo ft h es y s t e m ，t h ed a t at r a n s m i s s i o ns u b s y s t e m ，t h e p r i n c i p l em o d e lo ft h em a r i n ee n v i r o n m e n td a t aw a r e h o u s ea n dt h eh a m a f u la l g a lb l o o m s d e n s i t ym o d e la r ei n t r o d u c e di nt h ep a p e r t h er e s e a r c h e sa r eb e l o w ： ( 1 ) an e wi n t e g r a t e di n f r a s t r u c t u r eo ft h eh a r m f u la l g a lb l o o m sm o n i t o r i n ga n d p r e d i c t i n gs y s t e mi sp r o p o s e da n dd e s i g n e d t h eg o a lo fd e s i g nf o ra n e wi n f r u s t r u c t u r ei s i n t r o d u c e d ，b a s e do nt h ea n a l y s i s e so ft h et e n d e n c yo fd e v e l o p m e n to fc u r r e n tm a r i n e i n f o r m a t i o ns y s t e m a c c o r d i n gt ot h eg o a l ，t h em o d e lo ft h en e wi n f r u s t r u c t u r ei sb u i l t t h e i n t e g r a t e dp r o t o c o l so ft h es y s t e ma n dt h ed e s i g n so fs y s t e m f u n c t i o na r ea n a l y z e da n d d i s c u s s e di nd e t a i l a l s o ，t h ec o n c r e t ei m p l e m e n to f t h en e ws y s t e mi si n t r o d u c e d ( 2 ) c o m b i n d i n gt h ex m l w i t hs i m p l e ，o p e n ，e x p a n d e d ，f l e x i b l ea n ds e l f - d e s c r i b e d ，a n d t h er e l i a b l ec l i e n t s e r v e rc o m m u n i c a t i o nm o d e l ，t h es t r u c t u r eo ft h er e a lt i m em a r i n ed a t a t r a n s m i s s i o nn e t w o r ks u b s y s t e mi sp r o p o s e d t h ec o n c r e t ei m p l e m e n to f t h eh a b m l a n dt h e m a r i n ed a t as e r v e ra r ed e s i g n e d ，a sw e l la s ， ( 3 ) c o n s i d e r i n gt h ef e a t u r e so fm a r i n ee n v i r o n m e n td a t aa n dt h er e q u i r e m e n to f h a r m f u l a l g a lb l o o m sm o n i t o r i n ga n dp r e d i c t i n gs y s t e m ，t h em a r i n ee n v i r o n m e n td a t aw a r e h o u s ei s d e s i g n e d ，i n c l u d e dt h es y s t e mi n f r a s t r u c t u r ea n dt h ed a t am o d e l ( 4 ) t h es u p p o av e c t o rm a c h i n e ( s v m lr e g r e s s i o np r i n c i p l ei sa p p l i e dt ot h eh a r m f u l a l g a lb l o o m sd e n s i t yf o r e c a s t a sa b o v e ，t h en e wi n t e g r a t e di n f r a s t r u c t u r eo ft h e s y s t e m ，t h ed a t at r a n s m i s s i o n s u b s y s t e m ，t h ep r i n c i p l em o d e lo ft h em a r i n ee n xi r o n m e n td a t aw a r e h o u s ea n dt h eh a r m f u l a l g a lb l o o m sd e n s i t ym o d e la r ef e a s i b l ea n da p p l i e d ，a f t e rt h et e s t so fs i m u l a t e dd a t a e n v i r o n m e n t t h ep a p e ri sr e f e r e n c e da n di n s t r u c t i o n a lf o rh a r m f u la l g a lb l o o m sm o n i t o r i n g a n dp r e d i c t i n gs y s t e mi np r a c t i c e k e yw o r d s ：h a r m f u la l g a lb l o o m sx m ld a t aw a r e h o u s es v m t h e s i s ：a p p l i c a t i o nr e s e a r c h 姿料技太学 y - 9 2 3 0 9 8 l 学位论文独创性说明 。 本人郑重声明：所呈交的学位论文是我个人在导师指导下进行的研究工作及 其取得研究成果。尽我所知，除了文中加以标注和致谢的地方外，论文中不包含 其他人或集体已经公开发表或撰写过的研究成果，也不包含为获得西安科技大学 或其他教育机构的学位或证书所使用过的材料。与我一同工作的同志对本研究所 做的任何贡献均已在论文中做了明确的说明并表示了谢意。 学位论文作者签名：滩m 弓日期：z 册 r 勺 e t h e m e t 测 时浮标l 一 m o d b u s 成 要 素 1 基本传感器k 斗 e t h e r n e t 模 块 图2 5 监测子系统结构图 数据采集子模块工作于现场监测平台上，通过和各类基本传感器的交互，自动完 成海洋环境要素现场监测、采集，并实现数据预处理、暂存和传输的功能。其基本工 作过程是：通过各类基本传感器( 如温度传感器) ，采集海洋中的基本监测要素变量 9 西安科技大学硕士学位论文 ( 如水温、盐度、浮游生物含量等) ，然后对其进行预处理，并按照系统定制的数据交 换标准将采集的监测要素数据封装打包，通过数据通信网络( 以太网或g s m g p r s 等) 将封装好的数据包实时地传输给上层监测台站。 数据采集子模块支持工业现场总线、工业以太网( e t h e m e t ) 和通用分组无线业务 ( g p r s ：g e n e r a lp a c k e tr a d i os e r v i c e ) 三种网络通信结构。其中，工业现场总线包括 r s 2 3 2 、r s 4 8 5 、m o d b u s 和c a n ( c o n t r o l l e ra r e an e t w o r k ) 【j “1 。m o d b u s 协议是应 用于p l c 或其他控制器上的一种通用语言。此协议支持传统的r s 2 3 2 、r s 一4 2 2 、r s 一 4 8 5 和以太网设备。通过此协议，控制器相互之| - e t j 、控制器通过网络( 如以太网) 和其 他设备之间实现串行通信。该协议已经成为通用工业标准，许多工业设备，包括 p l c 、智能仪表、传感器等都在使用m o d b u s 协议作为他们之间的通讯标准。控制器局 域网( c a n ) 为串行通信协议，能有效地支持具有很高安全等级的分布实时控制。 g p r s 是种基于g s m 系统的无线分组交换技术，提供端到端的、广域的无线i p 连 接，支持t c p i p 协议和x 2 5 协议。相对原来g s m 的拨号方式的电路交换数据传送方 式，g p r s 是分组交换技术，具有“实时在线”、“按量计费”、“快捷登录”、“高速传 输”、“自如切换”的优点。通俗地讲，g p r s 是一项高速数据处理的技术，方法是以 “分组”的形式传送资料到用户手上。 丰富的网络通信结构的支持，使得数据采集模块具有良好的兼容性和j 下放性。各 类基本传感器( 温度、湿度、p h 等) 可以直接接入数据采集模块，而无需进行通信协 议转换。同时，现有的其它数据采集系统( 自动监测台站、调查船+ g p s 、浮标等) 也 可以通过这三种网络通信结构和数据采集模块进行数据交换。 数据集成子模块运行在监测台站上，负责接收底层来自多个不同现场监测平台 ( 数据采集模块) 发送的现场监测数据，对这些数据进行基本的校验、汇总处理，存 入本地数据库，然后按照系统制定的数据交换标准将这些数据封装成标准的数据文档 并发送至数据中心( 数据管理子系统) 。一个监测台站( 数据集成模块) 可连接多个现 场监测平台( 数据采集模块) 。 数据集成模块和数据采集模块之间的交互通过以太网或g s m g p r s 网络实现，二 者之间的数据交换协议采用基于x m l 的s o a p ，增强了数据的可扩展性和平台无关 性。针对系统数据传输实时性、可靠性的需要，数据集成模块和数据采集模块之间必 须依赖于可靠的面向连接的底层通讯方式来传递高层的s o a p 数据包。因此，采用将 s o a p 消息绑定到t c p 协议上进行传输的模式，而不是目前的基于i n t e m e t 的w e b s e r v i c e 应用中将s o a p 消息绑定到i n t e m e t 上最为流行的h t t p 协议进行传输的模 式。 在监测子系统内部，通过控制与管理数据通信网络，数据集成模块与数据采集模 块建立物理连接，完成相互间监测数据和控制命令的交互，实现数据处理和远程控制 1 0 2 有害藻华监测与预报系统集成架构设计 功能。数据处理功能包括：原始监测数据的采集、预处理、封装、传输、实时显示和 本地存储等。远程控制功能包括：采集装置的网络连接检测、时间同步、设备巡检、 日志记录查询、运行状态监测与显示、运行模式控制等。监测子系统实现的数据处理 功能和远程控制功能可进一步集成到上层数据产品子系统中，进行集中、统一的管 理。 利用工业现场总线、工业以太网和g s m g p r s 三种网络通信结构，监测子系统可以 方便地扩展到由多个数据集成模块和多个数据采集模块构成的分布式监测网络。由于 网络通信结构的平台无关性，各数据采集模块和数据集成模块可以根据实际需要在不 同的操作平台下开发。 2 3 _ 2 数据管理子系统 数据管理子系统是整个系统的核心和枢纽。所有子系统都通过数据管理子系统实 现数据的存储、交换等工作。而数据管理子系统设计的核心就是数据库建模，该子系 统严格按照各种海洋监测规范、标准要求的数据格式设计、实施，并建立了一个集 成、稳定、开放、可共享和可扩展的海洋环境资料数据仓库。整个数据管理子系统的 基本业务流程如图2 6 所示 l 数据支撑il 数据抽象li 数据分析li 决策支持l 图2 6 数据管理子系统基本业务流程 数据管理子系统从监测子系统获取实时海洋环境监测数据，然后完成监测数据的 数码转换、质量控制、数据分类等标准化、规范化处理，形成相互关联的时空数据 集，并建立实时、延时和相关主题数据库，在此基础上构建海洋环境资料数据仓库， 为模型分析子系统和数据产品子系统提供强大的数据支撑。 大量信息技术的引入，使海洋环境资料数据的获取能力大幅提高，数据量急剧增 大。同时，海洋信息产品日益多元化，对数据处理分析能力的要求也日渐增长。传统 的数据库技术越来越无法满足海洋信息领域对数据处理的要求，而数据仓库作为一种 针对海量、复杂数据进行管理和分析的技术，并不是一种全新的技术，而是传统数据 西安科技大学硕士学位论文 库技术的延伸和扩展。因此，建立数据仓库，既能充分利用现有的数据库，又能满足 海洋信息领域数据管理的长期需求。 海洋环境资料数据仓库是在系统掌握海洋资料特性和基础数据库应用的目的及需 求的基础上，严格按照海洋监测数据规范设计、实施的。除了满足有害藻华监测与预 报系统的需要，还提供了标准的数据接口，使其他系统可以通过数据接口访问、操作 海洋环境资料数据仓库并进行系统间的数据交互。 2 3 3 模型分析子系统 有害藻华现象是混沌的，其数学模型的建立相当复杂。鉴于有害藻华现象与诸多 海洋要素( 水文、气象、化学、生物) 之阳j 复杂的相关性，模型分析子系统使用数据 管理子系统提供的和有害藻华现象相关的海洋环境要素监测数据资料，利用先进的数 据挖掘算法( 聚类分析、支持向量机等) 建立有害藻华预报模型，实现藻类密度的在 线预报和报警，对有害藻华发生的征兆、发生的时间及发生的原因做出分析，为涉海 管理部门的减灾、防灾决策提供可靠的、科学的依据。模型分析子系统提供短期、中 期和长期预报三种预报模式，用户可以根据不同需要选择适当的预报模式。同时模型 分析子系统既可以在线运行，也可以离线运行。模型分析子系统可以根据预报结果和 真实发生状况对预报模型进行在线自动修f ，确保预报模型的精确性和可用性。这种 在线修f 预报模型的能力，保证了系统的地域无关性，即系统可以在任何监测海域运 行，无需针对不同海域重新建模。 2 3 4 数据产品子系统 数据产品子系统是以数据管理子系统和模型分析子系统处理后的海洋环境要素监 测数据或分析结果为基础，完成海洋环境要素监测数据的管理、查询、分析、处理及 显示，实现相关信息产品的制作与管理、数据共享与信息服务的系统。同时，数据产 品子系统也是通过数据通信网络实现对其它子系统的统一管理、控制和调度的系统。 本质上，数据产品子系统是最终实现用户与数据交互的系统。 数据产品子系统是以用户需求为驱动的，其设计是建立在对用户群体进行细分的 基础之上的。按照使用系统的频率、使用系统的目的、使用系统的场合和专业水平， 我们将用户分为三类：偶然用户、高级用户和专家用户。偶然用户是指只需要访问一 些预定义的查询、生成报表等，不需要任何专业工具，一般只通过登陆系统门户网站 访问信息资源的用户：高级用户是指需要自己定义一些简单的查询或把预定义好的查 询组合一下，需要专门的数据查询工具的用户；专家用户是指需要自己定义复杂的查 询，直接分析数据仓库中存放的各种数据资料的用户，无法明确定义需求。 该子系统由g i s 地理信息模块、海洋环境要素实时监测模块、数据处理与信息制 2 有害藻华监测与预报系统集成架构设计 作模块和系统管理模块构成，如图2 7 所示。 g i s 地理信息 海洋环境要素实时监测 数据处理与信息制作 系统管理 桌面g i s w j b o i s 高级报表 统计分析r _ 州e x c e l 转换接口 数据查询 图形输出 信息发稚 w o r d 转换接口 预定义查询 智能查询 g i s 地图产品 即时通讯客户端 图2 ，7 数据产品于系统结构组成幽 ( 1 ) g i s 地理信息模块 该模块由桌面版g i s 子模块和网络版w e b g i s 子模块组成，通过局域网与数据管 理子系统和模型分析子系统交互，获取实时的或历史的海洋环境要素监测数据资料及 有害藻华的预测、预报信息，然后通过局域网和i n t e r n e t 将这些信息及时发布给各 类用户。其中桌面版o l s 主要是为涉海管理职能部门设计的，供日常管理、决策分析 和查询使用。网络版w e b g i s 则主要供外部用户使用。g i s 地理信息模块的应用，使抽 象的数据资料可视化，同时无缝地将这些数据资料和地理空间信息联系在一起，使用 户获得的信息资源更加直观、形象、生动。 g i s 地理信息模块主要包括四类功能：地图操作；信息查询；在线报警；g p s 定 位。其功能逻辑结构如图2 8 所示。 墨一 一一一一一一一一一一一 西安科技大学硕士学位论文 目2 8g i s 模块功能逻辑结构幽 地图操作：提供地图放大、缩小、漫游、图层显示、鹰眼定位等g i s 基本功 能。 信息查询：实时信息查询( 将系统设置为自动更新状态，系统将会自动提取实 时数据库中的数据资料，并对g i s 地理信息模块的数据进行更新) 、历史信息查询( 可 选择查询某一段时间的信息或所有历史记录) 、统计信息查询( 由其它信息工具生成的 分类信息) 、监测台站信息查询( 监测台站的位置、设备等明细信息) 、预警信息查询 ( 由模型分析子系统生成的信息) 。在进行信息查询的同时，根据查询结果对地图自动 进行渲染等操作，保持矢量信息( 地理空间信息) 和属性信息( 普通数据资料) 的一 致性。 在线报警：g i s 地理信息模块自动获取模型分析子系统生成的藻类密度预测信 息。当获得最新预测信息时，g i s 地理信息模块根据设定的阈值判断藻类密度是否超 标，如果超标，该模块将自动锁定藻类密度超标的区域，并通过闪烁或声音的方式产 生警示，提醒用户注意，同时弹出信息框显示详细的预警信息。 g p s 定位：移动监测站位( 测量船、直升机) 的定位( 显示移动站位所处位置 的经、纬度) ；有害藻华的发生面积及运动趋势定位( 在有害藻华发生后，根掘移动监 测站位上的g p s 系统提供的实时位置信息，自动绘出有害藻华发生的区域及其漂移趋 势) ，并粗略计算有害藻华受灾面积。其中，有害藻华发生的区域用线条围成的多边形 表示，漂移趋势用带箭头的线条表示。 ( 2 ) 海洋环境要素实时监测模块 该模块提供基于w i n d o w s 操作系统的桌面客户端工具和基于w e b 的客户端工 具。通过与数据管理子系统的交互，海洋环境要素实时监测模块按照用户设定的采样 时间间隔和数据源( 监测台站) 及监测要素，获取所需的实时海洋环境要素监测数据 资料，并以动态曲线的形式将这些数据资料准确、生动、直观地反映给用户。该子模 2 有害藻华监测与预报系统集成架构设计 块可以同时对同一监测台站的多个监测要素或不同监测台站的同一监测要素的变化状 况进行实时跟踪或对比。 ( 3 ) 数据处理与信息产品制作模块 通过与数据管理子系统和模型分析子系统交互，完成后期数据处理及信息产品制 作和发布，包括： 统计分析工具：除了提供用户可以自定义的高级报表工具外，还提供e x c e l 和w o r d 文档转换接口，方便用户将各种统计分析结果转换为e x c e l 或w o r d 文 件。 查询工具：提供用户可进行多种组合查询的智能查询模式和预订义查询模式， 高级用户还可以通过使用标准的s q l 查询语句直接对数据进行操作。 图形输出：提供统计图表( 饼状图、柱状图、折线图等) 和g i s 地图产品的打 印输出等功能。 信息发布工具：包括定制短信、定制e m a i l 、即时通讯客户端软件三种实时信 息发布工具和门户网站。用户可以通过登陆系统门户网站、发送手机短信的方式或使 用即时通讯客户端软件订阅系统提供的各类信息产品( 按照系统定制的信息发布要求 的信息格式、形式，自动制作的标准信息，包括实时数据、历史数据、统计分析报 表、预警信息和图表等) ，系统根据用户设定的信息获取方式和所需信息种类，通过手 机短信、e m a i l 或即时消息的形式主动、即时地向用户提供信息服务( 通过网络直接将 预报产品及实况信息自动传输到远程客户端或手机等信息终端并显示) ，从根本上改变 了传统的被动服务( 用户需要登陆服务网站，进行相关查询) 的设计思想，极大地提 高了服务水平和效率，有利于对用户群体进行细分，根据不同的划分，向用户提供定 制的、个性化的、所需即所得的信息服务。 ( 4 ) 系统管理模块 通过包括w e b 客户端工具和桌面客户端工具在内的人机交互界面，实现采集装置 管理、用户管理、数据库管理、数据交换标准管理、网络通信管理和模型算法管理。 采集装置管理：通过和监测子系统的交互，实现在线增加、删除、修改采集装 置的功能及采集装置的工作状态和采样周期等的设定功能。 用户管理：主要对用户访问系统的权限进行审核管理，包括增加用户、删除用 户、修改用户( 权限、基本信息等) 及基本的查询功能。 数据库管理：实现数据备份、数据导入、导出、数据定义修改及数据库维护等 基本功能。 数据交换标准管理：修改数据交换标准定义，自动生成新的数据交换标准文档 并通知各子系统进行数据交换标准更新。 网络通信管理：包括通信协议管理、通信端1 2 1 管理。其中，通信协议管理实现 西安科技大学硕士学位论文 对各监测装置使用的通信协议的在线动态配置：通信端口管理实现对所有服务端口的 配置、调度、监视。 模型算法管理：实现对模型分析子系统入口参数及出口参数的设置和对模型算 法的加载、更新、选择调度。 2 4 小结 本章以当今先进的计算机技术、网络技术、控制理论与技术，以及嵌入式系统等 为背景，结合国内外有害藻华监测与预报系统的研究成果及最新发展趋势，提出了有 害藻华监测与预报系统集成架构，并分别对集成架构的系统组成结构、系统集成协议 和系统功能设计进行了详细的分析和阐述，进一步给出了具体的实现方案。为实现海 洋环境要素的实时、延时、历史数据的采集、处理、分析、管理和数据通信网络、数 据库、有害藻华预报模型、信息产品开发、数据资源共享与信息服务等功能模块的集 成，为构造网络化、分布化、智能化、综合化的有害藻华监测与预报系统奠定了基 础。 3 实时海洋数据传输网络子系统的研究 3 实时海洋数据传输网络子系统的研究 实时海洋数据传输网络子系统是有害藻华监测与预报系统中的一个重要组成部 分，是监测子系统和数据管理子系统之间实现交互的中介，它担负着将分布在沿海监 测带的海洋监测台站采集到的海洋环境要素监测数据进行汇总、集成，然后实时传送 至海洋数据中心的责任。近年来，随着有害藻华灾害预测、预报技术的快速发展，以 及其它相关海洋信息产品的大量涌现，对准确、大量、连续和实时的海洋环境要素监 测数据的需求日趋强烈。在赤潮监测、预报领域使用的传统的信息技术越来越无法保 障这些应用的需求。现有的有害藻华监测与预报信息系统往往是根据某种特定的预报 方法进行设计、实施的，实际开发中又总是缺乏整体规划，各自为政、自成体系，没 有充分考虑和其他海洋信息平台的数据共享、数据交互等问题。这类系统大都缺乏相 关的、丌放的数据共享支持标准和协议，容易导致海洋信息数据源孤立分散地存在、 缺乏有效的信息资源共享机制、数据资料利用效率低下和监测与预警系统重复建设等 问题的出现。这些问题r | ：重制约了我国海洋信息服务水平的提升。因此，亟需制定一 套行之有效的数据交换规范，达到信息共享，数据资料复用的目的。近些年来，迅速 发展起来的可扩展标记语言x m l ( e x t e n s i b l em a r k u pl a n g u a g e ) 1 32 j 作为一种描述源信 息语言的标准技术，具有支持多种数据格式的能力，能够有效地解决异构平台、不同 数据格式之间的数据交换问题，可作为可扩展、可移植、结构化的数据交换标准，许 多行业已将其作为行业信息交换标准应用于行业数据交换和数据发布等领埘”。 海洋x m l ( m a r i n e x m l ) 是一种由x m l 派生出来的在海洋信息领域使用的描述海 洋数据资料的新的标记语言，它具有提供存储、传输、显示和发布海洋数据的高效手 段的潜力。对于现存的海洋数据格式和海洋信息系统，以及未来种类繁多的海洋信息 产品，海洋x m l 都将提供良好的支持：极大地提高了海洋信息产品的开发效率和海洋 监测数据的利用率，保证了信息的时效性；为各种海洋信息产品提供开放的数据交换 接口标准，促进不同海洋信息平台之间的数据共享与交互，提高了海洋信息资源共享 程度；可以实现现有海洋信息平台、海洋数据资料和新建海洋信息平台平稳、快速地 集成，大大降低了软件集成的成本，最大限度地保护了用户的投资。 许多海洋大国和一些国际海洋组织日益重视x m l 技术在海洋数据资料交换与服务 方面的应用，一些国家针对本国海洋x m l 的具体应用，提出了相应的解决方案，取得 了一定的研究成果。 2 0 0 2 年，在芬兰赫尔辛基举行的s g x m l 会议上，加拿大海洋数据服务中心的 b o bk e e l e y 提出了一种封装海洋数据的通用数据对象的概念，称之为k e e l e y b r i c k s ”】。k e e l e yb r i c k s 本质上是将互相关联的数据信息组合成数据对象。“b r i c k s ”的 西安科技大学硕士学位论文 提出是希望数据对象像砖块一样，通过不同的方式组合可以表示不同的数据结构。 k e e l e yb r i c k s 概念有两条基本原则： ( 1 ) 将自然分组的数据信息开发成定义良好的数据对象。 ( 2 1 通过对b r i c k s 不同方式的组织，来模拟不同海洋数据类型的自然结构。加拿大 相关部门已丌始按照这一思想构建自己的海洋数据结构，将其用于数据集成、数据处 理、数据交换和数据发布。 a o d c ( a u s t r a l i a no c e a n o g r a p h i cd a t ac e n t r e ) 针对内部数据管理，将基于x m l 技 术封装的海洋数据格式作为内部数据格式标准，并丌发了相应的海洋x m ls c h e m a 的数 据结构【3 “。按照该数据结构，可以轻松地将海洋原始数据、质量标记、编辑修改数据 等各种海洋观测记录和元数据封装起来，同时还可以灵活地将特征数据、点数据和时 空信息，以及数据负责人、数据来源、数据质量等细节信息集成进来，存储在一个 x m l 文档里。x m l 技术的使用，使a o d c 对海洋数据的管理效率和效果有了显著地提 高和改善：简化和加快了数据质量控制过程，提高了数据处理能力。同时，也极大地 简化了数据存储过程。 目前，i o c ( i n t e r g o v e r n m e n t a lo c e a n o g r a p h i cc o m m i s s i o n ) 组织通过领导和协调各 成员之间的合作与交流，致力于制定统一的海洋x m l 标准，并已取得一定的进展，且 在i o d e ( i n t e r n a t i o n a lo c e a n o g r a p h i cd a t aa n di n f o r m a t i o ne x c h a n g e ) 中成功地应用 x m l 处理数据交换问题。 x m l 在我国海洋信息领域的研究和应用尚处于起步阶段，一些研究人员对国际上 海洋x m l 的研究状况进行了跟踪研究，并针对我国实际情况提出了一些解决方案，取 得了一些研究成果 3 7 - 4 0 1 ，但是将海洋x m l 应用于实际系统中还处于探索阶段。有鉴于 此，以及近年来网络技术的迅猛发展，网络基础设施的大量兴建和网络通信质量的大 幅提升，本文结合x m l 技术和s o c k e t 网络编程技术，提出了一种实时海洋数据传输网 络系统的实现架构，为海洋监测台站与海洋数据中心之间的数据传输和数据交换提供 了一种开放、高效、可靠的解决方案，同时也为海洋x m l 在我国海洋信息领域的应用 和发展进行了有益的探索和实践。 3 1 系统描述 基于x m l 的实时海洋数据传输网络系统本质上是个将海洋监测台站现场连续监 测的海洋环境要素数据资料按照系统定制的x m l 数据文档规范格式化后，通过 i n t e r n e t 实时地传送至海洋数据中心，再按照系统定制的x m l 数据文档规范进行 原始数据资料恢复，然后使用恢复后的海洋环境要素原始数据资料对海洋数据中心数 据库中的数据进行实时更新的海洋信息传输系统。在基于x m l 的实时海洋数据传输网 络系统中，要求网络通信连接可靠，传输数据无丢失，实时数据完整，服务器能够同 3 买时海洋数据传输网络子系统的研究 时响应多个客户端的服务请求。t c p 协议可以充分满足传输系统可靠通信和并发通信 的需求。同时，基于s o c k e t 的数据通信，可以隔离网络的文件访问功能和一般的w e b 访问功能，有效地提高了传输系统的安全性。因此，本文选择了t c p 协议，以及基于 该协议的流式套接字，结合x m l 进行c l i e n t s e r v e r ( c s ) 模式下的，基于x m l 的实 时海洋数据传输网络系统的设计开发。系统架构如图3 1 所示。 客户端 ： 服务器端 移f | | 一 矧 图3 1 基于x m l 的实时海洋数据传输网络系统的结构示意图 其中，客户端( 海洋监测台站) 由实时数据、x m l 构造器、客户端通信进程组 成：实时数据是海洋监测台站现场连续监测的海洋环境要素数据：x m l 构造器将实时 数据按照系统定制的x m l 数据文档规范格式化，生成x m l 数据文档；客户端通信进 程通过i n t e r n e t 和海洋数据中心的服务器通信进程建立连接，将x m l 数据文档实 时地传送至海洋数据中心。服务器端( 海洋数据中心) 由服务器通信进程、x m l 解析 器、数据库组成：服务器通信进程通过i n t e r n e t 和海洋监测台站的客户端通信进程 建立连接，接收海洋监测台站传送的格式化后的x m l 数据文档；x m l 解析器将接收 到的x m l 数据文档按照系统定制的x m l 数据文档规范恢复原始数据，然后使用恢复 后的数据对数据库进行实时更新。 整个系统的核心由一对x m l 构造解析器和一对c l i e n t s e r v e r 通信进程组成。 3 2x m l 数据交换机制 3 2 1x m l 技术 x m l ( e x t e n s i b l em a r k u pl a n g u a g e ) 是一种可扩展的标记语言，作为s g m l 的一 个子集，1 9 9 8 年成为w 3 c 推荐的w e b 上的数据表示和交换的标准，其发展的首要目 标是为处理i n t e m e t 上的电子数据交换提供种强大的工具，而且也应具备处理大规模 数据集的能力。与h t m l ( h y p e r t e x tm a r k u pl a n g u a g e ) 相似，x m l 也是基于标记 ( t a g ) 的，但是x m l 允许用户根据需要设计、定义及扩展自己的标记系统，便于建 立灵活、简洁的内部数据交换机制。x m l 并没有取代h t m l ，而是对h t m l 的功能 西安科技大学硕士学位论文 进行了补充和扩展。h t m l 常用于描述显示给人看的内容，而x m l 则主要用于表示 数据的本身。x m l 是一种结构化的描述语言，采用的是树型存储结构，支持深层次的 嵌套表达，它的数据集不仅包含数据值，同时也包含数据的含义( x m l 中的每个标记 都是用实际的意义来表示的) ，对于信息的搜索非常有益，能够按照数据的意义来进行 特定的搜索、查询；x m l 是文本格式，而不是二进制格式，易于阅读和编辑修改； x m l 相比其它标记语言更简洁，创建和解析x m l 数据文档更容易：x m l 实现了数 据的结构和显示分开，数据不仅能够用来显示，还能为其它的应用程序提供数据源， 也就是能够起到数据库的一部分作用；x m l 是一种开放的标准，具有一套统一的数据 格式，使用它，意味着在任何平台、任何操作系统，对于任何语言都能很容易实现不 同格式的数据的相互交换；x m l 允许数据提供者在x m l 文档中加入描述数据的结构 和控制它们的用法的信息，而不是使用独立软件来对信息进行控制封装，使得不同系 统之间的数据交换更灵活、更简单。 3 2 2x m l 交换模型 在数据交换领域中，没有标准的部落式交换的代价是高昂的，不同系统的实现人 员，甚至同一系统的不同模块的实现人员几乎不能重用数据交换的代码，相同的数据 分析处理模块在不同的系统中和同一系统的不同的模块中被重复地撰写，可能只是为 了达到将某一数据源的数据转换到另一种不同的目标数据源中去的目的，这使得数据 交换的代价极其昂贵、系统集成的成本居高不下、软件开发的周期大幅延长。在x m l 出现后，这一情况得到了极大的改善。作为一种数据格式描述的元语言标准，x m l 不 断地被应用到各种不同的数据交换领域中去。使用x m l 制订的行业应用领域的交换标 准的大量涌现，使得在各个应用领域中都形成了以x m l 数据文档为核心的集中的星状 交换模型1 ，如图3 2 所示。 其中每个系统都将其内部的数据转换成符合行业标准的基于x m l 的数据文档，并 将其作为系统间数据交换的媒 介。这些交换标准主要可分为如 下几类： ( 1 ) 为实现跨行业业务而建 立的体系式交换标准，如 x c b l 、c x m l 、e b x m l 等。 幽3 2 基y - x m l 的三层交换模型 ( 2 ) 为实现垂直行业内信息交换而制定的交换标准，如s m l 、a d x m l 、m e d o c 等。 ( 3 ) 通用的、适用企业内部某一领域的专业交换标准，如c i m l 、o c f 、f i x 。 ( 4 ) 软件应用领域的专有信息描述标准，如w f - x m l 、x e d i 、u i m l 等。采用以 3 实时海洋数据传输网络子系统的研究 x m l 数据文档为核心的集中的星状交换模型，可以将数据提供者和数据接收者有效地 分离，提供多对多的数据传输模式，使数据能够在系统内部或系统之间及时、准确、 高效地交换和共享，最大限度地防止数据孤岛的产生和提高数据利用效率。 3 2 - 3x m ls c h e m a x m l 体系的核心问题之一是如何描述x m l 文档结构和内容约束，目前广泛使用的 方法之一就是x m ls c h e m a 。x m ls c h e m a 是x m l 文档集合的x m l 描述，用来描述 x m l 文档的合法结构、内容和约束。x m ls c h e m a 由x m l l 0 自描述，并且使用了命 名空间( n a m e s p a c e ) ，有丰富的内嵌数据类型和强大的数据结构定义功能，充分地改 造并极大地扩展了d t d s ( d o c u m e n tt y p ed e f i n i t i o n s ) 的能力。它正迅速替代d t d s 成 为x m l 体系中正式的模式语言，与x m l 规范、命名空间规范一起成为x m l 体系的坚实 基础。x m ls c h e m a 羊 1 x m l 文档的关系与类和对象的关系类似：x m ls c h e m a | 当于 类，提供了创建x m l 文档必要的框架，详细说明了一个x m l 文档的不同元素和属性的 有效结构、约束和数据类型。匹配这个s c h e m a 的任何特定的x m l 文档就相当于类的一 个实例，即对象。 x m ls c h e m a 规范由三部分组成： ( 1 ) x m ls c h e m ap a r t0 ：p r i m e r l 4 “。该部分是一个非标准化的文档，提供了关于 x m ls c h e m a 资源的一个简单易读的描述，目的是帮助相关应用开发人员快速地理解 如何使用x m ls c h e m a 语言创建s c h e m a 框架。此部分通过一些实例说明了x m l s c h e m a 的语言特点。 ( 2 ) x m ls c h e m ap a r t1 ：s t r u c t u r e s ”1 。该部分是x m ls c h e m a 语言规范的第一部 分，详细说明了x m ls c h e m a 定义语言，这个语言为描述x m l1 0 文档的结构和内容 约束提供了便利，包括引入了x m ln a m e s p a c e ( 命名空间) 的使用。x m