国家级水环境监测数据传输平台构想

1、国家级水环境监测数据传输平台构想魏房忠1,温香彩2,黎刚3,沈红军3(1.江苏省信息中心,江苏南京210013; 2.中国环境监测总站,北京100012; 3.江苏省环境信息中心,江苏南京210036摘要:设计的新型国家级水环境监测数据传输系统,将集成现有环境监测数据传输软件的思想,提取现有和未来环境监测数据传输业务的共性需求,设计了具有良好扩展性、通用性的系统架构,充分满足环境监测部门数据传输需求,保障水环境监测数据在各个数据中心之间规范有序地传输,实现系统高度集成互联互通、信息资源充分共享、环保业务紧密互动。关键词:环境监测;数据传输;环境信息化中图分类号:X830.3文献标识码:A文章编

2、号:1002-6002(201101-0038-04Design Concept of National-level Data Transmission System for Water Environmental Monitoring WEI Fang-zhong 1,et al (1.Jiangsu Provincial Information Centre ,Nanjing 210013,China Abstract :This design of the new national-level data transmission system for water environmenta

3、l monitoring will integrate the idea of the existing environmental monitoring data transmission system ,fully collect common requirements of current and future environmental monitoring data transmission ,design a platform system with the features of good scalability and universality ,fully meeting t

4、he need for environmental monitoring department data transmission ,ensuring the regular transmission of the environmental monitoring data among the data center ,achieving the goal of high-level system integration ,the full sharing of information resources ,and close interaction in environmental prot

5、ection business.Key words :Environmental monitoring ;Data transmission ;Environmental informationization收稿日期:2010-02-22;修订日期:2010-05-10基金项目:国家水体污染控制与治理科技重大专项“水环境监测信息集成、共享与决策支持平台研究课题”(2009ZX07527004作者简介:魏房忠(1983,男,江西赣州人,工程师.目前全国环境监测系统中存在多套环境监测数据传输软件,各个软件以环境监测要素为单位,各自立网,各为系统,缺乏统一的数据传输管理,同时由于底层架构不足,缺乏应

6、有的扩展性,数据传输能力非常有限。在这种形势下,整合各类资源,构建统一的国家级水环境监测数据传输平台已变得非常必要。传统的环境监测数据传输系统都可以总结出“流程”和“数据”的这两个基本共性。“流程”主要包含传输任务下达、数据采集、数据审核校验、数据入库等业务流程。“数据”即为传输内容,环境监测要素根据业务特点和监测项目拥有各自的数据结构。新型国家级水环境监测数据传输平台将集成现有数据传输软件的设计思想,提取数据传输业务的共性需求,基于流程化数据传输思想,同时结合各级数据中心建设需求,进行统一抽象的系统功能设计,实现水环境监测数据从“源”到“目的”的传输护航,满足全国范围内各类水环境监测数据的传

7、输需求。1数据传输平台的系统架构水环境监测数据传输平台主要包含工作流引擎、数据传输管理中心、数据传输数据库、服务注册中心以及数据交换中心。系统整体架构图如图1所示。1.1工作流引擎工作流引擎的作用在于管理并驱动各类流程,包含监测数据传输流程、水环境监测基础要素管理流程、监测数据更改审批流程等。建立环境监测站组织结构是工作流引擎运作的基础。系统将对各级环境监测站实行层级化管理,比如分别定义国家、省、市、县为4级、3级、2级、1级,再针对每个县维护其上级市,以及每个市的上级省,建立全国范围内的环境监测组织结构,以配合工作流引擎对传输流程的定制和解析。比如可以定义河流监测数据传输流程:(1市县级数据

8、收集;(2逐级审核到省级;(3国家级数据审核。传输过程中环境监测数据魏房忠等:国家级水环境监测数据传输平台构想39将逐级向上由对应部门进行审核,直至权限足够的部门。例如,当底层数据传输部门为常熟市环境监测站时,工作流引擎将根据该测站的组织层级结构,首先找到对应的上级部门苏州市环境监测中心站进行数据审核,然后再往上找到对应的省级部门江苏省环境监测中心,最后再到中国环境监测总站做最终审核。在工作流引擎的管理与驱动下,实现数据传输流程智能解析和自动化流转,也使得数据传输方向非常灵活,无论从县级到国家级,还是省级到省级,市级到市级,只要对传输流程进行自定义设置,都可以轻松实现。 图1数据传输平台系统架

9、构图1.2数据传输管理中心数据传输管理中心是水环境监测数据传输平台的核心组成部分,电子化环境监测方案建立电子化环境监测方案,结构化存储有关信息,对各类水环境监测任务的监测要素、监测范围、监测指标、监测频次与监测时间等进行规定(见2010年国家环境监测方案,并将作为数据传输任务的来源和数据传输考核的依据(图2。 图2电子化环境监测方案构成根据电子化环境监测方案开发定义水环境监测数据传输类型,详细定义数据交换标准、数据传输流程、原始数据录入模块、数据传输临时表、数据质量校验规则、传输任务校验规则等。(1数据交换标准:即为预先定义的XML Schema ,将作为数据规范化交换的基础。(2数据传输流程

10、:结合各级环境监测站层级化的组织结构,采取流程化管理思想,建立数据收集、提交、审核、入库等传输流程。同时允许提交、审核通过、拒绝、回退、撤回、重新提交等流程控制,避免数据传输单向性,实现数据传输的精细化管理。(3原始数据录入模块:提供最基本的监测数据录入功能,当数据传输部门没有建立数据中心时,为完成数据传输任务,可以在系统中直接录入数据,提交以启动传输任务。(4数据传输临时表:在数据传输数据库中预先定义各类数据临时表,用以规范存储传输过程中已收集的数据,为“源数据中心”和“目的数据中心”搭建中介。传输任务开始时,数据将由“源数据中心”抽取收集到数据传输临时表中,当传输数据审核完成时,再推送到“

11、目的数据中40中国环境监测第27卷第1期2011年2月心”,完成整个数据传输任务。根据现有水环境监测数据传输类型建立河流监测数据表、湖泊监测数据表等。(5数据质量校验规则:用以在数据传输过程中对监测项目有效值范围、监测项目间逻辑关系进行校验,确保符合质量要求。(6传输任务校验规则:传输任务校验规则由电子化环境监测方案衍生而来,用以对传输数据从监测指标完整性、测点完整性等角度进行判断,检验监测任务完成情况。目前水环境监测数据传输类型主要包含河流监测数据、湖泊监测数据、饮用水源地监测数据、地下水监测数据等。平台能够根据未来环境监测发展的需要拓展建立新的类型,具有良好的开放性和扩展性。数据传输任务由

12、水环境监测数据传输类型实例化产生,执行过程主要包括:(1数据收集:数据可以手工数据录入、导入,或依照数据交换标准从“源数据中心”中抽取,存储于数据传输临时表中。(2传输流程解析:数据传输流程将基于传输流程规则动态解析而来,逐级进行数据审核。(3数据审核:在传输过程中,传输人员或审核人员可以依据“数据质量校验规则”对数据质量进行判断、依据“传输任务校验规则”对监测任务完成情况进行校验。对于不符合要求的数据,审核人员可以做出“拒绝”、“回退”等操作,并由数据传输人员“重新提交”。(4数据推送:审核流程顺利结束时,数据将从数据传输数据库中的临时表往“目的数据中心”推送,以完成整个数据传输任务。环境监

13、测点位是电子化环境监测方案和数据传输的基础,建立基础要素管理系统,加强点位管理具有非常大的意义。点位管理职能应主要放在省级层面,涉及点位新增或变更等,但相关信息将同步交换到国家层面。比如点位新增的管理,将首先由县市提出新增点位申请,省级审批通过并依据点位编码规则颁发编码,往国家同步传输新增点位的信息。参照电子化环境监测方案,对数据报送及时性、测点完整性、指标完整性、频次要求等监测情况进行检查、考核和评比,从而让管理决策人员及时掌握环境监测的工作进展情况,预测发展趋势,对下一步工作做出科学的部署和安排,确保环境监测业务活动的可操作性和可控性。1.3数据传输数据库数据传输数据库中存储了水环境监测基

14、础要素、电子化环境监测方案、数据检验规则、数据传输状态等。传输过程的监测数据也将存储在该数据库中的临时表中。数据传输数据库的逻辑位置位于“源数据中心”和“目的数据中心”之间。1.4服务注册中心基于UDDI构建服务注册中心,搭建数据传输平台中的各类Web服务统一发布、寻找、绑定的平台。这些Web服务包含数据传输管理平台以及各数据中心部署的数据提取和数据接收服务。服务提供者通过在服务注册中心中注册来配置和发布服务;服务请求者通过查找服务注册中心中发布服务的登记记录来找到服务;服务请求者绑定服务提供者并使用可用的服务。1.5数据交换中心以微软BizTalk Server、IBM WebSphere

15、ESB 等数据交换中间件产品为基础,应用SOAP、XML、WSDL、UDDI、Web Service等技术建立数据交换中心,构建松耦合的水环境监测数据交换体系,使流程、服务和系统集成整合,实现水环境监测数据的规范交换和系统消息的实时调度管理。数据交换中心是水环境监测数据传输平台重要的组成部分。在数据传输任务启动前,数据交换中心负责将数据从“源数据中心”抽取到数据传输数据库,当数据审核顺利结束时,再从数据传输数据库往“目的数据中心”推送数据,完成整个数据传输流程(见图3。2数据传输平台与各级数据中心的关系数据传输平台与各级数据中心业务流程紧密相连。通过建立数据标准以及Web服务,由数据交换中心统

16、一与各级数据中心进行数据交换,实现从“源数据中心”的数据抽取和往“目的数据中心”的数据推送(见图4。数据传输平台与各级数据中心又是一种低耦合度的关系。数据传输平台统一传输管理,并不依赖于任何一个数据中心节点。数据传输平台与各级数据中心建设可以分头进行,易于系统实施。数据传输平台与数据中心还是一种低依赖的关系,各级数据传输部门不一定要建立各自的数据中心。作为底层数据传输部门,也可以通过数据录入、导入等方式收集上报数据进行提交。魏房忠等:国家级水环境监测数据传输平台构想41 图3水环境监测传输数据流图示 图4数据传输平台与数据中心关系图3平台优势与传统数据传输系统相比,本平台从水环境监测数据传输角度出发进行全面需求分析和系统整体设计,将具有以下优势:(1统一传输管理:整合资源,在统一平台中实现各类水环境监测数据传输的统一监控和管理。(2精细化传输管理:贯彻逐级数据审核机制并实现数据质量在线控制、传输任务实时监控,全面提升数据传输精细化水平。(3动态灵活性高:基于工作流引擎,允许自定义数据传输流程规则,能够实现任意数据中心之间从“源”到“目的”的数据传输护航。(4良好扩展性:不仅能够满足现有各