水环境检测大数据中心建设方案

一.大数据中心建设

1.1.数据来源

本项目数据的主要来源有多方面：（1）基础数据，例如河网水系、设施设备、

组织结构及人员信息、各类管理方案及多媒体资料，以及业务流转中产生的数据

等；（2）智能传感终端采集的数据，比如水质监测站、视频监控、巡河移动终端、

水位计流量计等实时监测数据；（3）可导入的人二检测的报告数据，例如水质统

计报表、排水系统运行工况等；（4）系统对接入库的数据，如现有水质监测站的

数据、现有视频监控、现有污水处理厂运行等数据的接入，及省市县的相关系统

的数据对接等。

1.2.设计规范与要求

1、标准文件和规范

数据库的设计依据相应的标准和规范进行，主要包括以下儿类：

（1）相关行业数据标准规范；

（2）地理信息框架数据类标准规范；

（3）信息交换服务类标准规范；

（4）数据产品与质量类标准规范；

（5）《国家防汛指挥系统工程实时水雨情库表结构设计》

（6）《国家防汛指挥系统工程工情数据库表结构设计》

（7）《水质数据库表结构与标识符规定》（SL325-2005）

（8）《数据库设计与运行规范》（HJ-T419-2007）

在数据库设计中元数据和数据目录、数据要素类、数据要素分类等都依据

以上标准进行，从而保障数据成果的开发性和标准性。

2、设计规范约定

遵守数据的设计规范，数据库表的设计要尽量满足第二范式（2NF）,基丁提

升性能的考虑可以适当增加冗余而不必满足第三范式（3NF）O

表内的每一个值都只能被表达一次。

表内的每一行都应该被唯一的标识（有唯一键）。

表内不应该存储依赖于其他键的非键信息。

3、字段规范

字段命名需遵循行业规范和项目标准，清晰易用。一行记录必须表内唯一,

表必须有主键。

在主外键的选择上应注意：为关联字段创建外键、所有的键都必须唯一、避

免使用复合键、外键总是关联唯一的键字段。

1.3.数据库建设

按照河湖管理平台与水环境监测系统相关的信息资源标准规范和信息资源

目录，开展水环境监测数据库表结构设计，编制相关数据库表结构标准规范和数

据字典，生成标准数据库脚本。水环境监测数据库按照对象和属性特征划分为空

间信息库、基础库、监测库、业务库。深入开展数据需求分析，明确数据责任单

位，根据责任单位的网络联通条件、数据储存方式、数据采集方式、数据结构类

型等不同特性，采用物联网采集、数据共享交换、批量导入、人工填报、爬虫等

多种方法，有序开展数据资源入库C

本项目建设水环境监测数据库，梳理各部门共享数据内容，进行相应子数据

库建设，包括空间信息库、基础库、监测库、业务库，且须按省、市级相关主管

单位的要求，为横向各相关业务部门、纵向各垂直管理单位等预留数据接口。

1.3.1,数据库类别

1.空间信息库

地理空间数据具有数据量大、保密要求高、共享应用需求广泛等特点，所以

建立地理空间数据的元数据库，通过元数据来实现地理空间信息的查询、发布是

行之有效的手段之一。水环境监测空间信息库的内容主要包括地形图、行政区划

图、交通道路图、影像图、地名等基础地理数据，同时也包括小区分布图、河网

水系图、水质状况图、巡河路线分布图、排水管网分布图、事件热力图等专题数

据。

同时，空间信息数据库需参照江西省相关地理空间数据库的格式，可快速方

便地与省、市相应数据库进行数据对接和交换。

2、基础库

基础数据库包括平台中所涉及的各类基本数据信息，如河网水系、水环境监

测、管网GIS、污水处理厂等，其基本数据来源于人工普查、统计资料输入、其

他平台接入等。例如，河网水系基本情况，如河名、河长、流经区域、管理人员

等；水质监测站信息，如名称、位置、监测项、仪器资产、管理单位、联系人员

等；视频站点基础信息，如位置、厂商、型号、管理部门等;污水管网GIS基本

信息，如管网起点、终点、长度、埋深、材质、管理单位、维护人员等。基础数

据库为监测库、业务库及整个平台提供了底层信息，是水环境监测与河湖管理系

统的数据基石。

3、监测库

监测库包括水环境智能感知体系数据的实时采集、传输数据，监测设施包括：

水质固定站、视频监控等基本监测站网，遥感卫星影像数据，无人机监测信息，

泵站及管网中的水位计、流量计等涉及水环境监测设备的实时数据。

4、业务库

业务数据库是满足系统运行要求，存储各类业务应用的运行数据。在本项目

中，我们将根据业务分类，结合项目的实际情况，建立主题数据库，实现对数据

的分类存储。内容包括但不限于：水环境监测数据库、事件处置数据库、移动巡

河数据库、管网资产数据库、排水系统监测数据库等。

1.3.2.性能优化

整个系统的性能与可靠性是一个系统工程，需要从多个方面进行考虑与优化,

包括数据存储、数据库服务器、数据库、中间件、应用程序以及一致性、容错性、

备份恢复等等诸多方面与因素。本项目通过以下多个方面的综合考虑与优化，以

保证相关技术指标要求能得以满足。

（1）存储优化设计

1）分布式对象存储

用来存储海量非结构化数据，提供Key-Value存储模式，可通过键-值查找

数据文件。提供基于本象的访问接口。

4）并行处理

利用MySQL数据库的并行处理能力，包括数据的查询以及插入、修改、删除

等DML操作。并行处理可以有效利用服务器的CPU资源，通过多CPU并行处理来

提高数据访问的性能与响应速度。

5）裸设备

采用裸设备作为MySQL的数据存储方式，由于数据直接从Disk到MySQL进

行传输，避免了再经过操作系统这一层，所以使用裸设备对于读写频繁的数据库

应用来说，可以极大地提高数据库系统的性能。

（3）库优化设计

1）空间索引

空间索引用于快速的空间数据检索与分析•，空间索引可以从格网大小与索引

级别2个角度去优化，应根据具体的数据设计适应的空间索引格网大小与索引级

别。

2）压缩

根据不同数据特点，采用合适的数据压缩方法与压缩比例，提高数据的存储

效率，减少传输带宽。

特别是影像数据，可以根据数据的应用需要，采用有损或者无损压缩算法。

3）数据精确性

空间数据采用统一的空间坐标参考，空间坐标数据存储支持使用双精度类型,

属性数据则保持与原始数据精度的一致性，杜绝数据损失，从而保证数据加载、

计算、制图等应用方面对精度的需求。

4）影像金字塔

采用影像金字塔技术，建立多分辨率影像，可以在不同的比例尺下快速进行

影像数据的浏览与访问。

5）物化视图

采用MySQL物化视图技术，即数据库快照，它是存储了查询结果的数据库视

图。物化视图通过将大量耗时的数据库检索、计算操作的结果预存起来，应用程

序直接使用这些存储的结果，极大提升应用程序的性能。同时利用物化视图的刷

新功能，可以当数据基表中数据改变的时候及时更新物化视图的数据。

6）分区

可以采用MySQL数据分区（Partitioning）技术将大表和索引分成可以管理

的小块，从而避免了对每个大表只能作为一个单独的对象进行管理。数据分区是

一种“分而置之”的技术，它为海量数据的管理提供了可伸缩的性能。对大表进

行数据分区，将能够产生明显的性能上的效果，并可以对数据故障进行有效隔离。

MySQL的数据分区对应用是透明的，不需对应用程序做任何修改。数据的分区可

以带来性能、可用性、可管理性上的提高。

7）表空间

对各类数据的Oralce表空间进行规划，如将数据与索引表空间分开，矢量

与影像表空间分开等，关键数据文件可以放在不同的磁盘控制器控制的磁盘上等,

以提高数据访问的性能。

8）字段索引

根据不同数据存储与应用需求特点，设计合理的数据字段索引，平衡机制，

从而优化大数据量、大访问量并发的处理能力。

（4）应用程序优化设计

1）缓存

对经常参与查询的参数表或者元数据，缓存到内存，减少数据连接和频繁访

问。

2）分页

对于系统查询的结果，进行适当的分页显示，这样在查询时每次返回的数据

量比较小，避免一次返回大结果集，可以有效提高响应速度与性能。

3）SQL优化

在SQL语句上使用上，尽量利用数据的索引机制，以及数据库提供的相关优

化设计。

1.4.数据资源规划

数据中心资源规划从宏观和微观着手，采集“空天地”数据一体化数据，结

合高精度遥感监测数据、水质监测固定站、河湖长巡河、排水系统实时监测数据

等，以及与查询模拟、管理决策等相关的海量数据资源等，建立水环境监测与河

湖管理“云”平台数据库，对数据资源进行存储、管理、编辑、更新等操作，同

时对数据库资料进行动态更新。

数据资源目录包括数据资源的分类、字段信息、维护部门、维护人、数据来

源、更新频率等信息。数据资源目录的拟定需从水环境监测、河湖长巡河、排水

系统监测、水事务监管等各业务主题分析入手，开展机关科室和下属单位的业务

事项梳理工作，理清业务事项及工作流程，同时初步梳理工作产生的信息资源,

整合各项业务数据资源，形成水环境监测数据资源目录。在云平台的基础上，实

现对己建的各种信息资源进行整合，包括基础设施、数据资源、公共应用等。以

下为本次系统数据资源规划目录：

河湖管理平台与水环境监测系统数据资源目录

数据分类数据内容

空间数据分类、代码、名称、编码

方法、编科数据、标识码、几何特征、

基础空间数据分类特征、说明信息、关联特征、地理

空间信关联属性、业务特征属性、更新时间、

息库比例尺等

图层代码、要素类别、图层名称、

GIS平台数据映射名称、图层信息描述、空间拓扑、

比例尺、更新时间、说明信息等

公用基础数据行政区划、河流、湖泊、排水管

库网、组织机构

河网水系图

河湖基础资料：

河湖名称、长度、宽度、面积、行

公共基河网水系基础

政区域、坡降、功能类型、坡降等

础库数据

河长/湖长资料等：

河湖长名称、管辖河段、所属部

门、职务、联系电话等

水利工程数据已建工程运行管理和在建工程的施

昨工管理信息。包括：（1）己建工程信

息，如：工程运行情况、工程除险加

固、工程安全鉴定等。（2）在建工程信

息，如：工程进度、工程建设合同、工

程建设档案等。

污水处理厂的名称、位置、收水范

围、设计能力、排水去向、处理标准、

管理人员等；

排水系统数据

污水泵站的名称、位置、规模、排

库

水片区、污水性质等；

污水管网起点、终点、长度、埋

深、材质、管理单位、维护人员等；

政府部门统计发布的社会经济信

社会经济信息

息。如：人口、城市化水平、工农业生

数据库

产总值、耕地等。

土地覆盖、土地利用、土壤类型、

农业数据库耕地资源、农作物、农业用水、化肥使

用等

规模以上工业单位数量、名称、地

工业数据库址、生产类别、产值、污染源排放、整

改情况

水质实验室管理信息，大气降水、

水环境数据库地表水、地下水常规监测数据，供水水

源地水质数据等

机构代码、机构名称、经营范围、

组织机构数据行政区划、机构地址、机构分类、部

门、联系方式

法规名称、文献号、时效性、颁布

政策法规数据部门、颁布日期、实施日期、发布日

期、简介、内容

标准名称、标准代码、标准分类、

行业标准数据标准体系、标准目录、颁发日期、实施

日期、范围

代码、名称、相关说明、分类、层

公共编码数据级结构、递增规则、编码结构、属性字

段、属性定义、是否必填等、编码示例

编号、姓名、性别、电话、国家/地

人员数据

区、职务、单位、科室、当前状态等

对象分类、数据来源、数据类别、

管理对象数据数据大小、数据子项、负责人、联系方

式、数据保存周期等

监测站点基础信息：

水位站、雨量站、水位雨量站、水

质监测站、流量站、视频监控站、闸泵

监测站等。

水环境监测数

测量断面基础信息：

据

如河道名称、断面名称、断面编

号、近期水质目标等信息。

水质监测数据：

业务主各水质测点的点位分布、运行状态、实

题库时监测数据、超标预警信息

遥感基础信息：

卫星资源来源、影像分辨率、类

型、用途等

河网水系调查：

卫星遥感数据

河流边界线、中心线、长度和河面

面积等水面信息

水体污染数据：

水体污染位置、面积、污染类型、影像图

片

垃圾堆放数据：

位置、堆放面积、垃圾类型

河岸违章建筑数据：

位置、违章面积、建筑形态

河湖长树状组织架构信息

河湖长巡河数据：

巡查计划、巡河日志、巡查路径、事件上

河湖长巡河数

报等实时巡河数据

据

河湖长考核数据：

各级河湖长考核对象、考核指标、

考核情况、考核结果等数据

泵站、污水处理厂、排水管网等基础信息

数据

泵站监测数据：

出水流量、前池水位、各项水质指标、电

压等运行工况参数

排水系统数据污水处理厂监测数据：

实时进出水量、实时进出水质、排

水去向、运行工况等各项参数

排水管网监测数据：

管网中各监测点水位、流量、水质

等实时监测数据，管网维护及相关事件

数据

基础信息数据（点位、机型、监控对象、

供用商、建设时间、数据传输方式等：

视频监控数据

实时视频数据

事件基础信息：

发起人、联系方式、发起单位、发起时间、

事件名称、事件类型、发生时间、发生地、

坐标、描述、处置建议、附件等

事件处置数据事件流转状态：

勘查时限、截止时间、耍求反馈时限、截

止时间、处置科室、中心要求、附件等

事件评价信息：

事件起因、处置方法、事件影响等

管辖、执法、监管、巡查、养护的

用户信息数据

负责单位或人员信息

1.5.物联网数据管理

物联网数据管理主要实现物联网设备协议的适配、数据的实时采集与侦听、

物联网设备的管理。

本项目依托物联网技术，利用先进的通讯、计算机、数据采集中间件技术,

建立物联网数据采集与管理体系，实现所管辖河道水质、视频监控、管网监测的

远程数据实时传输到数据中心。该体系以各种总线网络、3G/4G通讯网络和计算

机网络作支撑，通过远程数据采集系统把分散在各监测点位的生产数据采集、传

输、存储到数据库，由数据中心进行集中管理、应用。

1、物联网数据采集要求

数据采集软件实现各类物联网感知数据的远程实时采集、传输与存储，包括

数据采集、数据转发、通讯接入以及监控终端四部分功能，它们实现数据采集、

数据包组织与转发、数据包接收、数据包解析入库、远程反控.采用实时数据库

的采集和存储方式，最大点数＞=1000点。

远程数据采集系统负责将各种数据进行错误校验、数据过滤、格式转换，然

后存入数据库，供其他业务模块使用。

远程数据采集系统包含发布在各处的数据采集客户端模块和服务器端的数

据采集服务模块，根据不同数据的接入方式选用不同的传送协议，在数据采集服

务模块实现数据的校验、过滤和格式转换工作。

远程数据采集系统主要完成数据采集工作，通过河道水质、视频监控、排水

系统等获取实时数据，利用3G/4G/Internet等新一代通信技术将数据传递到数

据中心，实现M2M物联。

为保证数据采集的正确性、稳定性和扩展性，数据采集层实现如下服务：

2、物联网数据采集功能

（1）多物联网传感器适配接入

支持多种网络数据传输方式：TCP、UDP、HTTP、串口等；支持多种数据传输

协议，协议扩展方便，能支持各种设备的接入。当系统运维后期，需采集新的其

他传感器的数据时，只需修改配置文件，即可实现快速的适配接入，无需修改系

统代码，系统数据接入扩展性强。

（2）数据重传、补传

当网络出现故障、数据中心断电其他原因造成物联网监测数据未及时上传时,

能实现前端数据保存。当网络恢复或数据中心断电恢复后，其他原因造成数据未

及时上传时，以保障数据采集的完整性。

（3）异常告警

系统自动统计分析数据采集的实时状况、数据的上传情况，当发生数据采集

异常（如数据丢失等）、数据上传异常（如通讯中断、连接未响应等）时，系统

即刻通过手机短信进行报警。

（4）数据上传方式

数据采集系统兼容有线和无线两种传输方式，支持轮询和主动上传两种数据

上传方式，以无线传输方式为主，以实现交互式实时、在线、连续传输，同时对

数据上传的周期可以进行设定和更改，保障网络通讯。

（5）设备在线监测

对接入系统的硬件设备，可实时获取设备的设置参数、工作状态、数据上传

情况等数据，在线监测设备运行工况，同时可支持设备的远程控制。

（6）设备故障诊断

支持设备在线故障诊断、自动故障告警。基于定义的完备的设备故障代码，

系统可在线诊断出各种硬件设备的故障类型；一旦发现故障，可以短信、系统内

报警等方式，自动将告警信息送达系统运维人员，以便及时处理；系统定期会自

动生成设备故障统计分析报表，辅助分析故障分布、产生原因，推进持续改进。

3、物联网数据管理功能

物联网数据管理功能体现在数据汇聚层，主要实现3大功能：

（1）来自数据采集层的海量并发接入；

（2）公共计算服务、数据持久化和数据缓存；

（3）对外提供数据服务访问接口。

数据汇聚层设计实现的优劣直接关系到平台数据接入、计算、存储的性能，

是整个平台的核心层。数据汇聚层实现的详细设计如下图所示:

外部应用程序

外海应川，力于

外郃成川FJF

符久化消息队列Cachettiff

Cache数

据

存

8h,

储

Sche

数据汇聚层设计图

数据汇聚层的用途是管理数据的入口和出口，整合数据的过滤、计算、汇总

等流程。利用服务集群优势，实现数据和业务剥离，降低开发成本，快速响应业

务需求，保证高并发环境下的数据处理速度。数据汇聚层实现了分布式多层处理

结构，集中管理配置信息。内部制定统一接口规范，提高协同性。整个数据汇聚

层包括4个核心模块,分别是数据接入模块、数据公共计算模块、数据存储模块、

接口服务模块。

（1）数据接入模块

数据接入模块利用Netty框架、负载均衡、消息队列等技术保证高可用和易

扩展。

Netty框架：是一个网络应用框架，有助于用户非常方便地开发高性能、高

伸缩性的网络应用。它通过JavaN10提供了一个抽象的、事件驱动的、异步的

位于各种传输协议（如TCP/IP和UDP/IP）之上的API,Netty的API将真正的

网络通信与应用程序隔离开来，开发者只需要关心要发送、接收的数据以及业务

逻辑即可。Netty框架的特点有：基于javaNIC类库开发；采用非阻塞方式的

异步传输；事件驱动；支持批量数据传输；支持TCP、UDP协议；控制反转的设

计模式（支持Spring）；采用优雅的松耦合架构；可灵活的加载过滤器机制；单

元测试更容易实现；可自定义线程的数量，以提高运行于多处理器上的性能；采

用回调的方式完成调用，线程的使用更容易。

负载均衡：对调用接入服务的客户端完全透明，把调用请求转发到应用服务

器。随着请求量增大，可以增加若干机器加入平台，处理外部调用请求，客户端

和应用服务器不需要做任何修改，只需要将新加入的机器IP地址加入负载均衡

器的配置文件。

消息队列：利用消息队列集群降低模块之间的耦合度。消息队列集群具有可

扩展、高性能高可靠性。单个队列平均读写速度可以达到100w/so资源调度功能

可以随意添加新队列，修改配置文件后，统一推送给用户，不需要重启服务，完

全实现热更新.队列集群可以保证集群内任一机踞宕机，都会无缝切换到另外一

台机器，不会造成消息的丢失。如果队列中得消息没有及时处理，会有相应的机

制将消息做“落地”处理，不会造成大量的内存占用，影响机器性能。

（2）数据公共计算模块

数据公共计算模块主要负责完成与数据相关的各种公共计算，如GPS计算、

报警计算等。所有计算均封装成服务的形式，作为用户订阅消息队列中的数据消

息，进行异步计算，提高系统的实时响应性能。数据公共计算模块对队列中为数

据进行计算、整合。每个计算模块封装不同的计算业务，模块之间完全独立。每

一类计算服务会包含多个计算模块，保证了计算服务的高可用、高可靠。新的计

算服务只需要遵守定义的接口规范，实现相应的接口就可以接入系统，保证了计

算层的扩展简单、方便。服务开发者只需要专注于计算业务的开发，不需要关心

系统平台架构的具体实现。

（3）数据存储模块

数据存储模块主要包括缓存和数据库两部分。

缓存：分布式缓存供外部数据请求。集群中的每台机器都有相应的热备，一

旦机器出现故障导致缓存集群中某台机器故障，备机随时可提供服务，不会对数

据库造成冲击。集群统一管理和调度缓存服务器，方便增加或减少服务器。利用

一致性Hash算法解决动态网络拓扑中的存储和路由，降低由于机器的变化造成

缓存的失效率。

数据库：采取读写分离的技术，利用多个Slave应对读请求，降低主库的压

力，减少主库的操作和连接。可支持SQLServer.MySQL、MySQL等多种数据库。

(4)接口服务模块

接口服务模块提供统一的数据访问接口，包括数据获取、接口管理、恶意请

求过滤、接口调用统计、权限控制等功能。接口服务模块实现了RM1、呢bService、

JMS等多种对外服务接口。

RMT：提供满足RMI规范的对外服务接口。远程方法调用(RMI)是一种计算

机之间对象互相调用末方函数，启动对方进程的一种机制，使用这种机制，某一

台计算机上的对象在调用另外一台计算机上的方法时，使用的程序语法规则和在

本地机上对象间的方法调用的语法规则一样。这种机制给分布计算的系统设计、

编程都带来了极大的方便.只要按照RMI规则设计程序，可以不必再过问在RMI

之下的网络细节了，如：TCP和Socket等等，任意两台计算机之间的通讯完全

由RMI负责。调用远程计算机上的对象就像本地对象一样方便。

WebService：实现整套的WebService接口，支持XML标准、WSDL和SOAP协

议。WebServices是建立可互操作的分布式接口的流行方法。外部应用程序可通

过网络协议和规定的一些标准数据格式(Http,XML,SOAP)来访问WebService服

务接口，通过WebService接口获取数据查询等一系列服务。

JMS：支持以标准的.JMS服务对外提供数据服务，方便与第三方进行数据集

成。JMS(JavaMessagingService)是Java平台上有关面向消息中间件的技术

规范，它便于消息系统中的Java应用程序进行消息交换，并且通过提供标准的

产生、发送、接收消息的接口简化企业应用的开发。

另外对于数据汇聚层的各个关键模块会有专门的监控模块，定时检查各模块

的技术指标，一旦指标超过预设的阈值，将利用短信报警的方式通知运维人员，

第一时间排查问题，降低宕机率。

1.6.物联网对象管理

物联网对象关联是对物联网数据采集对象的接入、存储、接口协议管理。

1.7.数据维护

数据管理主要是本物联网监测主要参数数据、空间数据及属性数据的综合管

理。包括水文、水质基本信息数据、监测数据及评价标准信息数据等。管理方式

可以分为：在线维护、数据批量导入、数据库备份与恢复、通过实时同步引擎实

时同步数据四种数据维护形式。其中，在线维护指在网页中以表格的形式对数据

库中的数据进行展现，然后对其中某些数据进行相应的维护管理。数据批量导入

是指根据系统所提供的模板，对数据进行整理，然后批量进行导入，例如人工监

测数据等。数据库备份与恢复通过对数据库操作来完成数据库的备份与恢复。实

时同步引擎用来实时同步不同数据源的数据或者基于情景案例分析的数据管理，

例如实时水文数据、水质自动监测数据等