大数据资源管理系统平台

wordword图1所示。图STYLEREF2\sSEQ图\*ARABIC\s21存储藏份系统拓扑图数据远程镜像是本方案的关键，光纤存储内置的镜像软件可以轻松实现两台存储之间的数据镜像。两台存储之间通过光纤进展连接，镜像过程完全通过存储来实现，不占用服务器系统的资源。存储数据远程同步功能通过将本地数据连续地复制或镜像到远程存储系统中去，以形成副本的方式实现对数据的保护，也是构建异地备份、异地容灾的最优存储解决方案。数据远程同步功能支持非常多的同步选项，具备充分的操控灵活性，允许存储系统管理员对数据同步操作做出优化。数据远程同步功能支持同步、异步等同步模式，并可在多种模式间做动态的模式切换，数据同步功能亦能与数据快照功能有效结合，扩展信息服用模式与价值。考虑水资源管理系统的实际应用，采用数据同步镜像的方式。数据备份设计由于水资源管理系统对数据的安全性要求非常高，一旦丢失将会带来很大的损失，因此建议对关键数据进展备份，当前主流的备份方式有本机备份、网络备份和LAN-Free备份，每种备份各有优缺点，下面分别对这几种备份方式进展介绍和比照：〔1〕本机备份在本机备份模式中，磁带库直接接在服务器上，而且只为该服务器提供数据备份服务。在多数情况下，这种备份大多是采用服务器上自带的磁带机，而备份操作往往也是通过手工操作的方式进展的。图STYLEREF2\sSEQ图\*ARABIC\s22本机备份优点是数据传输速度快，备份管理简单；缺点是不利于备份系统的共享，不适合于现在大型的数据备份要求。〔2〕网络备份网络备份中，数据的传输是以网络为根底的。其中配置一台服务器作为备份服务器，由它负责整个系统的备份操作。磁带库如此接在备份服务器上，在数据备份时备份对象把数据通过网络传输到磁带库中实现备份的。网络备份的优点是节省投资、磁带库共享、集中备份管理，缺点是网络传输压力较大。图STYLEREF2\sSEQ图\*ARABIC\s23网络备份〔3〕LAN-Free备份LAN-Free备份是在SAN环境中进展的，是指数据不经过局域网直接进展备份，即用户只需将磁带机或磁带库等备份设备连接到SAN中，各服务器就可把需要备份的数据直接发送到共享的备份设备上，不必再经过局域网链路。由于服务器到共享存储设备的大量数据传输是通过SAN网络进展的，局域网只承当各服务器之间的通信任务，而不是数据传输。

LAN-Free备份不仅可以使网络流量得以转移，而且它的运转所需的系统资源低于网络备份方式，这是因为光纤通道连接不需要经过服务器的TCP/IP栈，而且某些层的错误检查可以由光纤通道内部的硬件完成。

因此，LAN-Free备份具有备份速度快、网络传输压力小的优点，而且具有LAN备份所拥有的数据备份统一管理和磁带库资源共享的优点，这些优点也是水资源管理系统建设的主要原如此之一，因此建议各地的备份系统都采用LAN-Free备份机制。图STYLEREF2\sSEQ图\*ARABIC\s24LAN-Free备份表STYLEREF2\sSEQ表\*ARABIC\s21备份方式比拟备份方式优点缺点本机备份备份速度快备份资源不能共享，不适宜多主机的环境网络备份集中备份，充分利用磁带库的资源备份过程占用局部网络带宽LAN-Free备份备份速度快，不占用网络带宽，集中备份，磁带库资源共享。本钱高综合以上对各种备份方式的比照分析，采用LAN-Free的备份方式对数据进展备份，当计算机的软硬件发生故障时，利用备份进展数据库恢复，以恢复破坏的数据库文件、控制文件或其他文件。数据备份与恢复策略备份策略对数据进展备份，是出于保证数据的安全性、对系统信息做历史记录、在灾难发生时恢复系统等多方面考虑的。假如要详细、历史的记录数据，并在特定情况下恢复特定时期的数据，就要保证数据备份的频率、以与备份介质上数据的保存时间符合预期设计的目标。为了安全起见，备份系统应在备份完成之后自动将备份磁带“克隆〞一份，做异地保存。〔1〕业务数据库备份策略以周为备份周期，每周日进展一次数据库数据全量备份，其余每天进展数据增量备份；业务数据库全量数据备份启动时间为：每周六晚二十一时；业务数据库增量数据备份启动时间设定在每晚二十一时启动。〔2〕重要的数据文件的备份为保证用户系统可靠稳定运行，在业务系统运行时，形成了一些重要的数据文件。用户可以通过这些日志文件对业务系统进展数据稽核。我们采用如下数据备份策略对此类数据进展备份：以周为备份周期，每周日进展一次全量数据备份，其余每天进展数据增量备份；备份启动时间设定在每天晚二十四时自动启动；备份数据保存两周。〔3〕操作与应用系统数据文件数据的备份操作系统与应用系统的环境变量、配置等信息也相当重要。此类数据是基于文件系统的，为更好地保护这些系统数据，同时尽可能跟踪系统数据信息变化，我们采用如下备份策略：以月为备份周期，每月完成一次全量备份，每月中的周日进展一次数据增量备份；备份启动时间设定在每个周日的零晨三时自动启动；备份数据保存两个月。由于采用了先进的软、硬件配置，这种日常备份操作都在晚间系统负载较轻时定时、自动、快速进展，对系统日间使用不会造成任何影响。灾难恢复策略数据备份的唯一目的就是备份数据的恢复。因为它关系到系统在经历灾难后能否迅速恢复。灾难恢复操作通常可以分为两类。第一类是全系统恢复，第二类是个别数据恢复，再一种值得一提的是重定向恢复。一般来说，恢复操作比备份操作更容易出问题。备份只是将信息从磁盘上拷贝出来，而恢复如此要在目标系统上创建文件。在创建数据文件时有许多别的东西有可能会出错，这包括超出了磁盘容量，权限问题和文件覆盖错误等，备份系统能有效防止这些错误的发生，保证恢复的可靠性。〔1〕全系统数据恢复全系统数据恢复一般是指应用在服务器发生意外灾难导致数据全部丢失、系统崩溃或是有计划的系统升级、系统重组等，在全系统数据恢复时，我们首先考虑利用磁盘复制的数据，进展快速的数据恢复；对于磁带存储藏份系统，恢复方法如下：1〕当应用服务器系统瘫痪而需要恢复时〔非备份服务器〕：从本地或异地获得灾难备份磁带；安装应用服务器操作系统并配置网络；安装备份软件客户端；启动恢复界面，从备份服务器的索引表浏览该服务器系统全备份信息，触动恢复功能，备份管理软件在备份服务器端自动驱动存储设备，加载相应的存储媒体，将该应用服务器的全部数据恢复；检查数据差值，录入孤立丢失数据；批准系统运行，完成事故报告。2〕当备份服务器系统瘫痪而需要恢复时：当硬件设备更换、连接完成后，按以下步骤恢复服务器：从本地或异地获得灾难备份磁带；启动备份系统的恢复功能，恢复最近一次的全备份数据；完成事故报告。3〕当整个计算机系统损坏而需要重建业务时：当硬件设备更换、连接完成后，用异地保存的“克隆〞带按以下步骤恢复系统数据：将“克隆〞带装入存储设备；按当备份服务器系统瘫痪而需要恢复方案恢复备份服务器系统；按当应用服务器系统瘫痪而需要恢复方案恢复各业务系统数据。〔2〕个别数据恢复在实际使用中，个别数据恢复可能要比全系统恢复常见得多，利用备份系统的恢复功能，我们很容易恢复受损的个别数据。只需浏览备份数据库或目录，找到该文件，触动恢复功能，软件将自动驱动存储设备，加载相应的存储媒体，然后恢复指定文件。通常我们需要恢复存在磁带上的文件的最后一个版本，但我们还可以恢复文件的一个比拟老的版本，比如一些设计单位需要经常用到一些老的设计方案，就需将旧的文件重新恢复。〔3〕重定向恢复重定向恢复是将备份的文件恢复到另一个不同的位置或系统上去，而不是进展备份操作时它们当时所在的位置。重定向恢复可以是整个系统恢复也可以是个别文件恢复。重定向恢复时需要慎重考虑，要确保系统或文件恢复后的可用性。数据库运行维护管理数据维护开发水资源管理系统数据库维护系统，采用C/S与B/S结构相结合体系结构组织，由C/S局部完成数据量大，对运行效率要求高的局部功能，兼顾一局部可由DBMS提供的图形化管理工具完成，但是通过开发模块来实现局部功能可减少数据库管理员工作的局部管理功能。另外某些虽由DBMS提供但操作复杂、容易出错的管理功能也需要开发应用模块将操作简单化。其他涉与用户管理等对系统运行效率要求较低、数据量较少的局部功能采用B/S结构体系。两局部功能各有侧重，功能有局部重叠，相互结合可更高效地完成数据库维护工作。数据标准化信息入库前需按照相关标准、规X进展标准化处理。对于根底数据库、空间数据库、多媒体数据库，主要包括校核、补充、完善、整合等环节。对于在线监测数据，主要包括编码、校核等环节。对于业务管理数据，信息在业务管理中由业务管理系统产生，其标准化工作主要通过应用逻辑控制、数据库控制完成。代码类的信息入库前，需进展信息编码。信息编码必须遵循全国统一的标准。数据质量控制数据质量对于数据库至关重要，实施方案中需要对入库信息进展质量控制。要求从数据完整性、逻辑一致性、空间定位准确度、数据准确性、时相要求等方面加以控制，如下表所示。表1.6-1入库质量控制要求一级质量元素描述二级质量元素描述数据完整性用于描述数据整合成果的完整程度，包括整合后提交的图、文、数、表元数据完整性包括元数据是否提交和元数据采集信息是否完整文档数据完整性提交文档成果是否完整非空间表格数据完整性主要指数据库中非空间表格数据的完整空间数据完整性指空间数据在X围、实体、关系以与属性存在和缺失的状况逻辑一致性指地理数据集内部结构的一致性程度与其对同一现象或同类现象表达的一致程度。包括数据结构、数据内容(包括空间特征、专题特征和时间特征)，以与拓扑性质上的内在一致性概念一致性结构设计与标准的符合度格式一致性提交数据的格式与形式上与标准与项目要求之间的匹配程度拓扑一致性具有几何逻辑关系的点、线、面拓扑关系和逻辑关系的准确程度接边一致性相邻分幅的同一数据分层实体与属性保持的一致程度空间定位准确度指空间实体的表达与实体真实位置的接近程度数学根底要求用于表达实体空间位置的数学参数采用的准确程度，主要包括平面坐标系和高程基准选择，与其投影参数选择的正确性等接边要求相邻空间数据接边的吻合度转换精度在数据转换过程中，转换后数据精度应不丢失数据正确性用于表达或描述整合成果数据的准确程度，如空间实体的属性、类型表达是否准确，元数据、文档数据、非空间表格数据等内容是否正确属性数据正确性是指空间数据所负载的地理信息的正确性，本次技术要求指空间实体的属性值与其真值符合的程度。元数据正确性提交的元数据应对相应的数据集进展描述文档数据正确性提交的文档数据是否正确非空间表格数据正确性用于表达专题信息的非空间表格数据是否准确时相要求指表达某个时点信息的数据数据的时相数据库中数据所表达的某个时点信息运行维护水资源数据库的运行维护依托省水利数据中心，由XX水利信息中心对数据库进展运行维护管理，相应机房、电器设备、机柜建设等依托省水利数据中心建设，建设费用仅考虑本系统所需存储设备和服务器设备，相应基建、机房装修、备份容灾机房、电器、光纤铺设等设备与土建费用不在本系统中考虑，地市水资源数据中心由地市承当，相应建设费用不在本系统建设费用中考虑。建设内容数据库建设内容表STYLEREF2\s1数据库开发建设内容序号数据库部署位置开发数量部署数量1在线监测数据库城市饮用水水源工程监测数据库省水利厅、地市水利〔务〕局118水功能区监测数据库省水利厅、地市水利〔务〕局118地下水监测数据库省水利厅、地市水利〔务〕局118行政边界河流监测数据库省水利厅、地市水利〔务〕局1182根底信息数据库水资源评价数据库省水利厅、地市水利〔务〕局118给排水数据库省水利厅、地市水利〔务〕局118水环境数据库省水利厅、地市水利〔务〕局118水环境灾数据库省水利厅、地市水利〔务〕局1183业务管理数据库水源地数据库省水利厅、地市水利〔务〕局118地下水超采区数据库省水利厅、地市水利〔务〕局118水资源论证数据库省水利厅、地市水利〔务〕局118取水许可数据库省水利厅、地市水利〔务〕局118水资源费征收使用数据库省水利厅、地市水利〔务〕局118计划用水与节约用水数据库省水利厅、地市水利〔务〕局118水功能区数据库省水利厅、地市水利〔务〕局118水生态系统数据库省水利厅、地市水利〔务〕局118水资源规划数据库省水利厅、地市水利〔务〕局118水资源调度业务数据库省水利厅、地市水利〔务〕局118水资源应急管理数据库省水利厅、地市水利〔务〕局118水资源公报数据库省水利厅、地市水利〔务〕局118水资源年报数据库省水利厅、地市水利〔务〕局1184空间数据库水利工程专题图省水利厅、地市水利〔务〕局118供排水工程专题图省水利厅、地市水利〔务〕局118节水工程专题图省水利厅、地市水利〔务〕局1185多媒体数据库图像与影像数据库省水利厅、地市水利〔务〕局118音、视频数据库省水利厅、地市水利〔务〕局118规章制度与标准规X数据库省水利厅、地市水利〔务〕局1186决策分析支持库决策分析数据库省水利厅、地市水利〔务〕局118模型库省