湖北省基础水文数据库建设项目建议书.doc_第1页
湖北省基础水文数据库建设项目建议书.doc_第2页
湖北省基础水文数据库建设项目建议书.doc_第3页
湖北省基础水文数据库建设项目建议书.doc_第4页
湖北省基础水文数据库建设项目建议书.doc_第5页
已阅读5页,还剩91页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

湖北省基础水文数据库建设项目建议书编制单位:湖北省水文水资源局二OO九年四月审 定:审 核:校 核:编写人员: 参加人员: 1、 项目基本情况和现状1.1项目概况基础水文信息是国民经济建设与社会发展中重要的基础信息和战略资源,是水文事业服务于社会、经济、环境、交通、生态等领域的主体信息产品,是一切水事活动决策的依据。基础水文数据是水文数据中种类最多、质量最高、数据量最大、且代代相传的数据,是对地球水圈的最真实最完整记载,基础水文数据是人们改造地球水圈及生存环境的重要依据。基础水文数据主要包括降水、蒸发(及其辅助项目)、水位、流量(水量)、泥沙、水温、冰凌、潮汐等水文要素的调查、实测、摘录数据和日、旬、月、年统计特征值,以及与这些数据获取和使用紧密相关的水流衔接、测站分布、测站属性、断面信息、率定信息、方法信息、数据说明和数据可靠性信息,根据基础水文数据几乎可以实现所有的水文分析计算,将其与水利工程数据相结合,可实现水力学计算和水利计算。因此,基础水文数据库的建设与运行维护是重要的水文基础业务。我省水文经过50多年的发展,积累了大量宝贵的水文数据资料,如何将这些基础水文信息管好、用好,适应经济社会发展需要,是摆在我们水文工作者面前的课题。围绕新时期水利发展的总体思路,水利厅党组对水文及信息化发展提出了更高的要求,概括起来,就是力争进入“全国先进、中部一流”的地位。为此,省水文局党委提出了力争在2020年基本实现水文现代化的奋斗目标,并加大了工作力度,在水、雨、墒、旱情信息采集、水资源水质自动监测以及信息网络建设等方面取得了突破性的进展,初步实现采集自动化、传输网络化。但是,由于投入不足和监管机制未理顺等多种原因,水文监测最终生成的基础水文数据目前还仅仅是以电子年鉴方式或纸介质方式存储,没有建立基础水文数据库,现有的纸质服务方式已远不能满足形势发展的要求,为适应信息技术及网络技术的发展,提升我省水文行业信息的处理、存储、管理和运用能力,全面提高信息服务水平,已成为当前水文工作中一项十分紧迫的任务。在2007年6月实施的中华人民共和国水文条例(简称水文条例)中明确规定“水文机构应当妥善存储和保管水文监测资料,根据国民经济建设和社会发展需要对水文监测资料进行加工整理形成水文监测成果,予以刊印。国务院水行政主管部门直属的水文机构应当建立国家水文数据库”。为此,水利部水文局于2008年8月正式启动了国家水文数据库建设规划编制大纲的编制工作并将其列入全国水文基础设施“十二五”建设规划。在以上背景下,开展湖北省基础水文数据库建设显得非常迫切和必要。基础水文数据库建设与实时数据库和普通的中小型数据库系统建设有很大的不同,其建设必须符合自身的特点,主要特点有三:1基础性信息化建设分为网络建设和内容建设两个重要方面,网络好比是路,内容好比车和车站,只有网络没有内容的信息化好比高速公路上没有车没有车站,最多只是一种气势恢宏的摆设。基础水文数据库建设属海量优质内容的信息化,其信息化模式目前尚未确定,虽然水利系统网络建设已经初见成效,但网络化和内容信息化是信息化领域两个完全不同的方面,网络化的成功案例全球比比皆是,仅仅通过克隆就可以在不同的领域和地点取得成功,而内容信息化的行业性很强,需要大量使用领域的专门知识,按现有的内容信息化技术,其他行业的内容信息化解决方案很难移植过来,而水文系统目前还没有全面通用的解决方案,网络化的成功经验对内容建设又没有帮助,所以,基础水文数据库建设难度是很大的。虽然入手很容易,录入一些数据就算是开始建设了,但要做好、做全、做出效益、做得没有遗憾,是一件比任何水文水利最终应用系统都困难的事情。高标准大型数据库建设与普通中小型数据库建设相比,在技术实现和思路上有很大的不同,现有电子数据多按普通中小型数据库的建库思路处理和入库,数据处理工具极不完备,对数据的合成使用考虑很少,且不是职业化队伍实施,与基础水文数据库建设要求的高标准海量信息集成和专业化服务不相适应。基础水文数据是涉水基础设施和水利非工程措施建设的重要量化依据,其数据使用率很高,且被永久使用,其数据规模是海量,数据质量要求是水文数据中最高的,据推算,截止2010年我省基础水文数据总量将达到10TB,其中结构化数据总量约3GB左右,其软件除满足自身建设需要外,还为相关业务提供支撑。对于海量数据而言,靠人工处理,不仅效率低,而且难免有疏漏,很多数据处理必须依赖软件工具完成,必须打造专业化的信息控制管理工具。如今,各种大型基础设施项目纷纷上马,工程规划施工紧锣密鼓,江河湖库面貌日新月异,传统的抄抄写写复印已经不能满足大型基础设施建设对数据质量和时效性的要求,必须提供软件形式的信息服务,以便以基础水文数据库的海量优质数据为信息支撑,为大型工程建设快速提供大批量、多层次、高质量、精加工、易集成的查询计算服务。2.长期性由于作为数据来源的信息采集、勘测和整编工作是不间断进行的,每年都会产生新的数据,每年都必须对新产生的数据进行同化处理并入库,信息服务软件功能和性能也要不断提升,所以,基础水文数据库工作是一个长期性的工作,必须长期坚持,不轻言放弃。我省水文系统过去五十年收集的数据量相当大,数据总量已达10TB左右,因其基础水文数据永久流传,必须按高于普通数据的标准处理整合,为还原历史,方便后世的数据使用,还应不断追求更高的质量目标,在现有数据中,大部分数据没有电子化,已电子化数据半数不满足基本的出版质量要求,数据的整体使用还存在相当多的技术问题要解决,专业化设备还没有运用到电子化工作中来,可资利用的高效率软件工具还很少,这些问题,都需要长期的工作和研究,按现有投资力度,远非一个五年计划所能完成。3.创新性目前,除电算整编有固定的处理流程外,其他基础水文数据都没有全面且固定的数据生成工序,这些数据的数据量也是海量,如果不建立一套科学的工序和处理流程,这部分数据处理的质量和完整度将无法保证,从某种程度上讲,信息化是模式化业务的计算机实现,系统开发过程就是一步一步形式化,最终在系统中表现真实业务的过程,如果业务没有模式化,便不知道需要开发哪些系统和软件,即使开发出来,也因系统开发流于随意而功能不强,不利于业务发展,更不可能带动业务发展。随着自动信息采集系统的建成,资料收集逐步实现无纸化,但是,无纸数据如何与过去的纸质数据统合起来,成为一个整体,满足水文业务分析对整体性的要求,散落在各数据库中的数据如何组织起来,向用户提供优质的合成数据,满足用户的整体使用要求,如何向用户提供更多的数据产品?从全国水利系统来看,这些都没有固定的成熟的工序,也无现成的软件产品和成功的实施先例,规范规定亦很少,所以,基础水文数据库建设与实现传统业务信息化是不同的,首先必须建立科学的工序和处理流程,整合相关领域的所有传统业务数据,将相关传统业务软件中共性的部分提取抽象出来,开发出通用于相关领域的软件,使得相关传统业务信息化在基础水文数据库基础上实施,可以达到事半功倍的效果。基础水文数据库建设与普通信息化项目亦有很大不同,这种不同是数据规模决定的,普通信息化项目的很多处理都在人的思维跨度内,而数据规模达到一定程度后,肉眼难寻,记忆如梦,人力难及,数据似曾相识,即便终生追求一个通常认为简单的数据处理目标,常常很难如愿,随着数据规模的扩大,相应地必然要求大批量查询计算和大海捞针似的查漏排错,而这些处理,在现有市售系统中均很少见,加之现有软件堪为支撑者寥寥无几,所以,必须依靠软件来解决这些因规模扩大带来的问题,而软件的来源只能是研发,要针对这些“非常见”问题进行创新性开发。故基础水文数据库建设是一个创新性的基础项目,不仅软件要创新,服务要创新,数据处理工序也要创新。总体上讲,基础水文数据库不仅快速提供完整、准确且高度一致的海量优质数据和加工计算成果,而且方便各种用户对数据的整体使用和管理,为最终用户和最终应用提供全面的地表水信息支撑和软件支援。其建设和实现可解决防汛指挥系统等最终应用系统的多源数据同化问题和常规计算的组合应用等重要技术问题。所以湖北省基础水文数据库建设是深入开发利用水文水资源信息资源、规范基础水文信息建设的现实要求,是实现信息共享、改造传统工作模式、降低业务成本、提高工作效率的重要措施。1.2现状基础水文数据是对调查数据和各类水文监测站采集的水文原始数据,按相关技术标准要求,经过计算、统计、分析,去粗取精,去伪存真,按统一格式和要求,提供的水文水资源信息产品。多年来,地表水水文水资源数据一直按照水文调查规范、水文资料整编规范等行业技术标准进行人工分析处理,并采用刊印中华人民共和国水文年鉴和修建资料库存放的方式保存水文水资源数据,部分水文年鉴数据以电子年鉴的方式保存,没有建立标准的基础水文数据库和信息应用服务系统,对外提供水文水资源数据服务一般采用手工检索方式,服务手续繁琐,服务方式单一。在基础水文数据电子化方面,主要存在以下问题:1.数据电子化程度低,资料序列不全目前已实现电子化的数据主要是年鉴上的文字数字数据和自动采集系统采集的数据,由于自动采集系统建设年代较晚,所占数据比例不大,年鉴数据包括电算整编数据和纸质年鉴录入数据两类,因部分纸质年鉴缺失,导致纸质年鉴录入资料序列不全,由于很多测站数据不参与整编,且资料整编规范规定对短时段数据采取摘录的方式,丢弃小雨小水数据,导致所有年鉴数据序列不全,不利于枯水分析、水运和抗旱工作,在年鉴数据中,摘录数据所占比例最大,所以,电子资料序列不全的问题是一个普遍性问题,只有录入相应的原始资料才能补齐序列,而目前尚未录入任何原始记载。水文调查数据是年鉴数据和原始记载的延伸,目前也未电子化。总体上讲,在我省所有水文数据中,现有电子化数据只占一小部分。2.数据处理简单,数据质量不高现有电子数据分为手工录入、电算整编和自动采集三类,电算整编业务是从1998年开始的,电算整编数据质量很高,差错率低于1/20000。手工录入数据只有1997年以前水文年鉴的文字和数字数据,这些数据已经过两次人工校对和一次勘误,未进行数据审查,当时的勘误处理重点在逐日表,处理比较简单,未经过跨表校对和图形化校对,使得占大多数的摘录表和实测表勘误不到位,从工序上看,多数数据质量达不到1/10000的出版标准要求。自动采集数据的数据错误主要由设备故障、操作不当和外界干扰引起,从现有采集设备配置来看,数据质量一般,工序上还必须勘误。现有手工录入数据和电算整编数据同属电子年鉴数据,按1998年以前的纸质年鉴约出版了40多年计算,质量不合格的年鉴电子数据超过半数,而自动采集数据转换为标准时段后大体合格。总体上讲,现有电子数据半数未达到质量标准要求。3.数据产品线短,服务领域狭窄在现有电子数据中,只有部分文字数字数据,没有图片成果数据,年鉴上的图片成果也未输入电脑,而图片成果是水文技术骨干的重要技术成果和技术处理工具,是他们技术处理经验的直观表现,可用于深层次的数据勘误和数据加工。在现有数据查询处理软件中,包括各种商品化软件,数据加工能力普遍很低,不能提供半成品加工数据,由于数据存储都是没有冗余的,不提供半成品加工数据就意味着缺少大量的数据产品,即使建了库,就算库内数据齐全,也只有最基本的产品线,这会导致服务面不宽,数据使用率不高。4.数据分布零散,数据生成标准不统一现有电子数据由若干个部门管辖,数据难以合成使用,不仅不同数据源依据不同的数据生成标准,而且同一数据源在不同时期采用不同的数据生成标准,数据生成技术标准的不统一和数据源的分散给数据的合成使用带来了巨大的困难,必须对各数据源的数据进行同化整合处理,将数据计算和表示统一到一个更好的标准上来,而这个更好的统一标准和同化处理工序目前尚未建立,必须进行研究,以建立科学合理可长期使用的数据同化整合工序,使得数据不论是单个使用还是整体使用都很方便,避免用户亲自作专业化的数据处理。5.信息管理观念落后,数据处理水平不高没有建立基础水文数据库,缺乏先进高效的数据管理手段,数据管理成本高,对现有电子数据的管理没有多方参照比较和长序列处理的整体观念,不能提供图形化的数据维护和数据处理手段,更不能把加工结果作为参照对象,仅适用于普通操作员,不能满足行家里手的数据维护要求,在数据接口方面,未能提供数据共享接口,导致一些最终应用系统采取复制数据的办法新建系统或数据库,使得各种数据问题蔓延到相关的最终应用系统之中,埋下了大量的数据隐患。所以,现有电子数据远远不能满足高标准基础大库的信息管理要求,远远不能满足水利和社会发展对数据质量、完整性和服务时效的要求。6.投入零敲碎打,产能严重不足按正常进度和生产率,日常数据处理每年只能实现一两年数据的电子化,对于海量数据电子化而言,仅靠日常工作处理数据是远远不够的,必须依靠外援和先进的专业化技术装备,而外援和专业化设备都需要较大的投入,由于国家防汛抗旱指挥系统一期工程建设仅限于计算机网络建设,对基础水文数据库及其应用服务系统没有任何投入,而零星的投入远不能满足海量数据的录校和质量要求,导致现有数据大多没有实现电子化,已电子化的数据半数未达质量标准,资料序列不全、产品线不长等问题普遍存在,影响了数据的正常使用。7.服务软件缺乏,服务质量无法保证数据库理论要求不存储冗余,并不代表不提供冗余,根据库内数据生成的各种数据加工结果就是冗余,要提供高质量的信息服务,就必须提供冗余,冗余的提供是信息服务软件实现的,现有商业化信息服务软件都能提供查询,并能实现部分数据可视化,但数据加工能力很低,可提供的加工计算很少,更不可能提供组合计算结果,出于开发者对冗余的歧解和偏见,各软件均未考虑对冗余的参照,使得计算结果不能可视化,也不能再次参与计算。我省现在还没有基础水文信息服务软件,无法提供可视化的信息服务,无法提供数据加工结果,现有电子信息服务仅限于提供少量质量不高的数据,所提供数据的质量和整体可用性无法保证,且服务响应极慢。2、 建设的必要性和可行性2.1建设的必要性基础水文数据库建设是一个承上启下的创新性、长期性基础项目,其上游是调查、监测、整编等水文业务,是数据生产环节,其下游是水文情报预报、水资源规划评价、水环境保护等水文水资源业务和水工程规划、设计、施工、运行、调度等水利业务,以及公路、桥梁等越水基础设施建设运行和其他受水旱灾害威胁的实体建设运行业务,是数据的使用环节,基础水文数据库是上游业务的聚合和反馈,是下游业务的输入,是各领域建设和减灾的重要的量化依据,是水事科学决策的常备数据源。建设湖北省基础水文数据库,具有十分重要的意义,突出体现在:1.项目的建设是水利事业发展对水文工作的现实要求水文是国民经济的基础行业,是水利事业的重要组成部分,水文服务归根结底是提供水体信息,包括调查、监测得到的信息和分析加工得到的信息两大类,做好水文工作,为防汛抗旱、水工程建设、水资源管理和水环境保护提供更加优质的服务,对于解决新时期我省面临的水问题,推进水利现代化具有十分积极的作用。水文信息是水利规划、设计、工程建设管理、防汛抗旱的重要依据,做好今后一个时期的水文工作,当务之急就是要以信息化为手段,加快技术进步的步伐。2.是提高水文数据服务能力的需要2002年,我省按照水利部水文局要求恢复了水文年鉴的刊印工作,但由于缺乏与之配套的基础水文数据库管理和服务平台,电子数据不全,数据共享程度低,信息服务能力弱,数据管理及服务工作环境差,数据管理和服务方式落后,以致水文水资源数据的存储管理和服务能力严重落后于实际工作的需要。3.是贯彻落实中华人民共和国水文条例的需要2007年6月实施的中华人民共和国水文条例(简称水文条例)明确规定“水文机构应当妥善存储和保管水文监测资料,根据国民经济建设和社会发展需要对水文监测资料进行加工整理形成水文监测成果,予以刊印。国务院水行政主管部门直属的水文机构应当建立国家水文数据库”。为此,水利部水文局于2008年8月正式启动了国家水文数据库建设规划编制大纲的编制工作,并将其列入全国水文基础设施“十二五”建设规划。国家水文数据库由各流域委、省、市、自治区的基础水文数据库及各级节点组成,作为国家水文数据库的数据源头和存储实体,省级基础水文数据库的数据质量和整合程度对中央节点数据建设具有决定性的影响,因而必须和中央节点建设一并考虑。4.该项目是充分发挥水文自动测报系统作用的控制性工程目前,随着水情分中心建设的即将完工和后续省级报汛站、墒情及地下水、水质等自动采集测报项目的建设,向省以上报汛的站点水文信息采集传输基本实现自动化和网络化。但是,如何管理收集上来的信息,并用统一的软件平台向全省水文系统、各级防汛抗旱指挥部门和其他水利业务部门提供及时有效的信息服务,是当前应着力解决的问题,也是充分发挥水文自动测报系统作用的控制性工程。5.带动下游业务发展的需要随着基础水文数据库数据质量、完整性、一致性的提升,水文情报预报、水资源分析评价、水环境保护分析、涉水工程规划设计运行、防汛抗旱调度等工作成果质量也会随之提高;一些最终应用系统通过拷贝或“引用”基础水文数据实现信息化目标,基础水文数据的质量改善和数据量增加必然导致这些系统的在线分析服务水平提升;随着基础水文数据库运行环境的改善,各种下游业务工作的数据处理速度必然随之加快,相关工作的效率自然提高;随着基础水文数据库支撑软件的完善,相关业务的科学性和严密性随之增强,相关业务的软件开发必然会大幅简化,使相关业务人员从繁琐的数据处理编程中解脱出来,专注于最终业务逻辑的实现,使用户可以快速调整计算方案,业务流程的敏捷性也随之提升。6.水文现代化管理的需要做好当前和今后的水文管理工作,需要我们借助现代化的手段,提升管理的效率和效能,进而促进各项工作的有序开展。需要对管理工作所涉及到的大量信息进行整理和规范,建立基础水文数据库,并建立切实可行的更新机制,建成准确可靠、全面完整的信息源,开发应用软件系统,通过网络为省市水文领导和其他管理人员提供基础信息和分析统计成果,为现代化的管理奠定基础。7.政府科学决策的需要近年来,为了满足政府科学决策和促进经济社会可持续发展,国家对资源环境基础信息化工作非常重视,气象、科技、农业等行业的相关投入明显加大。鉴于国家基础性自然资源的重要性,水文水资源数据2003年被科技部纳入国家科技基础平台科学数据共享中心,2004年又被列入国家自然资源与地理空间基础信息库的水利资源数据分中心,因未能立项,导致基础水文数据库建设项目无法启动,使得基础水文数据库建设远远落后于同属地球科学类的国土、测绘、气象等行业,严重制约了国家环境资源基础信息整体效益的发挥。随着工业化的发展和人们科学意识的增强,我省水资源、水污染、农村饮水和相关的生态问题日益突显,政府的水事决策必然会越来越多地利用基础水文数据,以便更好地利用水资源、改造水环境、减少洪旱灾害,满足经济、社会和自然环境协调可持续发展的需要。2.1建设的可行性建设基础水文数据库,促进水文信息化的快速发展,对于加强水文业务管理,更好的服务于防汛抗旱、水资源管理、水环境保护等工作,发挥水文在经济社会发展和全面建设小康社会中的基础作用,都具有十分重要的意义。因此,该项目的建设不仅是非常必要的,而且在技术、管理、信息安全等方面也是可行的。本项目所采用的IT技术主要涉及计算机网络、数据库、计算机图形处理、软件开发等方面。IT领域的这些技术现已十分成熟,可以选择符合需要的具体方案加以实施。第一,可利用已经建成的湖北省水利(防汛)计算机广域网和省市两级水文局的计算机局域网,广域网已经经过两年多的运行考验,可以提供包括数据、语音和视频的高带宽传输,无论是覆盖范围,还是网络性能,均能完全满足本系统的要求。第二,水利部已于2005年颁布基础水文数据库表结构及标识符标准SL324-2005,下文简称库表结构标准,规范了数据库表结构,本项目的数据库设计利用水利部颁布的库表结构标准建立。第三,从上世纪八十年代开始,水利系统就在开发软件,已有多年的开发经验,已拥有几支职业开发队伍和公司。采用“集中部署、统一使用”的模式建设,运行管理的重点在省局,市州水文勘测局主要承担校对、勘误和数据更新任务。因此,对市州一级来讲,运维任务不重,重点就是做好省局的运维工作。省局设置有信息网络处,该处已有20多年的历史,集聚了一些具备专业知识和运维经验的技术人员,除承担全省水利(防汛)计算机广域网、厅机关局域网的运行管理外,还承担水文信息化系统的管理维护任务。系统建成后,将交由信息网络处管理,因此,该项目建成后的运行管理不存在问题。系统的安全管理利用省水利网络平台的安全体系进行,已经配置的防火墙、防病毒、身份认证、安全检测等系统,在一定程度上可以保证系统安全运行,随着整个网络安全措施的不断完善,系统安全性还会得到进一步的提高。本系统也将设置特定访问控制策略,根据用户登录的地点和身份,决定不同的用户能够获得与之身份相适应的信息。同时,在系统运行维护和使用中,将建立严格的管理制度,并进行严格的监督和检查。通过上述措施,配合系统内建的内网安全、镜像节点、数据备份手段和数据重生技术,可以确保信息安全。3、 建设目标和标准3.1建设目标依据有关标准规范,利用全省水文系统几十年的资料积累和技术沉淀,建立科学合理的数字化处理工序、信息集成处理流程和电子数据同化整合工序,以全序列、全方位、全程信息收集、处理、存储、维护和服务的整体观念,运用现代信息技术,打造优质高效的建库工具,进而建立湖北省基础水文数据库,实现基础水文资料电子化,并开发功能齐全、使用方便、可视可控、具备大规模数据处理能力、支持组合式计算的基础水文信息服务及数据库维护管理软件,形成我省基础水文信息服务平台,为省市两级水文管理机构和能够接入水利计算机专网的用户、外网相关用户及智能手机用户提供全面的信息服务,显著提高我省基础水文信息管理和信息服务能力,为我省防汛抗旱、水工程建设、水资源管理和水环境保护提供有力的信息支撑和工具支持,为各种与水文状况有关的基础设施建设项目提供优质、快捷、完备的信息服务。3.2建设标准数据表示、存储、输出和计算处理均按最新标准,由于基础水文数据源于各时期的各领域数据,而各时期各领域的技术标准有所不同,应建立旧标准与新标准数据之间的转换关系,并按这种转换关系将数据转换为符合新标准,所以,基础水文数据库应按新标准建设,在数据入库之前,要对所有旧标准数据进行精确的同化处理。应遵循的主要规范分为业务数据生成规范(用于数据同化整合)、制图规范(用于矢量化和数据可视化)、信息化表示与存储规范(用于数据存储、操作控制及数据同化)、水文水资源计算规范(用于水文计算服务)、水力水能计算规范(用于水利计算服务)五类。应遵循的主要标准规范如下:(1)基础水文数据库表结构及标识符标准(SL324-2005);(2)水文基础设施建设及技术装备标准(SL276-2002);(3)水文资料整编规范(SL2471999);(4)河流推移质泥沙及床沙测验规程(SL43-92);(5)水文调查规范(SL196-97);(6)W3C制定的XML国际标准体系;(7)OpenGIS 地理置标语言(GML)实现规范;(8)地理格网(GB 12409-90);(9)数字地形图系列和基本要求(GB/T18315-2001);(10)地形图数字化规范(GB/T17160-1997);(11)国家基本比例尺地形图分幅和编号(GB/T 13989-92);(12)国家基本比例尺地形图图式(GB/T20257-2006);(13)国土基础信息数据分类与代码(GB/T13923-92);(14)专题地图信息分类与代码(GB/T18317-2001);(15)基础地理信息数字产品元数据(CH/T 1007-2001);(16)地球空间数据交换格式(GB/T17798-1999);(17)水利地理空间信息元数据标准 (SL 420-2007);(18)水电水利工程基础制图标准(DL/T 5347-2006);(19)水利水电工程制图标准 基础制图及土建图(SL 73.1-95);(20)水利水电工程制图标准 水工建筑图(SL 73.2-95);(21)水利水电工程制图标准 勘测图(SL 73.3-95);(22)水利水电工程制图标准 水土保持图(SL 73.6-2001);(23)防汛抗旱用图图式(SL 73.7-2003);(24)水资源评价导则(SL/T238一1999);(25)水文情报预报规范;(26)水利水电工程水文计算规范(SL278-2002);(27)水利水电工程设计洪水计算规范(SL44-2006);(28)水利工程水利计算规范(SL104-95);(29)灌溉与排水工程设计规范(GB50288-99);(30)水闸设计规范(SL265-2001);(31)湖北省防汛指挥系统技术大纲;(32)其它有关技术法规和行业标准。4、 建设规模和内容4.1建设规模以基础水文数据库的库表结构,存储地表水整编数据、图片成果、水文水资源调查成果、自动测报数据、工程站运行工况的全序列资料及相应的方法信息和站网信息。本期工程处理存储的数据量约2TB左右。建设湖北省省级基础水文数据库和一个异地镜像节点以处理、存储和管理数据,并按各种用户需求提供信息服务。省级基础水文数据库位于湖北省水文水资源局,下文称为省局主节点,异地镜像节点位于广域网中的某个测站,其数据存储内容与省局主节点完全相同,其信息管理和信息服务软件也与省局主节点完全相同,只是配置要低一些。即省局主节点是生产系统,镜像节点作为信息源的容灾备份,是省局主节点的应用级备份系统。4.2建设内容水利工程和其它涉水基础设施规划、设计、施工、运行、调度常常需要依据完整准确的水文序列,而要做到数据完备,必须做到工序完备和工具完备,要按照科学理论,设计合理的工序和数据处理流程,要运用最新技术和职业化装备,打造专业化的数据处理工具,以保证数据的完整性、可靠性和一致性,并满足大型和重点项目的大批量、全序列、多方位数据提取和处理需要。系统建设包含数据同化、数据存储、数据备份、信息服务等四个方面的内容,又分为数据内容建设、工序建设和工具建设三个层面,工具建设分为建库工具和信息服务工具两个方面,建库工具是数据生产人员、信息管理人员和系统运行维护人员使用的工具,信息服务工具则是为最终用户打造的数据检索和数据加工工具。系统建设的各方面各层面都不可偏废,对高标准海量数据库而言,各方面都相互关联,偏废任何一个方面,都意味着系统建设质量的全面下降。基础水文数据库的电子数据是需要世世代代传承下去的数据,对数据完整性和准确性的要求极高,不允许有丝毫的遗漏,不允许有任何不规范的数据改变,所以,无论是工序建设、工具建设,还是数据内容建设,其建设标准都比普通的信息系统高得多,建设工作量至少比普通系统高出一个数量级。在数据汇集工序方面,对于只有纸质资料的,要录入校对,已形成电子资料的,要去粗取精并实现结构化,各种资料应按科学规范的工序同化整合,使得不同来源不同基准的同种数据基于同样的计算方法,并采用统一的基面高程、计量单位、格式和符号表示,以形成一个易用的整体,对不同种类的数据,按实用的组合归并整合,方便最终应用。在建库工具方面,应为数据生产人员和信息管理人员提供职业化的装备,并开发高可视化、高可控性、高集成度且支持深度处理的数据维护软件,使数据维护可以按多方参照比较和长序列处理的整体观念进行,解决关系数据库不存储冗余带来的冗余参照比较问题。在信息服务方面,应为数据使用者提供可视化的信息查询计算软件,能快速、灵活地以图、文、声、像、视频等方式提供查询计算结果,用户不仅可得到可以直接嵌入各种专题报告的查询结果,而且可以得到半成品的加工数据,虽然这些半成品数据都属冗余,但可以大大减少用户数据加工工作量,海量数据库多为大项目服务,大批量数据加工带来的时效性提升是很显著的,所以大批量数据加工软件是大型数据库信息服务的必备工具。为扩大信息服务的覆盖面,不仅为PC用户提供专业化的查算软件,而且应为智能手机和PPC用户提供可视化的查算服务软件,使他们可以随时随地访问数据库,并在服务器端的帮助下进行各种计算。5、 建设方案基础水文数据是水文数据中质量最高、数据量最大、用途最广、流传最久的数据,其基本数据形态有文字、文档、位图、音频、视频,其组合形态有公式、文章、矢量图、流媒体等多种,几乎囊括现有的所有数据形态。基础水文数据库存储基础水文数据,其建设涉及地理、气象、水文、水资源、水利、计算机、通讯等多个专业门类,其总数据规模约10TB,在使用过程中,数据组合五法八门,数据与公式方法的耦合因站因人而异,难以穷举,所以,无论从数据规模,数据组合使用,还是数据加工的复杂程度来看,基础水文数据库都属于大型数据库。是信息化基础设施,所以,基础水文数据库建设是一个复杂的系统工程,是对信息流、常见方法流的全程控制和集成,是实际业务工作中大多数经验和方法的计算机软件实现,一个实用的基础水文数据库并不只是存储全部数据,也不只是实现一个查询处理软件,提供给某一部门的工作人员使用,而是严格按高标准完成全部基础数据内容建设,包括相关的规范指标、工具、制度、工序和处理流程建设,并为各领域的最终用户提供通用的满足各层次需求的查询计算工具,甚至为最终应用系统提供基础计算,以简化其处理过程并降低编程复杂度。由于该项工作过去开展的很不够,不仅经验不足,而且尚未建立科学合理的工作流程,可遵循的标准规范也很少,在许多环节都要研制新的标准规范、处理流程和工艺,建设难度和工作量都相当大,因而是一项创新性的基础工作,应综合运用地理、水文、水利、计算机、通讯、数据工程和逆向数据工程的理论和技术来解决其建库和使用问题。5.1建设方案与系统边界系统总体结构见图51。1、水文行业结构化数据分类及数据之间的包含关系每一个站的水文数据常常有几套,通常分为原始记载、报汛数据、整编数据三套,三者各有侧重,整编数据是精度最高使用范围最广的数据,在内容方面,三者的内容有交叠,也互相补充,任何一套数据都不能完全取代其他数据,如整编数据中就缺少原始记载的枯水摘录数据,也不含报汛数据中的闸门开孔数据。可以说,除了自动采集的数据外,没有哪一套数据是完整的。每套数据又分为纸质和电子两个版本,从某种程度上说自动采集数据相当于原始记载的电子版,电子版与纸张版数据存在差异,整编数据电子版完全涵盖纸张版,报汛数据电子版完全涵盖纸张版,总之,电子版的数据不仅精度高,而且内容齐全,有了电子版就不需要纸张版,但电子版与纸张版是不同时期的作品,有电子版的年份往往没有纸张版,有纸张版的年份往往没有电子版。对纸张数据而言,原始记载完全包含了报汛数据,有了原始记载和整编数据就不需要报汛数据,对电子数据而言,整编数据和原始记载两者同样蕴含了报汛数据。所以,要使水文结构化数据完整齐全,不必存储报汛数据,但必须存储全部整编数据和原始记载,在录入方面,可以利用报汛数据,以减少录入工作量。2、 数据存储内容因整编数据精度最高,应以整编数据为基础,补充整编数据中没有而原始记载中有的数据,对于未参与整编的站点,应存储其原始记载,总之,要保证每一个站点有一套最齐全的数据供用户使用,对于精度不符合要求的数据,要进行处理并入库,要实现所有水文站点的所有地表水数据入库,包括临时设站观测的站点的数据入库,入库之前尽可能处理数据以提高数据精度。除此之外,还必须存储基础水文数据库表结构及标识符标准SL324-2005规定的全部数据,数据存储内容包括:(1)地表水整编的全部成果(2)未整编站(含遥测站)的所有实测成果(3)所有纸质原始记载(4)全部水文水资源调查成果(5)报汛的水闸及溢洪道泵站运行数据和相关的工程推流参数(6)所有可以收集到的关系图、分布图和与水文业务关系紧密的工程图(7)所有在用的计算公式、查算表和计算参数(8)所有与推流计算有关的工程指标(9)所有与地理计算(可用于区域水量平衡)有关的分区参数、区站关系(分区及区域的进出水关系)和站点之间的水流衔接关系(10)技术报告为避免数据量过于庞大,地下水和水质数据存储不列入本期建设。由于目前图像识别技术还不成熟,卫片航片判释的准确性很低,图像信息还不能被最终应用系统识别,因而不能直接用于计算,系统设计不考虑使用遥感图像信息。古代水文数据涉及考古、测量,耗资巨大,也不列入本期工程数据范围。以上所述,是基础水文数据库应存储的全部数据,概括地讲,就是除水质和地下水数据以外的全部近现代地表水数据,考虑到按高质量标准存储全部数据要求的经费投入很大,工作量也相当于日常工作的10倍左右,本期不考虑纸质原始记载的入库和数据同化问题,但必须实现所有电子化数据、图片成果和水文水资源调查成果的入库存储,对原有电子数据和自动采集数据也不考虑全面校对以达到高质量要求,但在数据同化过程中发现的影响同化整合的遗漏数据应全部补充录入,发现相关低级错误时应校对并及时改正。3、 数据存储形态库表结构标准中规定应为结构化形态者,不仅仅保存其结构化形态,而且保存其非结构化形态,因非结构化形态多为影像格式,且是结构化形态的原稿,后文称为原稿影像,库表结构标准中未规定应为结构化形态者,保存其非结构化形态,应在不违反标准的前提下,尽可能保存其结构化形态,内容为文档和文章者,应保存其XML结构化形态,图上文字和数据还应以结构化形式保存。4、 节点分布范围由于经费有限,基础水文数据库目前只建设省水文水资源局节点和一个镜像节点,不考虑各地市州节点建设。镜像节点只镜像各服务器、服务器端连接设备、数据库和服务器端软件系统,不镜像专业化数据录入设备和软件,省水文水资源局节点和镜像节点之间采用复制技术实现数据同步。5、 硬件及网络边界系统应充分利用现有的、在建的和规划中硬件基础设施,考虑到硬件基础设施建设是国家统一规划统一实施的,系统完全不考虑网络和硬件基础设施建设,只列出本项目所必需的硬件载体和系统软件购置建议。对工序繁多的海量数据处理而言,要求的设备和软件比较多,设备之间以及设备和系统软件之间的配合默契非常重要,中档配置的最佳组合性能上往往不逊色于高档配置的普通组合,而价格却低得多,本着少花钱多办事办大事的原则,在硬件上采用性价比高的中档专业化配置的无阻塞组合,针对不同环节的数据处理特点,对关键的零部件适当高配,对镜像节点和使用频率较低的设备适当低配,在系统软件方面,关键的系统软件采用高端软件,以减少开发工作量,保证软件购置开发和数据处理的总费用最少,而功能总和却最大,且保证若干年内不被淘汰,系统软件的购置数量和授权数以满足需求为限,一种系统软件最多只买一套,可买可不买的坚决不买。功能略显美中不足的系统软件应进行二次开发以弥补其缺憾。6、 系统设计思路及功能要求在基础水文数据库及其系统中,业务是主题,数据是主对象,功能操纵的是数据,实现的是业务,业务复杂则数据操纵也复杂,增值数据只用于增值业务,基础数据几乎用于所有业务,包括基础业务和增值业务,水文数据多连续序列,而现有数据库理论和产品均不适用于连续时间序列计算,但适合其存储,因此,要有计算支持,要涵盖所有常规水文业务,仅仅采用数据库设计方法论设计系统是远远不够的,数据库设计方法论用于表结构和简单的查询软件设计,如今表结构已经有规范确定,而水文数据处理属连续序列处理,与基于离散数学的现有RDBMS广泛支持的离散序列处理有很大的不同,要提高数据使用率,必须采用软件设计方法论进行设计。因基础数据库不只用于某个专项业务,它几乎用于所有专项业务,对系统设计的要求更高,如果采用编程主导,想到一点加上一点功能,会遗漏很多功能,难以打造出好的系统,也会增加编程的复杂程度和修改量,所以必须在编程实现之前做好分析设计,以设计为主导。有些系统,看似功能差不多,输出图形的形式相同,操控也相差不大,但实用性大不相同,主要是用到的数据种类和数据粒度范围大不相同,适用的数据种类越多,处理的数据粒度范围越大,程序内部的抽象程度显然越高,实用性自然越强,使用范围就越广,现在市场上很多成功的商业软件都属于这类产品,相反,有些软件则只能用于本部门或本人,我们把功能分为普及功能和专业功能两类,水利行业的一些商业化软件普及功能大同小异,专业功能则差别很大,大多数系统没有专业功能,有的只有部分专业功能,拥有全部专业功能的产品极为罕见,很少有软件能称为专业版,这里所说的专业功能并不是专业用户的专利,专业功能对普通用户来讲并不是无用的,只是普通用户限于日常工具简陋,习惯于进行粗放的处理,如果有专业化的工具,工作也会日益精细,如果大家都用那些专业功能了,那么这些专业功能也就变成了普及功能。所以,专业功能有利于与用户形成良性互动,使用户改进工作,用户工作改进后会产生进一步的业务需求,普及版本泛化有余而特化不足,大多只能提高用户的工作效率。本项目提供从录入到信息服务的全程专业化软件实现,不仅录入校对是专业化的,信息服务软件也是高度专业化的。7、 可视化程度要提高水文数据使用率,必须提高可视化程度,数据输出形态应涵盖所有主流的输出形态,使数据能以其适用的所有形式输出,并能以图形形式编辑。对于非结构化信息,采用音频、视频、图片、文章等形式输出,在结构化数据输出方面,系统提供所有形式的通用表格和图形输出,通用表格主要用于表示单要素或多要素时间序列数据,图形多用于单要素数据,通用表格分为多要素表格和单要素表格两大类,多要素通用表格主要有基表(及视图)的直接映射、年鉴表等表式,单要素通用表格主要有简表、交叉表和分组表三种表型,除用户指定表格样式的数据外,其余数据均可用通用表格样式输出,定制表格是用户专门指定的表格样式。各种表格均应可排序、分栏、分页、排序、转置、编辑,可以存盘和从文件中载入。由于是基础系统,不提供专用表式(定制表格)和专用图形输出功能。虽然系统只提供表格、图形、图像、音频、视频等的通用输出形式,但必须为所有数据提供所有可能的通用输出形式,不仅直接查询的结果要可视化,而且数据加工的结果或中间结果都要能够实现通用形式的可视化。所有显示数据,不论何种形式,均应能存盘和打印,原来存盘的结果可重新调入,以便参与其他计算,外来数据也可随时调入显示。数据维护不仅要提供表格形式和XML形式,更要提供图形化的数据增删改功能,让用户于拖拉之间轻松修改和校勘数据,还要提供图像和多媒体等非结构化数据的修改手段。8、 加工计算基础水文信息服务并不只是简单的查询,必须提供基础的计算支持,一方面可以向用户提供半成品数据,另一方面可以为信息管理人员提供更深层次的参照信息,帮助他们进一步提高数据质量。水文专业计算和统计多针对连续序列,故专业版必须至少提供连续序列常规计算功能,目前,在数据层面,库表结构已经提供了支持常规计算的各种参数、公式和查算表,这为软件层面的计算部分打下了信息基础,为区别于仅仅用于某个部门的水文水资源软件,必须提供更为基础的计算支持,和那些极为专业化的软件相比,基础的计算支持应该更为底层,甚至应该为增值系统提供软件支撑平台,作为基础和支撑,系统软件应该是专业系统的进一步抽象和泛化,功能上涵盖所有专业系统(包括水文设计等行业外的系统)的常规分析计算功能,按照“优先使用对象组合,而不是类继承”的面向对象设计原则,软件系统在形式上应是组合式的系统,用户通过组合使用,实现全部常规水文分析计算,以最少的模式模拟最多的查询计算方案,实现更多的功能组合,可显著减少编程量,缩短开发周期。传统的水文水利应用软件一般针对具体流域、具体河流和具体应用,不可能为每一个流域开发软件,也没有人力物力为每一种应用开发软件,系统虽然不能直接解决具体流域、具体河流的具体应用问题,但用户至少能够通过多步操作解决具体的常规分析问题。专业系统是基础系统的特化和补充,其常规分析计算可调用基础系统的相关功能实现,特别的计算如大型水文水资源模型的非常规处理,则是各专业系统的特有功能,如此分工,有利于大规模复用常规数据处理和计算代码,减少增值业务的软件开发工作量,并提高软件规范化程度。所以,为避免功能重复和职能重叠,基础系统不应为每一个专业部门开发一套专门供他们使用的软件,而应提供组合式的计算和数据输出支持。由于相关标准尚未出台,且支持组合式计算的组件目前尚无实用的产品,现在只有数据输出和数据维护部分有较为实用的产品,这些实用的产品配合规范完整的基础水文数据库表结构,可以实现一套普及版的实用数据库系统,离基础系统专业版相差甚远,只能起到提高工作效率的作用,对业务发展的推动不够,此种信息化只能算是最基本的信息化。然而,以现有的技术条件而言,即使倾全国水文系统之力,还难以实现一个完全支持组合计算的系统,所以,一期工程要面对现实,实现所有常规的单步计算,并重点研究单步计算之间的形式化数据接口,这种形式化数据接口采用树状的XML格式,只有几种形式,最理想的是只有一种形式,其数据粒度可大可小,以便上一步单步计算的结果作为下一步单步计算的输入,如果把计算顺序倒转过来,依然可以正常计算或逆运算,这样,同一种形式的数据,既可以作为输入,也可以作为输出,用户不用修改文件中的数据和变更数据格式,就可以实现多步计算,在计算过程中,中间数据和结果数据都是可复用的,只是操作步骤比完全自动化的多步计算多一些,这种在用户干预下实现多步计算的功能属于间接的组合式多步计算支持,这种功能经过几年的使用定型之后,可以建立一种定义语言来组织单步计算,使间接多步计算功能逐步发展为直接的自动多步计算实现,并为最终应用提供SDK,可望帮助最终应用系统减少50%以上的程序代码,这是二期或三期工程需要解决的问题。这样的技术演进针对接口开发而不是针对实现编程,且不改变原有的技术和代码,符合面向对象(OO)的思想。将这种可组合的计算功能从组件发展到中间件(Middleware),或直接以功能中间件形式实现,并使其运行在中间件平台之上,则符合SOA架构的要求。9、 系统组成系统分为数据同化子系统、数据存储子系统、数据备份子系统、信息服务子系统四个部分(见图52)。基础水文数据库数据同化数据存储数据备份信息服务库外格式转换数据装载库内格式转换站网同化基面同化统一计量单位统一标识算法同化平差生成全信息序列GIS导航序列查询序列可视化可视化数据维护序列计算计算操控批量查算格式转换实时整编内容同化年鉴表格还原序列分析序列查

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论