云南省级气象信息存储共享系统

1、云南省级气象信息存储共享系统云南省级气象信息存储共享系统可行性研究报告可行性研究报告云云南南省省气气象象局局2 20 00 06 6 年年 4 4 月月目目录录1 建设目的意义.11.1 目的.11.2 意义.21.3 项目开展必要性.32 现状及发展趋势.52.1 现状.52.2 发展趋势.83 需求分析.103.1 气象信息存储需求.103.2 气象预报、服务业务发展的需求.143.3 气象信息资源开发利用的需求.143.4 经济社会发展对气象信息的需求.153.5 系统功能与性能需求.15系统功能需求.15系统性能需求.224 建设内容.264.1 网络存储.264.2 数据库.274.

2、3 信息共享平台.274.3 异地数据灾难备份.275 信息存储共享的主流技术.285.1 网络存储.28现有信息网络存储的主流技术.28的主流技术.325.2 数据库技术.35主流数据库.35数据仓库技术.395.3 信息共享技术.406 项目的技术方案.406.1 网络存储.406.2 数据库.42气象资料的分类.42各类资料的存储方式.42主流数据库产品分析.43数据仓库.446.3 信息共享平台.45建设原则.45总体设计.46主要功能设计.49技术关键及应对措施.507 项目关键和应对措施.528 项目可行性和经济可行性.538.1 技术可行性.538.2 工程可行性.548.3 经

3、济可行性.548.4 环境可行性.549 投资估算和进度安排.549.1 投资估算.549.2 进度安排.5610 经济效益、社会效益分析.5611 负责单位审核意见.591 建设目的意义1.1 目的云南省气象信息存储共享系统既是国家气象信息系统乃至国家基础信息系统的组成部分，又是云南省级基础信息系统的重要组成部分。在国家气象信息共享平台建设的基础上，增强气象信息的自动存储、加工处理和综合分析应用能力，满足气象业务现代化的需要,实现与部门内外的信息共享。1.1.1 提高气象信息的存储管理能力提高气象信息的存储管理能力随着气象卫星、多普勒雷达、气象自动观测站等现代探测技术和网络通讯技术的快速发展

4、、目前获取的气象观测数据、资料成倍增长。通过项目建设，运用当今先进的计算机计算、存储技术和计算机网络技术，积极推进云南气象信息共享平台建设；统一数据源，提高气象资料的一致性。对观测信息进行科学组织、管理、存储，为各部门提供快捷、高效、准确、全方位的气象信息服务。建设气象信息服务系统建设气象信息服务系统建成先进的省级气象信息共享平台和现代化的气象信息服务系统，实现连通相关行业的信息中心的气象信息交换与信息共享，建成以数据库为核心的存储共享系统，实现信息管理的自动化和规范化。实现气象信息共享实现气象信息共享利用云南省气象宽带光纤通信网络、网络存储系统、分布式数据库，形成纵向和全国气象部门、横向和云

5、南省相关部门联通的气象通信和信息交换共享业务，充分发挥气象信息和网络资源优势，统一组织和管理云南省气象局所收集的省内乃至全球范围的观测资料及其分析加工产品，实现气象信息的共享和服务。异地存储提高气象信息安全性异地存储提高气象信息安全性气象信息是气象业务、气象科研和服务发展的不可缺少的基础，是无数气象科研工作者心血的结晶。通过基于网络的异地数据灾难备份的建设，能极大的提高气象信息的安全性。1.2 意义 1.2.1 充分发挥气象信息资源的使用效益充分发挥气象信息资源的使用效益随着社会的进步和经济的发展，人们对天气、气候的变化越来越敏感，相关领域的科学研究对气象数据信息的需求和应用越来越广泛。特别是

6、在气象部门内部，随着科技的进步和社会需求的发展，气候资源的利用、预报服务、数值预报的应用、高性能计算以及研究型业务的开展，对气象资料的规范化、实时化、共享化的要求越来越高，通过建设气象信息存储共享系统来提高气象信息化水平已成为云南气象发展的必然。本项目一方面提供基本气象资料并汇集其生成的各种气象服务产品，另一方面又对部门外部非商业用户提供气象资料服务而成为气象资料服务的主窗口。本项目的开展将提升气象资料的使用效益，为科技创新、政府决策、经济建设、国防安全和社会公众提供多层次的全面的气象科学数据服务。1.2.2 提高气象信息资源的管理水平和共享能力气象在人类挽救自身生命和财产的努力中具有独特的作

7、用，气象服务的公益性质和互惠互利性质，决定了气象信息资源的共享具有一定的基础，但提升其共享水平也存在着很大的局限性。目前云南气象部门的省、市（州） 、县三级宽带网络已建设业完成，全省所有市（州） 、县都通过光纤通信网与省级中心联成广域网络。随着自动气象站、自动雨量气温双要素站、自动雨量站的建设，各级各类资料大幅增加，目前我省已形成了基本的基础资料信息共享。但由于存在诸多原因，我省大量的历史资料、实时资料等气象信息的管理和共享主要采用半人工方式，缺乏联机自动检索和加工处理能力，随着气象与其他相关单位的信息交互日渐频繁，信息量不断增加，现在的信息存储能力难以满足业务、科研发展的需要，气象信息人工存

8、储方式的缺陷日益显现，我省气象部门的气象信息资源的管理水平和共享能力还远远不能满足内部需求，更不能够满足日益发展的社会需求。本项目将以信息存储管理、共享服务需求开展研究，将显著提高云南省气象信息的科学管理水平，增强气象信息资源的共享能力，提高全省业务服务能力。1.3 项目开展必要性1.3.1 满足业务科研需要满足业务科研需要随着网络通讯技术、新一代数值预报技术和天气预报业务的飞速发展、以气象自动观测站、多普勒雷达为核心的省级新一代气象综合探测系统的建成和投入业务使用，使我省可获取的气象数据资料量呈海量增加，所有这些，都对气象数据存储共享提出了迫切的需求和严峻的挑战。建立省级数据存储共享系统，对

9、数量庞大的信息进行科学地组织、管理、存储和使用，实现快捷、高效、准确、全方位气象资料服务，是气象业务、科研及社会经济建设的需要。省级数据存储共享系统的建设，将大大提高气象数据的收集服务能力，扩展收集的覆盖面及处理时效，满足云南省气象业务、气象科研不断发展的需要。满足服务需要社会进步、经济发展和科学研究对气象资料的社会共享提出了迫切的要求。对大数据量气象信息服务，用户一方面提出很高的时效要求；另一方面又要有统一数据源，提高可靠的气象信息。云南省级气象信息存储共享系统的建设，将大大地提高我省气象数据收集、服务的能力，极大地扩展收集的覆盖面及处理时效，为国民经济宏观决策，如应用气候规律开发云南，指导

10、政府经济建设、在减灾防灾制定重大决策中发挥作用。近年来，随着我省国民经济的持续、快速发展，各行各业对气候资料的需求大幅增加。尤其是对国家安全和军事战略具有重要意义的气候资料尤其是高空资料的需求极大增加，在开发西部的战略指导下，云南的发展急需气候资料部门提供详实、全面的全省气候环境数据，以指导我省合理开发。尽快建设气象信息存储共享系统，以满足国民经济发展和国防建设、保卫国家安全及领土完整、减灾防灾的需要是十分迫切的。2 现状及发展趋势2.1 现状气象信息存储管理作为基础气象业务工作受到越来越高度的重视，包括资料收集、加工处理、存储和服务的数据管理工作在标准化、规范化和现代化方面取得了重要进步。经

11、过多年的努力，越来越多的历史资料已经成为可供计算机管理的数字化资料，主要的气象资料已经进入数据库系统进行管理和服务，已经建立的大量标准、规范的可供用户直接使用的数据集产品，使气象资料的完整性、安全性和准确性得到越来越多的保障。以气象通信网络、高性能计算技术为代表的我省气象信息网络系统的发展已取得长足进步，以Sybase、SQL Server 为主的商用数据库管理系统在我省的气象信息业务中得到初步应用，以数据为中心的业务流程正在逐步形成。省局大院内的各单位以及部分市（州）气象局从自己的业务工作需要出发，陆续建立起针对本单位工作内容所需要的资料管理系统；这些资料管理系统有些是配有资料输入、处理、管

12、理、检索、以及备份归档，并带有一定监控等功能的较为完整、完备和规范的工作流程，并建立在较为可靠的硬件、软件平台上的业务系统，有些则相对简单，有些甚至仅仅是一些资料的累计，既无相应的信息检索功能，更没有质量控制、管理维护等措施。随着气象科技的发展，我省大气探测系统将以自动观测站、特种气象要素观测、大气本底站、多谱勒雷达、气象卫星、EOS 资源卫星等为核心建设新一代气象综合探测系统，获取的气象资料将呈海量增加。气象信息的增加和政府、社会服务需求的不断增长，现有的气象信息系统已不适应气象事业发展的需要，主要体现在:现有信息存储能力不足，管理效率不高，影响相关业务的开现有信息存储能力不足，管理效率不高

13、，影响相关业务的开展展现有气象资料种类较多，数据量较大。其中，常规观测资料（包括农气资料、业务服务产品资料等）数据量较小；而数值模式资料、卫星观测资料以及天气雷达观测及产品资料的数据量较大。由于缺少较好的存储系统，不同的信息暂存于不同的计算机和多种介质上，没有掌握对气象信息控制的主动权，无法对气象信息进行有效的控制，使得气象信息的综合处理不仅费时、费力，且无法在有效时间内获得业务或服务用气象数据。服务器系统几乎都是以单机形式运行，缺乏容错保护功能，很容易因某一服务器故障而导致业务的短时中断；运行在各计算机系统上的业务作业没有统一的数据来源、数据格式和缺少二进制代码级的兼容。管理分散、使用不便管

14、理分散、使用不便由于历史原因，资料管理工作一直未能很好解决，各类数据库系统分散于不同的部门。到目前为止，云南省气象档案馆所真正掌握的完整的气象资料仍仅限于常规气象观测资料及其相关的统计产品，其它如数值预报产品、数值分析产品、卫星观测及产品资料、雷达观测及产品资料、特种观测资料等资料的管理分散，保存时间不能满足业务及研究的需求，而且大量的数据使用后就丢弃没有延续保存，管理的疏漏导致资料使用的不便，以致影响一些业务及研究工作的开展。由于现有数据库的容量有限，致使大量的气象信息资料存储在光盘上，没有联机自动存储能力，对数据备份、信息的使用以及信息管理均有一定的影响。同时，部分常用的观测和产品资料由于

15、未做进一步的加工处理，使得众多的用户重复进行报文解码和质量控制工作。资料管理和服务缺少统一规范资料管理和服务缺少统一规范我省气象资料的管理还没有统一的规范，无论是在数据的收集、加工处理，还是在数据本身的格式上都没有形成统一的符合业务标准的规范；在数据的服务上，既没有统一的提供者，也没有统一的数据源，更没有规范的支持用户检索获取数据软硬件环境。信息资源的开发利用水平和共享程度低信息资源的开发利用水平和共享程度低尽管随着新的大气探测技术和业务的发展，各类气象信息资料大量增加，但存在着条块分割和数据壁垒的问题。由于历史原因，云南省局内已建立的各数据库系统相对孤立，没有共享功能，整体性弱。各业务、科研

16、系统为了自身系统运行的需要，只好另行建立基于本系统需求的资料库，或从对应的数据库中提取有关资料，保存于本地，虽然这些资料库中的大部分资料在其他数据库中已经存在，造成信息资源的严重浪费。目前，我局除实时气象资料能够实现联机调用外，大量的历史资料及特种观测信息检索主要采用半人工方式，缺乏联机自动检索和加工处理功能，自动加工处理能力明显不足，虽然已有部分资料在局域网内实现了共享，但其距离气象资料共享管理办法的要求还有很大差距，共享服务能力较弱，不能很好满足行业及社会共享需求。资料库缺少面向业务应用的灵活的检索接口资料库缺少面向业务应用的灵活的检索接口一般而言，资料库目前在检索功能基本上主要有联机检索

17、和程序调用检索两种方式：联机检索基本上局限于资料的浏览和下载，程序调用检索则必须在数据库服务器上运行。目前省局已建立的各数据库在检索功能大部分仅限于资料的浏览和下载，基本没有程序检索功能，大量的应用都跑在数据库服务器上，势必影响资料访问效率，无论从数据库安全，还是数据库服务器运行能力等方面考虑，都是不科学的。由此造成各业务、科研系统为了自身系统运行的需要，必须另行建立基于本系统需求的资料库，虽然这些资料库中的大部分资料在公用数据库中已经存在。2.2 发展趋势信息技术是当代发展最快的技术之一，信息技术的飞速发展为气象信息系统发展提供了良好的发展机遇和技术基础。 数据库管理技术数据库管理技术数据库

18、管理技术应用领域不断拓宽，适合于因特网上各种应用目的的管理技术将得到更进一步的发展，管理的数据类型多样化，开发工具更加丰富、智能化；多级管理技术、统一透明的应用界面日趋成熟，检索效率将进一步提高；并行数据管理技术更加成熟，并行查询算法更加先进；分布式数据库管理功能日趋强化，数据的一致性、整合性、安全性等更加完善；数据备份功能更加强化，把数据和数据库系统作为两个独立的资源，确保数据安全，建立一个高效、合理和安全的数据备份机制，是当今各大数据库开发商追逐的方向。 数据仓库和数据挖掘技术数据仓库和数据挖掘技术由传统的数据仓库向动态数据仓库发展。传统的数据仓库提供的决策信息是战略性的、长期的；动态数据

19、仓库是网络经济飞速发展需求驱动的产物，主要用于经营性决策，其要求决策要快，以防错失良机，造成重大的经济损失；数据挖掘技术是从大量的数据中找出有价值的信息，供决策使用，使决策者或被服务对象从中收益。随着人工智能研究的发展，数据挖掘技术也将得到相应的快速发展。 存域网（存域网（SANSAN）和网络附加存储（）和网络附加存储（NASNAS）技术）技术存储越来越成为气象资料共享的瓶颈和薄弱环节，如何更好地利用现有的网络通信优势，实现现有及未来的更多的气象数据的应用，使现有气象数据利用率和实时性得以大幅度提高，为精细化预报提供实时资料保障，更好地为气象事业服务，是我省迫切需要解决的问题。随着网络存储技术

20、的发展，近年来从应用为中心向以存储（数据）为中心的应用架构方向转移，其特点为：大容量及优异的容量扩展性；高速的 I/O 性能；高可用性；易于实现多主机、多OS 共享存储、多服务器集群高速、可靠的备份。存域网技术逐步走向成熟，并将成为数据管理技术对多级存储介质进行集中统一管理的较好的运行平台之一；网络附加存储技术性能不断改进，并将与 SAN 共存，配置在同一个环境中，达到优势互补。 数字图书馆技术数字图书馆技术数字图书馆技术的发展将为纸质历史记录的数字化（扫描、压缩成图像文件） 、信息化（提取出有结构的数据、存入数据库）提供技术方法。数字图书馆具有虚拟网络特点，是一个超大规模、开放性、分布式的数

21、字信息资源网络体系结构。能实现复杂信息的加工存取和海量信息存贮的功能。网络系统具有良好的兼容性、互操作性、可扩充性，并具有智能化检索功能，符合国际标准和规范。 信息共享技术信息共享技术以满足国家和社会公众对气象科学数据的共享需求为目的，依托成熟的业务技术体系，以现有气象数据资源为基础，通过整合集成，标准化和归一化处理，形成一批以大气圈层为核心，涵盖气候系统范畴的数据集产品；采用大规模商用数据库技术、层次化存储管理技术和 Web 技术，建设体系基本完整、项目较为齐全、质量比较可靠的共享气象资料数据库和可视化、分布式的气象资料共享网络服务平台，构建覆盖全省、网通行业、联结全国的基于 Interne

22、t网络的气象科学数据共享服务平台，为各方面用户提供全方位、多层次、网络化和可视化的气象基础信息共享服务。3 需求分析3.1 气象信息存储需求 从中国局下载的数据量估算从中国局下载的数据量估算中国局下发全球常规观测资料，每天 105MB。中国局下发数值预报产品资料 GRIB，MM5 资料（CN） ，每天约 210MB。HLAFS 资料（CH） ，每天约 45MB。T213 资料（BJ） ，每天 121MB。欧洲中心资料（EC） ，每天 1.5MB。日本降水量资料（RJ） ，每天 600KB。德国降水量资料（ED） ，每天 2MB。 本省收集的数据量估算本省收集的数据量估算气象卫星观测资料：接收风

23、云静止卫星云图每天约 3GB；每天接收 27 张风云静止云图，共 2.9GB。其中正点接收全圆盘图 24 张，每张 110MB；半点（5:30、11:30、23:30）接收半圆盘图 3 张，每张 72MB。转换格式文件每天 40MB；风云极轨卫星云图约 450MB；美国极轨卫星云图约 2500MB；EOS 卫星遥感资料约 2400MB；本省六部多普勒雷达观测资料：6 个雷达站每天传输的雷达产品资料约 432MB：每次（约 6 分钟 1 次）生成的 25 个雷达产品，一个站一次发送文件 300KB，一天300*6*240=432MB；6 个雷达站传输的雷达体扫文件（基数据）压缩后为 480MB：

24、一个站一天 80MB，6 个站 80*6=480MB。自动站资料：目前包括每小时一次，每 10 分钟一次的自动站报文，每天共约3.5MB。以后将提高到每分钟一次，每天共约 35MB。本省常规地面高空观测资料：本省常规地面高空观测资料及其加工产品，每天 11MB；每月常规地面高空观测资料报表文件为 150MB，每年 1.8GB；本省高性能计算机数值预报产品，预计约 50 MB；本省其它综合观测资料：含闪电定位、酸雨检测、土壤水分监测等等资料每天 10MB；与外系统合作获得的资料如水文资料、环境监测资料、风能监测资料、国土资源资料等约每天 100MB； 资料汇总资料汇总省局目前及未来 5 年的资料

25、存储量估算见下表：目前资料量未来资料量资料名称日资料量(MB)年资料量(GB)日资料量(MB)年资料量(GB)风云静止卫星云图31001131.531001131.5风云极轨卫星遥感资料450164900328美国极轨卫星遥感资料2500912.52500912.5EOS 卫星遥感资料24008762400876多普勒雷达资料1000365300005400自动站资料3.51.310.53.83MICAPS 资料1024373.761024373.76MM5 资料21076.6521076.65HLAFS 资料4516.4254516.425T213 资料12144.16512144.165欧

26、洲中心资料1.50.551.50.55日本降水量资料0.62.190.62.19德国降水量资料20.7320.73PCVSAT 接收常规资料10538.32510538.325本地加工常规资料114.015114.015合计10973.64007.140430.69208.6 小结小结云南省的气象信息工作主要是面向实时业务及准实时业务、科研和服务，对气象资料的应用及存储需求涉及到所有的气象观测资料及产品资料。长期以来，由于存储能力的限制，省级存储只能在基本满足业务需要的情况下选择性的存储，许多资料分散在各业务单位。现存数据量大约 5TB (包括将信息化的纸质资料、归档在省气象台信息档案科历史资

27、料、分散保存在各个业务单位的资料)。考虑新的信息资料和新的业务应用的增加，现在年数据增量约为6TB，估计 5 年后省级数据库存储共享系统保存的数据总量为35TB，其中在线保存部分占 14TB，归档部分占 21TB。 部分珍贵资料需信息化。目前，许多珍贵的气象观测资料仍以纸张的形式存放在气象资料室，如序列完整、质量可靠、应用广泛的太阳辐射和农业气象报表资料以及数量众多的温度、湿度、风、降水自记纸均未作数字化处理，不能利用计算机进行加工处理和服务，需进行信息化。 正在建立与气象相关的一些资料正式收集途径。环境保护局观测资料、水文气象观测资料、农业等与气象有关行业的观测资料目前尚无获取的正式途径，而

28、气象业务对这些资料的需求是不言而喻的，所以要建立正式的收集途径。 气象业务未来发展对数据存储和利用的要求很高，估计未来年数据存储量将成倍增长，因此，省级数据库存储共享系统应留有足够的存储空间以满足未来年的数据存储需求。3.2 气象预报、服务业务发展的需求省级气象信息存储共享系统是气象基本业务体系的重要组成部分，是省级资料工作的核心业务系统，本系统为基本气象信息分析预测系统提供基础资料支撑，同时又是各种加工分析产品的省级汇集地；对于气象信息服务系统，一方面，本系统为其提供基本气象资料并汇集其生成的各种气象服务产品，另一方面，又对部门外部非商业用户提供气象资料服务而成为气象资料服务的主窗口，与其他

29、基本业务系统有着密切的联系。3.3 气象信息资源开发利用的需求气象信息存储共享系统收集省内观测资料的主要数据源，统一组织和管理云南省气象局所收集的省内乃至全球范围的观测资料及其分析加工产品。承担云南省气象局各业务系统、科研工作和管理部门对气象资料及其相关产品开发利用的联机检索和调用。3.4 经济社会发展对气象信息的需求依托气象信息综合业务网向下级气象部门分发各类资料产品，同时向有关政府部门提供决策服务产品和基本气象资料；通过因特网向社会上的授权用户提供基本气象资料服务，从而实现气象资料多层次的共享。3.5 系统功能与性能需求系统功能需求省级基本气候资料存储系统的主要目标是实现气象信息的高效管理

30、和充分共享，高效规范的应用软件是系统顺利建成并充分发挥效益的关键。系统对软件的功能需求包括以下几个部份。资料收集需求资料收集需求气象业务的特点是既有实时性很强的中短期和短时天气预报，又有时间要求相对低的气候业务、农气业务和科研，不同的业务性质对资料的时效要求也会有所不同。因此气象资料的获取就有实时和非实时之分，在资料的收集功能方面要考虑采用不同的手段对不同类型的资料进行有效的收集。实时资料的绝大部分都是实时产生、实时传送、实时应用，所以对这些资料的接收时效要求非常高，要求能够随时到达随时接收，将延迟时间降到最低。省局气象档案馆珍藏有大量的以纸张形式保存的历史气象资料，它们对气象业务和科研工作的

31、发展具有重要的使用价值。需要将这些非信息化的资料进行数字化处理，转化为计算机可读的信息化资料，一方面服务于气象业务科研工作，充分开发和利用这些数据资源；另一方面拯救这些濒临丢失的宝贵资料。数据加工处理需求数据加工处理需求数据的加工处理是存储共享系统中极其重要的工作，通过加工处理使各类气象资料进行有效的分类检测、形成格式化和标准化的数据，为数据的入库和管理乃至检索应用打好基础。数据在进入存储共享系统之前要进行相应的预加工处理，而预加工处理的内容要视具体的资料而有所不同。在存储共享系统中，观测资料的量相比其它资料而言并不大，但对它的处理却是最为复杂的。对观测资料的预处理主要是指对从通信线路上接收的

32、资料（包括实时传输的报文和非实时传输的气象月报表文件）进行格式检查，对那些格式有错误的报文和文件则要根据一定的原则由程序自动进行纠正，而不能由程序纠正的有格式错误的报文则应该剔除放入人工纠错的目录，以保证在质量控制前资料格式的正确性。对产品资料，凡是以报文格式传送的也都要进行基本的格式检测。为了应用的方便，对那些以分块传送的格点资料，例如数值预报产品，则要进行多块拼接，形成有效的区域、或半球、或全球产品后再进入数据库管理。其它以文件方式形成或传送的产品资料，要根据其具体格式进行适当的检测与处理，尤其是文件首行的关键信息需要进行检测与确认。对于特定的气候资料、统计分析资料、特种观测及其它科学实验

33、资料等，也必须经过事先的加工处理或进行必要的格式转换再进入存储系统。元数据是数据管理的核心数据，它包括存储系统中各数据库子库、目录文件、数据集、被迁移数据的信息描述以及存在于本系统之外的其它单位或载体的数据记录的说明等，按照所制定的元数据标准和元数据描述标准专门制作形成的元数据文件。存储共享系统中除了应具有完整的元数据集外，还应有相应的管理软件，当管理的数据发生变化时，元数据信息的生成与更新也随之进行。气象数据种类的多样化，也使得其格式多种多样，为了使本系统所管理的数据能够在内容和格式上统一规范，则必须在资料入库前按照相应的数据格式标准，对经过预处理或质量控制后的资料再进行格式转换，以形成入库

34、前的标准数据格式。这样才有利于数据库的统一管理和用户使用数据的格式标准化。数据存储管理需求数据存储管理需求存储共享系统的服务对象是基本气象业务、科研和对外数据共享，主要解决公共气象数据的存储共享问题。这些数据包括各种探测资料和业务分析加工预报产品。对于那些特定业务系统的专用数据，或服务于特定业务系统的专用数据库不进入本系统管理，根据其专用的特性进行专门管理，但基本的公用数据和服务产品则必须纳入到本系统统一管理。对资料的需求分析表明，不同种类的资料，用户检索需要的响应时间及用户检索的频度有很大差别，而不同需求的资料总量在数量级上均超过 TB 量级，年数据增长量也超过 TB 量级。综合考虑用户的需

35、求和系统设备配置的性价比，存储共享系统需采用多级存储的概念来进行管理。对用户而言，希望主要数据长期或永久保存在在线的存储设备中，显然这是不现实的。存储共享系统可以通过多级分层管理，满足用户对资料的检索时效要求，这就需要合理规定各类数据在不同存储设备中的保存期限。在具体设计时，将视具体资料和磁盘空间而定，其原则是必须满足业务对资料使用的时间要求。气象数据种类的多样性、格式的复杂性和应用的时效性，决定了数据管理的复杂性。不同种类的资料，其检索方式是不一样的。例如，对常规观测资料，用户需要提供关于要素、时间、空间、值域等多项条件组合的检索，显然，对这类资料用数据库方式管理较为合适；而对数值分析和预报

36、二维格点场资料以及图形图像资料，用户一般需要某时次的完整的场资料和图形图像文件，显然，对这类资料用文件库方式管理较为合适。因此对数据的存储管理将包括对数据库的管理和对文件库的管理，并把它们很好地结合起来，实现对系统整体数据的集中统一管理。数据类型的不断增加和数据量的快速增长是气象资料的显著特点，这得益于现代观（探）测技术的发展以及计算机技术的快速发展，特别是数值预报模式分辨率的提高将会使产品数据成倍增长。因此存储共享系统不但要考虑现有数据的管理和使用，更要考虑未来数据的增长趋势，特别是要适应新的资料类型的增加。与此同时，随着气象事业的发展，新的业务种类的增加也会对数据的管理有新的需求。这就要求

37、存储共享系统具有良好的可扩充性，预留足够的扩展接口，这包括新种类资料的入库、新的检索需求、存储空间的预留及可扩充性等因素，以适应新增数据和新的业务需求。数据维护需求数据维护需求对于保存于在线设备中的数据，无论是采用数据库管理还是采用文件系统管理，总是要不断地进行追加与更新，这是气象数据的应用特点所决定的。特别是对于实时资料，必须具有随时处理、随时入库、随时更新的能力。实时资料的更新一般是由运行的程序自动完成的，但如果资料格式有变化或者有新的资料类型出现，则原来的程序将不能正确处理，必须对相应的程序进行修改才能保证数据的正确与完整。对于非实时资料的追加，应有自动和人工两种方式。对由实时转入非实时

38、的数据采用自动方式，对那些分散的、通过加工收集的零散数据则采用人工输入命令方式追加入库。为了保证有足够的磁盘空间存储最新的气象数据，系统必须制定定时清除库中超出保存周期的数据的策略，清除策略要依据不同类型数据保存周期的不同而有所不同。数据的清除功能包括对数据库中的数据、文件系统管理的数据以及其它相关目录的数据进行清除。除了程序定时自动清除外，系统还应提供交互式人工指定清除功能，指定的内容包括日期、时间段、资料内容等。数据检索需求数据检索需求数据的检索对用户来说应该是透明的，即无论用户索要的资料存放在何处、何种设备上，用户都能通过同一界面获得数据；实时气象资料和非实时气象资料尽管在存储和管理上有

39、所区别，但对检索应用的用户而言，它们是透明的，即用户检索的界面是一致的，检索的资料不存在实时和非实时的差别。数据检索应该提供以下三种方式：程序调用程序调用是内部业务系统、服务系统乃至科研工作的主要数据获取方式，存储共享系统中实时需求的所有数据都必须支持程序调用方式，并且应提供标准的 C 语言接口。用户通过程序调用可以获得本系统中的任意数据子集. 通过程序调用的资料检索速度要求在秒钟级。终端检索通过主机终端或其它客户终端实现联机用户的数据检索，也是数据应用的重要方式之一。终端检索除了应具有程序调用的功能外，还应具有一定的统计功能，在可视化终端上，用户界面提供菜单操作方式，并具有一定的图表显示功能

40、。Web 服务外部用户主要通过 Web 服务器获取本系统的有关资料。原则上Web 服务器应具有获取存储共享系统所有数据的功能，但对于具体的数据或用户则要视其安全级别和使用权限决定是否能够获取相应的数据。一般来说，提供给 Web 用户的是那些可以实现共享的基本数据和经过加工的产品数据。在 Web 界面中，用户可以按照资料类别、日期及时段、地理范围及层次等检索所选择的资料，但所有选项均是以鼠标点击的方式实现。为保证数据的安全性和规范管理，基于浏览器检索的 Web 服务应建立完善的用户管理系统，实现用户网上登记、身份确认、在线资料下载成本支付等功能。用户管理与安全控制需求用户管理与安全控制需求系统对

41、每一个数据用户都要进行身份注册与登记，并根据用户性质划分不同的等级和相应的数据访问权限。一旦有用户进行非法操作和访问时，系统要根据安全策略进行控制或拒绝。系统要对用户的所有行为，包括检索数据的类型、时间和空间范围、访问数据的频率等进行相应的统计，以便掌握系统的数据应用情况，或通过相应的分析及时调整数据访问策略。存储共享系统必须制定有效的措施来保证数据的安全性与完整性，数据的安全保护一方面是要防止高级别的、保密性强的数据不随意被其它用户访问；另一方面是要防止不测用户对数据的恶意破坏。系统监控需求系统监控需求数据流的状态反映了系统运行的情况，特别是系统异常情况的反映。因此在具有实时性很强的存储共享

42、系统中对数据流的实时监控就显得十分重要。监控的对象主要是数据收集、加工处理及检索应用等环节，因此在系统设计时要考虑在各个重要运行环节设置观察点，并且能够随时获取该点的运行状态参数，当某一个环节出现异常时，也能够及时发出警告信息通知系统管理人员。数据存储管理状态包括有关数据管理软件的运行状态、系统中数据迁移的情况、数据存储类型及总量、数据应用情况等。对这些状态进行有效监控将有助于从宏观上对系统进行掌握和控制，从而保证系统运行的有效性。 存储共享系统的设备包括高性能服务器、存储设备、存域网设备、存域网管理服务器、以及有关的网络及接口设备等。监控的内容包括服务器 CPU 的使用率、运行进程的数量、存

43、储设备的空间使用率、网络端口的流量、设备本身运行的状况等。存储共享系统应该有专门的系统监控平台，在监控平台上有比较完善的监控信息显示功能，既有系统正常运行的状态显示，也有系统异常状态的显示，如果出现较为严重的故障还应发出警告信息。监控画面应该清晰明了，能够反映系统整体运行情况，也可以通过子画面切换查看各分系统的运行状况。系统监控信息平台除主要提供给系统管理员使用，还可提供给授权的特殊用户使用。因此，该平台应具有多用户共享功能。3.5.2 系统性能需求 整体性能需求整体性能需求云南省级存储共享系统在整体性能上必须满足省级气象资料存储不断增长的需求，保证基础网络和存储系统的安全、可靠、实时、高效。

44、该系统应当具有开放性和标准性，整体设计符合国际惯例与标准。系统总体设计具有可靠性和先进性，选用成熟可靠的先进技术和产品组织系统, 充分考虑系统的容错功能，充分满足省级气象资料业务实时不间断的工作，及时为业务服务提供稳定支持。该系统应当采用最新主流技术和产品，符合技术发展方向，具有较长的技术周期。采用模块化结构化设计，使系统的规模扩充，功能增加更易实现，提高整个系统的可扩充性；同时，应尽可能降低存储系统运行维护平均成本，达到易于使用，易于管理与维护的目的。该系统应具有集中管理的能力，可方便地实现系统状态监控和系统配置。设备和系统应具有良好的故障诊断功能，便于及时发现故障，排除故障，缩短故障恢复时

45、间。整体系统应具有安全保障体系，确保系统的安全和保密。 可靠性可靠性气象业务系统（特别是天气预报系统和数值天气预报系统）具有很强的时效性要求和不可间断性要求，这一切要求存储共享系统的运行平台满足 24 小时7 天的运行要求，故障率应小于 0.01%，单次故障时间（包括发现故障、处理故障和系统恢复时间）应小于1 小时。同时应当确保在任何情况下数据不被丢失。 安全性安全性安全性包括物理安全性、系统安全性、用户安全性、文件安全性和入侵安全性等几个方面。物理安全性指网络服务器不能放在公共场所，应放在一个专用机房里；系统安全性指操作系统和核心服务器系统支持安全性部署策略，具有模块化的认证机制；用户安全性

46、，方便用户对资源的访问，防止用户访问与其工作无关的资源；文件安全性实现控制对用户访问的同时，保护文件的安全性；入侵安全性实现对系统内部的漏洞检测与对外来攻击的实时侦测，同时系统在可能的情况下能够支持实时病毒检测和查杀。 稳定性稳定性系统应具备应对突发的应用峰值事件的能力，不因这些突发事件的出现而导致系统性能的下降。系统性能稳定性包括系统运行平台性能的稳定性，存储设备性能的稳定性、网络及传输通道（包括设备）性能的稳定性等。 标准性标准性为保证存储共享系统的可维护性、可移植性、可兼容性和可扩展性等，系统在各方面应尽可能采用当前业界流行的、技术先进并具有较长生命周期的国际工业标准。 通用性通用性考虑

47、到省一级的数据存储共享系统面对的是多种系统平台的各种复杂的应用，存储共享系统应当具备能够有效地支持这种异构处理环境的能力，因此系统应当尽可能选用通用的技术。 可扩展性可扩展性为适应气象业务工作不断发展所带来的新的要求，保护现有的投资，存储共享系统应当具备良好的可扩展能力；其中包括性能的可扩展能力和规模的可扩展能力。性能的可扩展能力指系统各部分设备的性能具备扩展能力，主要包括系统运行平台、存储设备及网络传输设备等。规模的可扩展能力指存储共享系统在存储容量、管理范围等方面具备扩展能力。 开放性开放性存储共享系统面向局大院所有合法用户，系统应对分布于不同物理地址、不同局域网、不同网段的用户提供资料的

48、透明检索。 系统及数据的可管理性系统及数据的可管理性系统的可管理性指系统（包括管理人员）能随时掌握信息的存储位置，存储系统和子系统的状态，按照需要进行信息存储容量的再分配，并通过性能的监视、分析和调整实现包括信息存储系统、服务器和应用在内的整个系统性能优化。数据的可管理性指存储共享系统在数据的收集、加工处理、质量控制、入库、被使用、迁移/回迁以及备份等所有环节上对数据具有完备的管理能力和相应的策略，这是确保数据完整性、可用性、安全性等要求的必要条件。 系统高效性系统高效性存储设备应具备高性能、高容量，响应及时、快速，以保证系统检索、管理、扩充的高效性。检索性能要求检索性能要求省级数据存储共享系

49、统应提供较强的检索能力，使得授权用户能在任何时间、任何情况下快速、便捷地检索到其所需要的数据。省、市州气象台承担着各种气象预报服务的职责，目前及未来一段时间内高峰时段对省级数据库存储共享系统进行检索操作的并发用户数会有上百个，在一定的数据块大小范围内，多用户访问在线设备的响应时间应为秒钟级，访问近线设备的响应时间为分钟级，访问离线设备的响应时间为十分钟至几十分钟。系统应支持多用户的并发程序检索，并满足数据的读一致性、完整性和检索的准确性。资料传输性能要求资料传输性能要求为充分满足并发用户在检索相应时间上的要求，云南省级数据库存储共享系统在资料的传输方面应当具备以下能力： 基于内部基于内部 I/

50、O 的资料传输性能的资料传输性能系统内部及各设备间的传输能力应不低于千兆级。 基于网络基于网络 I/O 的资料传输性能的资料传输性能存储共享系统服务器与网络设备间应实现千兆网连接。4 建设内容4.1 网络存储建设省级的网络气象信息存储系统，形成所有气象资料的在线存储，实现从以应用为中心的现有业务架构转向以数据为中心的共享数据平台架构，并且随着业务技术的发展，将作为气象信息管理系统对象的气象信息，包括实时和历史两大部分，进行统一管理、有机结合，形成我省气象数据的核心结点。为保证系统的整体可用性，该系统还具有异地数据灾难备份功能。在正常情况下，所有业务都在主数据中心运行，其相应的数据信息也保存在主

51、数据中心的存储系统上，这些重要的信息数据通过系统平台实时地拷贝到备份数据中心存储系统上。 一旦主数据中心的存储设备或其它相关的连接设备发生故障，并导致业务应用无法正常访问主数据中心的数据时，业务主机可以通过备份链路直接访问备份数据中心的数据，从而保证了气象数据关键业务的连续运行。4.2 数据库使用数据库技术以及新兴的数据仓库技术，在云南省气象光纤宽带专线网上，统一规划、逐步建设省、州(市)二级分布式气象信息数据库。实现实时信息的处理、存储、共享及各类产品信息的存储共享，历史资料信息的共享，设计和建立数据共享平台，完善数据库与各种应用系统的接口。以分级访问数据库和网页、文件传输下载等方式提供资料

52、访问和服务，实现气候资料、气象探测资料在全省气象台站的实时共享。4.3 信息共享平台建设云南省的气象信息共享平台，实现全社会的气象信息共享；建成现代化的气象信息服务系统；连通相关行业的信息中心，实现行业间的信息交换与信息共享。建设气象信息存储的业务备份（异地数据灾难备份系统） ，提高全省气象信息数据的安全可靠。4.3 异地数据灾难备份由于受建设规模的制约，本次建设中我省主要实现对数据的异地灾难备份。建设与省级气象信息存储共享系统功能与能力相一致的备份子系统，实现将省级气象信息存储共享系统的信息实时备份到异地灾难备份中心，保证信息的安全。5 信息存储共享的主流技术5.1 网络存储现有信息网络存储

53、的主流技术目前，市场上较为流行的海量存储系统成熟产品有以下几种： DAS 系统（Direct Attached Storage：直接连接存储系统） NAS 系统（Network Attached Storage：网络连接存储系统） SAN 系统（Storage Area Network：存储区域网络系统） DAS 存储系统存储系统DAS 系统是采用独立的外接式设备（如 RAID, JBOD 等）并通过标准接口技术（如 SCSI、IDE、SATA 接口）与服务器建立连接，实现存储设备与服务器相互独立的要求，磁盘的容量也得到相应的扩展。实现多个服务器共享相同的存储，为服务器集群创造了条件。但服务器

54、仍是访问的瓶颈，当很多用户对同一个存储器同时进行大量数据访问时，服务器的性能和数据存取时间都受到一定程度的影响。但是随着信息化建设对存储需求的日益提高和数据量的日益增多，DAS 采用的分布式计算、分布式存储的缺点也日益暴露出来，主要表现在以下几个方面：1 1）可扩展性差）可扩展性差。当有新的业务需求时，如果服务器与存储设备直接连接的方式不能满足，只能为新增的服务器单独配置存储设备，造成大量的重复投资，同时也增加了单点失效结点，增加了更多的信息孤岛。2 2）存储资源利用率低）存储资源利用率低。在DAS方式的存储中，如果A服务器需要B服务器的数据资源时，必需将B服务器的DAS存储设备中的数据复制相

55、同的一份到A服务器，使得存储空间无法充分利用，存在巨大的浪费。这样，由于不同的应用服务器所访问的存储数据量是不一致的，不同业务的发展状况也决定了存储数据量的不断变化。因此，出现了各应用系统存储空间局部短缺和局部浪费的不均衡状况。3 3）可管理性差）可管理性差。DAS方式下数据的存储依然是分散的，不同的应用各有一套存储设备，形成多个信息孤岛和失效结点，造成备份困难，管理分散繁琐。4 4）异构化严重）异构化严重。DAS 方式使得企业在不同阶段采购了不同型号不同厂商的存储设备，设备之间异构化现象严重，维护成本居高不下。 NASNAS 存储系统存储系统NAS系统是一种把数据看作一种网络资源，由NAS设

56、备的专用系统（相应的器件和专用操作系统）来管理。与DAS相比，NAS设备直接连接到网络上，而不是服务器上。其优点是实现了即插即用（Plug and Play）和NAS设备的集中管理，并支持多种应用平台。同时，由于NAS设备的固件和瘦客户操作系统分担了服务器的部分I/O操作，服务器的访问性能得以提高。但它也有着其固有的缺点，主要表现如下：1) 受局域网性能所限，数据传输速率不高。由于NAS直接连接在局域网络上，在服务器进行数据访问时，占用了大量的网络带宽，容易造成局域网上的拥塞，因此，在数据访量大的局域网中不宜采用。2) 只提供文件级存储空间，不能满足数据库的要求。在NAS存储设备上，服务器通过

57、CIFS等文件协议对磁盘进行访问，这样，对采用大量数据库管理软件的气象部门来说，NAS设备难以满足要求。由于NAS设备的以上缺点，决定了NAS存储设备只适应于小型网络，只限于信息量不大、实时性不强的单位应用，对于气象局这样数据流量较大的网络而言，NAS难以担此重任，访问NAS设备所占用的大量网络带宽必然影响服务器的效率和网络带宽，不宜在大型数据共享平台中使用。 SANSAN存储系统存储系统SAN 存储系统是存储系统模型的最新发展。即不像 DAS 直接连接到服务器上，也不像 NAS 连接到网络上，而是所有的存储设备相互连接，形成独立于服务器的网络（存储区域网络 SAN） 。它有以下特点：以太网交

58、换机/光纤交换机SAN 是一个开放的系统。也就是说，SAN 支持异构操作系统平台，即支持各种各样的主流操作系统和服务器，它是一个非常健壮的基础设施，适应于新的变化的数据模式和无法预料的数据增长，也就是说，它具有良好的可扩展性。SAN 具有快速备份和恢复功能。SAN 的建立使备份和恢复独立于局域网而进行，不占用企业现有宝贵的网络资源，防止网络拥塞，并能有效地利用存储资源。SAN 能够保证数据的连续性。SAN 能够消除信息孤岛和单点失效故障。支持异地数据中心镜像功能，可能很容易地实现异地灾难数据备份。SAN 是高可用的。SAN 采用冗余的网络通信设计、存储复制、动态故障恢复保护功能、流量控制和服务

59、器集群等技术。使之适应于企业级的数据平台应用。SAN 的主流技术在 SAN 飞速发展的过程中，出现了两种比常用存储网络实现技术，一种是 FC-SAN，通信协议采用 FC 协议；另一种是 IP-SAN，存储通信协议采用 iSCSI。它们都有各自的优缺点：(1)(1) FCSAN这种 SAN 体系架构在存储网络中采用与应用相异构的网络，其价格较高，管理较困难。FCSAN 的弱点是它的物理机理决定的，它无法使存储设备随它在 Internet 上运行，从而无法满足应用前端对存储数据“无时不有、无处不在”的要求。FCSAN 的物理覆盖有限，不超过 50 公里，这样容易形成存储孤岛。物理覆盖有限，使用它所

60、面临的第一个挑战便是异地备份解决方案如何基于 FCSAN设计。因此，这种 SAN 主要应用在性能要求较高的金融、电信等领域。(2)(2) IPSANIP-SAN 是一种将数据块和 SCSI 指令通过 TCP/IP 协议承载，通过千兆/万兆专用的以太网络连接应用服务器和存储设备，这样的解决方案称为 IP SAN。2003 年 2 月 11 日，IETF 通过了 iSCSI 标准，这项由IBM、Cisco 共同发起的技术标准，经过三年 20 个版本的不断完善，终于得到 IETF 认可。这将吸引更多的厂商参与到相关产品的开发中，也会推动更多的用户采用 iSCSI 解决方案。iSCSI（互联网小型计算