气象数据一体化平台方案与对策

1、项目编号：RJ20150020设计方案气象数据一体化信息服务平台设计方案2016年1月南京助事达软件科技有限公司1 概述 31.1 背景与预期 31.2 建设内容 42设计方案 52.1 系统架构 52.1.1. 平台总体架构图 52.1.2. 数据流概览 62.2 分布式解析引擎 62.2.1. 分布式解析引擎概述 62.2.2. 分布式解析设计架构 72.3 气象分布式数据库设计 122.3.1. 气象一体化平台分布式数据库设计概述 122.3.2. 分布式数据库设计架构 152.4 气象资料云服务引擎 172.4.1. 应用授权机制 172.4.2. 授权认证机制 172.4.3. 服务

2、请求基础参数体系建立 172.5 服务版本管理体系建立 182.5.1. 版本管理设计 182.5.2. 建立服务 API帮助文档 181概述1.1背景与预期针对以往基础数据库建设分散、标准不统一、服务能力差等问题， 按照“系统集成，数据集中，资源集约，功能完善，突出特色”的思 路，经过两年半的努力，依托江苏预报业务一体化平台项目建设，初 步建成全省统一的基础数据环境，有效提高了信息资源的利用率和数 据服务能力，为本省率先实现气象现代化提供了有力支撑。信息中心在全省气象信息业务建设的基础上， 先后出台几十项标 准或规范，为一体化体系提供标准支撑，完善了我省气象信息的标准 规范体系；优化数据传输

3、流程，时效性可靠性提升显著，省内区域自 动站可实现60秒内、雷达数据8分钟之内、省际共享上海市区域自 动站100秒内到达预报员桌面；通过“软 CAST同步机制，省市间 数据实现了秒级流转；完成了自动站、土壤水份、精细化等50多类数据的解析入库，数据解析的种类和覆盖范围在不断扩充， 确保了数 据的完整性、一致性。架设全省云平台实现硬件资源的统一管理与分 配，达到资源集约化、应用多样化的目标。为进一步提高和增强气象数据服务能力， 科学准确的做好数据服 务工作，结合前期预报业务一体化平台使用和市县推广应用情况，在气象数据传输、数据存储和数据应用方面，提出诸多改进措施和方案， 旨在不断的提高气象数据服

4、务能力和质量。1.2建设内容根据江苏气象现代化发展的需求， 在现有工作基础上，进一步完 善全省基础资源配置和管理，开展智能化、个性化的基础数据环境信 息服务平台的设计和开发，继续优化各类基础资料的收集处理流程， 做好统一数据环境在市县的推广应用，着手开展适合本省的实时质量 控制方法研究和质控系统的设计和开发工作， 提高数据服务质量。通 过建立团队协作机制，联合进行数据处理和信息技术应用开发， 建立 数据规范；完成实时/历史数据库设计、解码和入库。2设计万案2.1系统架构2.1.1. 平台总体架构图C数据层核心数据支挥库业务数据支撑库业务逻辑函数库统的规范标准F'I分布式处理气象数抿云云

5、存锚管理驾驶舱云鮮折服务楼心槪务接口省舟咸向同步应用层元解析引華分布式脈务MIft数据開步骨理任务盟悅报文解析组杵云朦务适配器数据定划同步监控M（补调云存悩引隼K步成拎及扯计救据頂址监挖1用户及权隈系蜿管理kA支撑层云解析引璽 分布式检案引聲 云曲引華云适配引畫安全的保障体系图表i平台总体架构图2.12数据流概览CIMISStft 口分右式解析服务（ Ktrlhulrd»vr*l：e|分布式数据库图表2数据流概览DataD迁钿Nod«D占tjNodeDataNod«2.2分布式解析引擎2.2.1.分布式解析引擎概述气象资料的来源有多种，包括上百种类型的气象资料报文

6、、各个 业务系统产出的气象服务产品、来自于 CIMISS的数据资料等等。由 于资料种类繁多、场地分散、解析入库方式及质量参差不齐等等各种 问题的存在，同样为了满足集中管理、统一标准的业务目标需求，我 们最终使用了气象数据分布式解析引擎 来实现其各种功能。Service Control IKefiiotingPurser Client Mcm!tor 和电mingA丘解折服务貧理器服务管理场采管理殂件管理资料源监控安全管理智能化解析配胃Folder Watch or RematingrT皿文 嶄枳 用件1报文辭忻'旦件时Mr 鬥件匚1驰1 r 1工C寮tirr1机別二1斛rH田件孙布式辅

7、析科'222. 分布式解析设计架构图表3分布式解析设计架构分布式解析云的核心主要由四个部分组成：a）解析云服务主要通过实时发布远程对象的方式为各个功能域提供分进程间信息共享平台。共享的远程对象主要包括：报文资源文件夹监控对象、分布式解析器运行时对象、服务全局控制对象、智能化解析配置对象、 全局报文解析组件适配对象等。实质：远程对象以信道作为发布渠道，来进行客户端和服务器之间的通信。信道包括客户端的信道部分和服务器的信道部分发布的内容以消息作为载体，消息包含远程对象的信息、被调用方法的名称以及所有的参数。TrinipArtrit Prowy二 IAKP 应 TTTP®斥EiMf

8、l旺R汩3心方 眦CMrtnnelSPf*U嘶图表4分布式客户端与服务间通信原理报文资源文件夹监控对象：每种资源文件都存储在一个或多个文件夹中，当有新的文件加入时解析云自动将待解析的文件加入到 解析资源池（即任务队列）。当 分布式解析器中有存在空闲的解析器时， 此解析器则会自动向服务申 请一个解析任务。之后，当一个任务被解析器处理完毕后，其就会从任务队列中自动删除，同时将相对应的原始数据文件自动移动到已处理文件目录下 面。分布式解析器运行时对象：每个报文解析器分别部署在一个或多个服务器上，那么各个解析 器运行状态的管理就十分的重要。 为了满足全局监控，定向管理的目 标，云解析平台将分布式解析器

9、运行时对象作为各功能域内部可见的 全局对象进行发布。即各个解析器运行后自动向云服务 发送注册请求, 云服务接受请求后则将此解析器加入到解析器队列中用于后期的监控及管理。服务全局控制对象：主要负责服务的启动、暂停、重启以及重新加载配置文件等工作。智能化解析配置对象：此对象主要为分布式解析引擎提供解析知识库，为了实现解析组 件的可插拔我们将 智能解析配置对象 也作为全局对象进行发布。可以 从云解析管理器中对其内容进行更改，更改后云服务自动通知各个解 析器接下来的解析工作使用 新的解析知识库 进行报文识别及智能解 析。全局报文解析组件适配对象：为了使报文的识别实现 动态化扩展，我们将解析适配器对象进

10、行 全局发布，当云解析管理器对解析适配器信息进行更改后云解析服务 将自动应用新的解析适配方案。所有的分布式解析器都使用云解析服 务提供的统一解析适配器进行解析适配工作， 所以当云服务的适配器 方案改变后各个解析器 自动使用新的方案进行适配工作。b）云解析管理器云解析管理器是云解析服务的一个客户端，主要用于辅助云解析 服务工作，为云解析服务提供可视化操作界面。如云解析服务提供的 各个实时对象的管理及运行时参数的维护管理等工作都在云解析器 中进行操作。如报文解析组件适配信息配置、智能化解析知识库配置、分布式 客户端监控、资源池监控、解析组件配置、数据源配置、运行日志管 理等。c）分布式解析引擎分布

11、式解析引擎是云解析服务的运算核心，所有类型的数据都通 过此引擎进行解析运算。报文解析引擎由三大支撑组件（数据类型识 别组件、智能化解析组件和解析组件适配器）和解析组件池组成。数据类型识别组件：数据类型识别组件主要对当前申请到的解析资源进行自动识别， 主要通过数据文件名、数据段特殊标记以及其他特性化配置方式进行 识别。数据类型被识别后向解析引擎反馈此文件的解析适配标识。解析组件适配器：解析组件适配器主要将数据类型识别组件反馈的解析适配标识进 行适配，并从解析组件工厂中构造一个适合此适配标记的解析组件智能化解析组件：智能化解析组件主要将智能解析知识库中的信息翻译成解析器能够识别的信息结构，并将此信

12、息结构提供给解析组件进行报文解析。解析组件池：由一系列报文解析组件组成，如重要天气报解析组件、A文件解析组件、高空资料解析组件、自动站解析组件等等。每个解析组件都 遵从解析引擎的报文解析流程，最终完成报文的解析。报文解析流程如下:能 H=Hi报渝代1识别图表5报文解析流程d）分布式解析器分布式报文解析器主要有如下几个特性:1. 分布式：即此解析器可以在多台服务器上同时运行， 同样也可以 在一台服务器上运行多个实例。2. 可扩展性:解析器中搭载的是 解析组件引擎，而解析组件队列可在远程服务中直接获取，所以当云解析服务更新组件配置或加入新的 解析组件时各个解析器同时受益。3. 并行计算：每个解析器

13、的都在独立的进程中进行运算，所以当多个解析器同时对解析任务池中的任务进行解析时大大缩短了解析的时间缩短，提高解析效率。4. 可管理性:每个解析组件运行后首先会注册到解析云服务，同时解析云服务会将此信息反馈给解析服务管理器，管理器收到信息后将 此解析组件加入到本地的可视化解析组件管理列表中，对其进行实施监控。当一个解析器出错或强行退出时，解析云自动注销其消息订阅 事件，并通知解析云服务管理器，管理器从管理列表中将此解析器 移 除，或提醒管理员此解析器已下线。2.3气象分布式数据库设计2.3.1.气象一体化平台分布式数据库设计概述从目前江苏省气象信息的数据结构及分布情况分析，我们的数据属于异构数据

14、库。即现有的数据使用了多个DBMS如SQL Server，Oracle等。由于各种气象资料较为繁杂，存储的数据结构也不尽相 同。所以我们建立的分布式数据库管理架构不但要解决分布式存储 的问题还需要解决异构数据库的问题。本架构设计的核心原理是通过分布式数据服务全局共享数据节 点索引对象。并使用分布式数据库管理引擎来对各个数据节点进行高效的存取操作。数据索引需要建立在一个全局共同遵守的标准之上， 这个标准中 规定了在不同数据分片场景下各个数据节点应共同包含或通过逻辑 映射的方式包含相应的属性。如在水平分片场景下，各个数据节点应 共同拥有日期属性，日期属性可分为（年、月、旬、候、时间）等多 个分类方

15、式。如同属于年分类的场景下，则需要共同拥有年属性。如在垂直分片场景下，各个数据节点应共同拥有要素类型属性。分布式存储的核心问题是对数据分片和数据分配方式， 分片的方 式分为水平分片、垂直分片、导出分片和混合分片。水平分片：即按一定的条件把全局关系的所有元组划分成若干不 相交的子集，每个子集为关系的一个片段。根据分析我们可以通过时 间节点对数据进行水平分片。垂直分片：即把一个全局关系的属性集分成若干子集， 并在这些 子集上作投影运算，每个投影称为垂直分片。如我们可以通过气象要 素进行空间的垂直分片。导出分片：又称为导出水平分片，即水平分片的条件不是本关系 属性的条件，而是其他关系属性的条件。我们

16、一般在特殊的数据应用 场景中使用此分片方式。如对数据按站点所在的城市为条件进行数据 分片，因站点所在的城市这个属性一般不在要素基本属性中存在，而是在站点信息关系表中存在，那么此种分片则称为导出分片。混合分片：综合了以上三种分片方式进行数据分片。数据分配方式分为：集中式、分割式、全复制式和混合式根据气象数据的特点我们建议采用分割式的数据分配方式，即所有数据只有一份，它被分割成若干逻辑片段，每个逻辑片段被指派在 一个特定的场地上。同时服务器的磁盘阵列使用冗余磁盘阵列（RAID） 的方式进行管理，并建议使用 RAID10（即卩RAID 0+ 1 ）。虚拟化技术虚拟化是一种资源管理技术，是将计算机的各

17、种实体资源，如服 务器、网络、内存及存储等，予以抽象、转换后呈现出来，打破实体 结构间的不可切割的障碍，使用户可以比原本的组态更好的方式来应 用这些资源。这些资源的新虚拟部份是不受现有资源的架设方式，地域或物理组态所限制。一般所指的虚拟化资源包括计算能力和资料存 储。在实际的生产环境中，虚拟化技术主要用来解决高性能的物理硬 件产能过剩和老的旧的硬件产能过低的重组重用，透明化底层物理硬件，从而最大化的利用物理硬件。因为我们需要将数据节点存储在多个场地上， 为了节约硬件产品, 并充分利用硬件的计算资源以及存储资源， 我们可以将一台工作站 虚 拟成多个存储场地。2.32分布式数据库设计架构it ft

18、 jCftJW HU 齐(IH sii hut ed LhHtabase ice)Service Control RenKit in厂/空财歎躺时构出踐也宦仏川躺):1/坐向址剧厲训莎啊曙城拒推迟般并如拒阳尸及収Jlft总理全帧側爭険(CIJL>>丿Distributed Client StackData Index StructData Query ServiceData Save Service云存储接口SaveI. i h图表6分布式数据库总体设计方案分布式数据库的核心模块分为：分布式数据库通讯服务(CM、分布式数据库管理器 (DDBMS 云存储接口(Cloud Data A

19、PI )、DataClient、Data Query Standard Lib 和 Data Save Standard Libo分布式数据库通讯服务:负责在分布式数据库的各场地之间传送全局对象、消息和数据, 完成通信功能。核心的全局对象是 分布式数据索引对象(Data Index Struct) ， 每个分布式客户端上线后将自动注册到分布式数据库通讯服务，通讯服务自动将其加入到 Distributed Clie nt Stack 中，同时根据客户 端报送的数据节点名称，服务自动为其初始化局部数据库数据索引对 象，并将关键索引存储为 Hash Table的key-value模式。并为其订 阅全局数据检索和数据保存事件等，当有数据检索请求时，服务通过并行化编程技术使所有分布式客户端同时处理此事件， 当某个分布式 客户端处理发现本地索引中无相关 key或不满足其数据分片条件时 则直接退出响应。如果相关条件都在其索引范围内，则进行本地化数 据查询操作，并将结果以 Data Set的形式返回至事件源。所有并行 流程执行完成后事件源将Data Set集反馈给查询者。分布式数据库管理系统（DDBMS）分布式数据库管理系统主要用于2.4气象资料云服务引擎2.4.1. 应用授权机制即每一个接入服务的应用都需要申请一个AppKey,此Key