智能探测系统气象大数据平台建设技术方案

XX气象+大数据平台建设技术规范书I第一章项目概述 11项目名称 12项目建设单位 13项目建设内容、建设期 13.1建设内容 13.2建设周期 3第二章项目建设方案 41XX气象+大数据平台建设 41.1建设内容 41.2气象+大数据平台PaaS层 51.3气象+大数据资源层建设 791.4数据及系统迁移方案设计 2信息安全系统设计 2.2系统定级 2.3系统安全建设原则 2.4安全保障策略设计 2.5备份系统设计 8 3平台全可控设计 3.1国产化软件适配 Ⅱ3.2国产密码 3.3物理层面 3.4网络层面 3.5应用和数据层面 3.6终端 3.7商用密码产品清单 4运行维护方案设计 4.1运行维护主要内容 4.2其他需要说明的问题 第三章项目组织机构和人员培训 1培训目标 2培训目的 3培训原则 6培训计划 7培训地点 附表1XX气象+大数据平台系统开发内容 99 第1页共114页第一章项目概述1项目名称2项目建设单位项目建设单位地址：XX市渝北区新牌坊一路68号3项目建设内容、建设期(1)建成XX气象+大数据平台。对接数字XX云平台和中国气象局天擎系统，到2022年力争建成3PB多源气象+大数据存储和“数算一体”XX气象+大数据平台，支撑“云+端”业务模式，在该模式下，气象+大数据平台按照“一平台两功能”的设计，构建微服务架构，不断推进和完善气象+大数据平台服务能力建设，支撑实现数据资源中心和数据服务中心两大表1.3-1建设内容汇总表1XX气象大数据平台数据处理，数据采集，数据表管理，可视化ETL,资2式数据库数据仓库、对象存储、分布式文件系统),34第2页共114页5气象+大数据容器化应用管理子系统678安全保障系统9统一工作桌面Web端，大屏展示端，app管理端，统一入口大数据基础中间件到端算法，智能算法集成气象大数据资源层大数据资源层共享交换库数据汇聚维等提供可视化操作工具。功能，并依托该工具完成指气象数据治理工作；系统迁移气象+大数据平台规划第3页共114页本项目从合同签订日起18个月内完成项目建设，包括但不限于开发、部署调试、试运行及项目竣工验收等工作。项目通过竣工并投入运行后，中标单位需配合建设单位在12-24个月内完成项目后评价。第4页共114页第二章项目建设方案建设项目1气象+大数据平台1)气象大数据平台基础架构搭建2)气象+大数据汇交子系统3)气象+大数据存储子系统5)气象+大数据应用子系统6)气象+大数据容器化应用管理子系统7)气象+大数据服务子系统10)统一工作桌面2气象大数据资源层1)气象大数据资源层数据归集区2)气象大数据资源层数据成果区3)气象大数据资源层数据产品库4)气象大数据资源层共享交换库第5页共114页建设项目数据汇聚气象大数据数据资源层各库之间的数据流转；建设可视化平台对数据抽取、规则定制、运维等提供可视化操作工具。成气象局各类数据数据治理工作；元数据进行统一的管理。包含元数据生成、规则制定、发布、1.2气象+大数据平台PaaS层在完成大数据平台存储环境、基础分布式计算环境搭建后，需要进一步丰富应用中间件，实现各个系统在大数据环境中的统一整合，包括实时流式数据处理、业务数据同步、数据可视化清洗、数据可视化大屏等；通过业务应用中间件系统的建设，提升业务系统大数据应用能力。分布式计算引擎，为数据处理提供了弹性、容错、高可用的环境，但对于需要实时大数据分析计算的应用来说，还需要一套与普通应用融入整合的数据计算服务。分布式计算服务化引擎，通过将大数据处理、分析计算的能力以Rest接口的方式对外暴露，实现了数据计算的服务化；通过该服务，应用系统可通过简单的接口调用，实现在分布式环境中数据处理。第6页共114页(1)支持负载均衡、容错的计算服务接口，提供Rest接口；(2)多语言服务计算调用压缩包，包括java、python等主流语言；(3)函数注册服务；(4)应用日志、异常日志；(5)支持串行调用、并行调用；(6)支持同步调用、异步调用；(7)计算任务进度监控、状态监控、结果获取；(9)支持高效数据压缩存储，节约存储成本；(10)具备完善的权限认证与隔离机制，保障数据的私密性。分布式计算环境中，针对数据使用频度，对部分数据进行预计算、预先缓存或在计算过程中进行缓存，都可大大提升数据加载、计算效率；当业务系统不断扩展、任务数量不断增为了提高计算效率、数据缓存自动化能力，大数据平台应构建统一的分布式计算基础缓存系统，通过统一的缓存系统，实现多系统缓存数据共享、多系统数据缓存交换、统一数据(1)文件系统缓存层：缓存系统提供文件缓存服务，该服务可实现文件加载与缓存、文件缓存生命周期管理；(2)结构化数据缓存层：缓存系统提供显示的数据库表缓存加载、缓存清理功能，用户可通过api透明调用缓存数据；(3)统一的数据缓存结构：通过统一缓存调用接口、缓存数据结构，实现多任务、多应用间缓存数据共享交换；(4)缓存管理与监控：提供缓存数据监控、缓存数据人工加载与清理、缓存加载与清理策略管理等。算法管理平台，提供从算法开发选择、模型训练跟踪，最优模型对比选择、模型发布管理到最终模型部署一整套的算法开发生命周期管理。平台作为大数据平台的基础算法管理发布平台，统一管理所有相关算法，并提供一站式开发调试管理及部署方案。算法管理平台，提供从算法开发选择、模型训练跟踪，最优模型对比选择、模型发布到最终模型部署一整套的算法开发生命周期管理。平台应包含以下核心模块：算法管理、训练数据集管理、模型训练跟踪、模型发布、模型仓库、模型部署及系统管理等模块。知识星球【无忧智库，星球号：53232205】知识星球【无忧智库，星球号：53232205】智能算法集成，构建于基础平台之上，将标准、常用的关键算法，封装为算法库和容器，并发布到算法管理平台。(1)基础产品算法(2)灾害天气特征提取与监测算法第8页共114页(5)预报预警数字生成算法(6)气候业务典型算法第9页共114页象+大数据汇交子系统，包括数据采集模块、数据处理、数据表管理、采集界面展示和资源目录管理等模块，主要完成数据收集和处理工作。数据采集数据处理数据表管理可视化ETL模块资源目录管理气象+大数据交汇子系统图2-1气象+大数据汇交子系统组成图其中数据处理模块以及数据采集模块本项目根据XX市大数据信息化项目建设要求，此类功能采用购买商业现货软件或者租用XX市城市智能中枢核心能力平台的业务协同服务、共性技术服务、数据服务、云计算(IaaS、PaaS)等应用支撑能力，具体租用能力清单如下：表2-2租用XX市城市智能中枢核心能力平台服务清单能力能力1据台分布式大数据平台化平台大数据平台2据台数据能力系统通过数据服务、服务注册、自动挂接、配置与运行管理、实现服务展示、全流程管理、数据下载、数据处理、数据大数据服务管理第10页共114页能力能力发布、自助取数等功能3大数据大数采大数虫提供数据爬虫技术，供应用系统快速搭建爬虫功能公开数据采集(1)资源目录编目1)元数据提取对目录规范要求的元数据进行提取，为基于目录的资源共享、查询、管理与调用提供数2)元数据管理支持目录内容管理者完成信息资源元数据元素项裁减或扩展等工作。3)元数据分类为方便元数据指标体系管理，根据元数据所属类型及含义，将元数据进行分类管理。支持目录内容管理者完成目录分类结构的创建、维护和管理等工作。4)元数据赋值根据对不同部门、不同行业数据资源进行分析，提取资源的各项属性信息，按照核心元数据指标体系进行元数据赋值工作，形成数据资源元数据描述。支持数据资源属性自动提取与人工核查，实现与核心元数据——对应，完成赋值工作。5)目录编制通过对数据资源元数据进行提取、管理、分类，形成目录元数据集，通过元数据赋值完成目录编制。建立包含基础目录、主题目录、部门目录的目录元数据体系，通过元数据赋值工作支撑目录编制工作开展。(2)资源目录管理第11页共114页利用版本管理与搜索技术，提供用户在系统中对目录进行管理、查询，以及对数据资源的元数据查看、预览等功能，实现一站式的资源目录查询与管理。1)目录注册支持目录内容提供者完成信息资源目录的登记工作。支持目录导入、导出、删除、修改、数据检查、提交等操作；实现手工录入、批量导入和利用目录注册更新接口自动注册等几种目录注册方式。2)目录更新支持目录内容提供者开展已正式发布的信息资源目录的修改和完善等工作；包括目录导入、导出、修改、删除、数据检查、提交、版本管理等操作；实现手工更新、批量更新和利用目录注册更新接口自动更新等更新方式。并对修改进行版本管理与痕迹管理。3)目录审核应支持目录内容管理者完成信息资源目录的格式审核等工作；应包括格式校验、目录核准、目录回退等操作；应实现信息资源目录的单一审核和批量审核等几种审核方式，并实现信息资源目录格式的自动校验。4)目录导入通过识别文件中包含目录元数据，实现目录自动导入，并与部门进行关联并建立目录版5)目录导出可灵活按部门、按版本将资源目录导出文件，支持单一部门导出、批量部门导出。6)目录发布目录发布维护：支持目录内容管理者按照目录树的方式组织和展现审核通过的信息资源目录；包括目录树创建、目录树删除、目录树裁剪、目录树提交等操作。目录发布配置：实现目录树的可视化配置，支持目录内容管理者灵活地定制目录树。7)目录检索利用全文搜索引擎技术，建立基于文本的元数据索引，支持目录内容使用者查询所需的信息资源目录，包括检索条件设置、检索条件重置、检索结果展现等操作。第12页共114页8)目录导航目录导航服务支持目录内容使用者通过目录树完成信息资源目录浏览等工作。目录导航包括目录树展示层次控制、目录树展开、目录树折叠等操作。目录导航实现以多种导航方式：基于专题：按照专题分类进行目录组织；基于行业：按照行业分类进行目录组织；基于服务：按照面向服务分类进行目录组织；基于资源形态：按照资源形态分类进行目录组织；基于组织机构：按照组织机构进行目录组织。在提供浏览导航的同时也提供目录服务接口，对外提供目录服务。采集展示页面主要是用来展示最近数据的接入情况和作业的运行情况。分为：数据接入统计、30日数据量走势、前十数据接入状况和24小时作业失败分布图。为开发人员提供所见即所得的数据清洗、即时查看清洗结果的功能；通过可视化ETL平台，开发人员可最大限度降低开发工作量、最大限度复用已有的数据清洗函数，大大提升数据清洗工作效率。数据可视化ETL平台包括以下主要核心模块：可视化操作WebUI、多源数据连接器、清洗函数管理、可视化清洗流程编排、清洗流程调度、在线数据清洗代码编辑、清洗结果存储、数据清洗过程日志。(1)可视化操作WebUI系统提供拖拽式、即时交互的数据清洗过程构建，包括交互式数据源选择、数据源链接、数据加载、清洗函数设置、清洗结果存储设置、中间结果查看等。(2)多源数据连接器系统提供常见主流的数据源连接，包括主流的关系数据库、nosql数据库、文件系统、主流对象存储系统。(3)清洗函数管理系统内置常用的数据清洗函数和算法以及气象领域特有的函数，用户可直接通过交互式UI引用相关函数以构建ETL流程。除了内置函数之外，系统提供了函数扩展管理功能，开发者可根据需求，基于系统提供的二次开发压缩包，开发自定义函数，并提供自定义函数的注第13页共114页(4)可视化清洗流程编排系统提供可视化清洗流程编排功能，在流程编辑器中，用户可通过拖拽方式进行函数引编辑、节点参数设置、流程节点依赖关系编辑、流程基本信息设置、流程动态参数设置、流(5)在线数据清洗代码编辑流程编排支持在线自定义清洗代码编写，系统支持python、sql等语言嵌套，用户可在(6)清洗结果存储(7)数据清洗过程日志(8)数据传输速度控制支持数据同步速度控制，通过设置同步速率上限来调整，根据业务需求选择设定的值。数据进行初始化的同步时，往往有大量历史数据需要同步至大数据平台，支持按速度读取数第14页共114页1确定结构化数据存储库、表；数值预报产品通用模块；非结构化数据文件类型ID确认；数据文件元数据解析：类型ID、类型名；数据文件缓存地址、文件名、文件大小、创建时间、MD5值计算；数据文件保存规则确定：保存方式、保存路径、保存存储类型；2数据入库采用分布式架构设计开发，部署在多个处理节点上，具备高可用、高可扩展性；数据处理模块可以根据业务发展，动态调整处理节点；结构化数据：按存储策略，结构化数据写入关系型分布式数据库；按存储策略，结构化数据写入数据仓库；非结构化数据：数据文件元数据信息写入消息中间件；读取消息中间件元数据信息，解析；按存储策略，写入对象存储，写入对象存储同时，写入文件索引到分布式关系型数据库；第15页共114页按存储策略，非结构化文件写入分布式存储或对象存储；气象+大数据平台的数据，主要是实时和定时的采集气象局各业务单位的数据和产品，它不仅要涵盖基础的实时气象观测数据，各类气象预报产品，多种气象服务产品，同时考虑包括从政府各部门汇交的行业数据，以及未来对支撑气象服务有潜在意义的各类数据。采集和接入的数据涵盖矢量、栅格、文本、图像等，数据类型包含有关系型结构化数据和各类文件表2-4数据采集模块功能表1自动接收开通FTP负载均衡设置；创建4个节点的FTP服务器接收集群；接收CTS2分发的气象资料文件；接收信息中心制作的各类产品文件；接收其他业务单位制作的各类产品文件；接收行业汇交的数据文件；接收从互联网抓取的各类数据文件；2采集模块采用高可用性和可扩展的分布式架构；支持包括FTP、SFTP、HTTP、TCP、UDP等协议数据源的接入；支持包括MySQL、ORACLE等关系型数据库数据源的接入；支持包括Hive、HBase等NoSQL数据库数据源的接入；支持消息队列等数据源接入；支持采集数据的多样化(表、图片、音频、视频等)。第16页共114页采集等；筛选、数据质控、数据校验等功能；采集分布式数据库43类气象资料；采集Oracle数据库气象资料；采集CTS2消息队列气象资料；采集MDOS消息队列气象资料；规则、数据转换规则、数据存储目标配置；提供采集任务调度配置；提供采集任务实时监控；1XX-国家级自动站-1分钟2345XX-区域自动站-5分钟6第17页共114页789XX-辐射-1分钟XX-风廓线雷达-5分钟XX-高山无人站-5分钟云南-区域自动站-逐小时云南-国家级自动站-逐小时四川-区域自动站-逐小时四川-国家级自动站-逐小时湖北-区域自动站-逐小时湖北-国家级自动站-逐小时湖南-区域自动站-逐小时湖南-国家级自动站-逐小时第18页共114页西藏-区域自动站-逐小时西藏-国家级自动站-逐小时贵州-区域自动站-逐小时贵州-国家级自动站-逐小时陕西-区域自动站-逐小时陕西-国家级自动站-逐小时青海-区域自动站-逐小时青海-国家级自动站-逐小时中国-地面站候值统计中国-地面站日值天气现象中国-地面站日值统计中国-地面站旬值统计中国-地面站月值统计产品类别1地面观测小时数据等值面产品图1小时2地面观测10分钟数据等值面产品图10分钟3土壤小时观测数据等值面产品图1小时4多普勒雷达单站产品图6分钟5多普勒雷达拼图产品图6分钟6XXGNSSMET反演产品图小时7XX大气成分等值面产品图小时第19页共114页产品类别8闪电密度分布图天9中国局-雷达拼图-全国多范围6分钟GRAPES组织预报产品图12小时ECMWF_HR数值预报产品图12小时6分钟格点预报产品图8小时天数值预报模式产品12小时1.2.3气象+大数据存储子系统存储趋势分析存储趋势分析存储容量管理数据存储数据存储结构设计数据管理第20页共114页图2-2气象+大数据存储子系统组成图数据管理模块，将根据数据目录、数据类型及特点确定数据存储策略，制定最佳存储方案。其中数据集管理功能，对数据的分类及文件索引进行管理，并通过键入关键字对所有存储文件进行快速检索定位；并提供数据资源挂接、交换目录全过程监控、查询、配置以及稽表2-7数据管理模块功能表1计气象数据特点分析：主要包含结构化数据和非结构化数据结构化数据存储策略：本项目拟选用关系型数据库存储属性数据及地面、高空等常规气象观测数据；非关系型数据库存储数非结构化数据存储策略：采用关系型数据库存2新建数据集：通过管理界面，添加数据集；输入数据集唯一名称、数据集类型、分类、存储位置等信息删除数据集：可单独删除数据集定义，仅删除某个数据集的定目录或文件、添加数据库表等数据集搜索：通过名字、关键字或标签等方式，对数据集进行过滤；搜索条件包括分类(category)、第21页共114页序号一级分类二级分类1气象观测数据地面观测数据分布式数据库(MySQL)数据仓库分布式文件系统高空观测数据农气观测数据大气成分数据卫星观测数据雷达观测数据海洋观测数据科学考察数据2数值模式数据分布式NoSQL数据库分布式文件系统区域模式3气象服务产品实况监测产品分布式数据库(MySQL)统计产品数据集产品预报产品预测产品专业服务产品决策服务产品公众服务产品专题服务产品4部门间共享数据部门间共享数据分布式数据库(MySQL)5社会公共数据基础地理信息分布式数据库(MySQL)移动终端信息社会媒体信息社会经济信息6政务管理数据分布式数据库(MySQL)第22页共114页综合服务办公管理运维数据7灾害灾情数据灾情上报数据分布式数据库(MySQL)灾害普查数据数据存储结构设计数据存储结构结构设计主要对大数据平台的基础数据库和应用支撑库相应的数据资源的结构进行统一设计和管理。存储结构的管理分为结构化数据存储结构和非结构化数据存储结构的管理。(1)结构化数据存储结构结构化数据的存储结构，主要涉及存储结构命名和存储结构策略定义。其中，存储结构命名包括数据库、表、要素列等命名，存储结构策略定义包括分库分表、键表-要素表、全局表、分区、索引等定义。(2)非结构化数据存储结构非结构化数据主要包括文件存储和数据块存储两种形式。其中，文件存储的结构主要定义文件目录组织和文件索引结构，此外，对其中的网格类数据还要定义其内容格式，包括实况分析、模式分析场、再分析等格点分析类，以及数值预报、集合预报等格点预报类等两种。根据气象数据特点和业务应用需求，主要使用分布式数据库、数据仓库、对象存储、分布式文件系统4种存储方式。分布式数据库。主要用于存储所有的结构化气象数据，包括观测数据、气象服务产品数据、社会公共数据、政务管理数据以及灾害灾情数据。数据仓库。主要用于存储气象观测的长时间序列历史数据和数值模式数据。提供利用数据仓库作为结构化数据的存储方案，用于OLAP、数据挖掘、深度学习等应用场景。第23页共114页表2-8数据存储模块功能表1分布式数据库具有时间、空间(经纬度，高度)属性的气象数据的存储及查询；通过合理的存储建模，满足对未来新增数据类支持分布式部署，实现通过扩展数据存储节点来增加存储容量，同时查询性能不会随数据存储容量的增加而降低以行业应用数据库中间件产品的方式，实现海量携带时间、空间(经纬度，高度)属性的气象数据的存储与查询；解决业务应用对实时气象数据单点时间序列查询，单时间点矩形及多边形查询以及高空层次数据查询毫秒级响应的需求。2数据仓库数据表支持数据分区，系统设计通过减少数数据仓库存储支持多种压缩算法，以优化存储空间，提高系统存储空间利用率；数据仓库具备高可用性、高时效性等特性，提供统一的支持OLAP的查询分析引擎；数据仓库支持标准SQL语句作为查询分析语言；数据仓库支持跨多数据库检索，支持百亿级数据查询实现秒级响应。第24页共114页3类小文件对象；(百亿级);可依此进行对象存储相关应用；缀检索及文件夹(文件名前缀区间)进行检索；存储对象可直接通过http进行浏览及下载，可自的有效时长；支持使用MapReduce处理对象存储中的数据对象存储提供Java、Python的对4分布式文件系统对分组、分用户进行细分授权);支持PB级文件存储能力，满足气象海量历史数据；支持存储节点横向动态扩展，弹性扩容，满足不同数据增量曲线；支持多副本存储机制，提供的多副本机制实现数据备份恢复能力；对外提供统一HTTPRest文件存储及下载接口；分布式文件系统提供java、python文件存储访问压缩包，满足外部第25页共114页对数据库存储容量进行统一管理，建立磁盘容量占用情况清单表，详细列举出各磁盘存储情况，比如磁盘占用量、存储剩余存储量、磁盘占用比例、磁盘数据存储情况等存储容量管理清单。利用机器深度学习技术，对磁盘近三个月存储增量进行分析，对未来一段时间磁盘存储增量进行预测，以达到方便运维人员对存储量的预测管理及云资源的申请，以维持系统高效免责声明【无忧智库，星球号：53232205】免责声明【无忧智库，星球号：53232205】1.2.4气象+大数据治理子系统气象+大数据治理子系统是将零散气象数据变为统一数据，将具有很少或没有组织和流程的数据变为气象业务范围内的综合数据、将数据从混乱状况变为井井有条的一个过程。这个过程实际是上形成一种体系，气象+大数据治理子系统建设的目的，是建立数据拥有者、使用者、数据以及支撑系统之间的和谐互补关系，从全局视角协调、统领各个层面的数据管理工作，确保第26页共114页内部各类人员能够得到及时、准确的数据支持和服务。气象+大数据治理子系统涵盖如下功能域：元数据管理、数据标准管理、数据质量管理、数据生命周期管理等四块功能域。第27页共114页数据生命周期管理模块模块可视化数据同步模块数据质量控制模块数据标准管理元数据管理图2-3气象+大数据治理子系统组成图其中数据标准管理模块以及数据质量控制模块本项目根据XX市大数据信息化项目建设要求，此类功能采用购买商业现货软件或者租用XX市城市智能中枢核心能力平台的业务协同服务、共性技术服务、数据服务、云计算(IaaS、PaaS)等应用支撑能力，具体租用能力清单如下：表2-9租用XX市城市智能中枢核心能力平台服务清单能力能力1大数据大数台-数据化系统通过内部标准化管理规则，实现标准管理、数据资源管理、对标管理、跑数作业管理等功能大数据规范管理2大数据大数台-数据治理系统实现政务数据资源的治理、审核、比对校验、纠错反馈等功能。第28页共114页对气象+大数据平台存储的各类气象数据的元数据进行登记管理。元数据包括数据名称、数据类型、数据启用时间、数据存储方式、数据是否质控、现有数据存量、数据每日增量、数据日访问量、数据存储的库和表、数据访问的接口地址、数据格式说明、数据的业务应用描述表2-10气象元数据管理功能表1气象数据资源，规范管理各类数据的采集、存储数据存储信息管理：利用元数据携带的数据来源、更新频率、数据存量、数据格式、存储位置等信息，对数据资理。表结构元数据信息管理：元数据管理模块统一结构Schema信息，并提供Schema的历史版本记录，协助用户数据业务属性管理：同步现有数据中心元数据，支持数据及业务负责人补充数据业务属性，同时对全局公共元数据进数据标准是一套符合自身实际，涵盖定义、操作、应用多层次数据的标准化体系，数据标准的建立必须遵循一个统一的标准进行组织，才能构成一个可流通、可共享的信息平台。第29页共114页数据标准管理功能立足于从全局制定企业的各项数据标准内容，用以及管理的功能，并具备全生命周期的数据标准管理能力。从可视化数据同步模块数据质量控制模块通过建立数据过滤规则和数据校验规则来实现。数据过滤规则可根据数据源类型和业务需求，显示相应的数据过滤规则表单；数据校验规则主要校验接入数据的表2-11数据质量控制模块功能表1数据质量控制支持数据过滤规则设置，可根据数据源类型和业务需求，显示相应的针对数据库数据源，可设置数据过滤SQL。针对FTP数据源，可配置文件路径匹配正则、支持数据校验，可根据不同的数据源类型、业第30页共114页验规则。针对数据库数据源，支持数据条数校验、某列数据范围校验、数据列数据类型校验。针对FTP数据源，支持文件大小校验、扫描文件数量校验气象+大数据平台存储海量历史气象+多源数据，同时源源不断的汇集接收实时资料。为了缓解平台存储管理压力，并有效提升平台数据存储性价比，需采取有效的数据生命周期管表2-12数据生命周期管理功能表1提取原始数据，例如来自设备的流失数据、本地数据、应用日进行处理和分析，将数据从原始格式转换为1.2.5气象+大数据应用子系统气象+应用子系统，依托开源大数据软件，采用分布式架算法库，实现多种气象产品的分布式计算、加工，生成各类气象统计数据和图形产品。应用子系统，包括分布式计算框架、基于分布式计算框架的气象数据计算模块、基于分布式架构第31页共114页气象行政数据支撑模块气象行政数据支撑模块数据资产服务模块气象产品加工模块地面常规气象数据统计模块数据计算模块图2-4气象+大数据应用子系统组成图基于分布式计算框架的气象数据计算模块由通用算法库、气象应用算法库构成。(1)通用算法库建设通用算法建库功能，建设基于开源分布式计算框架和深度学习框架，为全局提供数据挖掘和机器学习的分布式计算平台，提供数据挖掘和机器学习算法的实现库。结合分布式存储中的海量气象+数据，提供数据挖掘、机器学习中进行特征抽取、特征处理、特征分析的分布式计算功能。通用算法模块包括算法建库功能、数据挖掘功能和机器学习功能，建设基于开源软件的分布式计算框架和深度学习框架，为全局提供数据挖掘和机器学习的分布式计算平台，提供数据挖掘和机器学习算法的实现库。结合分布式存储中的海量气象+数据，提供在数据挖掘、机器学习过程中进行特征抽取、特征处理、特征分析的分布式计算能力。(2)气象应用算法库第32页共114页建设气象应用算法建库功能，包括算法建库功能、大数据分析功能、分析应用功能和算法库对接功能，其主要作用是在结合中国气象局提供的算法库基础上结合XX本身算法特点建气象应用算法建库模块包括算法建库功能、大数据分析功能、分析应用功能和算法库对接功能，其主要作用是在结合中国气象局提供的算法库基础上结合XX本身算法特点建立新的基于分布式架构的地面常规气象数据统计模块实现多时间尺度和任意时段地面观测数据的统计计算，并分析多时间尺度的极值，实现统计结果展示，通过监听原始数据变更消息，表2-13气象要素观测数据类别表风2分钟风向、2分钟平均风速、10分钟风向速的风向、极大风速、极大风速出现时间降水间湿度露点温度分钟草面(雪面)温度、小时草面(雪面)最高温度、草面(雪面)最高出现时间、小时草面(雪面)最低温度、草面(雪面)最低出现时间第33页共114页面最低出现时间分钟数据：5厘米地温、10厘米地温、1分钟数据：40厘米地温、80厘米地温、160能见度分钟能见度、小时最小能见度、最小能见度出现时间日照小时日照时数(1)数据统计计算1)数据载入输出功能2)各类观测数据的统计功能不同观测数据统计功能的实现需要区分各要素的不同尺度统计。降水时间尺度包括实时时间尺度：5分钟、10分钟、30分钟、1小时、3小时、6小时、12小时、24小时，以及长时间尺度：日、候、旬、月、季、年，并支持其他自定义的统计任务；除降水外的其他分钟观测数据，统计时间尺度包括：小时整点、日、候、旬、月、季、年；气象灾害的统计基于小时天气现象数据，统计时间尺度包括：日、候、旬、月、季、年，统计结果实时存入数表2-14实时统计项表项目3小时变压、24小时变压风过去6小时极大瞬时风向、过去12小时极大瞬间风向、过去6小时极大瞬时风速、过去12小时极大瞬间风速降水过去3小时降水量、过去6小时降水量、过去12小时降水量、08时到20第34页共114页项目时累积降水量(人工观测)、20时到20时累积降水量(人工观测)过去12小时最低地面温度项目日平均气温、日最高气温及出现时间、日最低气温及出现时间湿度日平均水汽压、日平均相对湿度、日最小相对湿度及出现时间日平均风速(2分钟)、日最大风速及出现时间、日最大风速的风向、日极大风速及出现时间、日极大风速的风向降水日降水量(20-08时、08-20时、20-20时、08-08时)、日最大小时降水量及出现时间、固态降水量(20-08时、08-20时、20-20时、08-08时)蒸发日蒸发量天气现象天气现象及出现时间云总云量能见度日最小能见度及出现时间浅层/深层地温日平均地温(5cm/10cm/15cm/20cm/40cm/80cm/160cm/320cm)积雪日照日日照时数第一(二)冻土层上限深度、第一(二)冻土层下限深度电线积冰第35页共114页项目项目候平均本站气压、候极端最高本站气压及出现日期、候极端最低本站气压及出现日期、候平均海平面气压候平均气温、候极端最高气温及出现日期、候极端最低气温及出现日期湿度候平均水汽压、候平均相对湿度风候平均风速(2分钟)、候最大风速及出现日期、候最大风速的风向、候极大风速及出现日期、候极大风速的风向降水候降水量(20-20时、08-08时)、候固态降水量(20-20时、08-08时)候平均地面温度、候极端最高地面温度及出现日期、候极端最低地面温度及出现日期日照项目月平均本站气压、月极端最高本站气压及出现日期、月极端最低本站气压及出现日期、月平均海平面气压出现日期、月最小气温日较差及出现日期、日最高气温(≥30℃,≥35℃、≥40℃)日数、日最低气温(<2℃、<0℃、<-2℃、-15℃)日数湿度月平均水汽压、月平均相对湿度、月最小相对湿度及出现日期第36页共114页项目风大风速及出现日期、月极大风速的风向、日最大风速(≥5m/s、≥10m/s、风速、16方位(含静风)各风向频率，月最及出现频率降水月降水量(20-20时、08-8时);月最大日降水量及出现日期、月最大小时降雨量及出现日期；日降水量(≥0.1mm、≥1mm、≥5mm、≥10mm、≥25mm、≥50m、≥100mm、≥150mm、≥250mm)日教；月最长连续最大连续降水止日蒸发月蒸发量天气现象象出现日数云月平均总云量、月平均低云量，日平均总云量<20%的日数、日平均总云量>8%的日数、日平均低云量<20%的日数，日平均低云量>80%的日数能见度能见<10km出现频率、能见度<5km出现频率、能见度<1km出现频率浅层/深层地温月平均地温(5cm/10cm/15cm/20cm/40cm/80cm/160cm/320cm)积雪月最大积雪深度及出现日期、月最大雪压及出现日期、积雪深度(≥1cm、≥5cm、≥10cm、≥20cm、≥第37页共114页项目日照的日数月最大冻土深度及出现日期电线积冰电线积冰最大重量及相应直径、厚度、出现日期项目旬平均本站气压、旬极端最高本站气压及出现日期、旬极端最低本站气压及出现日期，旬平均海平面气压旬平均气温、旬极端最高气温及出现日期.旬极端最低气温及出现日期湿度旬平均水汽压、旬平均相对湿度风旬平均风速(2分钟)、旬最大风速及出现日期、大风速及出现日期、旬极大风速的风向降水旬降水量(20-20时、08-08时)旬平均地面温度、旬极端最高地面温度及出现日期、旬极端最低地面温度及出现日期日照表2-19年值统计项表项目年平均本站气压、年极端最高本站气压及出现月日、年极端最低本站气压及出现月日、年平均海平面气压年平均气温、年平均日最高气温、年平均日最低气温、年极端最高气温及出现月日、年极端最低气温及出现月日、气温年较差最大气温日较差及出现月日、年最小气温日较第38页共114页项目日数空气湿度年平均水汽压、年平均相对湿度、年最小相对湿度及出现月日风大风速及出现月日、年极大风速的风向、日最大风速(≥5m/s、≥10m/s、现频率降水年降水量(20-20时、08-08时)、年最大日降水量及出现月日、年最大小时降雨量及出现月日；日降水量(≥0.1mm、≥1mm、≥5mm、≥10mm、≥25mm、≥50m、≥100mm、≥150mm、≥250mm)日数；年最长连续降日；15个时段(5、10、15、20、30、45、60、90、120、180、240、360、540、720、1440分钟)年最大降水量及降水起始时间(年、日、时、分)蒸发天气现象象日数云年平均总云量、年平均低云量、日平均总云量<2080%的日数、日平均低云量<20%的日数、日平能见度能见度<10km出现频率、能见度<5km出现频率、能见度<1km出现频率第39页共114页项目年平均地温(5cm/10cm/15cm/20cm/40cm/80cm/160cm/320cm)最高草面温度及出现月日、年极端最低草面温度及出现月日积雪年最大积雪深度及出现月日、年最大雪压及出现月日照的日数年最大冻土深度及出现月日电线积冰电线积冰最大重量及相应直径、厚度、出现月日项目现月日、最小气温日较差及出现月日、日最高气温(≥30℃≥35℃≥4日数、日最低气温(<2℃、<0℃、<-2℃、<-15℃)日数空气湿度各季节内：平均水汽压、平均相对湿度、最小相对湿度及出现月日风各季节内：平均风速(2分钟)、最大风速及出现月日、最大风速的风向、极大风速及出现月日、极大风速的风向、最大风速(≥5m/s、≥10m/s、第40页共114页项目≥15m/s、≥17m/s)日数、16方位各降水各季节内：降水量(20-20时、08-08时)、最大日降水量及出现月日、最段(5、10、15、20、30、45、60、90、120、180、240、360、540、720、1440分钟)最大降水量及降水起始时间(年、日、时、分)蒸发度≤0℃的日数端最高草面温度及出现月日、极端最低草面温度及出现月日日照≤20%的日数高温(≥35℃、≥37℃、≥40℃)日数/出现日期低温(≤0℃)日数/出现日期第41页共114页暴雨(≥50mm、≥100mm、≥250mm)日数/出现日期雷暴日数/出现日期大风日数/出现日期积雪日数/出现日期日数/出现日期雾(轻雾/雾)日数/出现日期结冰日数/出现日期注：2020.04.01之后的雷暴、积雪、雾、结冰等数据来自综合叛识结果3)任意时段降雨量统计功能任意时段降雨量统计功能是根据已保存的降雨量统计结果，通过拆分降雨时间的方法，实现任意时段降雨的快速统计。如查询2016/3/221:16:00至2018/7/120:30:00的降雨统计，则根据2016/3/200-20小时降雨+2016/3/221:00-21:10的十分钟降雨+2016/3/221:16:00分钟降雨+2016/3/3至-2016/3/31日降雨+2016/4-2016/12月降雨+2017年降雨+2018/1-2018/6月降雨+2018/7/100-20小时降雨+2018/7/120:00-30的10分钟降(2)极值分析模块(3)统计结果展示模块第42页共114页统计数据展示模块包括两种操作形式，一是自动生成固定产品，如通用统计产品，二是用户交互性操作模块，根据用户划定的空间范围、时间范围，自动选取符合条件的数据统计(4)自动更新计算模块通过消息中间件监听原始数据更正消息，根据更正消息包含的具体信息，定位需要更新计算的统计数据，随即执行更新任务，更正已有的统计计算数据和极值分析数据，并更新展(1)业务数据探测为实现气象产品的加工，气象产品加工模块需对存储在各主要数据库内的数据进行相关业务数据探测，确定为完成此类数据产品需要抽取的数据库、数据条目、数据字段等数据要(2)业务数据接入(3)业务逻辑转换(4)业务集成第43页共114页(5)数据服务此模块为气象产品模块数据服务总线，对各类数据服务产品进行统一管理、注册、调度、共享等功能。在此模块完成数据服务产品的全生命周期管理。(6)气象产品根据我局2020年气象业务发展需求及规划，现规划出一下数据产品，并根据每年业务发展进行同步更新。表2-22包括但不限于以下数据产品清单公路交通站产品加工实现公路交通站产品的加工制作，实现小时产品、日值产品、旬值产品、月值产品、季度值产品和年度值产品的加工制作，旬值产品、月值产品、季度值产品和年度值产品的加工制土壤水份自动站产品加工实现土壤水份自动站产品的加工制作，实现小时产品、日值产品、旬值产品、月值产品、季度值产品和年度值产品的加工制气溶胶多要素质量浓度产品加工实现气溶胶多要素质量浓度产品的加工制作，实现小时产品、气溶胶数浓度谱产品加工实现气溶胶数浓度谱产品的加工制作，实现小时产品、日值产品、旬值产品、月值产品、季度值产品和年度值产品的加工制第44页共114页水利局-河道水位产品加工实现水利局-河道水位产品的加工制作，实现小时产品、日值制作，提供表格和图形化产品。实现水利局-雨量站产品的加工制作，实现小时产品、日值产品、旬值产品、月值产品、季度值产品和年度值产品的加工制紫外线辐射产品加工实现紫外线辐射产品的加工制作，实现小时产品、日值产品、旬值产品、月值产品、季度值产品和年度值产品的加工制作，提供表格和图形化产品。负氧离子产品加工实现负氧离子产品的加工制作，实现小时产品、日值产品、旬实现辐射产品的加工制作，实现分钟级产品、小时产品、日值酸雨产品加工实现酸雨产品的加工制作，实现日值产品、旬值产品、月值产品、季度值产品和年度值产品的加工制作，提供表格和图形化风廓线雷达产品加工高山无人站产品加工第45页共114页加工制作，提供表格和图形化产品。25类X波段雷达图形产品加工。(1)气象数据时空高并发查询系统气象数据时空高并发查询系统，支持所有的结构化气象数据的存储和高并发查询服务；该系统是数据服务化的基础，作为气象+大数据平台PaaS层的基础支撑，提供全量实时结构化数据的存储和标准查询接口。(2)业务数据及产品回存业务数据及产品回存，对应用系统提供统一标准的数据回存接口，通过该系统的部署，进一步降低业务系统对基础服务调用的难度，进一步提高数据存储规范。(3)地理信息服务整合应用接入地理信息服务，提供地理信息基础服务，为业务系统提供包括地理信息基础数据服务、空间数据存储、空间数据查询、数据瓦片、数据底图等关键地理信息服务，降低地理信息气象业务开发难度，公共化、服务化基础数据能力。气象行政数据中心子系统的主要建设内容是建立完善气象行政数据中心，包括行政数据智能填报系统、行政数据地图、行政数据看板系统、行政数据决策支撑系统。(1)行政数据智能填报功能行政数据智能填报系统是实现各类行政数据定时填报、周期填报、临时填报的系统，可以通过可视化方式制定填报内容、填报计划，实现填报数据快速汇总、打包，减少多头填报、填报口径不一致的问题。(2)行政数据地图第46页共114页从行政数据源接入，到数据采集、数据处理，再到数据分析和挖掘，打通数据生命周期的各个环节，实现数据填报、处理、分析一体化，为用户提供一站式数据服务。既能支持对路”的庞大数据地图，可以提供更加直观立体的数据观感，从全方位，全角度，透视数据。可清晰辨别分析数据的走向和趋势，进而可以实施人工干预，动态分析，业务建模等，打造(3)行政数据看板系统行政数据看板系统可以建立看板分类以及数据看板，通过指定数据接口以及数据统计图例，快速构建数据统计图，包括常用的柱状图、散点图、热力图、饼状图、曲线图、折线图(4)行政决策支撑系统期管理。能够为各种类型的应用(容器应用、软件包应用、有状态/无状态等)选取合适的资第47页共114页采用分层技术，把应用及其相关依赖打包成一个轻量级、可移植的容器进行服务交付，实现开发、测试和生产环境的统一化和标准化，最大化使用服务器的软硬件资源，最终达到任务调度编排在线服务应用商店图2-5气象+大数据容器化应用管理子系统组成图应用商店容器管理系统能够为各种类型的应用(容器应用、软件包应用等)通过应用商店选取合适的资源进行安装部署，同时可以将单个应用发布到系统的应用商店并支持运行时管理操作如配置、更新、升级、卸载等。应用编排建模、应用管理、应用调度管理、应用运维管理、在线服务因平台需要同时支一平台九系统的气象局信息化应用，会有更多的用户和应用对平台产生较高依赖性，这就要求平台具备持续在线提供服务的能力。容器的交付流程改变了固有的交付方式，通过敏捷的自动化工具进行协作和沟通，可将容器交付的流程自动化，降低交付第48页共114页成后自动生成标签。继而到自动发布测试版本，基于测试环境全面测试，不断进行版本自动化迭代以优化测试中发现的bug。最终形成正式版本，通过人机交互的方式进行正式版本的发布，最终完成应用的交付。其中，最重要的一点就是以持续交付的方式进行平台版本的敏捷开发和不停服状态下的更新，通过快速应对用户的需求变化。平台主要采用蓝绿部署、灰度发布等发布方式来达到持续交付的要求，保证平台服务不停机状态下升级版本；如果运行出现了问题，就可以通过反向代理或负载均衡器快速回滚到绿色环境，保证平台服务的高可(1)镜像管理(2)流程编辑(3)运行监控流程引擎提供实时、历史运行监控，用户可通过WebUI查看运行日志，包括最新日志、调度系统提供运行监控统计，支持按月、按日、按天、按小时、用户、运行状态等多维第49页共114页(4)运行调度1.2.7气象+大数据服务子系统本项目规划面向XX市气象局各业务部门，提供集存储计算一体的气象数据管理环境，可实现各业务部门通过调用接口(RESTful和SOA业务化应用。气象+大数据接口服务子系统需提供业务功能服务接业务功能服务接口代理业务功能服务接口代理业务功能服务接口认证业务功能服务接口完善服务接口管理业务功能服务接口开发规范业务功能服务接口命名规范图2-6气象+大数据接口服务子系统功能图表2-23业务功能服务接口命名规范表第50页共114页业务功能服务接口(1)业务功能服务接口公共配置信息(2)业务功能服务接口安全要求各业务功能服务接口应在单次最大可获取字段数目、返回记录数、访问数据量、访问时间长度、资料类型合法性、时间段合法性等方面进行限制和判定，保证接口安全、稳定的运(3)业务功能服务接口错误处理业务功能服务接口代码程序必须捕获接口运行过程中的所有错误。在捕获到错误时，必须首先释放各种资源，关闭已经打开的数据库连接；其次再调用信息中心提供的日志信息接(4)业务功能服务接口访问日志各业务功能服务接口都必须在接口调用退出前(含出错退出或是正常退出)调用日志入第51页共114页各业务功能服务接口都必须根据日志入库服务接口的要求，记录并向日志入库服务接口提交接口实际内容执行开始和执行结束时间。需要访问数据库的，还必须记录并向日志入库(5)业务功能服务接口性能要求业务功能服务接口中计算、处理不能太复杂，凡是能通过系统预处理产生结果数据和产品的，尽量在后台处理。服务接口只是简单获取结果，或是对数据、产品做简单的处理就能获取各业务中心所要的结果。业务功能服务接口运行最大时间不超过0.5秒。表2-24业务功能服务接口开发规范表1业务功能服务接口公共配置信息业务功能服务接口公共配置信息模版制定2业务功能服务接口安全要求用户验证：用户合法性判断、用户有效性判断、用户权限判3业务功能服务接口业务功能服务接口错误处理模版制定第52页共114页业务功能服务接口访问端IP、资料类型、接口名、调用参数、SQL、SQL执行时间、日志数据库。进一步完善和优化气象+数据及服务接口资源的在线管理流程，实现资源的在线注册、审核发布和管理维护，提供涵盖XX气象+大数据平台所包含的所有气象数据资源的在线管理及服务平台；包括资料元数据注册、资料元数据查询、接口注册、接口查询、实例注册、说明文档、用户空间等模块。通过资源在线注册发布，建立起气象资料、要素、接口、实例之间的映射关系，为业务用户提供一个权威的、全面的、便捷的数据服务平台。用户通过该平台，可以通过目录、要素、资料名等关键信息快速的定位到所需要的资料元数据说明，查阅到获取该资料的数据服务接口说明、使用示例以及有哪些展示应用实例。需提供快速将数据表生成数据API的能力，支持用户将现有的API快速注册到数据服务平台以统一管理和发布。同时，数据服务与API网关打通，支持将API服务一键发布至API网关。数据服务采用Serverless架构，让客户只需关注API本身的查询逻辑，无需关心运行环境等基础设施。通过对接口调用日志信息进行综合分析和统计，来实现对相关数据库、数据资源应用、功能服务接口调用的实时监控和性能考核，为管理员定期维护、解决故障和追溯原因提供数据支持和分析依据，保障气象+大数据平台的高效稳定运行。第53页共114页所有纳入XX气象+大数据平台汇交并存储的数据和产品，均需提供数据访问接口。对于尚未提供共享服务接口的数据和产品，需要根据其具体应用场景，遵循服务接口命名和开发本系统面向业务系统新建五大类接口，分别为文件系统接口、对象存储接口、分布式数据库接口、数据及产品获取服务接口、运维及监视服务接口。其中文件系统接口为业务系统入能力；分布式数据库接口，为业务系统提供常用数据产品资料的查询写入功能；数据及产运维及监视服务接口，为本平台各个子系统须提供相应的功能服务接口，通过接口，能够获表2-25业务功能服务接口完善表作服务接口2作服务接口上传文件：指定bucket及文件key,HttpBody为文件内容。删除文件或目录：指定bucket、文件或目录key进行删按前缀遍历文件：指定bucket、文件key前缀、最小key、分页数；返回匹配的对象列表以及下一页标记。3分布式数据库操作接口提供分布式关系型数据库、NoSQL数据库的操作接写入数据：依据权限写入数据到目标数据库编辑数据表：依据权限编辑可执行编辑语句4数据及产品获取服务接口提供气象+多源数据及产品提供各种场景的数据查询、统计及下5服务接口数据服务认证中心架设在原始服务权限控制体系的上层，对多源、异构的服务，进行统一的权限管理，并采用开放协议向用户提供授权Token信息。管理员可对服务的访问权限、访问时段限制与访问空间范围限制等进行设置，第54页共114页第55页共114页数据服务管控系统中的服务存在不同的权限认证方式，在向用户提供一个统一出口的同时，也需为用户提供一个统一的授权机制，方便用户对服务的调用，开放协议便为我们提供了这个一个标准。服务认证中心采用开放协议向用户提供授权Token信息，用户通过访问数对数据资源服务权限进行统一认证。支持字段级的权限控制；基于Token的服务权限控制机制；支持Token与IP、请求等绑定；支持Token过期时限设置。数据服务代理中心，以业务功能服务接口命名规范、认证中心为支撑，完成由服务代理地址到服务原始地址的转发，转发过程中完成服务的透明代理、权限认证、日志记录，整个数据服务通过服务管控系统整个过程如下：用户通过代理服务地址与授权Token发起请求，服务代理中心与服务认证中心通讯，认证用户Token是否具有该服务访问权限；认证通细粒度记录数据服务调用日志，支持访问时间、调用者、调用次数、调用行数、调用状态等日志记录。自动识别异常访问并及时进行拦截、熔断等操作。对数据服务调用日志进行运维管理系统实现对气象+大数据平台所涉及的基础资源、业务流程、服务接口、功能模块的配置、管理以及运维监视，确保整个平台的高效稳定运行。运维管理系统包括平台管理、基础设施监视、数据库监视、任务调度监视、数据流程监视、服务接口监视、数据可视第56页共114页数据可视化服务接口监视数据可视化服务接口监视数据流监视任务调度监视数据库监视基础设施监视平台管理运维管理系统图2-7运维管理子系统组成图其中平台管理本项目根据XX市大数据信息化项目建设要求，此类功能采用购买商业现货软件或者租用XX市城市智能中枢核心能力平台的业务协同服务、共性技术服务、数据服云计算(IaaS、PaaS)等应用支撑能力，具体租用能力清单如下：表2-26租用XX市城市智能中枢核心能力平台服务清单证，实现RBAC的功能权限、限以及在线数据权限建模、功能权限、数据权限、第57页共114页2中台服务。IDaaS支持钉通讯录、AD、HR系统等份权限管理和应用访问控制。(1)角色管理(2)用户管理对用户的基本信息进行管理，包括新用户信息的增加、编辑、删除、修第58页共114页(3)权限管理权限管理主要用于对用户的权限设置，限制用户访问不同的平台模块，可对数据中心和各子系统模块进行访问和操作限制，从而保证平台的安全管理。通过勾选的方式，对各模块权限进行启用和禁止。基础设施监控主要监控服务器硬件系统的运行情况，其技术原理是在服务器系统中安装服务器的监控程序，该监控程序抓取服务端的相关信息写入数据库中，由可视化运维平台统表2-27基础设施监视模块功能表1使用率、磁盘I/O状态、网络I/O等，并统一通过运维平台展示。能够监视采集存储的状态信息，故障时产生告警通知。支持服务器关键进程运行信息监控(占用的CPU、内存等信息),并告警提示23告警设置、关键进程告警设置、存储告警设置、告警方式(声音、第59页共114页数据库服务监控主要监控数据库服务的运行状态，记录所有查询SQL的相关信息(包括查询语句，执行状态，执行时间等),五分钟内的查询统计(开始查询的任务数，失败的查询任务数等),当前正在运行的查询数等。由部署在服务器上的监控程序统一收集获取写入表2-28数据库监视模块功能表1息。并通过统一的运维平台展示。支持采集目前主要的数据库(MySQL、Canssandra、数据库状态告警告警支持查询数据库所有SQL语句的查询耗时、执行状态、不同时间段的查询统计(成功任务、失2图等3能够灵活配置数据库监控参数(负载、耗时、失败任务数警阈值、表分区清理配置、数据保存时长等。任务调度监视模块第60页共114页表2-29任务调度监视模块功能表1任务基础状况监视包含任务运行状态监视、任务运行节2包含运行节点健康检查、任务运行节点IP及端口监3任务调度配置支持通过可视化界面窗口，实现任务调用触发条件配置(或任务执行计划配置)、任务读写路径4任务监视报警配置包含任务报警事件类型配置(失败、超时、开始、完成)、通过梳理气象+大数据平台的数据流程，分析各类数据在采集、处理、监控系统提供数据监控的配置管理功能，系统运维人员可通过界面对数据源监控项进行添加与删除操作。在添加一个监控项时，对产品相关属性进行设置，可通过设置数据源延迟时间的阀值，来取得目标数据源的报警的凭证。如果超过阈值，系统可发出数据异常告警通表2-29数据流程监视模块功能表量、及时率、各个分发用户的分发状态、耗时；第61页共114页能够采集分析多种形式的日志，如MySQL、文本等多种形式；2成等各个环节；能够通过关键字对数据全流程各个环节的信息查询；3环节的监控(文件名匹配、文件数量、文件到达时间);服务接口监视模块通过对接口调用日志信息进行综合分析和统计，来实现对纳入XX气象+大数据平台管理的所有服务接口的实时监控和性能考核，为管理员定期维护、溯原因提供数据支持和分析依据，保障数据平台的高效稳定运行。包括信息后台采集程序设表2-30服务接口监视模块功能表接口运行状态采集；第62页共114页台采集程序设计用户状态采集；成功次数、错误次数，统计频次为秒、分钟、小时、日、月、年；计频次为小时、日、月、年；调用次数、数据返回记录数、数据下载量、成功次统计频次为小时、日、月、年；长耗时日志记录：对于超过3秒的耗时接口日志长期保存，作为数据服务需求挖掘的依据。2发按接口名、接口状态获取接口状态信息列表；按用户名、用户状态获取用户状态信息列表；按开始时间、结束时间、关键词查询最近24小时用户调用日志；按开始时间、结束时间、关键词查询长耗时用户调用日志；按开始时间、结束时间、时间频次、接口名统计接口调用情况；按开始时间、结束时间、时间频次、资料名统计资料调用情况；按开始时间、结束时间、时间频次、用户名、IP统计用户调用接口按开始时间、结束时间、时间频次、耗时区间统计接口调用情况；按开始时间、结束时间、排行位数返回调用最多的接口清单；按开始时间、结束时间、排行位数返回调用最多的资料清单；按开始时间、结束时间、排行位数返回调用接口最多的用户清单；第63页共114页按开始时间、结束时间、排行位数返回成功率最低的用户清单；按开始时间、结束时间、排行位数返回耗时最大的接口清单；展现。(1)数据层(2)数据接入层数据接入层是从本项目中其他的应用模块，如气象+大数据存储子系统、气象+大数据治(3)平台层(4)应用层应用层主要为系统的展现提供布局设计、数据配置和效果配置等功能，支持根据设计和相关配置实现数据指标的呈现、钻取、联动分析等功能，以图表和三维场景的方式直观地呈(5)展示层第64页共114页气象+大数据安全保障子系统是XX气象+大数据平台安全、可靠、稳定运行的基础支撑，安全、云主机安全、应用安全、数据安全及备份恢复、安全保障系统数据安全及备份恢复数据安全及备份恢复应用安全网络安全物理安全应用安全网络安全物理安全图2-8安全保障子系统功能组成图其中网络安全、应用安全、数据安全及备份恢复模块本项目根据XX市大数据信息化项目建设要求，此类功能采用购买商业现货软件或者租用XX市城市智能中枢核心能力平台的业务协同服务、共性技术服务、数据服务、云计算(IaaS、PaaS)等应用支撑能力，具体租用能力清单如下：能力能力序号能力能力第65页共114页1安全安全-保护场景，遇到“恶意注册”、“小号注册”、“注册器注天御DNA算法的恶意防护风险。在网站、APP线上的注册场景，通过智能识别算针对“恶意注册”、"小号变种”、“机器批量进行防护。2安全安全-登录保护登录保护服务(LoginProtection,LP)针号、撞库等恶意登录行为，帮助开发者发现异常登录，降低恶意用户登录给业务带来的风险。智能识别算法，从“行为”、“环境”、“账号”出发，有效识别“自动机破序号能力能力第66页共114页3安全安全-码道安全栅栏，为网页、App、细化的用户体注册登录、活动秒杀、点赞发帖、数据保护4安全安全-实人金融电商、社交娱乐、物流通信、政务警务、酒店地产5安全安全内容安全文本内容安全(Text疑部分人工复审，从而节省即时通讯、社区论坛、序号能力能力第67页共114页6安全安全图片内容安全社区论坛、即时通讯、电子商务7安全安全内容安全短视频、广电、点播、序号能力能力第68页共114页8安全安全语音内容安全中的垃圾内容，比如色情、社交App内容审核、语音知识付费内容审核、直播内容审核9安全安全爬虫管理虫、自动化工具对网站的业务影响，提供对Web网页端心接口被刷、刷票刷积分、航空行业防占座、电商防交易黄牛、恶意秒杀、活动作弊、防止核心接口被刷、被滥用1.2.10统一工作桌面气象+大数据平台统一工作桌面是面向用户访问各种气象数据和产品的统一入口，同时是面向平台管理人员进行气象+大数据平台后台管理的总入口。通过气象+大数据平台统一工作桌面网页，展示气象+大数据平台的数据资产、支撑能力，同时用户通过浏览门户网页，可以方便的知道气象+大数据平台“有什么数据”、快速的查阅“数据是什么样子”、简单的掌握“如何使用数据”。气象+大数据平台管理员，通过门户网页可以高效的管理气象+大数据平台的各个子系统、便捷的监视气象+大数据平台的运行状况。系统UI界面可视化要求：UI设计上应简洁、易操作，在内容呈现上准确、全面、丰富；第69页共114页表2-32气象+大数据门户网页功能表1首页搜索提供数据资源的搜索；提供各种接口的搜索；能生动、直观、准确展示大数据云平台算力能力、存储能力、服务能力，展现形式多样化；展示平台算力能力：总的CPU、内存，可用的CPU、内存；存储能力：平台总的存储和可用存储；提供XX气象观测设备数量分类统计图；提供最新地面、雷达、卫星等基础观测数据产品图；各类气象观测数据量分类统计数据、统计图；提供最新上线的产品图；各类产品的数据量统计数据、统计图；部门间汇交的数据量统计数据、统计图；各类应用数据量统计数据、统计图；按数据存储方式(对象存储、块存储、数据库存储)统计数据第70页共114页首页的接口资源版块提炼出接口资源的总览统理平台上对应的接口说明页面；接口调用排行榜；1.算法平台功能导航：算法发布、用户指南、直接跳转到天擎网站；2.分布式计算框架：动态图展示建成的分布式计算平台的框架流水线图，包括节点数量、平台计算能力；3.算法成果：展示算法平台上已经发布的主要算法资源和产品典型应用可视化要求：大数据平台是一棵树，每个应用是上面的果实公告栏公告栏及时告知和发布最新资源的上线情况、最新业务通知及资源上线：各业务单位和用户最新接入或更新的数据和产品、接口、算法、业务系统等资源；业务通知：XX气象+大数据平台各业务环节涉及的业务动第71页共114页2后台管理用户空间名、单位信息、个人信息、身份证号等等；方可使用；健康度；以及资源被平台其他用户调度使用的日月年分时段统计；析，包括该用户下载数据的情况、接口调用的次数等。IT资源申请Centos、Redhat等；CPU、内理员可对申请的资源进行审核，同意后开始新建云数据库申请全流程：系统内置主流的开源数据库模版，如第72页共114页MySQL;用户提交申请到管理员，管理员可对申请的资审核，同意后开始新建数据库。及操作功能。3基础资源详见1.6.2、1.6.3、1.6.74气象探测资源提供XX气象探测业务的总体概况介绍信息提供XX气象探测的分类统计信息图测站网分布以地图方式，展示每类探测设备类型的分布图5数据资源索提供数据资源，关键词搜索功能数据查询显示第73页共114页类查询数据资源与实例对应市的具体数据展示页面6接口资源况网页展示界面提供接口目录及相关介绍信息；理平台上对应的接口说明页面；分类显示接口运行状态接口列表(正常、故障、下线);动态图显示接口实时调用情况(每秒调用);动态图显示接口最大最小耗时情况；接口调用排行榜；热门资料应用排行榜；用户活跃度排行榜；接口性能(耗时)排行榜；根据接口调用耗时统计分析对接口性能提供监视告警；进行提示。第74页共114页接口使用用户分析(产品的喜好程度、各共享接口用户统计、每个用户使用频次统计);资料应用分析(根据接口调用及资料分布情况，判断用户使用最多的资料分布以及应用场景);历史查询及统计接口使用用户分析(产品的喜好程度、各共享接口用户统计、每个用户使用频次统计);资料应用分析(根据接口调用及资料分布情况，判断用户使用最多的资料分布以及应用场景);接口性能分析(接口耗时分布、成功率；通过对耗时长的接口第75页共114页接口故障分类统计(故障时间、频次、原因等析与评估从接口概况、调用、资料、用户(IP)、耗时五个方面对指定指定接口任意时间段自定义分析；指定接口月评估；尸接口时间设置、僵尸用户时间设置。7算法资源显示算法库的分布式架构图和资源情况；行时间，算法计算资源统计等；8用户支持门户网站导航入门引导第76页共114页直观、简洁、实用。开发文档指导用户开发接口的资源文档；管理员完成文档上传和管理；问题反馈交相关问题的反馈；管理员查看用户提交的反馈问题，并给问题提交者9大屏设计智慧气象天枢聚焦智能探测：展示探测系统信息采集、信息网络传输、气象大数据加工存储、数据服务等能力和探测站点；示12个月温度和降雨变化；据使用量、数据资源量；指数和建议、服务用户。第77页共114页实况监测实况气温：以等值面方式实时展示当天XX各地气温；实况降水：以等值面方式实时展示当天XX各地降水量；当前气温排序：通过收集XX各地站点监测的气温，排序top5低气温和最高气温方面轮播展示；(小雨、中雨、大雨、暴雨、大暴雨和特大暴雨)方面统计台站数量，以柱状图方式纵向展示数量；示各站点数据；示全球天气信息。同时纵向展示风云2卫星云图、风云4号卫星云图和葵花8卫星云图图片；SWAN雷达拼图：展示XX当天SWAN雷达拼图观测信息和雷达图片；雷达传输状态：统计XX、万州、黔江、永川4个雷达站点信展示地区所有雷达信息；雷达流传输：轮播展示雷达监测图片；度和风速；第78页共114页见度数据；实景监测：循环播放35个自动站气象站实景视频，并在实景监第79页共114页综合观测从检测站点分布和检测种类方向展示观测相关信息。展示卫星和观测站点分布情况，并以流光图方式动态显示数据流向；的分布情况，以地图方式展示雷达数据；雷达观测：在XX区域地图上展示雷达观测站点分布，并轮播展示站点及相关站点图片；卫星观测：循环播放卫星观测视频，并展示相关卫星和站点图和观测数据，右边区域展示数据应用情况和数据服务统计；数据规模：用饼图展示产品和相关数据的数据规模信息；观测数据：左侧以柱状图的方式展示观测站点观测数据量，右侧以折线图方式展示观测类型，比如风能、日照、辐射等的观测数据量；计数据量；应用支撑：从应用方面统计服务数量；服务耗时：左侧图例展示数据服务访问量和下载量，右侧饼图第80页共114页展示数据访问响应速度占比；数据访问：统计图统计展示当天小时数据访问量和访问次数；热点排行：横向柱状统计图展示观测站点数据服务量；经济带地理范围；公共服务：环状饼图方式展示数据服务人群的占比。主览图用流光图的方式展示数据流向；数据发送统计：横向柱状图展示观测数据发送统计百分占比；数据收集统计：柱状图展示观测数据收集统计占比；数据实时统计：滚动列表展示数据实时统计信息；24小时数据收集量统计：柱状图展示24小时数气象云平台主览图用流光图的方式展示气象云平台数据服务用户流向；高性能服务设备：静态流光图方式展示设备关联；主机连接数TOP5:主机连接数数量排行；广域网健康度：展示广域网健康度数值；实时数据采集：统计各个观测数据采集占比；云主机健康度：静态图方式展示云主机健康度状态；第81页共114页CPU和内存利用率TOP5:分别从主机和虚展示前5;安全热点事件：云词横竖展示安全热点事件；1.3气象+大数据资源层建设平台存储XX本地近1年结构化数据以及所有非结构化对象存储类数据，以满足数据融合市级政务数据资源共享系统共享数据。气象+大数据平台PaaS层数据汇聚子系统将数据汇聚并形成贴近业务系统的汇聚库数据，并将归集数据进行ETL整合，进行数据治理形成主题库，对于专项业务形成大型业务数据产品库，并通过数据服务将对应的数据通过统一门户提供给业务系统使用。数据归集完成后，落地汇集库，在贴源层按照数据采集源端不同进行分类存储；通过大数据治理与管控平台