气象行业气象数据存储管理解决方案

气象行业气象数据存储管理解决方案行业综述：气象业务的涵义概念：指在气象和与之相关的领域中，从信息的采集、数据的传输存储和加工处理到应用服务的全过程包括的具体内容：气象综合观测业务（地基、空基和天基）气象信息网络业务（通信网络、数据存储管理和共享等）气象信息加工业务（天气/气候/农业/专业气象预报、预测和评价）公益气象信息服务（决策、公众及专业专项服务等）国家级（气象中心、卫星中心、气候中心、气象信息中心、大气探测中心，…）区域气象中心省（区、市）气象台地（市、州、盟）气象台县（市、区、旗）气象站北京区域气象中心沈阳区域气象中心上海区域气象中心武汉区域气象中心广州区域气象中心成都区域气象中心：重庆、四川、贵州、云南、西藏兰州区域气象中心乌鲁木齐区域气象中心行业综述：中国气象局体系国家级全国灾害性天气监测、短时预报，全球短中期和延伸期天气预报及全国天气会商和灾害性天气联防等；精细化气象要素客观指导预报；区域中心区域内短时及中短期天气预报及会商指导、灾害天气联防；区域海洋、水文预报指导；省级灾害天气监测、短时和临近预报；精细化的气象要素预报；开展与邻省的灾害性天气联防；地市级灾害天气短时和临近预警，补充订正省台中短期预报和专业气象预报；县级灾害天气短时和临近预警，补充订正省台中短期预报；行业综述：各级气象局职责信息网络计算机技术保障教育培训决策气象服务公众气象服务专业气象服务

业务系统平台

数值预报系统天气监测灾害性天气短时临近预报精细化天气预报专业气象应用研究和成果转化环境交通水文海洋

地基探测

天基探测

空基探测综合观测基础预报预测核心公共服务根本行业综述：气象服务体系数值预报业务系统2.区域模式3.精细模式1.全球模式4770km3500km3000km1000km水平分辨率60公里预报时效未来十天区域范围全球水平分辨率20公里预报时效未来2天区域范围93～1230E

20～450N水平分辨率5公里预报时效未来2天区域范围115～1200E37～420N数值预报的业务分工国家级数值预报业务区域中心数值预报业务省级数值预报业务全球中期数值天气预报5~10公里分辨率区域数值天气预报1~3公里分辨率的区域精细数值天气预报数值天气预报产品解释和应用行业综述气象部门是国内各政府部门中最早进行信息化建设的部门，对计算机和网络技术的需求和依赖强烈，核心业务也是依托信息化技术建设。气象、水利、地震、地质、海洋这些部门的技术需求有非常类似的特征，都是通过各种采集设备如地面站、卫星、放空气球、浮标、雷达、探针等获取地球自然数据，预测和分析自然现象。具有数据量大，维度相对固定，区域特征明显，计算复杂，数据有强烈的科学规律等特点。各级气象局的部门和业务相对统一，但是因为地区气象特征不同，不同地区的气象部门对气象业务的需求也不一样（比如沿海地区关注台风的预报，内地和关注寒流的预警等）行业综述气象局组织结构和业务诉求国家气象局气象中心气候中心卫星中心信息中心公共服务中心气象科学研究院海量卫星数据存储气象数据业务公众服务中短期气象预报长期气象预测气象信息化建设管理气象信息化建设的关键需求管理基础资源池（计算、存储）高效统一数据环境数据加工流水线业务系统集约整合挖掘气象数据服务价值2级架构的1+31混合云气象部门的核心业务系统CIMISS：统一数据存储系统CIMISS气象中心：

交互式预报系统MICAPS（国家局）/SWIFT（广东局）/各地方气象预报系统

气象模式预报高性能计算系统气候中心：

气候信息处理与分析系统（CIPAS）

灾害天气短时临近预报系统（SWAN）卫星中心： SWAP(卫星天气应用平台) SMART(卫星监测分析与遥感应用软件系统)可扩展性容量、服务性能可扩展可靠性稳定、容错、安全性能高并发低延时CIMISS需要云数据和存储产品存储关系数据库表格存储NOSQL文件存储（NAS）块存储（云盘）缓存Redis对象存储分布式数据库DRDS气象业务系统面临的数据存储挑战系统MICAPS后台集中式存储，使用DataService接口访问格点数据调用底层接口采用获取最新，读取数据，上翻数据，下翻数据，不够灵活数据传输量比较大时，延迟导致体验差SWIFT异步获取CIMISS数据，分钟级别更新使用NetCDF的精确读取，本地缓存数据，延迟低由于IO发生在本地磁盘，高并发下会导致性能下降数据站点数据存储在数据库中多维条件查询比较多大范围查询耗时较长格点数据存储在文件或者Cassandra中文件的读取方式太慢，体验差Cassandra方案中，长时间序列的读取性能值得担忧基于云存储产品的应对策略格点数据采用表格存储（TableStore），使用切分与压缩相结合的方式大幅提高性能。格点数据提供类NetCDF的访问模式，精度读取数据。站点数据短期业务系统采用RDS模式，获取低延迟与高并发吞吐能力。长时间的站点数据导入到ADS，进行后台分析。低延迟的提供大数据量筛选和排序基于云技术的气象数据存储和访问架构格点数据管理与服务的整体架构格点数据气象应用Docker模版数据发现精确读取批量下载数据提交气象微应用计算源数据管理冷热调度气象应用气象数据管理界面表格存储TableStore混合存储(温数据)对象存储OSS(冷数据)格点数据分发与转换表格存储TableStoreSSD(热数据)数据数据数据数据控制可管理高性能高可用高可靠表格存储:切分与压缩相结合的方式提高性能主键一主键二主键三属性列(数据)属性列(属性信息)气象要素与日期timelevel对应level、time下的二维数据(有压缩)每一维度的长度、原数据大小等属性信息Grid_0_0Grid_0_65Grid_0_130...Grid_0_585Grid_49_0Grid_49_65Grid_49_130...Grid_49_585...............Grid_441_0Grid_441_65Grid_441_130...Grid_441_585压缩数据适合读取某一特定时间（或某段特定时间），某一特定高度（或某些特定高度）的全部格点数据，压缩可以减小50%