气象大数据的服务框架与建设设想

1、    气象大数据的服务框架与建设设想    宋月旻摘 要 气象大数据不仅是一座价值巨大的宝库，其应用和研究价值都极其重要。文章介绍了气象大数据的服务框架，如基础设施层、应用平台、数据应用、大数据服务、大数据服务用户等，并对气象大数据的工程建设提出了一些设想，无论是气象大数据框架设计与规划，还是强化气象大数据的操作管理，提升气象大数据质量，以及建立气象大数据风险评估安全体系都有着重要的意义。关键词 气象大数据；服务框架；建设设想tp3 文獻标识码 a 1674-6708（2018）206-0131-02目前，我国科学技术飞速发展，推动并不断加速气象信息化

2、前进步伐，长期积累的气象数据正呈现不断增加的趋势。我国国家气象局历史积累的气象数据达到pb级的总存量，单纯年新增量，也将达pb级这样一个数值。气象数据种类丰富，有地面观测、卫星、雷达和数值预报产品等内容，全部由观测站点来完成收集任务。上述观测点据权威部门的统计可知其中自动观察点5万多个，地面气象观测站点2？000多个，其他类型的观测站点1？000多个。上述观测站点从建站以来采集的数据累计，另外加上实时气象数据，统称为气象大数据。不仅十分重要的档案材料，也是无价之宝，其数据库则是一座价值巨大的宝库，其应用和研究价值都极其重要。为读者提供各类气象数据服务奠定了物质基础，其服务对象主要集中在气象部门

3、，包括本系统内部业务需要、科研需要和公众需要等方面。系统内部业务主要指本系统工作人员所从事的业务工作，可以是气象数据查询，也可以是为预报产品制作提供数据，还有就是将气象数据处理入库；气象科研需要，主要是开展气象大数据数值分析，提供气象灾害风险评估所需数据；公共气象处理和分析工作主要集中在对气象观测大数据方面。同时还兼顾到人们日常生产、生活、海洋、农业和交通等领域。由于大数据技术的先进性和巨大的功能，不论涉及到大数据管理和高可靠存储，还是涉及到其数据的分析、处理和检索等面临着技术转化问题。1 如何看待大数据国务院关于印发促进大数据发展行动纲要的通知于2015年9月5日正式发布后，极大地推动了我国

4、大数据发展进程。我国大数据科学研究工作和应用呈现出浪潮汹涌澎湃的现状，其影响不仅涉及到每一个行业，也涉及到很多单位和企业。为了实现先入为主的策略，不少单位和企业研究出台了一系列激励政策和措施来“抢占大数据制高点”，并设置了专门机和专项任务；气象部门则以气象大数据库建设为出发点力争立项。气象部门面对大数据技术，应理性对待，聘请专家学者就大数据是否适用于气象部门进行科学论证，气象部门领导决策层要以科学论证结果为依据进行思考、分析和论证并做出科学判断，其目的是为了减少误判导致的失败，有效规避风险。2 气象大数据服务框架1）基础设施层。有效开展大数据服务，必须建设好其硬件环境，其中配套设备应该含有存放

5、和处理气象大数据硬件设施，如计算机处理系统，网络环境，控温环境，照明制冷环境和相应工作场地等基础设施。为了满足大数据技术发展的需要，原有基础设施层硬件需要改造，需要基于“云计算”环境下进行处理，获得基础设施资源库，逐步夯实气象大数据基础设施，建成计算资源和存储资源服务框架，为气象系统内部业务和科研人员服务，从而实现历年来和动态形式下气象数据资源的完全整合，为提高历年来的气象数据资源应用率服务。2）平台。该操作应用平台的作用，是基于利用“云计算”技术基础之上建设工作设施，从而实现搭建气象服务工作平台。“hadoop”分布式文件系统也有不少单位采用，是分布式文件冗余可以实现存储；分布式数据库“hb

6、ase”，是动态气象大数据分布式，常使用的数据索引；而分布式计算模型map？reduce，是数据并行计算使用时最有效形式；数据仓库hive，往往是静态气象数据实现存储和便捷索引的途径。只要相应平台层建成，已经完成对应用层的技术支撑任务。3）应用。该层的技术特点是利用平台层的软件工具，对相关应用进行开发工作。而站点监控，其重点为气象监测点和监测设备等内容；其监控和管理的对象主要是区域气象数据中心的服务器节点，其实现途径是动态监管；有针对性提供气象服务内容。4）大数据服务。大数据服务，要密切关注应用层的实际需要，为深度挖掘和开发各种类型应用单位和企业，提供大数据服务。常见的有站点监控和云平台监控功

7、能，使用最多的是“hbase”实时数据检索，为相关单位或企业提供气象业务服务；预报数据及预报产品，可选用分布式数据处理模型map？reduce技术来完成，同时还要考虑给气象科研及公共气象提供必要的服务。5）用户。气象大数据提供服务面不宽，其主要用户局限于气象系统的业务人员、气象科研人员和其他行业。上述各类人员要获得气象数据服务的途径，就是访问气象大数据相连接的网络，以期获得气象大数据服务；科研工作者则可以利用互联网，也能获得相关数据；其他关联人员要获得相关数据，互联网也是最佳途径。3 气象大数据工程建设设想3.1 气象大数据框架设计与规划大数据框架设计工作，是气象大数据建设工作的基础和保证。如

8、大数据框架设计不不清晰、不完整，其结果必然达不到预期目标。可见，气象大数据框架设计工作必须优先实行。在设计大数据框架时，可更多考虑气象系统自身业务发展战略，从分析研究现有数据架构开始，进一步完善气象大数据概念和定义，组织优秀专家研究团队。先从简单开始，最后深入到复杂层面进大数据模型设计，适当融入优化后的数据模型，适当地融入过去的数据体系。充分考虑各种数据业务实际分布情况，其最终结果必须满足业务和管理双重需求，科学地规划设计数据的系统分布。3.2 气象大数据开发工作必须坚决执行气象大数据开发管理工作要顺利实施，必须建立起严格的制度作保证，并在实践中坚决落实，从源头上消除一切影响大数据顺利管理的不

9、利因素。要从严开发新的应用系统，处于研究阶段，就要广泛收集资料，对获得的各种数据进行系统性分析，寻找解决能满足实际需要的应用系统各项指标数据，如果找不到必须实行一票否决。面对一些已经成熟的应用系统，要从数据源模型、数据产品模型和数据流程规范等方面进行考核，其应用系统是否能满足实际需要，否则一律纳入数据治理内容，在实施治理时也应按轻、重、缓和急进行排序，对其全面治理。3.3 要循序渐近地治理气象大数据开展治理大数据工作，其目标主要是解决气象大数据领域中存在的问题。其工作核心应紧紧围绕制度、岗位和行政管理等内容，只有这样才能实现治理工作的目标。从而顺利解决各种涉及到大数据问题。当然，单位或企业则要

10、为治理大数据者提供保障和方便。应当将其列入单位或企业推进信息化建设的重要内容加以重视。3.4 强化气象大数据操作管理针对crud处理具体操，事先要制订一整套科学的管理操作规范，而在实践过程中，不按操作规范进行操作的不乏其人。基于上述现状，数据操作管理急需整治和强化。实际操作时，可选择管控强化用户权限和标准数据应用接口的实际应用和普及方面，也需要选择科学的大数据操作技能，规范实际操作行为。3.5 提升气象大数据质量气象大数据质量是工作的重点，在实际工作中，不仅要强化现有工作基础，而且要依照其重要程度，循序拓宽气象大数据涉及面，相关技术指标，选择方法，只有在成熟时进行推进。业务工作必须规范，气象大

11、数据收集必须完整，研发人员的业务能力必须保证。选择对气象大数据进行治理的目的，是优化气象大数据结构，消除没有保存价值的数据，有效防止大数据库存在冗余数据，提升气象主大数据质量，科学地储存优质气象大数据。3.6 建立气象大数据风险评估安全体系大数据安全问题必须优先考虑，纳入气象部门整体安全管理体系中，成为气象大数据信息安全体系统一设计和管理重要内容。风险评估安全体系，涉及到主数据、一般数据和参考数据三部分内容。实行风险评估时将其纳入重点评估内容，要满足数据安全、针对性的和整体策略需要。只有这样才能收获预期目标。4 结论气象大数据服务是信息化技术发展的必然结果。也是气象行业服务的目标和方向，同样是国家信息化重要内容之一。气象大数据可以帮助完成气象服务产品的制作工作，满足社会和人们的实际需要。选择map？reduce分布式处理技术，能迅速解决气象大数据的处理与分析的难题。当然，要顺利执行，必须选择“云”环境下的气象大数据服务框架，才能顺利完成气象大数据服务指标，实现单位或企业内部信息共享目标，夯实信息化时代气象服务a基础。参考文献1沈文海.再析气象大数据及其应用j.中国信息化，2016（1）：85-96.2劉巍巍，刘寿东，范秋丹.互联网时代下的气象数据应用分析j.管理现代化，2016（1）：