2020年生态环境保护中大数据技术的运用探讨的论文

生态环境保护中大数据技术的运用探讨的论文 生态环境的保护问题，具有复杂性和时变性，涉及多部门、多地区和多领域，需要处理海量的各类数据，这为问题的解决增加了不小的难度1.本文从分析生态环境相关数据入手，对利用大数据技术，整合各类生态环境相关的数据资源，建立生态环境大数据平台的架构及关键技术展开论述。 目前，应用于生态环境保护领域的数据资源主要包括三类： 地面监测数据：此类数据主要各地的生态环境在线监测系统。由于各系统开发时期不同，技术手段各异，数据格式多样，各系统之间很难形成信息共享。 遥感监测数据：此类数据主要卫星遥感数据和航空遥感数据。 地理信息数据：此类数据的主要有野外采集、地图数字化和航天遥感采集、摄影测量等。 目前，传统的信息化技术在环境数据整合工作中仍占据主导地位，而利用大数据技术，实现上述三类数据的统一存储、协调工作，真正建立起实用价值大，适用性广泛的生态环境大数据平台，还没有相关的工作开展。 大数据技术是近年来兴起的一种综合 _技术2,对于处理超出传统数据库系统存储、管理和分析处理能力的多的、海量的数据集群，具备天然的技术优势。大数据技术的主流应用框架是Hadoop 生态系统。它以 HDFS 分布式文件系统和 MapReduce 分布式计算框架为核心，可以对大数据进行高效的分布式处理。 生态环境问题涉及大气、土壤、水、生物圈、气候等方方面面。为此，我们在推进大数据技术与生态环境保护工作相互结合的过程中，采取了以点带面，逐步推进的策略。 在本文中，我们选取对环境影响比较突出的大气污染问题作为研究的切入点，利用 Hadoop 生态系统中的 HDFS 技术，建立起秦皇岛地区的大气污染防治大数据平台。未来，通过建立基于此平台的大气业务应用系统，我们可以对秦皇岛地区的大气污染物情况进行准确有效的分析。这一应用模式的探索，也将为未来更广泛生态环境数据的综合性分析与应用，打下良好的基础。 平台所采用的地面监测数据包括：工业企业污染排放情况、火电企业污染排放情况、钢铁冶炼企业污染排放情况、水泥企业污染排放情况等。 平台所采用的遥感气象数据主要是用美国国家环境预报中心（NCEP） 发布的 Final Operational Global Analysis（FNL）资料3.我们不直接使用 FNL 的原始数据，而是采用经过 NOAA-Air ResourcesLaboratory（ARL）预处理模块转化后的数据。基于 FNL 资料，可以计算在某一时段内抵达秦皇岛地区的后向气流轨迹，从而有助于配合地面监测数据揭示秦皇岛地区大气污染的可能。 纳入平台的地理信息数据主要有两类：（1）图形数据：此部分数据以矢量图形的形式存储于 HDFS 系统中。它们的主要是利用搜狗地图所提供的静态地图 API.（2）文本数据：此部分数据包括：a）监测污染源的位置数据；b）交通拥堵情况；c）气流轨迹数据：此类数据由 FNL 资料计算而得。各类文本数据都将构成独立的图层，利用搜狗地图提供的 API,标注于图形数据之上。 各类数据会被存入统一的大数据平台。我们采用 Hadoop 分布式集群结构作为大数据平台的存储结构。我们使用 100 台 PC 级电脑构建起分布式数据存储集群，每个节点同时承担计算和存储的角色。各个数据节点中存放大气污染相关的大数据。元数据主节点则存放各类大数据在数据节点中的副本分布位置。元数据辅助节点承担与元数据主节点类似的任务，当元数据主节点宕机时，可以重新启动元数据主节点。元数据主节点上保存着访问 HDFS 文件系统的索引信息，它们主要数据预处理过程中提取的元数据。对于修改元数据主节点信息的操作，事务日志中都会插入相应的记录。而数据索引到数据存储的映射，副本的位置及编号等信息，都存储在元数据主节点所在的本地文件系统中的一个映射文件中。 对于大数据而言，要想实现数据的高效稳定的访问机制，需要做好两方面的工作：（1）对数据分块存储并建立适宜的物理数据副本规模；（2）采用适宜的副本存放策略和数据读写策略4.我们采取了搜集数据访问反馈信息的策略，利用统计学方法实现了副本规模的动态调整。而对于副本的存放策略，我们考虑将不同副本存放于不同机架的电脑上，以保证一个机架出现故障时不致丢失数据，并且还能在读数据时充分利用不同机架的带宽。数据的读取策略则采用从距离读请求节点最近的存储节点上读取数据。同时，我们将对数据加工的相关业务代码从加工请求所在的电脑发送至数据副本所在的电脑执行，尽可能不在电脑之间进行数据副本的传递，以提高写数据的效率。 本文将大数据技术引入生态环境保护的工作之中，将秦皇岛地区的地面监测数据、遥感监测数据、地理信息数据整合在一起，建立起秦皇岛地区大气污染防治大数据平台，使相关的业务应用有了一个统一的底层数据支持。未来，我们可以基于此平台建立大气污染数据分析系统等业务应用系统，对秦皇岛地区的大气污染物情况进行准确有效的分析。 1 张永亮 , 俞海 . 中国生态环境保护管理体制改革思路与方向 : 国际社会的观察和建议 J. 中国环境管理 ,xx（01）：43-47. 2 肖筱华 , 周栋 . 大数据技术及标准发展研究 J. 信息技术与标准化 ,xx（04）：34-38. 3 赵恒 , 王体健 , 江飞 , 谢旻 . 利用后向轨迹模式研究 TRACE-P 期间香港大气污染物的 J. 热带气象学报 ,xx,25（02）：181-186. 4 宫婧 , 王文君 . 大数据存储中的容错关