森林资源动态感知大数据平台设计与实现

森林资源动态感知大数据平台设计与实现摘要：针对存在的森林资源监测问题，本文提出森林资源动态感知大数据平台，根据现有林业省、市、县、乡镇数据及平台，构建林业智慧云平台模型，并采用云计算、移动互联网、大数据、物联网、3S技术及方法，建立森林资源动态感知大数据平台，实现了森林资源动态更新以及森林资源综合监管等功能，为林业信息化及林业数据更新提供了技术支持及经验参考。关键词：森林资源；动态感知；大数据；动态更新引言：森林资源是林业的命根子，其质量关系到国家生态安全，其监管是林业工作的核心。为了揭示和把握森林资源的变化规律，提高森林资源质量，国家投入了大量资金，学者们进行苦苦探索，管理者盼望所想即所得，实时获得资源状态数据，并能知其发展趋势。一直来面对这一目标望尘莫及，究其原因包括突变资源更新的数据采集不及时，或数据采集不全，或数据没纳入更新，渐变更新方法粗放，导致森林资源一张图无法随时呈现，林木采伐一张图、营造林一张图等更无从谈起。随着一些高新技术特别是3S技术的发展，现代的森林资源动态监测一般是指应用遥感技术来分析研究一定区域范围内，时空变化过程中，资源与环境变化的特征，借助传感器周期性的记录森林资源在不同时期的空间信息特征，通过多期的动态数据分析或应用模型对其变化趋势进行预测[1]。森林具有动态性、生产周期长、而积辽阔等特点，所以林业管理应具有功能强大、快速、实时的空间信息获取能力，以便为林业工作的决策、发展、规划及开展经营活动提供必要的基础数据，森林资源动态监测是林业中一项重要的基础工作，也是林业信息化建设的主要组成部分，只有摸清森林资源现状及动态变化趋势，才能够确保林业经营管理决策建立在科学的基础上，才能够实现林业的可持续发展[2]。由于传统以地而调查为主的常规森林资源监测方法存在诸多问题，周期长，地而工作量大，调查成本高，获取数据信息往往存在时效性不够、准确性差，在实际应用中难以满足当今林业发展的需要。为了快速、准确、高效地掌握森林资源动态变化，及时更新森林资源信息，就必须在二类调查的基础上，建立森林资源的动态感知大数据平台，这样才可以实现森林资源的科学管理和永续利用，同时这也是社会发展对林业的迫切要求。随着云时代的来临，大数据也吸引了越来越多的关注。森林资源管理活动具备数据量大、数据关联紧密、数据变化随时发生等特点。按照《中国智慧林业发展指导意见》，江油市利用灾后资金投入，建设了大数据时代的森林资源监管体系。具体建设内容包括森林资源数据整合、森林资源精细化动态监测、森林资源突发事件监管、森林资源经营决策、森林资源历史变迁、具有生命的森林资源一张图等，实现了智能化的森林资源智慧感知。一、平台架构1、平台体系结构以《中国智慧林业发展指导意见》为指导，按照国家、省的互联网+的信息化规划部署为基础，以信息化标准和安全体系为保障，以数据库为枢纽，以业务流程为主线，以资源综合应用支撑平台为支撑环境，利用云计算、移动互联网、大数据、物联网、3S等技术，构建林业智慧云平台，推动信息化与森林资源监测管理的深度融合，建立起省、市、县三级互联互通、数据共享、应用协同的森林资源动态监测体系。林业智慧云平台是将分布于林业厅、国家林业局和电子政务云的服务器上的各项业务系统和数据库通过互联网相连，整合异构资源（如计算资源、磁盘存储和数据访问等），组成虚拟组织，以解决大规模计算问题，从而可随时随地、按需、便捷地提供共享与资源访问。如图1所示。整个林业智慧云平台由云计算平台、大数据平台及云支撑平台组成。1）云计算平台利用云计算等新一代信息技术，统一规划、集中部署，打造浙江林业云计算中心，实现随时随地、按需、便捷地访问共享资源池（服务器、存储等）。云计算平台依赖于全省统一的云计算平台。充分利用浙江省现有的软硬件以及网络环境基础为资源数据的共享和应用系统的建设提供基础保障。2）大数据平台林业大数据平台，数据是信息化建设的核心，林业数据来源主要有互联网、物联网以及各类林业资源管理和业务应用积累的各种各样数据，数据体量大、种类多、要求处理速度快，依托大数据平台提供的采集、管理、更新处理分析技术，实现林业结构化和非结构化的集中存储管理，为林业应用提供数据服务支撑。3）应用支撑平台应用支撑平台基础设施之上一个以软件为核心，为应用服务提供开发、运行和管控环境，包括大数据分析应用平台、业务协同平台、移动应用平台、运维管理平台、物联感知平台、信息共享服务平台、综合应用平台、云资源管理平台等，为智慧林业的应用提供科学、智能、协同、包容、开放的统一支撑平台，具有信息加工、海量数据处理、业务流程规范、数表模型分析、智能决策、预测分析等功能，实现林业决策的科学化、一体化、集约化、智能化。图1业智慧云平台架构图平台采用云计算分层结构模型，各层之间相互独立互不影响，并用标准化接口互联，底层云平台层按需提供弹性资源，前期先整合森林资源二类数据、年度自然消长、采伐、营造林、征占用林地、行政处罚和森林灾害数据。其模型结构可以分为云平台层、算法层、逻辑层和视图层。云平台层提供基础的网络资源、异构数据库、数据交换方法、数据接口方法和云计算框架；算法层是本模型的核心层，它利用底层WebService接口从云平台层获取数据，同时利用WebService接口为上层逻辑层提供数据服务，利用若干数据分析与挖掘算法对底层提供的元数据进行分析与数据挖掘，并利用PMML和CWM来呈现预测分析模型和实现元数据交互；逻辑层提供两类服务，流程引擎服务和系统管理服务；视图层是模型面向用户的最终接口，为用户提供基于富客户端的Web应用，负责创建数据的呈现界面，提供人机交互接口，以及诸如系统导航、系统配置、用户管理、创建应用、算法管理和数据管理等功能。2、技术结构（1）统一技术体系平台采用SOA的技术架构，利用WebService、JavaScriptAPI、REST等技术实现平台的模块化、可组装化和接口标准化，并且支持Java或.net开发平台，支持二三维一体化应用，同时支持JS客户端、Flex客户端；兼容IE6-IE9，支持GIS地图服务。各子系统采用统一的认证服务和用户权限模型。根据业务的需要能够动态扩充和应支持负载均衡下的网络部署。系统建设采用GIS平台、Oracle数据库建设全省林业基础平台。GIS平台主要用于县级数据采集、更新维护；实现全省数据管理、维护、更新，信息发布；Oracle用于数据存储与管理。实现对海量、大范围连续空间数据进行高效存储和管理。数据库必须将海量分幅数据组织成逻辑上无缝的空间数据库，并保证在整个空间数据范围内能进行快速浏览和查询，实现其高效存储和管理。（2）统一的省、市、县三级数据交换体系构建省、市、县三级林业资源数据交换体系，形成浙江省智慧林业建设的“数据总线”，实现各类林业资源公共基础数据、林业基础数据、林业专题数据和林业综合数据的统一汇交、交换与更新。（3）统一门户技术（Portal）基于门户技术，结合GIS专题展示、Internet应用（RIA）等技术，统一全省森林资源内、外网信息，实现各类森林资源应用系统的统一门户。用户在建立各种信息系统满足了日常工作管理需要的同时，也带来了管理和维护上的问题，从信息系统的整合角度，如何将形形色色的异构系统进行统一管理，是一个需要迫切解决的问题，采用门户技术可以满足这个要求。门户技术是信息化系统建设发展的一个趋势，他的优势包括统一登录、统一权限认证，统一界面风格，统一界面入口等。以GIS为基础的综合信息化服务平台，能将原来一个个独立的专题系统整合成为一个以业务为对象驱动的森林资源信息综合服务平台，是森林资源信息化管理的门户，实现多级多部门多用户的互联互通，共享信息服务。可以说地理信息系统是一个完美的集成框架，能将面向不同任务的数据整合起来，并提供协调和协同机制。系统实际上是一个协同服务平台，利用GIS建设基于空间信息的信息共享服务，实现多业务系统的集成与融合、能对用户的各种要求做出快速响应、并且能对整个业务闭环进行统一管理，在Web2.0、移动终端和地理浏览器等环境下为不同用户端提供丰富多彩的互联网应用。图2应用系统服务（4）统一GIS应用服务统一GIS应用服务能够提供基本GIS功能、数据浏览与查询、数据展示与分析等数据支撑与服务，从功能上包括地图浏览管理、查询统计、查找功能、测量标注功能和时空对比功能。图4.5统一GIS应用服务3、数据结构为了更加方便管理，将森林资源一张图数据库的数据分为三层。第一层是基础层，为基础空间数据，主要包括基础地理信息、遥感影像、数字高程模型、栅格地图等；第二层是专业层，包括森林资源二类调查数据、一类样地调查数据等成果数据；第三层是管理层，包括综合营造林验收、占用征收、森林采伐、森林灾害等业务数据。这些成果数据主要包括结构化的成果数据和非结构化的档案数据，两部分数据通过建立索引相互关联，以便有效地进行管理[3]。基础层、专业层和管理层共同组成浙江省森林资源数据框架体系，以专业层建立本底数据为支撑，通过业务过程“沉淀”成果数据，再按照年度更新到本底数据的过程，完成浙江省森林资源一张图数据库的逐年累积，实现森林资源数据的全生命周期和全业务流程管理，形成实时性、有效性和权威性的省森林资源一张图数据库。图3森林资源分层及支撑关系三、数据库设计平台数据库建设是项目建设的重点，数据来源涵盖平台运行或不断完善所需的多源基础空间数据、多源行业数据和多源林业基础数据。所有的多源数据经梳理整合、标准编码、规范入库，共同组成平台的核心数据库，即省林业资源数据库。1、数据建库内容林业资源数据库建设具体可分为两大类数据库建设：一是基础空间数据库建设；二是林业基础数据库建设。（1）基础空间数据库建设主要包括1：10000和1：50000的数字地形图（DLG）、数字栅格图（DRG）、数字高程模型（DEM）等基础地理测绘数据、最新高分辨率遥感影像数据（DOM）及最新行政区划数据。（2）林业基础数据库建设林业基础数据库建设包含公共基础数据、林业基础数据、林业专题数据和林业综合数据四大类数据源。所有这些数据涉及森林资源调查及评价、森林资源监管及应用、营造林、林木采伐、征占用林地等多方面，初始建库数据量预计上TB级。每一类数据的产生，在不同的业务具有不同的特点，对于各类数据更新遵照实时更新和阶段性更新的原则进行。林业基础数据库建设包括以下内容：1）公共基础数据库包括社会经济、气象等各种政府部门间合作共享的公共数据，主要由行业权威部门提供，经加工、集成后建库。此外还需要建立以上数据库的元数据库、元数据库系统和信息资源目录体系，提供林业信息资源的标识、内容、管理、维护的描述信息，为国家、部门和社会公众提供准确的林业信息资源发布和定位服务，为信息资源共享和面向社会信息服务提供必要条件。2）森林资源基础数据库森林资源基础数据建设：包括全省每年一类样地监测成果数据、最新分县一、二类森林资源调查成果数据、最新全省野生动植物调查成果数据、最新省级以上自然保护区、森林公园、湿地公园数据、最新全省古树名木普查成果数据、分县小班补充调查数据等。要求建成覆盖全省的，落实到山头地块的森林资源基础数据库。3）林业专题数据库包括各种资源利用数据，数据主要来源于林木采伐、征占用林地、营造林、森林灾害、林业行政处罚等实际林业经营活动，由其相应的林木采伐管理系统、征占用林地管理系统、综合营造林管理系统、森林灾害监测管理系统、林业行政处罚管理系统等专题业务系统产出的专题数据及其他涉及森林资源的专题数据共同构成的资源监管数据库，要求落实到山头地块。4）林业综合数据库包括办公自动化支持数据库、公共信息发布数据库、林业产业综合数据库、林业综合决策支持数据库、林业项目管理数据库以及上述各数据库的元数据库。2、数据建库流程分三条线进行建设，第一条线是标准规范建设，主要包括相关的建库规范、更新标准、质量标准规范等，为分析、整理、整合现有林业资源数据的重要依据。第二条线是历史数据整理建库，在建库标准规范的指导下，对现有的历史林业资源数据，进行收集、分析整理。第三条线是系统软件开发的工作，按照系统内部循环，完成浙江省林业资源数据的汇交更新。图4林业资源数据库建设流程三、关键技术解决1、数据采集精度2、数据融合3、模型库建立平台集成森林资源渐变数据更新、生态监测指标计算等模型库，其中森林资源渐变数据更新模型的自变量可包括林分平均胸径、平均树高、起源、每亩蓄积量、林分平均年龄、树种组等。考虑到森林资源小班数据有其自身特点，如何构建适用的模型系统，采用科学的模型拟合和建模方法，使建立的模型既能适用于区域内小班数据更新，总体上模拟林分生长，反映总体平均变化趋势，又能准确反映不同林分特征的个体差异，是构建生长模型时要考虑的问题。本平台中森林资源渐变数据更新模型经反复实践改进后，利用连续两期固定样地监测数据为建模样本，以林分平均胸径、起源、龄组、树种组等随机效应为自变量，以保留木进界木生长量之和减去枯损木消耗量后的林分蓄积年生长率为因变量，先采用联立方程组方法进行模型拟合和初选，再采用非线性混合模型方法对选定模型进行固定效应和随机效应分析，构建了胸径与生长率混合模型的联立方程组，具有很高的估计精度和良好预估效果。4、落地评测四、平台实现云计算模型采用分层结构，各层之间相互独立互不影响，并用标准化接口互联，底层云平台层按需提供弹性资源，整合森林资源“二类”数据、林权、生态公益林、古树名木、年度自然消长、采伐、营造林、征占用林地、行政处罚和森林灾害数据。其模型结构可以分为云平台层、算法层、逻辑层和视图层。云平台层提供基础的网络资源、异构数据库、数据交换方法、数据接口方法和云计算框架；算法层是本模型的核心层，它利用底层WebService接口从云平台层获取数据，同时利用WebService接口为上层逻辑层提供数据服务，利用若干数据分析与挖掘算法对底层提供的元数据进行分析与数据挖掘，并利用PMML和CWM来呈现预测分析模型和实现元数据交互；逻辑层提供两类服务，流程引擎服务和系统管理服务；视图层是模型面向用户的最终接口，为用户提供基于富客户端的Web应用，负责创建数据的呈现界面，提供人机交互接口，以及诸如系统导航、系统配置、用户管理、创建应用、算法管理和数据管理等功能。其模型结构如图3所示。云平台层云平台层算法层逻辑层视图层MapReduce云计算框架数据加载数据交换数据组织空间数据库属性数据库行政区域采伐数据造林数据遥感影像、GPS数据、DEM、视频资源分布基础地形其他数据WebService接口（根据应用需要可扩展其他接口）接口封装PMML模型CWM元数据交互算法模型数据分析数据分类数据聚类回归分析关联分析异点分析序列分析并行数据预处理WebService接口（根据应用需要可扩展其他接口）接口封装用户管理应用管理数据管理算法管理系统管理工作流引擎流程引擎系统导航系统配置用户管理应用管理数据管理算法管理系统视图数据视图结构表达投影变换图元管理视图生成可视化预处理图3平台模型结构图3、平台功能及组成结构图3模型结构图森林资源动态监测信息化管理平台基于“二类”数据共有四部分系统（平台）组成，从前端采集开始到后端综合应用分别是移动数据采集系统、日常业务管理系统、资源更新桌面系统和森林资源动态监测信息化展示平台。移动数据采集系统利用遥感技术、无人机技术和平板电脑到野外采集空间和属性数据，此数据经脱密处理进入各日常业务管理系统后台数据库，这些日常业务系统主要包括与森林资源动态更新密切相关的采伐、造林、征占林地、森林灾害（病虫害与森林火灾）和行政处罚，当然，平台可以根据庆云县实际情况及业务开展的成熟度来动态添加系统如林权、古树、生态公益林系统等。资源更新桌面系统主要为待更新的二类小班做空间及属性数据的更新，它的数据源包括二类资源小班数据、各业务系统产生待更新数据如采伐迹地、造林迹地、火烧迹地等。日常业务管理系统与资源更新桌面系统共同为森林资源动态监测信息化展示平台提供源数据，实现动态更新数据的展示、为年度出数提供各种报表与趋势图、跟踪并动态展现各业务子系统的现状、对森林资源实施综合监管、为政府提供各类决策支持等。平台组成结构如图4所示。图4平台功能及组成结构1、建立一种森林资源监管新模式，突破传统监管方法。基于网络平台，围绕森林资源这一核心，提取经营利用各业务系统数据，利用已有森林自然消长研究成果，经数据挖掘与综合分析，建立森林资源信息共享联动，管理互动统一的模式。实现各系统内及系统间的数据关联和系统集成，动态反映森林资源变化以及生产经营过程，并能实现部门之间工作的协调与联动。2、建立分层控制，管理上移、服务下延的服务新模式，实现全程服务。将实施环境落在林业局，管理可上移至地区、省厅，将服务下延到乡镇（林场）、村、农户、山片，实行“面对面、零距离、广信息、高规范”的服务。3、建立数字化采集、智能化处理与个性化应用的森林资源监测平台，实现森林资源及时更新、实时出数，全方位、多层次的决策服务。有效展现森林资源及林业生产、经营、管理的全貌及态势。4、建立森林资源大数据库，为社会化提供优质服务。平台建设与应用一方面将透明监管，方便部门间协调，优化关系，美化结果，提高效率；另一方面，缩短办事时间，减少繁琐过程，降低成本开支，体现惠民增效；第三，提供森林康养环境与森林文化知识，实现森林价值的提升。实现区域森林资源本底信息“一张图”，动态监测“一套数”，资源管理“一体化”。创建标准统一、数据互联、生态凸显、及时更新、随时出数、评测落地森林资源管理新模式。实现动态更新、年度出数、过程监管、综合监管、决策服务。平台建设的核心及流程如下图1。图1平台建设的核心及流程平台主要功能如下：（1）森林资源动态更新主要展现森林资源的数量与质量，包括蓄积动态更新、面积动态更新和森林覆盖率动态更新三部分，服务于年度出数。其更新方法是以二类资源为本底数据，通过林木自然增长模型，结合采伐、造林、征占林地、行政处罚和森林火灾的业务数据，计算出每个小班每月的变化情况，生成蓄积动态更新表、面积动态更新表和森林覆盖率动态更新表。蓄积动态更新表：可统计当前年最近一个月和历年的杉木、松木、软阔、硬阔、经济树种蓄积变化情况；树种动态消长图：根据年份统计蓄积的增长量与树种蓄积量；树种动态分布图：按树种分行政区域统计，以区域形式呈现，可根据数量轴统计不同区域蓄积的变化；蓄积动态检测表：根据行政区域统计地区历年蓄积变化情况以及增长量、增长比例，如图10所示。根据行政区域统计地区林地蓄积量；面积动态更新表：统计当前最近一个月和历年地类面积变化情况；地类动态消长图：根据年份统计各地类面积地类动态分布图：按树种分行政区域统计，以区域形式呈现，可根据数量轴统计不同区域地类的变化森林覆盖检测表：根据行政区域统计地区土地面积与森林面积以及森林覆盖率；森林面积比重表：根据行政区域统计地区森林覆盖率年度水平变化程度。森林覆盖率年度水平变化程度指森林覆盖率的年变化量，即当年与上一年比较的增减值；变化程度检测表：根据行政区域统计地区森林覆盖率历年变化情况。图2蓄积动态更新表图3树种动态分布图图4面积动态更新表图5按地类分动态消长图（2）森林资源综合监管森林资源综合监管主要利用林地、林木、采伐、营造林、征占林地、行政处罚和森林灾害之间的关联关系，实施多要素综合分析，包括林木监管、林地监管以及协同监管。全面系统地展现森林资源、进