大数据关键技术在滑坡监测预警系统中的应用

1、大数据关键技术在滑坡监测预警系统中的应用摘要：随着经济和信息技术的快速发展，滑坡情况研究总的是要了解清楚滑坡 地质、明确滑坡灾害情况和具体的损毁模式，能够更快速的为研究滑坡平稳性和 操作计算整理出相关数据，同时提出后续的滑坡灾害的应对方案。对地质勘探层 面而言，操作量过大，既要提前对治理场地进行勘察，还要熟悉掌握周边环境的 地质因素，防止出现由于大意导致的严重的情况。对防治层面而言，单单是治理 问题的话，到不麻烦。最大的麻烦在于不仅不可以限制经济的进步，并且还要解 决好滑坡问题，在当前阶段也得在工作成果上进步、在经费上节约。研究了大数 据处理及挖掘分析等关键技术，结合滑坡监测预警大数据系统的应

2、用环境，论述 了大数据技术在滑坡监测预警大数据系统的架构、数据挖掘、系统功能等方面的 应用情况。关键词:大数据挖掘;滑坡监测预警;大数据系统引言滑坡监测的传统方法主要是对滑坡易发地区设置水文、地质和气象等传感器， 数据传送系统将传感器采集的信号传输到处理中心，得出分析结论和预测结果。 可将大数据技术与滑坡监测预警技术结合起来进行研究，运用大数据的理论、机 制、模型和方法，采用统计学、机器学习等方法得出可靠性较高的预警信息。本 文介绍了目前应用广泛的大数据技术，并对滑坡监测预警大数据系统进行了架构 设计。1 滑坡概述 滑坡是斜坡岩石由于重力原因，顺着软弱面和软弱带发生整体位移的情况， 在位移期间

3、，会出现整体结构的分散，是重力和摩擦力共同的作用导致。滑坡通 常出现在斜坡在 50以下的区域，若是发生在50以上的位移就不叫做滑坡。在工 程地质勘察期间若是产生滑坡，就是勘察人员对山体滑坡状况了解不够，无法实 现对工程勘察期间发生的滑坡的慧识。滑坡分类 滑坡分类较简单，由滑坡山体的形态、滑坡面及滑坡因素把滑坡通常分为以 下几种。依据滑坡山体性质分为：红土滑坡、黄土滑坡、粘性土滑坡、岩石性滑 坡。依据滑坡切面种类分为：牵引式滑坡、剪切型滑坡、重力推动型滑坡及混合 性滑坡等。依据滑坡规模分为：小型滑坡（滑体面不足6000m3，厚度不超过 6m）；中型滑坡（滑体介于6000到60000m3之间，厚度

4、通常在6m到25m）； 大型滑坡（滑体介于60000到100000m3之间，厚度在25m到50m）；巨型滑坡（滑体超过100000m3，厚度超过50m ）。滑坡稳定性影响因素地形地貌是地质灾害形成的主要条件。地层岩性是灾害发生的主要物质因素。 降水对地质灾害形成起到催化作用。人类活动改变了降水坡面径流流速，增加了 降水入渗，这对坡体的整体稳定性有一定影响。坡体受到震动影响时，使斜坡变 形加剧，对坡体的整体稳定性有一定影响。2 滑坡监测预警大数据系统关键技术应用2.1 系统架构设计 滑坡监测预警大数据系统是滑坡灾害应急中心实施会议召开、分析磋商、调 度指挥的信息化平台。为滑坡监测预警大数据系统的

5、体系架构，主要采用分布式 计算架构，结合并行数据库技术，有效搭载各类滑坡信息数据，支持大数据的流 处理和批处理模式，能够实现滑坡大数据的海量存储与维护和跨层级分布式业务 处理，为系统功能的柔性从组提供一个松耦合的集成框架。基础设施层是指硬件 基础，包含计算机、网络、中间件、虚拟服务器、数据库及集群软件，是滑坡监 测预警大数据系统所需的资源载体。数据源层为滑坡监测大数据系统提供需要的 数据源头，并提供各类专业知识和参数等。数据接口层是对数据来源的特征开发 设计转换适配器，是根据行业规范，对数据进行清洗、转换、处理的转换层。处 理后的数据存入大数据存储系统中。大数据的访问框架包括了 Pig、Hiv

6、e、Sqoop 等系统，其中:Pig是计算机编程语言，适合用于Hadoop和Map/Reduce平台来 查询大型半结构数据集;Hive是数据仓库，通过HQL语言实现MapReduce的快速 统计;Sqoop的作用是用来与关系型数据库实现数据交换，如Mysql、Oracle等关 系型数据库。大数据的调度框架包括以下3个系统:Hbase是列存储非关系型数据 库，提供可靠性高并有分布式数据库功能的作用;日志收集的系统Flum，其作用 是收集各类数据发送方的相关资料日志，并收集数据集;分布式闭锁组建Zookeeper ，其作用是高效和可靠地协同工作系统，提供分布式锁之类的作用，用于 构建分布式应用，减

7、轻应用程序所承担的协调任务。系统应用层则是滑坡监测预 警大数据系统的功能实现系统，具有稳定性分析、智能决策、可视化交互等功能。滑坡大数据的集成滑坡大数据来源于多源异构，种类多样:有现场监测仪器产生的数据（如GNSS 设备、气象监测器、裂缝传感器、应力应变计等监测的数据），与国家和地方地质 数据进行共享的地质环境信息数据（如遥感图像、地形地貌图等），滑坡易发地区 的历史滑坡数据等。根据滑坡数据的来源，可归为以下5类:地质环境信息、各类 历史滑坡资料、地质内部数据、地质外部数据、其他数据源。以上这些数据为多 源异构型，需要进行处理。首先进行数据清洗和转换，并对这些数据进行统一的 建模，存储于大数据

8、平台的储存框架中，为对数据进行挖掘分析做好准备，并允 许跨平台交互和共享。滑坡大数据挖掘与滑坡空间性预测影响滑坡灾害的因素很多，要预先获得滑坡区域的地质构造情况数据，并掌 握滑坡体的力学模型先验知识，实时采集各类监测数据和外界影响因素（如人类活 动），通过统计大量的、不同区域的、时间不同的历史滑坡大数据，采用统计学、 信息原理分析的技术手段，筛选出其中的重要条件和因素（如地质构造相似度）， 按类比原则将海量滑坡数据分为地段性滑坡数据类，此类滑坡具有类似的易滑坡 作用条件和影响因素。根据自然斜坡或是滑坡的地质构造情况，将其归属到相应 的地段性滑坡类中，在此滑坡类中，将大数据集的滑坡类数据分为训练

9、集和验证 集，采用机器学习的数据挖掘技术，发现潜在有用的规则，对待预测的此滑坡类 的滑体进行规则判定，预测其稳定性。2.4地理信息系统（GIS）与滑坡地质全景可视化GIS 系统的坐标系采用了严格的地理坐标系，以经纬度存储单位，并可以进行 坐标投影与转换，支持图形和数据的双向检索，具有强大的数据库分析功能，集 成了 GPS、CAD、RS技术，将GIS技术结合大数据平台进行应用，对于滑坡稳定 性分析和展示将会发挥独特的优势。该研究可集成国家和地区相关部门的滑坡灾 害信息资料，利用地理信息系统（GIS ）进行相关信息管理和可视化动态展示，通过 大数据平台挖掘出来的结果用地理信息系统呈现出来，给客户直观地展示评价情 况，这将成为大数据分析滑坡稳定的一种趋势。结束语由于滑坡的监测预警工作涉及到海量数据，传统的监测预警方法已不能满足 现代化监测预警的需要。大数据平台的性能将得到大幅度提升，滑坡监测预警大 数据技术的应用前景广阔。参考文献:陈铁军，陈华方，胡杨超，等基于CC24