地质大数据应用与地质信息化发展的思考

地质大数据应用与地质信息化发展的思考黄少芳;刘晓鸿【摘要】地质工作经过长期积累形成了的海量的地质资料与数据具有重要的价值.地质数据具有多元（源）、异构、时空性、相关性、随机性、模糊性和非线性等特征,具有大数据特点，属于大数据范畴.由于地质调查工作和信息技术发展的融合，促进了地质大数据应用与地质信息化发展，地质信息化进入基于大数据分析与大数据应用的数据驱动新时代.本文分析了当前地质大数据技术及其应用,提出对地质大数据整合集成，对多来源、多模态、多时态数据的相关性分析、数据挖掘与关联建模，实现基于大数据的可视化与智能化.对地质大数据支持下的地质云平台构建、地质大数据应用服务系统和标准化建设的三要素，进行了探讨.【期刊名称】《中国矿业》【年（卷），期】2016（025）008【总页数】5页（P166-170）【关键词】地质大数据;地质资料;信息化;标准化【作者】黄少芳;刘晓鸿【作者单位】中国地质大学（北京），北京100083;中国地质大学（北京），北京100083【正文语种】中文【中图分类】G271地质工作经过长期积累形成了的海量的地质资料与数据，大多数是静态数据，此外还有动态数据，如地质灾害、地质环境调查与监测等形成大量的实时动态数据。当今大数据时代，以大数据的思维和理念，应用大数据技术，解决地质大数据的有关问题，创新地质大数据应用，实现地质大数据价值。近期，国务院印发了《促进大数据发展行动纲要》(国发〔2015〕50号)，为我国大数据发展进行了顶层设计，促进大数据规划、标准、技术、产业、安全、应用协同发展。国家发改委印发了《关于组织实施促进大数据发展重大工程的通知》(发改办高技〔2016〕42号)，将重点支持大数据示范应用、共享开放、基础设施建设，以及数据要素流通。地质调查是获取地球数据和信息的过程，通过采用地、物、化、遥、钻等各种地质手段和科学探测与实验测试方法，进行各类数据采集、获取信息，基于大数据的现代地质调查，加强对地质大数据的管理，突破数据处理与分析传统思维，以提升服务经济社会发展的能力和水平，使地质工作迈入地球科学与大数据融合的新时代。1.1大数据与大数据技术大数据还没有严格的科学定义，是各种类型复杂的结构化和非结构化数据集，虽意指数据量超出了传统尺度的规模，但数据量还不是判断大数据的唯一标志，大数据具有4V特点，分别是体量浩大(Volume)、生成快速(Velocity)、模态繁多(Variety)和价值巨大但密度低(Value)[1]。大数据是应对数字化信息化时代，面对数据量剧增而产生的一种新数据技术，面对这样一个全球数据爆炸性的增长，需要一套全新的数据处理和分析技术。没有数据，技术发挥不了作用。没有技术，数据也只能是一堆枯燥的数字，难以上升为认知与规律，更难以实现数据价值的升值。地质数据往往首先是原始数据，如通过区域地质调查、地球物理调查、地球化学调查、地质钻探、资源勘查、地质环境调查与监测、岩石矿物测试等获取的数据，都是原始的第一手地质资料数据，如何对这些原始数据进行进一步分析与加工处理，整合集成后提取具有更高价值的地质信息，需要大数据新理念的指导和大数据新技术的应用。基于地质大数据技术的分析处理，通过化散为整、化异构为同构，对非结构数据和知识服务进行建模，实现技术转化和服务创新。1.2地质大数据及其特点地质学属于数据密集型科学，地质数据获取难度大成本高，大量深地、深空、深海和深时数据获取难度更大，地质数据具有多元（源）、异构、时空性、相关性、随机性、模糊性和非线性等特征，地质数据的混合性、变异性、相关性等随时空变迁而数据特征各异［2］。地质数据具有大数据典型特点，随着科学研究第四范式的诞生，将大数据的理念、技术和方法应用于地质领域，这种具有多源、多元、异构等复合型数据列入大数据范畴，即地质大数据。地质大数据是大数据的重要组成，是地质调查工作和信息科学技术发展、融合的结果，包括地质观测数据、探测数据、实验测试数据等，具体类型有地质矿产调查数据、地球物理数据、地球化学数据、实验测试数据、地质钻探数据、地质监测数据等，涉及地球深部的各个圈层，涉及地球形成与演化历史，涉及地球的物质组成及其变化，涉及矿产资源的形成、勘查与开发利用，涉及地质环境的破坏与修复等。从数据类型看，地质大数据类型多样，包括各种格式的矢量和栅格图件、文档以及视频数据等。从数据量看，其数据量巨大。从数据共享看，对海量的多样化数据进行汇聚，应用大数据技术对其进行加工处理。地质大数据还具有其独特的专业数据特点：①地质大数据多样性。从宏观的地球物理等传统地质大数据需要大存储、大处理，到微观地质学的同位素年代数据，从原始声光电磁的地质探测原始数据到大数据集成处理后的图像、图件等，从数据到图像、从图像到数据、地质数据可以互联互通［3］:②地质大数据时空属性。地质学具有时空属性，地质学研究的对象与采集的数据具有空间属性。地质数据更具有特定的时间性，任何地质数据都会与地质年代关联，不同地质时代和不同地区的岩石、地层、矿床具有不同的分布特征和规律，因此，地质数据具有时空属性；③地质大数据的价值性。通过分析数据可以得出如何抓住机遇及收获价值，例如对于大量的物化探异常数据与综合信息提取与拓扑，通过异常检查与验证，找矿取得新发现，其经济社会价值巨大。1.3大数据应用驱动地质工作变革与创新数据产业是新兴产业，也驱动了数据革命。在大数据经济时代，科学研究的范式正由经验型到概念型、模拟型向数据密集型的科学发现与演进，产生体量巨大，并蕴含重要价值的数据集，传统的科研流程、方法和技术正在发生重大变化。掌握了数据，掌握了数据算法，掌握了数据的关联性，就能够决定了数据的产业价值。从蒸汽机开始第一次工业革命，到互联网引发信息技术革命，当前是以数据为驱动的数据革命。新兴大数据与大数据技术应用成为信息化发展的强大驱动，大数据是根本，云计算是工具，在信息化与大数据并行的智能化创新发展时代，对于地质大数据的管理和应用正在发生深刻的乃至颠覆性的变化。当前，地质工作正面临大数据、大挑战、大变革，数据的真实、可靠、完整、全面是地质工作的基础，数据就是价值财富和创新的资源，从海量地质数据的存储管理到地质知识发现，并通过智能化平台提供服务［4］。地质大数据给地质工作带来了新的变革与创新机遇，因此，要重视数据，特别要重视数据在支撑决策中的作用，转变工作决策模式，重在服务理念与服务方式的创新与变革。地质数据的数字化是基础，最终目的实现信息化与智能化，创新开展知识管理和知识服务，发挥地质大数据潜在的知识价值，建立和发展〃用数据来说话、用数据来管理、用数据来决策、用数据来创新”的数据环境与文化。2.1地质大数据技术与地质大数据应用大数据涵盖大数据技术、大数据工程、大数据应用等，以其体量大、类型多、变化快、应用价值高为特征的数据集，正在迅猛发展和快速增长。大数据技术是数据分析的前沿技术，是对大数据进行获取、存储、分析、处理等技术的总称，是对数据巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务。大数据应用是对大数据进行挖掘与应用，产生知识价值的过程以及在商业领域的应用。地质大数据技术主要包含数据信息的采集与传输转换、存储与管理、关联分析与数据挖掘、可视与智能、共享与安全等［5］。数据是数学形式记录，本身不具有具体的意义，信息是对数据的解释和注释，赋含一定的意义。从数据-信息-知识的演变是人类认识深化、内涵拓展、价值提升的变化过程。大数据技术的意义，并不在于掌握规模庞大的数据信息，而在于对这些含有意义的数据进行专业化智能处理，从中分析和挖掘出有价值的结构化信息［2］。地质大数据技术还体现在两个层面，一是地质数据的组织逻辑及物理模式，无论是结构化数据还是非结构化数据，都要有记录指向可查，使平台通过一定的技术手段能检索到该数据，并能获取。二是支撑地质大数据的应用服务平台，地质大数据内容、种类、格式的多样性和繁杂性，要求大数据平台顶层设计的先进与安全。地质大数据应用，是采用现代大数据与信息技术，立足地质大数据技术与应用，本着数字化、智能化的技术发展路线和创新变革的理念，通过化散为整、化异构为同构，多样化碎片化非结构数据存储、关联、发现和挖掘，将多源异构多时态海量地质数据汇集与一体化组织，进行全面深入的数据挖掘，从中找到蕴含的有价值的相关关系，应用于地质实践，充分发挥地质数据的作用，让数据不断增值，基于非结构数据与知识服务建模，实现技术创新和优化服务。地质大数据应用要防止简单化片面化，一是不能简单地将大数据等同于开放数据，很多开放数据只是离散小数据，并不具备大数据的基本特征。二是不能将大数据等同于共享数据，大数据平台建设不仅推动大数据应用，还将数据信息的基础系统进行统一，实现不同区位数据的互联互通，进行数据资源的整合，建设国家级全国地质大数据中心，形成更加完善的决策支持体系，在数据整合的基础上实现优化服务。基于服务后台的大数据中心，借助信息技术将业务流程、服务、网络和数据资源进行优化整合，便捷高效地为公众提供一体化的服务。三是大数据并非等同于海量数据，大数据强调的是对数据的分析和应用，建立统一的数据资源目录体系、数据标准体系、数据共享交换体系等，大数据虽指海量数据，但并不是全数据，而是数据资源总量不断增长的状态，从中挖掘出有价值信息是大数据应用的关键。2.2数据挖掘与关联建模大数据研究不同于传统的逻辑研究，是据其内在的数据逻辑，对数量巨大的数据进行统计性的搜索、比较、聚类、分类等分析归纳。数据相关性分析是将各类数据进行逻辑关系比较，将相似的数据逻辑关联并分类划分，目的是找出数据集里隐藏的相互关系，一般用支持度、可信度、兴趣度等参数反映相关性。数据挖掘是应用数据分析和发现算法，从大量的、模糊的、随机的数据集中，识别出有效有用的数据，提炼隐含在其中不被人发现的有用信息和知识，发现隐藏在数据之中的数据关系、历史数据演化规律，同时对未来进行预测，通过基于数据的预测分析，为未来发展进行预测评价。地质大数据是集地质描述、基础数据、地质图表、地质认识的地质数据资料，其价值巨大。地质大数据的整合集成是对数据的一致性处理，包括空间基准不一致、语义不一致和尺度不一致的地质空间大数据一致性处理，以及地质数据的一体化存储与管理。在大数据技术支持下，对地质大数据整合集成，进行充分挖掘，地质大数据及大数据相关技术为实现地质信息化和现代化发展提供了有效的支撑。数据信息的融合与提取是在对各种分散的多源异构数据进行一体化组织与集成整合的基础上，通过信息处理技术建立各种数据模型，从而提取出有用的信息。地质大数据挖掘是通过归类、关联等数据分析，获取其表达的信息和知识，从而发现其内在的联系与规律，是认识的总结提高和认知的发现。据此，通过对多来源、多模态、多时态数据的相关性分析，数据挖掘和模式分析，提高对数据资料的综合与深度应用，从而实现新知识的发现和价值的升值。2.3基于大数据的可视化与智能化数据可视化是进行大数据分析的重要手段，是借助计算机数据图形分析处理技术，发现数据的内在关系，揭示新问题，产生新的综合与表现，形成新观点，提供新的洞察力［6］。可视分析是通过交互可视界面来进行分析、推理和决策的过程，本质也是知识发现。可视分析与一般分析及挖掘的不同在于，其不依赖于数学模型，是一种探索式分析。数据可视化作为一种知识表达、知识展示和知识传递的手段，通过将复杂、抽象、枯燥、难于理解的数据转化为直观的图形，进而提供智能和决策分析。地质大数据可视分析的基础是多年积累的地质体建模、地质过程建模、地质调查数据可视化及交互技术，可视分析就是在这些技术的基础上，克服高维性、不确定性和异构性，研究开发从复杂地质大数据中抽取有效特征和知识发现。目前，一些已有的三维地质建模软件能够实现多种数据三维建模、显示和分析等功能，但这些建模方式仍然是静态交互，在大数据时代下的可视化技术将朝着自动化和交互性方向发展。在智能研究领域，经过长期实践，积累了很多科学方法和应用技术，如自然语言语义分析、信息提取、知识表现、自动化推理等。这些方法技术目前正在逐步地应用于大数据技术，结合预测性分析和处方性分析，挖掘大数据蕴含的规律和价值，从而为人类决策提供智能支持。人工智能的发展，需要大量的知识和经验，这些知识和经验需要海量的数据作为支持。知识服务是基于专业化、个性化、时效性的服务，是依据用户需求，以信息的搜寻、组织、分析、重组等知识开发为基础，通过数据分析与挖掘，进行知识创新，向用户提供知识应用和智能决策服务。3.1地质云平台在当代数据大规模生产、分享和应用的数据革命时代，云技术是近年来信息技术发展的新兴技术，是将云计算的各种特征用于支撑建模、存储、处理等要素的地理空间信息技术。云计算作为一种新兴的计算模式，它是以大数据是根本，云计算为工具，为大数据的集中管理和分布式访问提供了必要的场所和分享的渠道。地质云是充分利用地质、矿产、地球物理、地球化学、遥感、水文、环境、灾害、地形、地貌等地质调查数据，以大数据技术支持下的地质数据应用与服务为目标，通过数据采集、资源整合、数据传输、数据挖掘、信息提取、知识发现等手段，构建基于地质大数据的云平台，实现从数据到信息、信息到知识，知识到智慧数据开发与信息转换，服务于政府决策、科学研究、企业生产等多层次、多角度、多目标的需求与应用。构建地质云系统，一要明确地质大数据的应用目的，二是基于虚拟化技术建立云存储模式，实现地质大数据的一体化组织，三是搭建服务虚拟化的地质云计算平台，提供服务管理、搜索调用。地质云技术的应用增加了地质数据的使用效率，用户通过浏览器或者应用程序界面提交计算任务或者服务请求，使地质数据信息创造更多更新的价值。3.2大数据应用服务系统信息技术的发展推动了地质行业的数据共享和信息服务水平的提高，地质大数据开发与应用是国家大数据战略的组成部分，地质大数据开发应用依靠大数据平台实现实现地质资料数据的互联共享和社会服务，实现数据到信息的转化，进一步对信息进行集成形成知识体系，合理利用并提供共享服务。在应用和服务中又会产生新的数据，从中再提取有用信息。形成数据-信息-知识-智能的链式应用服务体系。构建地质大数据应用服务体系，采用3S技术、网络技术、云计算等技术，对地质数据信息进行集成整合、深度加工、研发服务产品，对地质大数据进行挖掘与关联分析，获取更多智能而有价值的信息，提供多方位的社会服务和智能决策支撑。大数据平台体系包括：地质大数据管理、地质大数据无缝集成与适配、数据分析与挖掘、大数据关联性分析、可视化与智能分析、地质大数据智能解释与展示等。大数据应用服务平台依据不同行业、不同领域、不同需求的大数据处理需求，构建大数据获取、存储、组织、分析、决策、共享、交互、协作和服务的智慧平台，是基于信息资源、知识、智慧、共享的交互与创新，主要包括：基础支撑与管理层、大数据处理层、大数据分析与决策层、交互服务层。①基础支撑与管理层，为大数据应用服务平台提供技术与环境支持，并对数据、知识、资源、智能、服务等进行感知，并将服务模块提供给大数据处理与管理层；②大数据处理层，通过对结构化、半结构化和非结构化地质大数据的管理与处理，进行数据获取、识别、分类、聚合、定位、挖掘、组织与存储等系统管理层，根据服务需求，为数据分析与知识服务提供协作支撑，是网络环境下管理与服务的集合，实现大数据与应用服务平台的调用与管理；③数据分析与决策层，是构成大数据整体平台系统的核心，从海量的结构化、非结构化和半结构化数据中进行过滤、归纳、挖掘、关联、分析，进行智能与决策;④交互服务层，进行嵌入式服务的终端封装、接入、访问、调用和服务等。3.3技术标准体系地质信息标准化建设在空间信息管理、转换、共享、应用等方面起着重要的作用，地质大数据应用与服务需要相关的技术标准与行业规范为支撑，需要建立科学、合理、适用的技术标准体系，主要包括基础标准、信息交换标准、存储管理标准、信息接口服务标准。由于大数据产业和应用发展迅猛，亟需通过标准化的途径整合资源，使各方面达成共识，形成统一的数据格式、接口、安全、开放等标准，为数据开放共享提供基础，为数据安全应用提供保障。统一完善的标准是空间信息进行协同操作的基础，信息技术的发展对标准化提出需求，涉及大数据支持下地质数据智能感知识别、传感适配、描述分类、协作共享、访问接入、服务协议等标准和技术规范，同时标准的制定促进了新技术、新方法的应用和发展［7］。建立完善的技术标准体系，涵盖地质数据分类、采集、存储、交互