数据治理实践案例之中煤大海则煤矿数据标准体系及数据湖建设实践

数据治理实践案例之中煤大海则煤矿

数据标准体系及数据湖建设实践

项目背景

中煤陕西榆林能源化工有限公司（简称中煤陕西公司）积极推进

信息化、智能化建设，先后荣获多项荣誉。智能工厂建设被工信部

评为全国智能制造63家试点示范企业之一，是陕西省煤化工行业

获得此项荣誉的唯一企业。

中煤陕西公司下属大海则煤矿作为蒙陕基地的重要组成部分，是近年来中煤

集团投资建设的最大矿井，于2020年被列为“国家首批智能化示范煤矿”。近期，

集团将“大海则煤矿智能化建设关键技术及工程示范”作为集团公司重大科技专

项进行立项，要求尽快组织实施，引领集团公司煤矿智能化升级，推动集团公司

煤炭企业建成一批煤矿智能化工作面和智能掘进工作面，真正实现煤矿高质量发

展和煤炭智能化技术引领行业发展。

按照“总体规划、分步实施、因地制宜、效益优先”的总体要求，坚持:“前

瞻性、先进性、可靠性、实用性、开放性”的设计原则，打造安全、高效、绿色、

智能的现代化智能绿色矿山。将物联网、云计算、大数据、人工智能、自动控制、

移动互联网、装备机器人化等与现代矿山开发技术相融合，开发大海则煤矿感知、

互联、分析•、自学习、预测、决策、控制的完整智能系统，建设开拓、采掘、运

通、洗选、安全保障、生态保护、生产管理、经营决策等全过程智能化运行的智

能煤矿，开创煤矿行业完整智能系统、全面智能运行、科学绿色发展的全产业链

运行的新模式、新标杆。最终将大海则煤矿建设成为以“本质安全、高产高效、

绿色环保、智能科技”为代表的新型智能化矿井。

1.项目目标及主要内容

中煤集团经过多年的智能化开采技术研发和生产实践，初步形成了“自我设

计、自我研发、自我制造、自我建设”的智能化建设能力，部分矿井实现了工作

面少人智能化开采模式。初步构建了“以底层智能化装备智能感知为基础、以设

备群组协同控制为核心、以远程监控综合调度为手段，以信息传感和智能决策为

突破”的智能化工作面建设技术路径并示范应用。而大海则煤矿在生产运行过程

中产生大量的结构化数据、研究成果报告、专业化图形资料，同时随着物联网技

术在煤炭行业的应用，海量实时数据采集入库，对数据的管理和应用也提出了较

大的挑战。

为实现将中煤陕西榆林能源化工公司卜属的中煤集团投资建设的最大矿井

一一大海则煤矿，建设成为安全、高效、绿色、智能的世界一流矿井，2020年初

至2022年底中煤集团统筹规划建设了一系列的具有先进技术的智能化项目。其

中，“大海则煤矿数据标准体系及数据湖建设项目”是众多智能化项R建设的基

础。

该项目主要致力于三个方面内容建设：

•一是大海则作为新建矿井。从建设之初就需建立起煤矿统一数据标准体系,

规范新建信息化自动化系统数据标准，实现各系统数据源头统一。通过建

立数据标准管控体系，持续对大海则煤矿信息化系统进行管控，使得新增

系统、系统升级的数据模型都有章可循，确保大海则煤矿数据准确、可靠、

好用；

•二是搭建统一数据湖。用以实现大海则煤矿ERP、0A、MES等各信息化管

理系统结构化数据以及综采综掘、主运、提升、通风、排水、供电等自动

化设备和安全监测人员定位、矿压矿震、工业视频等安环系工业物联网非

结构化数据的实时采集和集中存储；

•三是依托数据。通过建设数据分析、数据挖掘模型，实现数据实时分析计

算及历史大数据挖掘，搭建决策分析管理系统，建设生产、经营、安全、

机运四大业务板块主题分析，支持大海则煤矿实现生产安全、经营管理等

数据化运营和智慧化管控。

2.项目成果

1.数据标准

数据标准Fl前出涉及安全、生产、机电、经营四大业务板块，目前数据湖已

应用17个业务系统数据标准，累计1043条标准。

2.数据湖

(1)拖拽式数据处理流程

任务设计以拖拽的方式;完成整个交换作.业流程设计，在设计器面板中支持拖

拽数据模型、交换组件、连线来完成交换过程的定义和维护，设计器支持放大缩

小、保存、自动布局、参数设置、语法检查、撤销等基本功能。通过点选、拖拉

即可实现用户80%以上的数据预处理需求。

=

=

=

(2)数据治理

数据湖入湖实施过程中，数据湖共计接入47个业务系统数据其中数据库类

型共计接入22个系统，接口和文件类型数据共计接入11个，工控类类型共计接

入14个系统约50000个点位数据。

已完成19个业务系统元数据采集，累计48781条元数据

数据质量检查样例:

代CtMtRM9全ftW限:

0“.NUUJ•aOiac/ioDMD.A.AQM.fX.2022-07-05*

0U.NUll.4・a01QM0DWD.A.AQSM.nc.Ktt6s178”askn»

0K.NUIL.5MM・a0IWODMtDA.AQM/JL.皿。，■

QKJU.O・ao1OAH0DWAajx.20226S1M2SfiflTN・跋■

0MM<0*oo104/10DMDA.AQU.fX.X22'O7■O51^^QJ•■

S«tfl•ao10AH0DWD.A.AQSX.FX.2Q»476178”*Cl■

0MAMMM・ao10AH0DWOA.AQMJX.皿MM

③WtGt.Ounso2WTOOWD.A.AQW.nc.MSS178XM■

•muuiMwrai••◎»cvroDWOAAQM.，1ABttt・黑

好UNGIJUmixftsnrMtfl••o2OA»2ODWDA.AQSK.HL.K225S1782traw9A■

etrcjj•♦♦oX.A.AQU.dXM88，？S4M«0・z■0•

目前数据资产对已完成21个资产门户建立，数据接口服务共计179个，对

外服务系统44个系统。

服务门户展示：

3.决策分析应用

此次决策分析工作中，依据指标标准结合现场情况共建设完成包含安全、生

产、机电、经营四个模块，一个数据驾驶舱大屏，一个数据驾驶舱大屏，共计380

项指标。

决策分析驾驶舱展示：

决策分析驾驶舱，挑选安全，生产，机电，经营四大板快重要指标展示，可

以直观反应大海则智能化矿山日常情况，为领导决策提供数据支持。

数据驾驶舱展示：

数据驾驶舱大屏，涉及数据湖平台各项业务板块，能直观显示数据湖日常

接入资源量，平台资源使用量，四大类型应用详情，数据资产情况，数据标准情

况，调度任务运行情况和接口调用情况。

3.建设亮点及成效

（一）实现业内首个煤炭安全生产、经营管理、监测监控等业务数据资源“全汇

聚”

基于安全生产、经营管理、监测监控等数据，提出多源异构数据资源快速融

合构建技术，通过独立自主研发的多种可视化拖拉拽组件，不仅支持常用关系库、

文件、消息等的数据读取，还支持监测监控等工业数据的快速读取并建模。同时

还可以自定义扩展组件和扩展数据字段来满足各种复杂的数据汇聚需求。攻克了

传统数据汇聚因采用后台脚本跑批的方式而增加操作成本和复杂度的这个问题，

解决了煤炭行业最核心的业务数据融合难的问题打通了多源异构数据共享难的

壁垒，实现了全业务数据的汇聚，形成自上而下，规范统一，功能强大的数据湖

底座。

（二）实现业内首个基于分布式存储技术的混合存储架构下，工控数据和业务数

据的混合建模

基于安全生产、经营管理、监测监控等数据，提出业内首个基于分布式存储

技术的混合存储架构，利月数据仓库分层建模规范，将以监控监测为代表的工控

数据、以经营管理为代表的结构化数据和以