智慧城市大数据平台设计方案

XX智慧城市设计方案

粤港澳信息研究中心

2023年5月

目录

1项目概述........................................................1

1.1.建设背景................................................................1

1.2.建设思路................................................................2

1.3.总体目标................................................................3

2总体架构........................................................4

3技术平台........................................................5

3.1数据采集平台........................................................5

3.1.1数据采集架构....................................................5

3.1.2数据采集能力....................................................6

强大的数据集成能力.....................................7

一致性对账分析能力....................................14

一站式数据开发能力....................................18

统一的调度运维能力....................................21

基础管理...............................................26

3.2数据填报平台.......................................................28

3.2.1数据填报架构...................................................28

3.2.2数据填报能力...................................................29

自助数据准备...........................................29

3.222快速简易的数据填报设计................................32

3.2.23流程式任务管理.........................................35

事项填报执行...........................................36

基础系统管理与集成....................................38

3.3空间数据可视化平台.................................................39

3.3.1空间可视化平台架构............................................39

3.3.2空间可视化平台能力............................................1

33.2.1强大的数据接入能力.....................................1

33.2.2完备的数据处理能力.....................................4

33.2.3二三维一体化设计.......................................8

33.2.4自助式可视化场景设计..................................10

33.2.5空间分析数据处理......................................19

33.2.6基于GIS的可视化功能应用..............................21

3.4可视化平台.........................................................26

3.4.1可视化平台架构.................................................26

3.4.2可视化平台功能设计............................................28

强大的数据接入和处理能力..............................28

快速炫酷的可视化设计..................................32

多形态空间数据可视化..................................38

灵活的数据交互式设计..................................43

不可缺少的数据分析....................................47

便捷的配置交付能力....................................50

II

完备的基础系统管理....................................51

结果应用与集成........................................52

4可视化主题建设.................................................54

4.1智慧应急主题.......................................................54

4.2政务服务主题.......................................................57

4.3旅游管理主题.......................................................59

4.4农业生产主题.......................................................67

5建设效益分析...................................................69

III

1项目概述

1.1.建设背景

智慧城市是指在城市发展过程中，在城市基础设施、资源环境、社会民生、经济产业、

市政管理领域中，充分利用大数据、物联网、云计算、人工智能等新兴信息技术手段，对城

市居民生活工作、企业经营发展和政府行使职能过程中的相关活动与需求，进行智慧地感知、

互联、处理和协调，使城市构建成为一个由新技术支持的涵盖市民、企业和政府的新城市生

态系统。

2008年，IBM公司首先提出"智慧地球”概念，并于2010年正式提出了"智慧城市"

愿景，将城市中的水、电、油、气、交通等公共服务资源信息通过互联网有机连接起来，智

能化作出响应，更好地服务于市民学习、生活、工作、医疗等方面的需求，以及改善政府对

交通的管理、环境的控制等。

城市发展至今已完成了部分基础设施建设，开始由外部建设向内部治理转变。一方面伴

随城镇化进程的加快交通拥堵、环境污染等城市问题凸显；另一方面伴随人民经济水平的提

升更加宜居、便捷、安全的城市生活成为人们的新追求；智慧城市作为现代化城市运行和治

理的一种新模式与新理念，建立在完备的网络通信基础设施、海量的数据资源、多领域业务

流程整合等信息化和数字化建设的基础上，是现代化城市发展进程的必然阶段。

2012年以来我国陆续出台国家层面的智慧城市建设相关规划、评价体系等政策。各地方

政府和企业，均在积极探索新型智慧城市建设，截至2016年底，全国智慧城市相关试点近

600个，提出智慧城市规划的城市超过300个，所有副省级以上城市、89%的地级及以上城市,

47%的县级及以上城市均提出建设智慧城市。

在日益成熟的人工智能、大数据、云计算等技术推动下，智慧城市成功驶入城市建设轨

道并在政府的引领和企业的支持下取得快速发展。《中华人民共和国国民经济和社会发展第

十三个五年规划纲要》提出“以基础设施智能化、公共服务便利化、社会治理精细化为重点，

充分运用现代信息技术和大数据，建设一批新型示范型智慧城市”。随着国务院《促进大数

据发展行动纲要》的提出，以信息技术为基础的数字驱动模式已成为城市智慧化发展的核心

引擎。《促进大数据发展行动纲要》指出结合信息惠民工程实施智慧城市建设，实现公共服

1

务的多方数据共享、制度对接和协同配合。地方政府在实施智慧城市建设过程中也愈加肯定

数据驱动的核心引擎作用，上海、杭州、南京、深圳等地智慧城市“十三五”规划中都确立

了大数据作为城市创新发展要素的地位，数据驱动在智慧城市发展的核心作用日渐凸显。

2020年3月，习近平总书记在杭州城市大脑运营指挥中心考察期间，观看了"数字治堵"、

"数字治城"、"数字治疫”等应用展示，对运用城市大脑提升交通、文旅、卫健等系统治理能

力的创新成果表示肯定，指出让城市更聪明一些、更智慧一些，是推动城市治理体系和治理

能力现代化的必由之路。

“十四五"时期是我国全面建成小康社会、实现第一个百年奋斗目标之后，乘势而上开启

全面建设社会主义现代化国家新征程、向第二个百年奋斗目标进军的第一个五年，也是XX市

完整准确贯彻新时代党的治疆方略特别是社会稳定和长治久安总目标，强基固本、开辟新局、

转型升级、推动高质量发展的重要阶段。《XX市国民经济和社会发展第十四个五年规划和二

0三五远景目标纲要》，进一步明确了XX市"十四五”时期和二0三五发展的战略目标、主要

任务和政策取向，是政府履行职责的重要依据，是今后一个时期全县上下推动经济社会发展

的共同行动纲领。

1.2.建设思路

•强化基础，疏通管道

完善智慧城市顶层设计，构建能够支持智慧城市建设的信息汇集通道，构筑万物互联的

全感知全连接的基础软硬件设施及数据连接管道，实现城市各类数据的广泛互联。

•搭建平台，狠抓数据

搭建城市大数据中心，筑牢智慧城市“基座”，通过软件框架基础设施实现智慧城市的

支撑骨架；完善智慧城市的数据标准和规范，做好各层级、各部门、各系统的数据资源汇聚

接入，运用先进的数据治理理念和方法，进行有效治理，形成可信、可靠、可用的数据基础。

•面向应用，挖掘价值

以城市智慧化管理和运营为核心，构建智慧城市的智能融合应用体系；将城市中的物理

基础设施、信息基础设施、社会组织和商业机构连接起来，挖掘各领域之间的关联关系，构

建安全城市、智慧政务、智慧交通、智慧环境、智慧民生等一系列主题热点应用，使之成为

可以实时反应、协调运作、辅助决策的系统。

2

•创新模式，提升管理

结合数字挛生理念，运用空间GIS、二三维可视化手段，构建智慧城市运营管理中心，基

于大数据、人工智能等前沿技术，创新智慧城市运行管理模式，实现运营管理中心"可看、可

用、会思考”的目标，帮助城市管理者提高城市运营管理水平，驱动城市精细化治理，提升市

民的幸福指数，推动城市健康、科学、可持续发展。

1.3.总体目标

通过建设XX市智慧城市大数据可视化平台项目的建设，建立可视化、智能化的城市管理

与运营体系，利用跨领域、跨部门、跨系统的信息平台，形成统一的数据资源共享机制，并

在此基础上强化城市综合监测、预警、应急、信息发布和决策支撑能力，为管理者、企业和

市民提供高效率的服务，成为城市智慧城市的重要支撑和智力源。决策分析中心分别从城市

综合分析大屏和可视化决策专题两个方面融合城市实时态势、体征指标分析、城市事件预警

和领导决策分析等进行全领域、全时空的城市智慧城市综合信息展示，实现智慧城市运行管

理中心的目标。最终推动服务型政府的转型，并将大数据充分运用到服务决策、服务办案、

服务群众各环节，全面提升城市市民的生活幸福指数。

按照“整合建设、总体设计、分块负责"的原则，按以发改、统计、工信、农业农村等政

府综合部门为主的“大数据中心〃，以住建、环保、自然资源、文化旅游、应急管理等为主的"城

市中心"和以社区、公安、检察、法院等为主的"综治中心"三大块归类，同时确保行业部门数

据资源共享。要按照“政府统一设计、统一预算，行业争取、整合建设”的思路，及时制定部

门方案，进一步明确各自职能定位，提出行业系统要求，并在统一汇总后统筹制定具体的规

划方案，在有效节约资源的同时，努力扩大共享数据的"兼容性”和覆盖面，提高便民服务的

质量和效率。同时，进一步深化"放管服"改革，营造更加良好的政务服务营商环境。

3

2总体架构

xx智慧城市大数据平台项目的整体建设架构如下图所示:

出务

应

相智慧应急政务服务旅游管理农业生产

安

标

全

准

运

规

软件

维

范

体

体大数据可视化运用

础

基

系

系

台

平

数据采集汇聚数据填报

数据

信息系统数据资源其他来源辘资源

资源层

平台整体分为“三横二纵”。三横分别是：数据资源层，主要通过对多来源的数据资源汇

总收集需要进行运用的数据；数据基础平台，通过数据采集汇聚、数据填报系统、大数据可

视化运用的功能运用，实现大数据关联的主题应用；业务应用层，业务应用层主要包含智慧

应急、政务服务、旅游管理及农业生产等主题的分析应用。二纵为标准规范体系和安全运维

体系，标准规范体系是规范、统一本系统建设管理和运行管理的重要基础，也是系统信息和

软件资源共享、系统有效开发和顺利集成、系统安全运行和平稳更新完善的重要保证。包含

信息系统技术规范、管理制度规章等内容；安全运维体系是确保系统安全运行的保障体系，

体系安全贯穿于系统的各个层面，系统建设都必须具有相应软硬件安全保障措施，以保障外

网及其支撑的应用系统的安全可靠运行。

4

3技术平台

数据采集软件ETL是为解决政府机关多层级、跨地域、多部门间的数据资源的交换和业

务协同支撑而研发的软件平台。用户通过浏览器界面，即可方便、快捷的完成数据交换系统

的安装、配置、部署、运行、监控与管理，极大的方便了企业级用户ETL系统的建设和管理。

特别针对异构数据，提供了网络抓取、实时采集器能方便将视频、文件、接口类的数据进行

抓取、清洗、转换及集成，把数据转换成信息、知识，最终面向不同终端用户提供可视化能

力。它能够帮助用户快速构建分布式应用系统的数据交换网络，配置和运行多种模式的ETL

任务，并进行全方位的运行与管理，尤其适合跨部门、跨地域、跨层级的数据交换应用。

数据采集与转换是利用大数据领域的相关技术，通过计算机自动从各系统采集相关数据。

数据采集接入系统是数据处理的源头，也是最主要的数据来源，数据输入来源于各现有系统,

数据输出到本地化的结构数据库中，为下一步数据处理提供数据源。

3.1数据采集平台

3.1.1数据采集架构

新一代融合数据平台以元数据智能驱动的方式提供强大的抽取、转换和加载能力。以便

捷的图形设计器，减少数据集成项目的开发周期，降低运维难度。同时还提供多种工作流设

计模式，满足各种数据集成场景的使用需求，平台基于大数据平台中的离线、实时技术来解

决海量数据的各种处理、汇集、分析等开发场景。平台架构图如图3-1所示

平台架构

5

本平台向数据开发人员提供一站式数据集成管理平台，由集成开发工具、数据集成引擎、

业务库、应用服务及统一管理平台组成。

•集成开发工具

提供一站式数据同步、离线开发、数据对账、实时计算集成开发环境，设计器主要提供

数据源适配、任务开发、任务调试、资源库访问等功能；工作流作业设计支持对多任务并发、

任务串行任务依赖配置，具备复杂DAG作业流程设计编排。

•业务库

对集成开发工具和应用服务的任务新增、修改、删除等进行管理，根据系统分为任务资

源和调度引擎库。

•集成应用服务

提供数据源适配引擎，数据同步、离线开发、实时计算和分布式调度引擎，流程设计图

形化引擎，并对外提供监控管理接口，用于支撑ETL任务设计、运行和对外接口能力；提供

作业调度服务、实时运行监控以及系统服务质量监控。

•统一管理平台

提供平台基础支撑能力。支持提供用户权限、日志、消息、插件管理等，统一运维中心

支持对运行节点提供资源管理。

3.1.2数据采集能力

提供平台基础支撑能力。支持提供用户权限、日志、消息、插件管理等，统一运维中心

6

支持对运行节点提供资源管理。

强大的数据集成能力

数据集成系统基于大数据技术提供批量采集、大数据迁移和实时数据采集处理能力，支

持结构化、非结构化和半结构化数据集成，平台提供无需编码的全图形化数据开发环境，完

整的ETL过程设计、维护、运行、监控全生命周期管理，将分散的、异构数据源进行抽取、

清洗、转换、集成，最后加载到数据仓库或数据集市。系统架构如图所示：

系统架构

O

任务诙tn

外部数据源系统做务目标散据源

[J

ORACUSQLSwwMySQLPostgrcSQL

《于分布53UBI"

RMDB

故据处理引隼最黄kafka

WmongoDBWda&ticsearch

•mongo1'!Gnwnplum

NoSQL

展,麒仓库

弟kafkaJMS《渊

ODS■DW

做ms实时H据

3.1.2.L1多源接入能力

对结构化、半结构化和非结构化数据类型，采用不同的技术手段完成入湖。基于大数据

多源异构数据源适配技术，支持多种数据源的连接访问和数据集成，包括主流关系型RDBMS、

MPP、Excel/CSV文本数据源、基于Hadoop的大数据平台数据源以及其他多种JDBC数据源等,

系统必须支持的数据源包含但不限于如下类型，具体说明如表4-1所示：

类型数据源描述

主流关系型数据库支持：Oracle、MySQL、SQLServer,PostgraSQL.DB2等。

关系型数据源国产数据库：达梦、金仓、神通等。

MPP数据库:Greenplum、LibrA、Gbase8a等。

7

支持星环等，支持大数据量的分布式计算。

Hadoop/Hive/HBasesinceptor

大数据、分布式数据库

NOSQL:MongoDB、ElasticSearch

支持普通文本、CSV、XML、Excel、Json等多种格式的文件的接入

文件数据源支持

提供第三方API(HTTP、JMS、FTP、WebServices接口的接入能力，预留接口适配

第三方数据接口

层。支持实时数据ActiveMQ、RabbitMQ及Kafka流式数据。

CDC增量日志文件支持mysqlbinlog日志采集解析入库

3.1.2.L2增量数据接入

用户可以通过定制计划任务的方式，实现按周期从源系统中抽取当前周期内产生的增量

数据。针对不同的源系统(Oracle.SQLServer,MySQL等)提供增量数据的识别能力，系

统支持增量同步模式涵盖触发器、标识位、时间戳、全量比对等方式，实现数据增量数据采

集。

.3实时数据采集能力

系统支持以kafka或其它消息队列(ActiveMQ、RabbitMQ.IBMMQ)作为实时数据源进行

实时数据采集，支持秒级数据处理，支持将目标结果重新投递至kafka指定的Topic或者数

据库。系统支持可视化拖拽流式实时采集任务开发，支持数据解析、字段选择、列转行、字

段转换、事件过滤等算子。

.4文件断点续传接入

支持文件和数据断点续传，可保证文件断点续传，保障数据抽取一致性以及连续性，支

持G级别大小的文件断点续传，传输过程中网络中断后，在重新传输时，通过检测文件长度

和断点位置，从断点处开始传输，可节省时间和其它资源。同时系统支持集群部署和任务并

行处理，支持将任务部署在多台服务器上并发执行，由多台服务器分担任务处理，进而提高

数据处理效率。

8

.5可视化作业编排

提供图形化的集成开发环境，融合ETL工具采用全拖拽式流程设计器，用户只需要在简

单拖拽数据资源和加工组件就可完成复杂的ETL作业和转换流程的定义，“零”编码，易操作、

易阅读、易维护。

3.L2.1.6丰富的数据集成组件

平台内置180余种转换和作业组件，转换组件主要涵盖空值替换、数据校验、常量值、

值映射、字段选取、数据去重、排序、字符切割、字符替换、拆分字段、值运算、值连接、

范围划分、行列转换等复杂处理；作业组件主要涵盖文件处理，大数据处理，配置处理条件,

自定义脚本等任务配置组件；提供可扩展插件式的组件管理机制，方便进行扩展开发，自定

义开发的组件可快速的以插件的方式集成到平台中使用。

丰富的ETL组件

.7强大的数据同步能力

数据同步作业采用可视化图形组件拖拽方式快速开发数据同步作业，全面提高数据接入

的效率。支持单表级数据同步，多表批量创建任务，提供字段自动映射配置，系统支持20多

种以上结构数据库接入，数据接入引擎支持数据采集分区并行加载技术，提供高效的离线数

据抽取、加载服务。

同步任务设计

9

Q

»A<1>

9即7)v

迤增目

G«UMO-l>oitgr»K«X

②国编

OTMTPI..O8M»8~.Hn<dtdi

Sa生…

IMO)

批量多表同步任务设计

sawv^a

«<«■方x&*&»*«va

awa«BiM4rrML->Mr-r/

BCB*«

r.auw

4WVXM1

rXAUMMAMMVTtOOI

皿(M0T

皿v_sao»n

.8数据同步标准化定义

数据仓库的数据标准化定义功能。解决数据仓库ODS层数据标准化数据定义，支持对加

载数据内容增加常量、系统批次号、数据落地时间等常规字段标准化生成，同时支持对数据

校验列加密设置，当前支持MD5、SHA、CRC校验算法。

标准定义组件

10

miiBi中任药馆计x

KtfKBA历史*本

任务名方

,任*3■

,ana4.90^"

HA«»：

«««£

MUXSO.«*s-2JCS孑任E

,KtttNO202007-0700。.202O-0WJ680

fMVcron:■

•MKMatfW

•用BUM.00HS

OaussOBg出

,HMirfl30

•HKIfHnN9

3.1.2.L9一对多数据分发

将数据源的数据，同时分发到多个目标端。目标端可为多种存储方案。完成一次读取数

据多地分发，降低数据源读取压力。每个目标都可配置独立字段映射。

数据分发

.10一键智能生成任务

与四方数据治理平台无缝集成后具备标准化任务智能生成能力，数据治理平台主动推送

中心资源对应的数据标准，数据处理系统根据映射规则自动生成标准化数据处理任务，主要

解决数据快速同步到数据仓库贴源层，通过自动化工具来降低开发门槛，简化数据开发过程

【前置条件，部署数据治理平台】。

智能任务生成

11

回t

回、

R3«

.11批・任务复制能力

通过选择一个或者多个已有的任务作为样本进行复制，生成相同的任务信息，在此基础

上进行修改，快速完成任务配置。提升类似任务的开发设计效率。

批量任务复制

.12可视化在线调试能力

可视化设计器具备样本调试功能，方便对设计好的数据集成流程进行调试预览，及时发

现潜在错误，方便开发人员快速验证流程和调试脚本。

同步任务调试

12

■■■AfMiati

1

•f

BMU■•A

.13可视化任务概览分析

在作业调度的基础上，用户可以通过图表的形式查看作业实例按照各种不同维度的统计

数据，其中包括任务运行处理量统计、数据接入、处理量分析及数据接入量TOP分析。

数据同步任务概览

数据融合任务概览

13

o

一致性对账分析能力

数据对账是指数据提供方和数据接入方在数据交换过程中，包括数据接入环节和数据分

发环节对数据提供方和数据接入方在某一对账节点的完整性、一致性、正确性进行核对和检

验的过程。适用于针对一种提取和加载(EL)后的数据进行数据同步对账及异常数据接入分析

场景。

数据对账系统架构

任务设计器

淤数据仓库

0畲国三

14

数据对账功能及特点：

即时对账方法，数据同步抽取成功自动触发统计对账，即数据接入方在数据入库后，可

以立即按对账单验证数据完成对账；

深度对账方法，可以依据提前制定好的对账策略(定时策略、简单统计、内容比对)完成

定时数据对账；主要是对数据一致性进行的阶段性盘点，数据量盘点直接统计两张表的数据

量或指定范围的数据量及内容比较是否相等即可。

.1强大的数据对账能力

提供全WEB操作方式，向导式完成结构化、非结构化数据对账任务创建，结构化数据对

账支持单表和批量方式完成数据对账配置，支持数据量统计对账和数据内容对账两种模式；

非结构化数据对账支持FTP、HDFS数据源下文件个数及文件大小的比对分析。

结构化单表数据对账任务

渔gtg基：orade_func-178(schem3^CC=SS_ORA)-PERSONJNFO®

'目标甥g算：nracle_func-1.S(sc>>emaACCESS_---^A)_'言―：PGiSO'1=3艮切蛔手哨^

/

谓度信息

崎段蟠：.兖破

，起止时间：T月三个月二T永久

手劭^^cron:

飞彭R__

*具体时间：00时00分

侬维

运行叁数

，驱动核心：

”驱动程序内存：

'num-executors:

*执行者记忆：

访：

结构化批量数据对账任务

15

IDS

非结构化数据对账任务

16

任的as

.也〜

任务酶运雪皿

,saphcfc*15B32&S993C3l20aeflfi

球柒"W1和&rr，空•一二f，河LA广小，

义EWUMl：•二三二—二5一玉?—

RTHluns0

•S«uiWjgi训

际度信息

混a陵堂-59R->SB0此务

,CltBJH5-V”三个H半年

2Q21<Gl-2B(XkXKtOO

字加SE

•«3SFF

*fWJfiQ®v•时OO♦分

*Crar^8Xi£000,,?

K15S3K

®3H8?e

•^raa&

M

•执碌翩gx.

i©ag-Jt^

.2可视化任务概览分析

在作业调度的基础上，用户可以通过图表的形式查看作业实例按照各种不同维度的统计

17

数据，其中包括任务运行对账数据量统计、对账任务告警、数据对账量分析及问题样例数据

下载。

对账任务概况

一站式数据开发能力

一站式大数据开发平台，支持多种计算和处理引擎服务，提供包含离线计算、实时计算、

任务调度、运维监控等大数据开发全链路服务能力。为数据开发者、数据分析师打造一个具

备开放自主开发能力与全栈数据研发能力的一站式、标准化、可视化、透明化的数据开发平

台。

.1离线数据开发能力

离线数据开发支持SQL脚本和组件开发模式，组件开发模式采用Spark分布式内存计算

技术，支持20种以上的结构化数据接入，平台内置丰富高性能数据处理算子，充分利用大

数据平台计算资源提高数据处理效率。提供全流程可视化拖拽方式完成离线作业开发，离线

数据开发过程更多是针对一种提取和加载(EL)后的数据进行数据处理的系统，而不是一种

传统的提取、转换和加载(ETL)型平台，主要适用于大数据平台下数据开发场景。离线数据

开发平台支持PB级离线数据，可同时满足事务处理的高速、高可靠性海量数据处理要求。

.2实时数据开发能力

实时开发接收实时汇聚转发来的数据，调用分布式计算系统相关服务，经过处理转换后

18

分别形成统一数仓、标签数据和应用数据。流式数据开发框架米用SparkStreaming分布式

流式计算技术，覆盖Kafka流式数据开发全链路流程，可同时满足事务处理的高速、高可靠

性海量实时数据处理要求；Kafka流式数据接入处理采用SparkStreaming流式内存计算技

术，充分利用大数据平台计算资源提高数据处理效率；软件应屏蔽底层流处理逻辑开发工作,

主要功能包括：SQL驱动开发、组件化配置和多计算引擎。

.3丰富的数据开发组件

具备全图形化的数据开发环境，通过可视化拖拽方式实现作业开发，“零”编码，简化

数据开发的难度，全面提高数据开发的效率；数据处理系统底层采用Spark分布式计算引擎,

提供丰富的Spark大数据处理算子，大数据算子包括：分支、连接、表达式、列转行、行转

列、过滤、集合、清洗、聚合及标准转换等常见组件；支持SQL任务算子化开发，数据开发

人员通过过简单的SparkSQL可以完成数据处理。

大数据处理算子

.4可视化工作流开发

通过可视化编排界面，将各个任务的依赖关系呈现出来，并提供基于大数据集群的调度

能力，最大程度的增强可靠性，同时对各个调度任务提供监控与执行日志，帮助大数据开发

人员进行问题定位于分析。系统预设SQL、存储过程、Spark、Shell、Python、HTTP、子任

务和依赖任务等多种类型任务节点，通过任务间依赖关系、作业流与脚本关联的方式完成复

杂数据的分析和处理，提供服务任务编排与统一调度。

工作流任务编排

19

支持自定义扩展任务节点，满足个性化的任务处理需求，可根据实际需求，开发相对应

功能的jar包，通过自定义插件维护导入系统中，生成一个特定功能的、可实际使用的节点,

满足复杂的数据开发需求。

.5各类计算引擎开发

具备多引擎数据处理能力，平台优化ETL处理过程，根据数据存储类型采用不同执行引

擎，确保最优的加工效率。与此同时，数据开发工具支持大量的基于数据库SQL、存储过程

或系统脚本Shell、Python语言和技术，来增强数据的抽取、转换和装载能力，基于SQL的

业务开发方式，屏蔽大数据处理底层细节，简易快捷，大大降低开发管理门槛；数据开发提

供大数据离线、实时数据处理项目更加轻量敏捷、可控可靠。

.6可视化任务概览分析

用户可以通过图表的形式查看作业实例按照各种不同维度的统计数据，其中包括任务运

行处理量统计、数据接入、处理量分析及数据接入量TOP分析

数据开发任务概览

20

ft

«3

统一的调度运维能力

大数据环境下数据量庞大、数据类型多样、数据业务复杂，ETL任务也非常多，数据处

理环节和流程周期长，需要提供高并发、多周期、支持多种数据处理环节的统一任务调度机

制。提供可视化的工作流设计功能，有效整合大数据中心的作业任务，基于作业的依赖关系,

组织成有序的作业链，灵活定义作业调度策略，实现数据采集汇聚、处理整体数据生产线任

务的自动化处理。

工作流调度引擎系统架构

21

应用层

作业流程设计器］［任务调度管理

O

功能优势和特点：

流程定义：通过拖拽任务节点并建立任务节点的关联所形成的可视化DAGo

高可靠性：去中心化的多Master和多Worker,自身支持HA功能，实现超大规模任务调

度，采用任务队列和自身保护机制来避免过载，不会造成机器卡死。

丰富的使用场景：支持停止恢复操作，更好的应对大数据的使用场景，支持更多的任务

类型，如spark,hive,python,shell,子任务和依赖任务类型。

失败策略配置：对于并行运行的任务，如果有任务失败，提供两种失败策略处理方式，

继续是指不管并行运行任务的状态，直到流程失败结束。结束是指一旦发现失败任务，则同

时Kill掉正在运行的并行任务，流程失败结束。

补数任务配置：补历史数据，支持区间并行和串行两种补数方式。

统一调度管理

统一调度管理模块支持对数据接入、处理、数据开发和工作流作业实现统一调度管理。

任务调度管理支持灵活调度策略配置，支持一次性、周期和依赖任务多种调度模式。可设置

调度的失败策略配置，任务优先级、执行器分组配置以满足资源的合理利用与任务的正常运

22

行。

工作流任务调度

其功能特点如下：

支持按照目录结构实现工作流任务的管理，提供了便捷的数据检索能力；

高并发，支持上万级任务统一调度执行，支持可扩展执行器节点部署；

完善的任务管理和调度，任务管理支持上线、下线、立即执行和日志查看，提供细粒度

的定时调度、天、时、分级cron表达式模式；

支持丰富的作业运维手段：重新执行作业某批次任务，给作业补数据，支持区间并行和

串行两种补数方式。

.1可视化运维报告

运维报告展示调度任务的指标数据情况，包含任务完成情况、任务运行情况、任务执行

时长排行、调度任务数量趋势、近一月出错排行、任务类型分布及服务监控等。

运维报告

23

O

.2强大的监控管理

提供作业全过程运行可视化监控功能，统一监控调度周期执行计划、任务执行情况、并

发情况以及异常情况，可视化展示调度任务DAG图，用于使用者对线上任务进行运维管理；

任务运行状态过滤查询及任务名称搜索，支持单任务重跑、停止、恢复失败、删除等操作，

支持监控任务的执行情况并提供执行日志的查看功能，同时支持查看任务运行甘特图。

任务监控

.3调度任务告警配置

告警配置，支持配置邮件、短信等多种方式发送告警，一旦作业和任务发生错误时可及

时通知相关人，保证业务正常运行。

告警配置

24

大散亮集成平台■■MMM*O

•XM

•tS|V»WMr»«

catna

mmi2OTA-M-WM42443O20-4t-1fM：2«M

Kantiswatu,»M10-CH4

3.L2.4.4弹性集群扩展能力

具备分布式集群部署方式，可以将任务分摊到多台服务器并发执行,提高数据集成的效

率，并且基于分布式的集群模式，当需要对平台升级或者维护时，可以对单节点依次脱离集

群进行升级维护，以不间断运行的方式，实现平台的平滑升级。

集群节点配置

大网■■成平台■*WM

ttmnwotiunn-MKMMM

IftAiUUpatunMUO-UM

1OC/B

支持执行器组集群部署，支持集群环境并行处理任务，允许将任务部署在多台服务器上

并发执行，从而将任务处理分摊到多台服务器，以提高数据处理效率。

.5可视化集群监控

资源监控功能，支持对Zookeeper、Master集群和Worker集群及业务数据库状态监控,

支持运行服务下的CPU、内存监控。

集群监控

大以寓■成平台

0.02

25

基础管理

.1统一数据数据源管理

提供统一数据源管理，数据源的增删改查&连接测试的能力，同时能够依据使用场景进行

数据源分类管理；支持主流关系型数据库支持：Oracle、MySQL、SQLServer,PostgraSQL、

DB2等；MPP数据库支持：Greenplum、LibrA、Gbase8a等；支持大数据平台HadoopHive、

HBASE数据源管理；

数据源管理

大■■■贰平台MBHMPSBBMI»小。XO

SI

•aaaafi।

.2数据源动态适配技术

平台通过SPI技术封装SDK,采用ClassLoader机制进行数据源隔离，实现数据源无宕

机适配。热加载数据源，提高30倍的数据源适配效率。同时保证了数据源的二次开发插件能

力，无需定制平台代码，实现业务不中断适配。

.3可扩展插件能力

数据处理系统采用插件式架构，可持续提供功能组件，支持自定义插件管理，针对用户

特殊的应用场景，可以方便的进行扩展开发，以插件的方式作为自定义节点组件，集成到平

台的应用中，实现个性化的数据处理需求。

数据处理插件管理

26

.4统一权限管理

平台提供统一用户权限管理功能，支持基于角色进行菜单操作功能权限的配置，同时支

持各个服务提供统一单点登录、统一管理和访问权限控制。

用户权限管理

27

।基础管理系统

LIBASICMANAOEMENTSYSTEM

・•・・・nr