一站式数据治理架构实践p37

一站式数据治理架构实践基于数据驱动的分布式治理目录•

机遇与挑战•数据治理理念•

分布式数据治理架构及实践•

数据驱动治理•

智能化治理探索•总结&未来展望01

机遇与挑战数据治理挑战缺乏适配性强的产品工具l

现

状、

问

题

客

观

工

具

缺

失l

无

全

局

视

角

工

具

，

直

接

跳

入

治理细节l

跨

部门、

跨

系

统

治

理目

标

对

齐、

协商缺乏治理全流程工

具l

平

台

工

具

不

够

灵

活

，

只

能

解

决通用治理问题01020304治理效益与业务影响的矛盾l

业

务

系

统、

生

产

流

程

改

造

影

响业务l

需

求

难

统

一

，

全

局

策

略

难

落l

保

障

治

理

大目

标

，

无

法

顾

及

业务个性需求l

ROI

评

估

：

治

理

收

益、

时间、

业务影响规范

“

人”的动作难度大l

人

员

能

力

参

差

不

齐

，

对

齐目

标和优先级困难l

治

理

操

作

依

靠

人

，

规

范

对

人

的偏差操作容忍度低l

组

织

文

化

差

异

，

数

据

治

理

落

地的方法、

挑战、成效各异治理涉及的组织和管理难度大l

角

色

多、

范围

广、链

路

长l

治

理目

标

对

齐、

管

理

、

跟

进

难度大l

组

织

越

复

杂

，

数

据

治

理

难

度

越大>

>》>>>》>>>》业务要求多业务齐发展

业务快速发展快速响应业务需求

敏捷迭代OK

R

文

化每个人都可参与规划与策略制定分解

主动寻找实现路径互相对齐组织快速前进高效治理没有集团层面的数据治理委员会各部门采取自决策自治的数据治理模式

决策与执行效率很高规模大业务场景丰富•

互

娱•

电

商•商

业

化海量数据数据驱动资产数据盘点

，

体系建设•资

产

元

数

据

，

特

征、标

签•资

源

使

用

，

存

储、

计

算

•工

具

，

操

作

及

收

益经验数据反哺

，

算法推荐影响大业务影响•

数据延迟•

质量问题•

数据生命数据治理挑战文化与效率、业务第

一02

字节治理理念，

见效快•业务自决策，

各级业务/个人都可自驱治理•工具灵活，

业务根据自身发展按需，

治理助

力业务发展•以业务为目标对齐优先级•

确认核心数据问题，

聚焦投入，

非“一刀

切

”•业务内治理目标对齐•实施

、追踪

、核算工具化•

低门槛与算法推荐：

业务自驱分析与诊断，

自驱优化治理•

产品横向沉淀业务治理经验，

治理规则

、策•

梳理业务与数据部门，

设立公司

级别数据治理委员会/部门•

定期梳理公司数据资产，

确保资产

归属与治理权责明确•

组织定期检查业务治理过程是否符

合制度，

定期检查治理结果分布式数据自治传统式治理目标一刀切

、自上而下

、运动式分布式治理目标多元化

、灵活自治

、常态化业务影响小效率某省市人力成果抽查组织与制度职权与管理略共享分布式数据治理平台

适配性强-产品建设覆盖治理全链路•从

治

理

规

划

到

执

行

诊

断

与

复

盘

全

流

程

进

行

治

理

把

控。集

成

多

种

治

理

场

景

-

稳

定

性、

质

量、

安

全、成本、

报警•各

模

块

可

独

立

使

用

，

按

需

组

合

，

满

足

不同

业

务

场

景下的数据治理需求•产

品

提

供

完

整

的

开

放

能

力

，

业

务

根

据自

身

特

性

和

发展阶段进行接入

沉淀各业务治理经验，

提升治理效率•产

品

辅

助

业

务自

驱

，

沉

淀

业

务

经

验

规

则

化、

策

略化、

自动化进行持续的数据治理•低

门

槛

与

算

法

推

荐

：

业

务自

驱

进

行

分

析

与

诊

断

能力

，

算法赋能治理提效•提

供自

上

而

下

的

规

划

式

治

理

和自

下

而

上

的

响

应

式治理

业务影响小-灵活的自治模式•治

理

是

不

同

业

务

与

阶

段

的

实

践

，

在

规

范

与

组织上应足够灵活

，

业务可自身发展阶段

制定治理内容

，自行对齐与制定部分治理

标准

，

互相对齐形成自驱组织•“

一

个

业

务

单

元内

的

数

据

有

效

性

提

升

为

数

据治理的范围和目标”业务影响小、

治理效率高、

适配性强分布式数据治理平台-逻辑架构治理用户层治理评估层治理方案层流程框架层基础能力层确定范围设定目标选取规则执行诊断消息触达实施治理进展更新目标域提升健康分降低存储/计算资源优化资产数量

…范围域部门/项目/数据团队/个人资源组/队列/库数仓层级/优先级/成本Top

…规则域存储/计算治理规则

质量治理规则安全治理规则

…消息域SLA报警任务运行报警质量规则报警

…

健康分

——

扣分分析

——

问题定位

——

实施治理

——

健康分更新

报警订阅

——

问题处置

——

根因登记

复盘总结

——

大盘分析

SLA大盘就绪情况/延迟趋势

…治理规则引擎统计规则/算法规则健康分体系存储/计算/质量

…Metadata仓库表/任务/报警

…资产大盘数量/资源用量/成本

…报警大盘趋势/起夜率/根因

…收益核算存储量/任务量/vcore

…优化工具集TTL//申报SLA

…管理角色治理执行角色健康分驱动规划驱动响应驱动治理推动角色分布式数据治理平台-核心能力•根据资产特征生成

•

管理者视角•根据资产指标生成

•

推动者视角•根据治理手段生成

•

实施者视角智能推荐开放能力•数据治理的基础•对全域数据进行维

度划分、打标及相

关指标计算资产清晰

规则丰富动线完整收益准确•

评估体系达标•

成本缩减•

优化性能数据

驱动规

划治理03

分布式数据治理架构及实践分布式数据治理-体系建设高效的组

织形式最高的执

行效率最小的业

务打扰业务单

元（划

分资

产）自动治理方案灵活配置推进治理的业务单元，

自下而上人人参与数据治理沉淀专家知识及智能化工具，执行经验的传承与协同

，不断提高自动化水平业务单元内制定目标，配合使用常态化及规划式诊断，构建业务自治体系!专家知识

沉淀原子操作能力操作pipeline（自动化）业务方向（划分人员）治理效果跟踪质量健康分自定义健康分业务看板嵌入实时健康分治理看板/排行榜计算/存储健康分无效资产低ROI资产低效资产通知SLA大盘资源大盘专项治理报警大盘治理评估治理分析治理大盘日常扫描规则管理治理方案删表消息推送合并小文件工作台参数优化关闭任务TTL自定义规则系统规则池跨业务单元（平台级）回收权限物理删除删表/任务等待7天通知沉淀常态化规则业务单元内连续7天迭代-

-

-

-

-b分布式数据治理-治理动线自定义治理

、常态化治理制定诊断方案

推动方案资产干系人治理1通过治理全景、业务目标、数据运营资产推送信息

，

发现资

产问题5方案完结后

，

核对收益是否符

合预期

，

评估治理工作

，

并复

盘治理问题3使用平台工具

，

如TTL调整

、删表、转、参数优化、任

务下线等手段

，

实施治理操作2使用规划诊断能力

，

根据资产维度、标签、相关指标等信息

圈选数据资产

，

预设目标

，

完

成时间创建方案4通过治理操作明细

，

在治理过程中管控治理进度

，

并根据阶

段性目标校准治理策略

（激进OR稳妥

）推动者/执行者视角实施者视角圈选资产设定跟踪治理效果常态化治理跟踪分析诊断分布式数据治理-推动者动线调整规则诊断方案治理新方向制定策略资产大盘治理全景业务目标规则/元数据管理NY规则沉淀日常观测NY个人工作台诊断明细•

设

置

表

TTL•删

表•补

充

元

信

息•

低

热

度

表

转

温•

降

副

本•小

文

件

合

并分布式数据治理-实施者动线个人健康分数据运营推送治理效果跟踪查看操作明细资产状态Review

治理工具

治理手段•下

线

任

务•手

动

调

整

参

数成本优化SLA治理•

引

擎

工

具

任

务

参数优化治理操作入口存分布式数据治理-创建方案&目标

预估收益有多少？

治理ROI如何？

max(e,f)

预计收益e

max(g,h)

预计收益gsum(c,e,g)资产A资产B资产A资产B资产C命中规则y的操作1:预计收益

e命中规则z的操作3:预计收益f命中规则x的操作1:预计收益

g命中规则y,z的操作4:预计收

益hsum(a,b)命中规则x的操作2:预计收益

b命中规则z的操作3:预计收益c

资产B预计收益d

max(a,b）

资产A预计收益a目标如何设置？规则总收益规则总收益命中规则x,y操作1:预计收益a命中操作1:预计收益a命中操作2:预计收益b命中操作1:预计收益c命中操作2:预计收益d目标配置提效max(a,b,c)预计收益c

max(c,d）开放能力建设分布式

：

数据开放、

规则开放、

治理操作开放•

满足个性化诊断治理

需

求•

规则迭代稳定后沉淀到平台，实现共赢•

操作开放，业务

自定义组合pip

e

li

n

e

，

满足精细化治

理分布式数据治理-治理实施&操作自定义元数据

、规则逻辑个性化需求存储

、计算

、质量

、安全治理场景自助接入方法

、灵活定义参数精细化治理80+默认规则集中式

：

平台集某著名企业设规则数据及治理手段•

研发人力投入成本高•

很难

匹配所有业务

的需

求开放接口/数据方案配置（增删改）治理操作规则配置（增删改）元数据配置（增删改）开放插件集成元数据管理规则库事后治理规则分布式数据治理-治理实施&操作（开放性建设）工作台规划诊断治理数据(健康分

、治理收益

、诊断明细)离线实时系统数仓业务自定义元数据事前检测规则事中监控规则治理主数据管理

元数据接入治理全景健康分体系系统规则

、自定义规则治理产品模块分布式数据治理-收益统计&结果验收收益数据自动化收集结果（评估/收益）

标准化：计算•内存节约量/利用率•

CPU节约量/利用率•

产出小文件数量•…!

!

!

操作明细收益明细存储•

节约物理存储量质量&安全：•

质量监控治理数•

安全风险处置数思路：

操作实时同步

、收益离线更新

、埋点旁路打标旁路打标格式转换（统一化表达）API

Server基础元数据Topic数据平台治理明细埋点存储资产域计算资产域生命小文件合并关联操作参数优化…计算收益元数据存储收益元数据操作事件

前端上报扩展元数据治理场景操作来源任务关闭删表生命数仓离线APP层收益离线更新模块操作实时同步模块来源明细埋点模块事件中心…分布式数据治理-平台架构治理工具箱参数优化生命置小文件合并…删表资产大盘治理评估治理方案诊断明细收益进展结果衡量治理工具规则管理服务数据查询服务Analyze

EngineDQL

ParserSourceAdaptor事件中心提交TaskExecutor结果返回HDFS|HMS|YARN|离线调度系统|SPARK|FLINK存储介质Mysql

AdaptorCHAdaptor业务数据Task

Generator状态管理收益同步结果汇总业务单元配置目标管理开放规则旁路打标元数据注册规则解析规则配置规则调度ETL操作收集收益收集离线同步Message

QueueClick

HouseHIVE资产诊断服务MysqlHive

Adaptor心跳\状态上报上报

结果操作操作04

数据驱动治理资产体系02经验复用03数据驱动治理如何高优治理业务资产数据构建全公司的治理评估体系，

提炼核心资产问题项通过对资产打标，

可快速定位高优待治理资产如何快速完成资产治理挖掘

、沉淀并复用治理经验通过往期治理经验，

并对行为埋点数据分析，

智能推荐治理目标如何高效定位资产问题盘点资产数据，

构建完备的元数据组织方式，通过特征

、标签描述元数据，

根据不同场景设计治理策略（存储

、计算等）规则体系评估体系数据驱动闭环0104查询域治理域资产域成本域质量域流

量

域权限域任务域报警域整体数据架构分层体系

APP

DM

DWM

DWD

ODS

数据地图平台分布式治理平台健康分特征标签治理规则目标推荐VASG私有化公有云HMSHDFSYarn/Spark离线调度系统数据管理系统治理POC权限控制Oncall答疑数据运营SLA保障模型设计质量保障任务运维数据域D

I

M数据驱动-资产体系建设组件与平台存

储

(HDF

S|

HIVE)、调

度

(YARN|

SPARK|

F

LINK)、平

台

(

质

量

监

控

|

研

发

)数据采集业

务

DB、

消

息

队

列、数

据

推

送、数

据

拉

取元

数

据

仓

库维

度

划

分9

大

数

据

主

题

域团队、项目、

资源组治理全景大盘、趋势、

明细根据数据特征划分不同主题域

，

提供稳定可靠的维度、指标等全链路保障数据采集

，

做到数据无丢失、

可监控、质量稳定从源头对资产数据打标

，

血缘脉络清晰

，

可追踪、

可优化01.

数

据

分

析

与

展

示

能

力

，

解

释

性

强

，

功

能

丰

富03.04.02.趋势曲线单指标分数资产问题数治理成效成本收益数据驱动-评估体系建设团队视角个人视角从完备的数据域建立资产评估体系，

将资产问题具像化，

并提炼高优问题项根据资产类型进行分数加权计算，

形成健康分，

在公司层面达成共识，

进行推广运行核心任务缺失质量监控质量监控不达标核心任务缺失告警配置非核心任务配置夜间值班计划高优任务运行在低优队列层级信息缺失描述或中文名缺失诊断催办资产评估

体系成员排名资源消耗多维分析全局视角整体评估同环比值小文件数过多存储格式不合理资源申请不合理数据倾斜无效计算异常计算质量计算存储产出表为空产出表无热度TTL不合理数据无查询低优任务调度在高优队列SLA

buffer不足元信息完整性数据内容质量任务稳定性数据及时性异常存储连续失败监控告警无效存储厂•完备的治理规则能力•存储、计算、质量、报警4大维度

（80+

）•全局规则&自定义规则

生命久

/近7天产出为空

/

暴力扫

描任务

生命xxx天

/

近xxx天产出为空•统计类规则

&

挖掘类规则

近90天无访问表

/

数据倾斜任务

相似库表

/

相似任务•根据规则圈选资产范围•用户自定义规则1数据模型•

数据建设•

分析挖掘•

规则建模2规则体系•

存储规则•

计算规则•

质量规则•

报警规则3资产圈选•

资产维度•

特征细节•

指标范围数据驱动-规则体系建设数据驱动-智能提效通过打分机制推荐•访

问

得

分•访

问

周

期•访

问

次

数•总

文

件

大

小

得

分•

目

录

总

大

小•文

件

平

均

大

小•元

数

据

平

台目

录

得

分•基

础

库

，

核

心目

录

减

少

进

入

温

存

得分•跨

机

房

访

问

状

况

，

越

频

繁

使

用

，根据治理经验数据预测治理收益•单

资

产

多

操

作

收

益

预

估•Max

(

O

1

,

O

2)•多

规

则

的目

标

计

算•Max

(

R

1

,

R

2

,

R

3)•考

虑

治

理

整

体

完

成

度

，

初

步

将

总目

标

值

计

算

最

后*

4

0%阶

梯

分

层

推

荐

TTL•访

问

热

度•表

分

层•

OD

S•

DW

D•表

类

型•全

量

表

•增

量

表治理目标推荐精细化推进资产治理荐减少存储层压力TTL推荐合理设置表生命越不应导入05智能化治理探索强化治理能力助力降本增效思考：

数据治理智能化解决业务痛点算法引擎规则库、经验分析、

自主纠错数据支撑多服务、

多引擎、海量数据操作简易集成化、

结果可度量、效果好智能化治理实践-基于血缘和热度的推荐查询埋点数据join

by

query

id热度数据作为判断数据访问情况的有效输入，

其数据的

精细化可以为更为细致

、激

进的治理提供数据支撑。最终结果可衡量，有效

提升业务治理效率数据维度广，

完善度高，

来源可覆盖全公司处理流程统一，

可明确

访问次数概念join

by

app

idjoin

bytask

idjoin

by

instance

idjoin

by

servicetoken终端服务YarnApplication离线任务离线任务执行实例uniq

query

statHDFSaudit

logbine

log