【大厂案例】云音乐数据治理探索与实践

|Data

Fun

Summit云音乐数据治

理探索与实践2021目录CONTENTS|

音乐数仓概况Subject资产治理Subject埋点治理Subject数据规范Subject0102040301音乐数仓概况Subject为什么要数据治理？•

整体情况•

问题与挑战|

整体情况•APP：云音乐主站（音乐、视频、播客、社交）、直播、声波、唱聊、心遇•

Hive总表数：5w+•总存储：

PB级，TB级日志增量，TB级业务数据库单表•

调度任务数：

1w+|

问题与挑战•

埋点定义混乱•

埋点质量问题多•

埋点信息不够全面数据规范数据

资产|

•

无设计模式•

数据凌乱•

计算与存储成本迅速增长•

开发周期长&交付质量差数据

生产02数据规范Subject建章立制是基础•

设计规范•

开发规范|

稳定效率

质量•按业务划分，相对独立，难以应付跨业务需求•

缺少公共数据资产沉淀•

需求导向，复用率低，跨层引用•从原始日志、业务表提取分析数据到报表系统•

数据异常•一致性问题，如活跃、留存、CTR数

据

孤岛缺乏顶层设计数

据

质

量

设计规范-问题和痛点|

高稳定•主题域高度抽象，稳定不变•子主题场景划分，相对稳定

设计规范-数据域|

设计规范-数据域•业务形态、实体关系表达•核心：参与者（人）+服务及产品（坑位+资源）事实流量+互动+支付|

协议服务及产品参与者ADSDIM用户社交互动周期快照场景流量事务（首页

、搜索

、活动

……）DWDODS用户日志高效率&高质量•

高内聚低耦合•

同一指标一次计算•

公共数据资产沉淀

设计规范-模型分层协议|

资源累积快照（生命周期）生产者被消费周期快照用户累积快照（生命周期）数据库服务及产品社交互动事务（播放

、下载

、收藏赞评转

……）订单事务公共流量事务（曝光

、点击

、滑动

……）标签宽表消费者（用户）+生产者社交互动周期快照ToB系统用户画像歌曲画像活动跟踪实体关系流量罗盘ToC系统版权评估……参与者单资源社交互动周

期快照单资源日志流量周用户+坑位日志流

量周期快照用户+单资源+退化维日志流量周期快照期快照用户+单资源社交

互动周期快照用户社交互动活跃

周期快照用户+单资源+退化维交易营收周期快照

用户交易营收留存

周期快照用户社交互动留存

周期快照用户交易营收活跃

周期快照单资源交易营收周

期快照单坑位日志流量周

期快照用户交易营收周期

快照生产者+消费者日

志流量周期快照用户+坑位留存周

期快照事实用户+坑位活跃周

期快照事实DWS……

设计规范-平台管控|

•

直接读写文件•

SQL+API、纯SQL•多表多任务合并在一个workflow•多workflow间数据检查依赖•

读写表•公共模型纯SQL

，SQL规范•一个workflow只输出一个正式表•开发平台跨流任务依赖

数据规范-开发规范|

提高开发效率简化任务运维完备数据血缘优化任务管理•

模板规则•

表主键唯一

•

表行数•

字段空值检查•

字段枚举值检查

•

……•自定义规则异常发现

异常阻塞

数据规范-DQC|

03埋点治理Subject解决数据源头问题是关键•

技术方案•

流程管理|

质量低下上线较为随意，多错漏难以检查面向单次需求开发，新老埋点相互影响埋点问题造成的数据异常频出看数困难无法支持自动化取数看数无法支持精细化指标产出取数平台？流量罗盘？更新繁琐周期长格式凌乱字段含义不统一规则含义不精确

管理平台功能单一，埋点查找困难开发效率低人工SPM编码&ETL数据需求直接从原始日志解析

业务数据加工复杂（归因分析）

埋点治理-问题和痛点|

•

埋点生产标准化•

对象化(SPM+SCM)•

对象逻辑树•

归因能力(refer)•

埋点格式：扁平JSON->嵌

套JSON•

全局公参•

事件参数•

对象标准参数•

对象业务参数

技术方案-SDK|

•

离线和实时统一数据源、模型•

离线和实时具备归因分析能力•

数据易用性：嵌套JSON->扁

平化•

自动ETL，Ad-hoc查询和敏捷

探索实时DWD离线DWD通用模型通用解析离线业务需求

离线算法需求实时业务需求

实时算法需求

技术方案-数据仓库|

实时特征离线DWS/ADS统一数据源_addrefer触发内容添加到播放列表的对象

技术方案-归因设计|

_psrefer页面对象创建（首次曝光）时生成的来源对象_multirefers行为链路的5级页面的_psrefer顺序拼接策略归因搜索归因内容归因渠道归因_pgrefer页面（每一次）曝光时生成的来源对象_rqrefer触发服务端请求的对象（传给服务端）_playrefer触发内容播放的对象App内消费起始的来源对象_hsreferSPM+SCM

埋点治理-流程管理|

埋点治理-埋点平台•

面向用户•

产品策划•

数据开发•

大前端开发

•

QA•

承载功能•

元数据管理•

需求工作流管理•

实时埋点测试

•|

埋点需求提出->需求评估->埋点设计（规范落地）

->埋点开发（质量控制）

->数据接入->数据赋能流程管控客户端（效率提升）数据仓库（效率提升，数据价值提升）技术支撑

埋点治理-预期成效|04资产治理Subject降本提效是核心•

数据流治理•

生命周期治理|

存储•

CPU/内存使用率：80%+，

任务数半年增长15%+•

核心任务延迟计算

资产治理-问题和痛点•

存储量日均增长0.4%•

90%+的表无引用•

大量无人浏览的报表•

大量历史遗留的任务|

资产治理-数据流治理•

分层模型数据流•

单任务内数据流推歌数据产品-400+标签•

减少10个ADS表•

沉淀50+指标到CDM层•

整体产出时间提早2h+自定义多维

分析多维分析客观事实派

生指标原子指标|

DWSDWD自定义规则

标签不可加指标可沉淀的公

共数据数据指标需

求多团队一致

复杂指标数据产品ADS

资产治理-数据流治理•

分层模型数据流•

单任务内数据流-大任务拆解策略推歌数据产品-400+标签•

单表耗时减少30%+优化执行过程，降低任务失败/延迟恢复成本多余的任务启动&IO过

程导致效率下降|

降低上游任务影响，分散计算资源占用时间依赖产出不

稳定的多个

部分拆解需要缓存的中间结果拆解避免拆解为

串行任务避免重复计算没有性能收益成本分析主动设置表生命周期，下线任务和清理数据识别表的引用和访问状况，自动生命周期诊断

资产治理-生命周期治理高计算/存储成本资产的辅助优化/下线决策|