淘宝数据治理及稳定性保障实践-阿里巴巴

淘宝数据治理介绍数据治理背景成本治理机会TTJOBJOBTair网络压缩协议未更新以满足新埋点埋点只上不下永久保存实时：Flink集团版本非最新版本，性能较弱；FlinkTop任务消耗较高；实时资源闲置率较高，存在资源浪费；离线：TOP表存储有压缩空间；大量表未根据实际使用做存储生命周期管理；任务只上不下；冷数据未及时归档备份；HOLO:基于额度计费，大促波峰波谷利用率不高数据产品：不计成本追求时效性数据应用数据应用数据计算数据采集数据采集数据采集：数据计算：数据应用：·80%的成本治理收益通过技术手段实现的；·业务合理性的成本治理才能确保数仓成本持续可控模型治理问题-看规模③大量表无人负责或非本团队负责③大量表无人负责或非本团队负责①数据规模增长快淘宝数据在2020年~2022年之间规模增长迅速无效表占比较高，带来成本、运维和找数据效率问题表规模人员类型淘宝业务其他BU离职员工外包岗位其他22.7%结果表公共层来源表模型治理问题-看结构结果表公共层来源表公共层被引用不足，应用层自建大量中间表·应用层重要dws覆盖率：存量-不足30%新增-不足10%引用占比：ods-24%公共层-15%自建中间表占比：46%决策支持(1+N+N)应用层中公共数产业策略用户策略平台策略直播策略商家数据公共数未覆共建机制未全面推广表量：5%复用率：<40%重要dws覆盖率：<30%表量：19%成本：18%下线下线模型治理方案-控规模无效表治理触发交接触发交接·主动流程触发静默观察30天静默观察30天下线·评估数据质量、稳自动化数在模型、质量、稳据评估定性等方面的问题无效表识别接受无效表识别接受知报告知治理阶段四：持续增厚用户分析商家分析提升空间大，业务价值大阶段四：持续增厚用户分析商家分析提升空间大，业务价值大3、需求驱动补充内容(例如：外部数据需求)定义用户基础数据定义覆盖率逻辑TOP3场景分析定义用户基础数据定义覆盖率逻辑======监控看监控看板专辑目录结构梳理用户基础数据盘点专辑目录结构梳理用户基础数据盘点析品类分析阶段三：优作治理Y直接依赖下沉判断5层以上依N业务个性化&临时表是否有效用户数据专辑依赖链路改造覆盖范围改动无效表治理换该上游影响覆盖率动作形成合作机制专辑运营&培训形成合作机制商家专项6%>56%用户专项直播专项短视频专项指标优化：新增指标、修改口径·模型治理在于如何控制数据复杂度(表规模、表关系对规模)·产品化+数据驱动思维做数据主动运营，是提升公共层覆盖度的有效手段·湖仓一体的架构下，如何打造模型生命周期管控的机制InfoQ极客传媒高基线节点数多、团队相对集中高基线节点数多、团队相对集中高基线多、缺少准入规范重要基线稳定性问题突出严峻基线等级月破线情况月节点预警量(电话告警出错或变慢)80753稳定性保障方案之点变更须测试必须经过测试码变更需CF运维值班机制建设稳定性保障效果高基线数量对比5月10日8月10日5月10日通过基线合并，无强时效要求基线降级等方式推进重保高基线合理性治理。治理后整体基线规范而内聚，整体高基线数下降30%。治理后基线破线&预警下降明显基线等级治理前基线破线情况治理后基线破线情况800753·稳定性在于在有限的机器资源下，确保核心应用的产出·成本和稳定性在一定程度下是相对立的，需要关注两者的平衡·稳定性的保障核心在于真正核心应用的识别，并基于稳定性问题不断