OPPO商业化数据体系建设实践

OPPO

商业化数据体系建设实践目录 C

O

N

T

E

N

T01

数据平台03

数据开发05

数据应用02

数据接入04

数据治理06

数据分析一：批处理主线二：流处理主线三：算法应用辅线提示：开局一，后面的内容都是按此图展开数据平台01主要基于公司级的平台下构建商业化数据体系总体原则：有则用，不等待，愿迁移，可贡献往下展开内容：开发工具包/UDF开发工程数据平台

>

开发工具包提升开发效率类工具包：登录辅助解决问题：统一所有登录入口，记录审计信息，100%填充表归属其它工具包：获取最大分区，数据初始化，批量加分区、去分区等数据平台

>

开发工具包数据校验类工具包：两表对数、波动监控：只需要传入表名与规则，自动对数并告警调用方法：sh

dq_xx.sh

arg1

arg2

arg3数据平台

>

开发工具包可视化辅助类工具包：邮件工具实现功能：按邮件正文、附件、文件转表格，以及以上的混合展示调用方法：python

mail.py

arg1

arg2TT工具：、订阅号、机器人UDF开发原则：尽量使用临时函数，发布简单，影响范围小不可用后端思维开发，要“吃掉”异常，不能抛出异常，不然后期维护会非常头疼，若异常返回NULL，数据质量在数据端保障UDF功能卡方检验，四格，计算卡方统计量解析实验平台的实验id常用的加密与解密（AES等）select

math_chisq(40,60,20,80);--->9.523809523809524select

experiment_Idreecode('100_2_3');--->100_102_105selectdescrypt('VRx2RAs6N%MTh0cdBz41v0lYW4FlKFsJOPSjaHbg0')--->

010544380998......数据接入02最终形态是全面配置化，中间件化，流批一体化往下展开内容：实时离线接入实时离线接入注意事项：出入库必须强制校验数量，尽量全接入，注意记录历史出入库内容参考校验方法MySQL->

Hive源记录数

>=

0时目标记录数不能为0HDFS->

HDFS源文件数

=

目标文件数MySQL->

Redis老作业还有Sqoop上，现在正在往集成工具迁移，使用BinLog方式接入主要是集群间的同步数据，使用Distcp方式，全配置化用于实时数据的维表，导入前做些聚合，一般不可直接访问业务MYSQL作为源Hive->

ClickHouse此方式主要作为报表的载体，OLAP应用源记录数

=

目标记录数.........数据开发03构建基于维度建模理论的离线数据仓库系统实时主要服务于收入监控/实验/策略/广告引擎等往下展开内容：数据仓库系统接入层：也叫缓冲层，存储从业务系统或者埋点过来的最原始数据，无清洗处理，一般只保留7天数据基础层：存储初步清洗处理的，明细的数据，贴源的数据，关联后的数据模型层：存储维度建模的星形事实表与维表，轻度汇总、汇总的数据，通用指标数据应用层：也叫报表层，存储汇总的结果数据，个性化处理数据，预连接数据。此层不允础指标计算逻辑主题域划分，指标体系按照各业务特点划分，比如广告划分为：应用分发，搜索，信息流，联盟等主题不同业务关注的指标千差万别，举例广告业务的基础指标体系（相对固定）：业务指标使用OSM模型广告ID广告名称落地URL规格渠道...数据开发

>

数据仓库系统维度建模理论实施总线架构一致性维度一致事实方案三方案一方案二ETL链路优化优化时间等待作业(airFlow)主题内高内聚低耦合DAG链条上关键任务优化黑盒任务分开建模慢任务与核心模型分离最终商业化数据仓库的评估稳定性：无需夜晚值班，很少出现自身原因的重大延迟事故高效性：整体跑批快，告警与通知及时准确，平均每天6点左右跑完90%以上任务准确性：数据质量管理的同步实施，自动化对数与校验，环环相扣，数据质量高维护性：规范化开发，命名、注释等严格控制，按照标准方式建模，维护创新性：与行业相比，数据质量管理、精准告警、SLA等解决方案具有很高创新性(后继章节讲到)数据治理04元数据管理是基础，在做数据治理时先解决元数据质量是生命，先上线再说可能让你步入痛苦的深渊资源管控原则：开发时就治理，捉重点，成本意识往下展开内容：元数据管理/数据质量管理数据治理

>

元数据质量元数据的分类：元数据是数据质量管理，数据治理的前提数据治理

>

元数据质量各类元数据用途：Hive&DB元数据监控建表规范，比如有无注释，命名规范，禁止使用的格式等拿到表注释与列注释，构建数据知识系统统计信息可以做技术运营（代替手工统计，比如哪些表用了orc）数据治理

>

元数据质量各类元数据用途：调度元数据监控调度开发规范，比如开启依赖上周期，重调次数，命名规范等监控任务实例：运行时间过长，启动较晚，报错情况，无下游等数据治理

>

元数据质量各类元数据用途：开发元数据（代码脚本）用于代码扫描，提前发现代码中的质量问题，按规范情况、使用了禁用用法等统计信息可用于技术运营，比如：研发年报，千行代码BUG率统计等数据质量管理方案实施为了保证数据质量，数据仓库必须实施数据质量管理方案：主要通过邮件、短信、TT呈现数据质量问题，分事前监控与事后监控两种类型数据质量管理方案实施所有人按规范开发数据准确，性能最优所有报表同指标口径一致业务变更数据随着变更数据量剧烈波动预警表扫描，代码扫描数据治理

>

数据质量管理SLA准点率提升监控核心表运行时间从1点开始持续告警（核心表必须专项优化）3点时：持续变少4点时：完成！数据治理

>

数据质量管理SLA准点率提升监控需保证的报表：精确预估完成时间方法是取作业的历史30天的平均运行时间来预估如下图取未完成A~H到目标作业的最大平均运行间隔加在当前时间A~H就是上页核心表！比如：当前时间4:30，图中A~H中只有DH没有完成1、D到目标作业的历史30天平均间隔时间是5.1小时2、H到目标作业的历史30天平均间隔时间是3.8小时则取4:30加上5.1小时为预估时间，即预计9:36完成（实际操作中可去掉异常的数据，因为有重跑误导）数据治理

>

数据质量管理SLA准点率提升监控需保证的报表：出现预估时间超过8点，运维联系人起来（从核心表中判断联系谁）4点时：没有完成就预估完成时间5点时：完成了就不再发告警数据治理

>

数据质量管理SLA准点率提升监控非保证的报表：按种类通知，通过手机可以知运行情况7点时：列出哪些没有完成8点时：没有完成变少11点时：全部完成！数据应用05基于数据仓库系统，抽象通用的功能，构建产品与系统通过探索与创新，构思有助于业务增长的数据应用，不仅局限于报表往下展开内容：数据波动监控/广告归因服务解决波动监控痛点以下最大的痛点：告警太多，直至泛滥，慢慢你就麻木了，相当于没有告警第二痛点：准确率不高，不该告警的告警，要告警的没有告警出来第三痛点：阈值设置困难，一个阈值不能适用所有场景，全个性化阈值又太多数据应用

>

数据波动监控商业化数据波动监控数据应用

>

数据波动监控按广告位监控波动的有效方法：金额分级、环比上周期、同比昨天、同比上周组合同时满足条件来判断支持自由维度配置，比如：按广告主，应用，TOP50消耗金额等例子：达到一定的条件才会告警昨日总消耗处于1~5万之间时，同比上周下降500%，同比昨天下降300%，环比是下降趋势昨日总消耗处于5~10万之间时，同比上周下降300%，同比昨天下降200%，环比是下降趋势...昨日总消耗处于100万之上，同比上周下降25%，同比昨天下降20%，环比是下降趋势昨日总消耗处于20万之上，同比上周上升100%，同比昨天上升60%，环比上升10%数据应用

>

数据波动监控例子：波动类：撞线类：数据应用

>

广告归因服务架构作用：全流量营销效果透明化广告主在全流量投放都能获得广告监测数据，使得广告转化效果透明化广告主能基于全流量监测数据，自主进行归因和转化成本考核广告归因方式科学公平、统一低成本广告主能用公平的方式，对全流量广告投放分配归因结果广告主能用低成本的统一手段，在全流量场景投放时，统一做监测和归因数据回传闭环，反哺算法模型，优化oCPX投放，持续获取转化人群广告主能够回传转化数据，并优化oCPX投放效果广告主更全面、精准、高效地获取转化人群数据分析06赋能非数分的人员数据分析，建立培训认证体系重点投入对于业务流程的理解，建立数据知识体系沉淀数据分析的方法，让方法产品化，系统化往下展开内容：提取数据/微型分析报告《数据的力量》系列培训：授课对象：产品、运营、刚入门的分析师等希望自己写SQL获取数据的人员课程的最后结业考试且通过颁发结业证书，拥有证书有助于申请数据权限第一节课：《获取数据的流程与工具》第二节课：《分析型SQL编写指南》第三节课：《拖拉拽自助取数系统的使用》第四节课：《常用埋点与数据仓库知识》第五节课：《SQL取数案例集锦》第