企业数据治理实践

1、企业数据治理实践技术创新 变革未来业务背景内部系统ERP、CRM、GCDC财务、EHR线上 产品企业-招聘 经理人-求职、直招猎头-推荐数据 应用实时分析T+1报表数据分析、挖掘4000万+经理人3亿+日 志增量百万+客户池业务困境没有专业的数仓团队没有模型规范管理，业务表到核心报表的一步到位近两千张表50%以上元数据缺失，命名规范不全数据质量完全依靠分析师个人判断，数据问题由下往上发现追溯缺乏数据上下游节点的合作规范和沟通流程老板：报表指标怎么全部没数？ 分析师：啊？我问下研发啊研发：产品升级，数据迁库了分析师：报告老板！报表停更三 天，任务接口替换升级部门A：报告老板，我们广告页UV已经达

2、到百万级别了！ 部门B：全站DAU才几十万，你 们从哪儿取的数据，去重了么？ 研发A:：今天新埋点刚上线，日 志量预计会新增20%左右分析师A: 小C啊，你们产品一个月升级 了4次，字段含义改来改去的，我十几 个报表SQL，每次都要跟着改，公司盒 饭都吃吐了工程师C: 知足吧，我这几次可都回回 记得通知到你了好的开端CDO重视基础数据治理大数据团队的接口层设计完善，完整的保留了90%以上的核 心业务数据每天的拍照任务调度系统能够记录任务与任务之间的血缘关系数据在线查询平台提供了原始的元数据管理平台接下来模型架构流程规范平台技术标准/模型/ 指标业务用语 业务规则 业务模型 业务指标 埋点定义元

3、数据库数据编码 数据格式 数据血缘 数据权限 数据存储数据质量稽核稽核规则 稽核配置 任务执行 预警监控业务库 日志数据 外部数据数据仓库接口层DW层数据接口与数据服务实时分析非实时分析数据应用-指标管理DM层数据治理流程产品业务源C端B端H端ERP日志tlogblogApplog产品接口层C端B端H端ERP日志tlogblogApplogMySql分库分表Hive业务实体DW层C端用户简历职位HiveB端用户H端用户客户销售员业务行为注册应聘招聘简历更新职位更新销售分析维度DM层行业Hive，MySql，Greenplum媒体码分析主题拉新注册应聘体验招聘统计面试快销售KPI终端地区日期组织

4、ETL日志采集系统ETLETLETL本地文件招服KPI职能数 据 仓 库 架 构接口保留历史：业务表全量拍照，按天存储增量分区，全量和增量整 合去重保持与业务一致，开放给用户数据规整：分库分表整合，生成唯一主键，编码转换，敏感字段 过滤，数据格式统一划分业务主题，关联、整合业务实体信息，汇总统计实体行为指 标，宽表设计提高查询、分析效率关键实体信息周期拍照，支持业务发生时上下文分析DW 统一数据应用出口，屏蔽业务源变更影响DM决策层核心报表与部门级集市报表Hive保留原始加工数据，Mysql支持T+1报表，Greenplum支持10分钟以内的实时业务分析数仓分层管理规范Octopus元数据管理

5、Leo任务调度系统Raven数据质量稽核Mule数据同步数据血缘业务关联生命周期管理业务规则业务对象技术平台元数据管理停更删除-物理归档-业务不可见保留-业务可见上线字段变逻辑变责任人优先级使用记血缘影更更人变更调整录响入库责任人业务注释业务归属业务参照数据生命周期管理血缘关系表与ETL任务表与数据表表与数据表的字段表与埋点事件表与UDF函数表与指标表与报表数据血缘的应用ETL的DAG图任务优先级制定销毁上游对象约束质量稽核影响性打通各平台工具的 脉络数据血缘影响库级表级字段级指标级埋点稽核对象键属性时间序列业务合法性描述统计交叉校验稽核规则任务绑定定时执行预警监控责任到人稽核流程数据质量稽核

6、时间序列同环比时序分析键属性非空唯一参照业务合法 性数据格式字典参照主从一致统计属性离散值分布连续值极值 均值分位数指标稽核业务规则交叉校验规则配置定时调度结果比对分级预警数据质量稽核规则与流程洞察业务变 动数据量为空同环比波动参照异常分布变更探查质量问 题唯一性参照异常主从一致异常值数据质量报 告可靠性可用性业务评价治理成效标准数据质量稽核应用安全标准个人隐私业务敏感财务数据部门隔离等级区分数据粒度schema表级字段级任务级接口级用户行为查询下载邮件审批流程自动解析系统提醒人工审核数据安全产品定义业务用语，业务规则， 业务模型日志埋点定义维护业务研发、测试业务系统落地数据自检清洗与修正数据仓库元数据管理，数据稽核工具与 配置，数据血缘影响与分析， 数据异常通知与预警，指标管 理工具与配置，数据服务接口 提供规范落地质量自检数 据 赋 能数 据 治 理 参 与 角 色成果定时监控上游数据结构与质量问题，发现问题当天跟进处 理，保障90%以上的核心报表与数据应用的稳定与可靠模型分层，统一了下游引用出口，上游系统升级改造，影响截止到DW层，节省分析师90%以上的资源投入元数据完善95%以上，构建数仓知识体系与数据标准，业 务与数据学习效率