网指标中台构建实践

网指标中台构建实践目录网简介1网指标中台构建实践2证券行业实践案例3金融大数据解决方案Agenda网“数字化转型”的定位网的背景介绍网“数字化转型”的解读医药行业数字化转型的实现路径的建议01网简介2006分布式数据库、分布式文件系统、分布式搜索引擎，三驾撑了网网2.0时代的产品2009开始基于Hadoop做数据分析以及运维2014大数据平台猛犸、网上线，加速了大数据规模化应用2017网据正式对外商业化2018网、考拉、音乐、新闻等业务相继开始数据中台构建，网“全链路数据中台”

解决方案2020网“数据生产力”理念，倡导“人人用数据、实时用数据”2022网数据治理和数据开发一体化“数据治理2.0”解决方案数据中台解决方案网分析的发展历史数据集成数据开发任务运维数据标准数据元数据字典标准发布数据分类元数据管理元数据采集元数据注册元数据扫描元数据发布数据安全数据脱敏安全等级敏感识别权限申请指标系统指标开发指标治理某省市指标应用数据质量稽核监控质量报告强弱规则质量工单数据资产中心价值分析成本分析量化ROI数据下线模型设计中心维度建模量化评估规范设计发布审核数据门户智能决策可视化报表驾驶舱数据服务API发布服务编排服务权限服务监控数据目录数据检索资产门户数据血缘数据地图基于DataOps

全生命据开发数据测试自动化运维管理标签画像活动管理 人群圈选活动分析 渠道触达有数BI自助取数数据准备某著名企业端数据大屏数据填报复杂报表机器学习交互式建模 在线推理可视化建模 训练任务sparkhive数据计算、存储引擎ImpalaYarn/K8sArctic（实时数据湖）HDFS/S3flink数据中台解决方案网易EasyData

产品矩阵网优势数据中台解决方案领先的产品能力大规模应用实践Zero–Lock

in行业头部实践DataOps云音乐、严选、新闻、有道、邮箱，多级数据中台架构，任务规模20W+，单集群5000+节点，每日活跃用户2000+OPPO，在欧洲、印度、新加坡、国署4个机房，任务数量10W+，集群规模达到300+台，每用户800+湖仓一体BI

与

数据中台协同开发与治理一体化基于开源技术体系构建支持跨云的部署插件化设计，支持对接第三方引擎金融：华泰证券、东北证券、广发证券、国新证券、民生证券、华福证券、中国人寿（海外）、中粮信托、浙金信托、华夏理财、泰康资产等制造：格力电器、OPPO、科沃斯、长鑫存储、记忆科技、五菱汽车等零售：名创优品、三只松鼠、冰雪时光、百胜、绿瘦、无限极、美素佳儿、绿瘦等某著名企业：浙江某著名企业、浙江机电、浙江国贸等产品优势数据运营数据技术数据应用数据资产DataProductDataOpsDataFusion数据场景DataOps开发与治理一体化湖仓一体流批一体存算分离数据指标数据标签数据模型数据质量稽核规则数据目录数据标准数据文化人才培养运营平台智能决策智能风控监管报送客户画像数据可视化数据生产力：数据中台解决方案广义上：通过使用数据带来组织生产力提升狭义上：企业员工使用平台工具采集数据、处理数据，数据分析以及管理数据的能力愿景：人人用数据，时时用数据三个方法论：DataOps、DataFusion、DataProduct打造企业数据生产力金融大数据解决方案Agenda网“数字化转型”的解读02项目背景指标很重要，可总管不好，用不了指标体系构造方法（1）现有报表系统（2）监管指标需求综合分析收集收集收集指标库模型管理指标分析/多维模型管理指标（3）机构现有指标（4）同业指标体系收集收集筛选分析归并评审发布访谈梳理分析产出指标体系指标编号指标来源指标描述指标口径指标维度指标度量指标频度指标类别指标库业务归属应用范围……指标全流程管理解决方案指标管理内容指标是用量化的数据来说明事实，指标数据在企业运营的各个环节中起到关键的衡量标准和指导作用，对指标的管理应涵盖指标定义、指标分类、指标建模、指标固化、指标体系管理、指标查询、指标多维分析、关联度分析等一系列功能通过对指标的业务口径描述建立指标标准体系，对指标的技术口径描述建立与业务系统的映射关系，以及指标间的公式关系建立标准体系指标管理还应通过指标建模和固化等手段，动态批量的生成指标数据，便于后续的分析应用生成标准数据指标管理应实现图形化的指标溯源分析，让用户方便的定位指标、了解指标间的关联关系、指标的用途，知晓指标数据在哪里、用在了什么地方实现指标溯源固化好的指标及指标体系数据，应提供一系列的查询和分析手段，支持便捷查询和分析支持查询分析指标全流程管理解决方案指标管理现状一致口径难开发质量问题多

口径非透明，业务部门

各应用系统在设计和数

缺少监控体系，导致指和技术部门理解上存在 据处理上的差异较大 标计算结果准确性有待偏差

开发验证长，难 提升

缺乏机构的统一标准 以满足时效性要求

计算结果有偏差时，难以快速追踪问题根源指标不互通业务取数难缺乏统一入口，无法快速搜索已沉淀的指标资

不同某省市间缺乏指 产标引用的服务体系

缺少用户友好的可视化工具与指标模型打通，实现灵活用数技术难管理业务不好用指标全流程管理解决方案Agenda网“数字化转型”的解读03解决方案搭建业务和技术之间协作沟通的桥梁指标中台：提升效率、赋能决策技术人员：高质生产、高效管理搭建业务和技术之间协作沟通的桥梁准备定义加工管理指标中台指标的全生命理平台维护数据中台解决方案业务人员：自助用数、挖掘价值人人用指标，时时用指标，数据分析平民化！为什么要构建指标中台？指标口径不一致数据中台解决方案在数据质量问题反馈中，约有31%的问题涉及指标口径指标开发效率低传统指标开发需要涉及跨部门，多角色协作，效率低，平均指标开发需要一间，业务人员无法自助完成指标开发缺少整个企业级统一指标消费的入口，指标分布在不同的部门和分析师手上，业务人员不知道去哪里找想要的指标，缺少权威的解释指标入口不统一难以跟踪指标的使用和量化一每个月花费3W块钱，30天内都无人查看指标价值难以量化指标质量差指标问题溯源困难，上层依赖17层模型，指标问题的排查效率低下任务开发导致的数据质量问题占比60%，90%的问题都是业务先发现IT

资源瓶颈数据分析团队只有10个人，每数据分析需求有500个指标中台的核心要点指标应用指标服务自动计算集中管理一次定义多次复用全生命数据中台解决方案网中台产品架构配置管理监控规则时间目录配置指标监控监控任务目录配置模板监控资源配置指标模型模型管理事实表维表指标开发计算指标派生指标基础指标指标血缘图表查询归因分析版本管理任务管理操作历史某省市指标地图 指标目录 综合搜索 结果查询分析报表KPI管理指标应用 数据洞察指标服务数据中台解决方案指标中台-实现指标全生命理数据准备指标定义指标加工资产管理指标维护数据中台解决方案OracleMySQLSQL

ServerDB2KyligenceDorisDruidMonetDBOceanBase达梦HANAGreenplumPostgreSQLAPIExcelPrestoSparkRestful

APIPhoenixInfluxDBVerticaTrinoESTDHCDHMaputerADBClickhouseVerticaTeradataCSV第一步：数据准备-登记数据源数据源支持数据准备资产管理指标加工指标定义指标维护数据中台解决方案构建统一的语义模型第一步：数据准备-数据建模数据准备资产管理指标加工指标定义指标维护数据中台解决方案原子指标派生指标计算指标基础指标度量+计算口径

=

原子指标原子指标+修饰词+时间=派生指标基础指标经过一定的组合计算得到计算字表第二步：指标定义-指标分类数据准备资产管理指标加工指标定义指标维护数据中台解决方案主题域业务过程原子指标修饰词时间派生指标可分析维度为什么要拆？原子指标涉及口径，需要统一管理派生指标只是口径组合，可以由业务团队管理第二步：指标定义-指标的规范化定义数据准备资产管理指标加工指标定义指标维护数据中台解决方案第二步：定义指标-原子指标创建数据准备资产管理指标加工指标定义指标维护数据中台解决方案第二步：定义指标-原子指标创建数据准备资产管理指标加工指标定义指标维护数据中台解决方案第二步：定义指标-派生指标创建数据准备资产管理指标加工指标定义指标维护数据中台解决方案第二步：定义指标-计算指标创建数据准备资产管理指标加工指标定义指标维护数据中台解决方案MetricsMAQLLogicData

ModelDataSourceMaterialized

View第二步：指标定义-基于统一逻辑数据模型之上的指标分析查询语言数据准备资产管理指标加工指标定义指标维护数据中台解决方案第二步：指标中台的形式化定义语言（1）-构建在天然的语义模型基础上MAQL：构建在语义模型的基础上，不需要再定义From，Join，天然支持多维分析数据准备资产管理指标加工指标定义指标维护数据中台解决方案第二步：指标中台的形式化定义语言（2）-组合和复用MAQL：创建和存储指标来指定数据的“基本事实分析”(即单一事实来源)。存储的指标可以在其他指标中重复使用数据准备资产管理指标加工指标定义指标维护数据中台解决方案MAQLImpala

SQLSpark

SQLPrestoSQLDoris

SQL第二步：指标中台的形式化定义语言（3）-与计算引擎解耦MAQL

不绑定任务计算引擎，当切换引擎时，可以动态切换数据准备资产管理指标加工指标定义指标维护数据中台解决方案第三步：指标加工数据准备资产管理指标加工指标定义指标维护数据中台解决方案第四步：资产管理-指标地图检索入口数据准备资产管理指标加工指标定义指标维护数据中台解决方案第四步：资产管理-指标地图检索详情页数据准备资产管理指标加工指标定义指标维护数据中台解决方案第四步：资产管理-指标地图指标详情页数据准备资产管理指标加工指标定义指标维护数据中台解决方案第四步：资产管理-指标地图指标图表数据准备资产管理指标加工指标定义指标维护数据中台解决方案第四步：资产管理-指标地图指标归因分析数据准备资产管理指标加工指标定义指标维护数据中台解决方案第五步：指标维护数据准备资产管理指标加工指标定义指标维护数据中台解决方案SQL查询指标逻辑视图MAQL物化视图事实明细表维度表维度表维度表维度表事实明细表有数BI帆软数据服务APILogicdata

model数据中台解决方案Metricanalysis

querylanguageMetricSQL

viewDWD指标定义层DWS指标服务数据中台解决方案指标系统和有数

BI

报表集成指标与BI打通指标中台的价值数据中