指标体系如何在数仓模型和产品应用中落地

从懂车帝业务看DataLeap

指标体系如何在数仓模型和产品应用中落地01如何建立指标体系规范关于指标命名规范、指标定义规范等，为什么做，怎么做02指标模型建设在数仓工作中的收敛指标模型开发规范SOP、模型查询性能优化、模型查询路由能力建设03指标体系质量监控策略保障指标体系的数据质量和查询服务效能04构建全方位的指标应用场景统一的DataLeap指标服务，丰富的指标应用场景目录CONTENT01如何建立指标体系规范关于指标命名规范、指标定义规范等，为什么做，怎么做02指标模型建设在数仓工作中的收敛指标模型开发规范SOP、模型查询性能优化、模型查询路由能力建设03指标体系质量监控策略保障指标体系的数据质量和查询服务效能04构建全方位的指标应用场景统一的DataLeap指标服务，丰富的指标应用场景目录CONTENT

业务介绍

懂车帝是一站式汽车信息与服务平台，涵盖内容、工具和社区，致力于为用户提供真实、专业的汽车内容和高效的选车服务，同时为汽车厂商和汽车经销商提供高效解决方案。懂车帝是抖音集团产品矩阵之一，2023年7月懂车帝宣布，已与抖音集团旗下抖音、今日头条、西瓜视频等应用的汽车内容运营全面融合，由懂车帝作为整体运营方，充分利用各端资源和优势，更好的服务用户、创户。核心优势实用的原创内容专业的实测体系多元的创作生态真实的互动社区完善的车型库数字化服务能力值得信赖的二手车服务使命：享受汽车

科技驱动产业发展愿景：最受信赖的汽车信息、交易、服务平台数仓规模介绍百PB级别存储量十万Core计算资源数万任务生产任务数6000+指标量数仓服务范畴离线准实时纯实时ToCToB经营分析产品运营为什么要做指标体系规范存在的问题我们的目标通过完善指标体系规范，建立起持续围绕指标体系的数仓模型建设、数据BI分析需求、数据服务和数据应用的工作机制，促进数据良性传播，全局降本提效，释放数据价值DataLeap指标管理平台介绍懂车帝业务在深度结合了DataLeap指标平台丰富的指标体系建设和管理的能力，并且在此基础之上，独立开发了指标观星台等BI平台产品，进一步丰富了指标应用能力的建设，最终实现整体指标体系的实践落地DataLeap指标平台定位是建设公司范围内指标视角的统一资产（元数据）中心，解决“灵活数据分析”场景下的找数据和找口径的问题；维护可共享，可视化，服务化的业务指标体系。规范定义提供一套指标命名及口径管理的工具（单纯的指标定义，和物理实现无关）建模研发创建不同数据源的指标模型，并在模型上构建计算逻辑关联已定义的指标指标应用关联了模型的指标可以做一些日报推送或指标模型同步数据集使用指标服务通过api的形式对外提供指标数据服务和指标元信息服务指标体系建设整体框架指标元数据管理规范指标命名规范：标准化指标中英文命名，通过指标的词根拆解来定义没有歧义、标准一致的数据指标体系，同时通过对词根进行规范管理，避免同名不同义、同义不同名等问题。指标业务定义：完善：需要添加的修饰词不可少，指标定义字词和指标名称的字词能一一对应，分别阐释准确：不引起歧义：让看的人都能看懂精要：在保证完善、准确的基础上追求最少字数指标等级管理：一级指标：衡量业务结果的北极星指标，OKR指标二级指标：业务重点关注的指标，能够反映当前业务效果的指标三级指标：衡量过程效率，辅助推动结果达成的指标四级指标：临时性指标，适用于小范围的指标其他指标元信息管理规范：指标目录管理 指标版本管理标准的指标中英文命名通过词根拆解来实现，拆解过程总体包括基础词根信息配置和指标拆解定义基础词根信息配置数据域业务过程度量修饰词时间周期指标拆解定义原子指标业务过程+度量衍生指标原子指标+修饰词+时间周期复合指标衍生（复合）指标经过四则运算或加统计方法修饰词生成词根管理实现线上化录入，词根拆解过程实现工具自动化执行目前懂车帝词根管理已维护数据域：34个业务过程：700个度量词：220个修饰词：1080个时间周期：77个懂车帝指标体系总量一级指标：1559二级指标：1931三级指标：2342四级指标：555指标元数据创建SOP数据产品收集、整理需求梳理指标命名和业务定义指标评审指标拆解执行新增词根提出指标元信息录入到DataLeap指标平台指标审核评委词根管理维护新增词根审核拆解工具校正数仓开发指标评审指标模型开发01如何建立指标体系规范关于指标命名规范、指标定义规范等，为什么做，怎么做02指标模型建设在数仓工作中的收敛指标模型开发规范SOP、模型查询性能优化、模型查询路由能力建设03指标体系质量监控策略保障指标体系的数据质量和查询服务效能04构建全方位的指标应用场景统一的DataLeap指标服务，丰富的指标应用场景目录CONTENT指标模型建设存在的问题无明确的一致性维度层概念，维度表和事实表不分，较少对维度信息进行一致性抽象为DIM层，普遍混在DWD层，比如车型库维度信息缺失核心维度表，且产出时间难以保障维度表建设不足大部分表简单加工，与ODS层差异不大，未沉淀通用逻辑，未进行维度冗余，无业务过程抽象•部分核心表链路依赖过于复杂，耦合信息过多，稳定性、可维护性和差，比如一些明细的DWD表关联查询的用户或者设备的属性表，依赖过多，导致SLA破线明细层建设混乱未沉淀应用层的通用指标逻辑，无公共指标体系建设，覆盖面小，复用性低。导致指标同名不同义或同义不同名，模型链路设计不合理导致数据血缘不清晰，溯源及问题排查困难，任务计算时间长，产出晚。汇总层严重缺失基于需求驱动模型快速膨胀，大量的模型重复建设，通用逻辑未下沉，造成计算资源和存储资源浪费。应用层重复建设散乱差总结指标模型数仓层级建设标准懂车帝业务特性找到适合懂车帝业务特有的一套规范标准媒体&商业化业务场景业务特点：业务发展相对稳定，指标体系变化相对低频建模标准：依据主题数据域、业务过程等，沉淀公共层数据模型，优先推进规范化执行二手车&交场景业务特点：业务快速迭代，指标体系变动比较大，实时数据场景多，时效响应要求高，SaaS场景应用多建模标准：优先满足业务需求快速迭代，允细层灵活加工产出指标数据，但指标口径和业务定义需要做强保障从指标拆解到模型实现指标拆解和指标模型的映射：数仓同学拿到一个指标或者在进行指标评审中，需要非常清楚指标拆解的过程，明确涉及到的数据域、业务过程、度量、修饰词等关键词根，进而判断、设计指标模型应该在哪一层做，做到什么粒度。从指标拆解到模型实现指标模型开发流程模型开发可能遇到的问题模型重复性建设模型建设层级不合理模型数据结果产出不一致核心指标模型登记数据资产地图，数仓在新增指标模型之前需要先对比资产地图进行排重，同时增加重复性建设监控策略按照不同的业务场景，执行不同的模型层级建设监控策略巡检同指标多模型产出的查询结果，监控治理从指标模型到指标实现的绑定离线准实时纯实时媒体商业化交易 二手车不同的数据开发技术实现相同的指标模型绑定实现从指标模型到指标实现的绑定将指标模型在DataLeap指标平台上进行指标定义和维度的绑定，即可实现DataLeap指标查询服务的能力提供模型A指标1 模型B模型C结果值api查询码维度a、维度bAapi查询码B维度b、维度c维度d、维度eapi查询码维度a、维度cC维度管理01如何建立指标体系规范关于指标命名规范、指标定义规范等，为什么做，怎么做02指标模型建设在数仓工作中的收敛指标模型开发规范SOP、模型查询性能优化、模型查询路由能力建设03指标体系质量监控策略保障指标体系的数据质量和查询服务效能04构建全方位的指标应用场景统一的DataLeap指标服务，丰富的指标应用场景目录CONTENT指标体系质量监控框架指标体系监控策略指标体系规范监控指标查询服务监控指标治理监控指标体系规范监控策略词根管理监控新增词根录入审核监控指标词根拆解不通过治理词根近义词检查治理新增指标统计复盘指标业务定义监控业务定义填写完整度监控业务定义填写相似度监控指标等级监控指标等级填写完整度不同指标等级占比健康度监控不同指标等级绑定模型率监控指标版本监控指标版本变更监控指标状态下线治理指标查询服务监控策略多模型绑定查询一致性监控监控逻辑：每天凌晨定时巡检请求多模型绑定的指标的查询服务，判断返回结果是否一致。事前控制治理策略：发送报警消息给到指标模型Owner，当天处理完成。并且需要反馈不一致的原因，此类问题需要控制在事前处理指标慢查询/异常查询监控监控逻辑：每天凌晨定时巡检请求全量指标的查询服务，判断返回结果是否正常。事前控制治理策略：发送报警消息给到指标模型Owner是否集群环境问题，集群优化治理是否需要优化模型或查询逻辑监控逻辑：通过服务接口日志、平台埋点日志等数据流，实时监控线上指标服务请求异常信息。事中控制治理策略：按照指标服务应用登记场景的重要程度，分级推送报警消息，必要时需要指标治理同学和指标owner共同介入指标查询服务监控策略指标SLA监控监控逻辑：按照指标登记的SLA信息，分批对指标SLA达成进行基线预警监控。事前控制治理策略：发送预警破线消息给到指标模型Owner，及时跟进问题尽量能够前置处理，否则延迟通报是否需要SLA链路专项优化治理指标数据波动监控监控逻辑：每天凌晨开始分批巡检请求全量指标的查询服务，判断最近一天数据结果相比近一周数据的波动情况。事前控制治理策略：发送报警消息给到指标模型Owner跟进指标波动异常归因分析，给出结论指标体系监控平台建设指标访问热度统计监控信息统计及治理复盘指标治理收益统计全量指标服务访问明细生产/调用视角统计信息热度衰减预警/归因全类型监控报警明细监控报警处理完成度统计监控报警信息分类复盘无效指标下线治理统计指标体系资源消耗统计指标治理优化成本统计01如何建立指标体系规范关于指标命名规范、指标定义规范等，为什么做，怎么做02指标模型建设在数仓工作中的收敛指标模型开发规范SOP、模型查询性能优化、模型查询路由能力建设03指标体系质量监控策略保障指标体系的数据质量和查询服务效能04构建全方位的指标应用场景统一的DataLeap指标服务，丰富的指标应用场景目录CONTENT全场景的指标服务应用能力建设DataLeap指标服务懂车帝业务懂车帝指标服务体系DataLeap

指标服务依托于统一的DataLeap指标查询服务的基础能力，结合懂车帝不同业务场景的特性以及个性化需求，我们分别落地了不同的应用产品。DCD指标观星台BI自助指标查询平台自定义指标集查询自定义长周期计算逻辑自定义衍生指标查询分析视角外部ToB应用核心指标看板商家/门店销售DA/产运目标管理OKR管理全链路指标血缘管理指标模型生产链路