大数据实时计算指标追踪规范

大数据实时计算指标追踪规范一、总则（一）目的规范。为统一大数据实时计算指标追踪标准，提升数据质量与业务响应效率，特制定本规范。1.适用范围本规范适用于公司所有涉及大数据实时计算的场景，包括但不限于业务监控、用户行为分析、风险预警等系统。所有相关团队必须严格遵循本规范开展指标追踪工作。2.基本原则（1）统一性原则。全公司范围内指标命名、计算逻辑、数据采集方式必须保持一致，避免重复建设。（2）实时性原则。指标计算周期原则上不超过5分钟，关键业务指标计算周期不超过1分钟。（3）准确性原则。指标数据误差率控制在2%以内，异常波动必须实时告警。（4）可追溯原则。所有指标变更需记录版本信息，变更原因必须明确。二、指标体系设计（一）指标分类。指标分为核心指标、辅助指标、衍生指标三类，具体划分标准如下。1.核心指标核心指标是业务监控的基石，包括用户活跃度、交易成功率、系统响应时间等。核心指标必须实现全链路追踪，数据采集节点不得少于3个。2.辅助指标辅助指标用于支撑核心指标分析，如页面访问量、设备类型分布等。辅助指标需与核心指标建立关联关系，用于验证业务逻辑。3.衍生指标衍生指标由多个指标组合计算得出，如留存率、转化率等。衍生指标计算公式必须经过业务部门与数据部门联合验证。（二）指标命名规范。指标命名必须遵循"业务领域+指标类型+指标名称"结构，例如"用户日活跃数"。命名需避免使用特殊字符，长度不超过30个字符。1.业务领域业务领域用2-4字概括，如"用户"、"交易"、"风控"等。2.指标类型指标类型用2字表示，如"总量"、"比率"、"耗时"等。3.指标名称指标名称需准确描述业务含义，如"新增注册用户数"。（三）指标计算标准。指标计算必须使用标准SQL或SparkSQL编写，计算逻辑需通过单元测试验证。1.SQL规范（1）必须使用WITH语句组织子查询，避免嵌套超过3层。（2）计算函数必须使用标准库函数，自定义函数需经过评审。（3）必须添加注释说明计算逻辑，注释位置位于SQL开头。2.逻辑校验（1）指标计算结果需与线下手工统计结果进行比对，误差率超过5%必须重新设计。（2）计算周期性指标需进行周期一致性校验，例如日指标必须与24小时数据匹配。三、数据采集与处理（一）数据源接入。所有指标数据必须来自公司统一数据采集平台，接入流程如下。1.采集申请（1）业务部门提交《数据采集需求申请》，包含指标定义、业务场景、数据用途等信息。（2）数据部门审核申请，重点核查指标必要性、计算逻辑合理性。2.接入实施（1）数据采集平台自动采集日志、数据库埋点等数据，采集频率不低于5分钟/次。（2）采集数据必须经过清洗，去除无效字段和异常值。（二）实时计算架构。指标计算必须基于公司统一实时计算平台，架构要求如下。1.计算节点（1）核心指标计算节点部署在消息队列前段，辅助指标计算节点部署在数据仓库层。（2）计算节点必须配置冗余，单点故障不影响指标计算。2.数据流转（1）数据从采集层到计算层必须经过2层过滤，过滤规则包括时间范围、业务类型等。（2）计算结果存储在时序数据库中，存储周期不少于90天。（三）异常处理机制。实时计算系统必须具备完善的异常处理机制。1.告警规则（1）指标数据缺失告警必须在10分钟内触发，告警级别为严重。（2）指标数据异常波动告警必须在3分钟内触发，告警级别为重要。2.处理流程（1）告警自动发送给相关团队，处理时效要求如下：（2）处理过程必须记录在案，包括问题原因、解决方案、处理人、处理时间。四、指标监控与展示（一）监控体系。指标监控分为全量监控与抽样监控，具体要求如下。1.全量监控（1）核心指标必须实现7×24小时监控，监控频率不低于1分钟/次。（2）监控数据存储在监控数据库中，与计算结果数据库物理隔离。2.抽样监控（1）辅助指标采用抽样监控，抽样比例不低于30%。（2）抽样监控周期为每小时，异常数据必须回溯全量数据。（二）可视化展示。指标数据必须通过BI系统进行可视化展示，展示要求如下。1.仪表盘设计（1）核心指标仪表盘必须包含趋势图、分布图、异常告警3种图表类型。（2）仪表盘必须支持数据钻取，可从指标维度下钻到原始数据。2.展示规范（1）指标数值必须标注单位，例如"用户数/人"、"耗时ms"。（2）异常数据必须用红色高亮显示，并标注告警时间。（三）报表体系。指标报表分为日报、周报、月报三种，具体要求如下。1.日报（1）生成时间：每日凌晨1点（2）包含指标昨日值、今日累计值、环比变化率（3）异常指标必须添加红色标注2.周报（1）生成时间：每周一凌晨1点（2）包含指标本周累计值、上周对比（3）新增本周重要指标变化趋势图3.月报（1）生成时间：每月初1点（2）包含指标月度累计值、季度对比（3）新增月度指标分析报告五、指标运维管理（一）变更管理。指标变更必须遵循变更管理流程。1.变更申请（1）业务部门提交《指标变更申请》，说明变更原因、变更内容、影响范围。（2）数据部门组织技术评审，重点核查变更对依赖系统的影响。2.变更实施（1）变更实施必须在业务低峰期进行，实施窗口为22:00-次日2:00。（2）变更实施前必须备份原指标数据，备份周期不少于3个月。（二）版本管理。所有指标必须建立版本管理机制。1.版本记录（1）版本记录包含指标名称、版本号、变更时间、变更人、变更内容。（2）版本记录存储在指标管理系统中，可追溯至每日。2.版本切换（1）版本切换必须经过测试验证，测试覆盖率不低于80%。（2）版本切换后必须通知所有依赖团队，变更通知必须在24小时内发出。（三）性能优化。指标计算必须定期进行性能优化。1.优化周期（1）核心指标每季度优化一次，辅助指标每半年优化一次。（2）优化周期必须安排在业务低峰期，优化窗口不得少于2小时。2.优化目标（1）计算延迟降低50%以上（2）资源消耗降低30%以上（3）数据误差率控制在1%以内六、组织与职责（一）职责划分。各团队职责如下。1.业务部门（1）负责指标需求定义，提供业务逻辑说明。（2）负责指标业务验证，确认计算结果符合业务预期。2.数据部门（1）负责指标技术实现，保证计算逻辑正确。（2）负责指标系统运维，处理计算异常。3.IT部门（1）负责计算平台运维，保证系统稳定运行。（2）负责资源扩容，满足指标计算需求。（二）协作机制。跨团队协作要求如下。1.指标需求评审（1）每月组织指标需求评审会，由数据部门主持。（2）评审通过后才能进行指标开发，未通过需求必须重新设计。2.异常处理协同（1）指标异常告警必须及时通知相关团队，通知顺序为：（2）处理过程必须同步记录，处理结果需经数据部门确认。（三）考核机制。指标管理工作纳入团队绩效考核。1.考核指标（1）指标数据准确率：不低于98%（2）指标计算及时性：核心指标延迟不超过3分钟（3）异常处理时效：严重告警30分钟内响应2.考核方式（1）系统自动采集指标质量数据，每月生成考核报告。（2）考核结果与团队绩效奖金直接挂钩，连续3次不合格团队负责人降级。七