大数据流批融合指标定义规范

大数据流批融合指标定义规范一、总则（一）目的规范。为统一大数据流批融合环境下的指标定义与度量标准，提升数据治理与性能评估的科学性，特制定本规范。1.适用范围本规范适用于企业级大数据平台中采用流批一体架构的所有数据处理场景，涵盖数据采集、存储、计算、应用等全链路环节。具体包括但不限于实时数仓、湖仓一体、交互式分析等混合负载环境。2.基本原则（1）一致性原则。流批指标体系应保持数据口径、计算逻辑、统计周期的一致性，避免同一业务场景出现矛盾度量标准。（2）可追溯原则。所有指标定义需明确数据来源、计算路径、时间维度，确保问题排查时具备完整追溯链。（3）颗粒度原则。根据业务需求合理设定指标粒度，既要避免过度拆分导致计算开销增大，也要防止粒度过粗掩盖关键性能瓶颈。（4）标准化原则。核心指标采用行业通用定义，非标指标需通过技术委员会审批后方可实施。二、核心指标体系（一）资源消耗指标。用于量化计算资源使用效率，为资源调度与成本优化提供依据。1.CPU利用率（1）计算方式。取值范围0-100，表示计算节点核心资源占用百分比。采用周期性采样计算平均值，周期建议5分钟。（2）统计维度。按计算引擎（Flink/Spark）、任务类型（批处理/流处理）、资源组维度聚合。（3）异常阈值。持续高于85%需触发告警，需结合队列负载率综合判断。（4）采集要求。需通过YARN/资源管理器API获取实时数据，存储在时序数据库中保留7天。2.内存使用指标（1）计算方式。包括堆内/外内存使用量、缓存命中率等，单位MB。采用JVM监控工具采集。（2）关键参数。重点关注Off-Heap内存使用趋势，设置动态阈值。（3）统计维度。按应用实例、内存类型、计算周期统计。（4）采集要求。需配置JMX采集任务，数据聚合周期建议1分钟。（二）任务性能指标。反映数据处理任务的执行效率与延迟情况。1.任务执行延迟（1）计算方式。任务开始时间至结束时间的绝对差值，单位毫秒。采用计算引擎自带的计时器API获取。（2）分类标准。分为启动延迟、处理延迟、提交延迟三类。（3）统计维度。按任务类型、数据量、计算周期统计。（4）异常阈值。实时任务处理延迟超过500ms需告警，批处理任务超过5分钟需重点分析。2.吞吐量指标（1）计算方式。单位时间内成功处理的数据条数或字节数。通过数据源水位线与目标端统计对比计算。（2）统计维度。按数据源类型（Kafka/MySQL）、目标表、计算周期统计。（3）采集要求。需在数据源与目标端部署水位同步机制，建议使用Canal/FlinkCDC等工具实现。（4）异常处理。低于预期80%需触发预警，低于50%需立即排查。三、流批融合特性指标（一）数据一致性指标。用于评估混合负载场景下的数据完整性。1.重复数据处理率（1）计算方式。重复数据条数/总处理条数。通过去重中间件或计算引擎窗口函数统计。（2）统计维度。按数据源、处理链路、时间周期统计。（3）阈值标准。低于0.001需持续监控，超过0.01需立即修复。2.丢失数据处理率（1）计算方式。预期处理条数-实际成功处理条数/预期处理条数。（2）统计维度。按数据源、消费组、时间周期统计。（3）采集要求。需部署数据探针记录预期数据量，与实际消费量对比。（4）异常处理。超过0.05%需触发告警，需结合消费端水位线排查。（二）计算资源适配指标。衡量流批计算引擎的资源利用效率。1.资源弹性适配率（1）计算方式。实际资源使用量/申请资源量。通过资源管理平台API获取。（2）统计维度。按资源组、计算周期、任务类型统计。（3）阈值标准。高于0.9需优化资源申请策略，低于0.5需检查资源隔离设置。2.计算模式切换成本（1）计算方式。批处理转流处理时，相同数据量下的执行时长差值。（2）统计维度。按数据量级、业务场景、计算周期统计。（3）采集要求。需在测试环境建立基准测试用例，定期执行。（4）优化方向。切换成本超过10%需重点优化代码逻辑或调整计算参数。四、监控与告警规范（一）监控指标采集要求1.采集频率配置（1）核心指标：建议5分钟采集一次，存储时保留7天。（2）关键指标：建议1分钟采集一次，存储时保留30天。（3）瞬时指标：建议5秒采集一次，用于实时告警。2.数据存储规范（1）存储介质：时序数据采用InfluxDB，关系型数据采用MySQL。（2）数据模型：遵循T+格式，即时间戳+指标名称+指标值。（3）压缩策略：对历史数据采用7天滚动压缩，每年归档至对象存储。（二）告警规则配置1.告警分级标准（1）P0级：核心指标异常，如任务卡死、数据丢失。（2）P1级：关键指标异常，如延迟超标、资源利用率过高。（3）P2级：一般指标异常，如吞吐量波动。2.告警触发条件（1）连续3次采样异常时触发。（2）数值超过阈值时触发，阈值按95%置信区间动态调整。（3）需设置告警抑制机制，避免同类告警短时内集中触发。3.告警通知配置（1）通知渠道：短信、钉钉、企业微信。（2）通知对象：按告警级别设置分级通知策略。（3）通知内容：包含指标名称、阈值、当前值、影响范围、建议操作。五、实施与运维（一）指标定义流程1.需求提报阶段（1）业务部门填写《指标需求申请表》，说明指标业务价值与使用场景。（2）技术部门评估指标可行性，3个工作日内给出答复。2.定义审批阶段（1）技术委员会每月召开例会，审批新增指标。（2）审批通过后需在《指标管理台账》中登记，编号管理。3.实施验证阶段（1）开发人员根据定义开发采集代码，测试人员验证数据准确性。（2）需在测试环境部署3天，确认数据采集无误。（二）运维管理要求1.指标生命周期管理（1）定期评估指标使用情况，每年6月、12月开展指标健康度检查。（2）长期未使用的指标需按流程下线，保留历史数据30天。2.异常处理机制（1）建立指标异常响应流程，P0级需1小时内响应，P1级需2小时内响应。（2）需保留所有异常处理记录，形成知识库。3.技术更新策略（1）计算引擎升级时，需同步验证指标采集逻辑。（2）新版本指标定义需通过版本控制管理，确保兼容性。六、附则（一）责任分工1.技术部门负责指标采集系统的建设与维护。2.数据治理部门负责指标定义的标准化管理。3.业务部门负责指标业务价值的验证与推广。（二）变更管理1.指标定义变更需经过技术委员会审批，变更前后需进行数据对比。2.紧急变更需在2小时内完成审批，