消息队列流控监控采集规范

消息队列流控监控采集规范一、总则规范（一）适用范围。本规范适用于公司所有采用消息队列技术的业务系统，涵盖Kafka、RabbitMQ、RocketMQ等主流消息中间件的流控监控与数据采集工作，确保系统稳定性、数据准确性及合规性要求。（二）基本原则。坚持“实时监控、分层预警、统一采集、集中管理”原则，通过标准化流程实现流控策略的动态适配与异常数据的精准溯源。二、组织与职责（一）权责划定。各单位主要负责人是第一责任人，分管技术负责人是直接责任人，技术骨干需承担具体执行职责，形成“横向到边、纵向到底”的责任体系。（二）部门分工。运维部负责基础设施监控与采集平台搭建，业务部门需配合提供业务逻辑说明，数据中台负责统一存储与治理，安全部负责合规性检查。（三）协作机制。建立“日例会、周复盘、月通报”制度，运维部每日报送异常事件清单，业务部门需72小时内反馈处置方案，数据中台每月更新采集指标体系。三、流控监控标准（一）核心指标定义。流量指标包括QPS、TPS、消息积压量；延迟指标包括生产延迟、消费延迟、端到端延迟；资源指标包括CPU利用率、内存占用、磁盘I/O。（二）监控阈值设定。QPS阈值按业务峰值1.5倍设定，消费延迟超过5秒触发二级预警，消息积压超过1000条触发一级预警，资源利用率超过85%需立即扩容。（三）监控工具要求。必须使用Prometheus+Grafana组合，自定义监控项需通过运维部审批，监控数据采集频率不低于5秒/次，历史数据保留周期不少于90天。四、数据采集规范（一）采集范围。生产端需采集生产时间戳、消息体、生产者ID；消费端需采集消费时间戳、确认状态、消费者组信息；Broker端需采集分区信息、副本状态、网络流量。（二）采集频率与粒度。核心指标需实时采集，统计指标按分钟级聚合，业务日志按小时归档，采集频率调整需经数据中台备案。（三）数据格式要求。采集数据必须符合JSON格式，字段命名需统一使用下划线命名法，特殊字符需进行URL编码处理，传输过程需采用TLS加密。五、异常处置流程（一）分级响应机制。一级预警需2小时内启动扩容，二级预警需4小时内完成根因分析，普通异常需24小时内闭环。（二）处置流程规范。异常上报需包含时间、指标、影响范围、初步判断，技术组需30分钟内完成验证，业务组需1小时内提供业务影响说明。（三）复盘要求。每次异常处置后需形成《异常处置报告》，包含故障现象、处置措施、改进建议，运维部每月组织案例分享会。六、系统运维要求（一）配置变更管理。流控参数调整需通过《变更实施单》流程，变更前需完成压测验证，变更后需监控30分钟确认稳定性。（二）健康检查标准。Broker存活检查间隔不得超过1分钟，分区同步检查需每5分钟执行一次，消息丢失率超过0.1%需立即排查。（三）备份与恢复。每周进行一次全量备份，每日进行一次增量备份，恢复演练需每季度开展一次，恢复时间目标不超过30分钟。七、合规与审计（一）数据安全要求。采集数据传输必须采用HTTPS协议，存储过程需进行数据脱敏，访问权限需遵循最小化原则。（二）审计要求。所有操作需记录操作日志，包括登录IP、操作时间、变更内容，日志保留周期不少于180天。（三）合规检查。安全部每季度开展一次合规检查，检查内容包括权限管理、数据加密、监控覆盖度，检查结果需通报至各业务部门。八、附则说明（一）本规范自发布之日起实施，原有规定与本