消息队列异常处理一致性规范

消息队列异常处理一致性规范一、总则（一）目的规范。为统一消息队列异常处理标准，提升系统稳定性与数据一致性，特制定本规范。1.适用范围本规范适用于公司所有使用消息队列技术的业务系统，包括但不限于订单处理、用户通知、数据同步等场景。所有相关技术人员必须严格遵守本规范执行异常处理操作。2.基本原则（1）及时响应原则。异常事件必须在规定时间内发现并处理，避免影响下游系统。（2）最小影响原则。异常处理操作应最大限度减少对正常业务的影响，优先保障核心流程。（3）一致性原则。异常处理流程与正常处理流程在数据状态变更上保持一致，防止数据不一致问题。（4）可追溯原则。所有异常处理操作必须记录完整日志，便于问题排查与责任认定。二、异常分类与识别（一）分类标准。根据异常严重程度与影响范围，将消息队列异常分为三类。1.轻度异常（1）定义。指单个消息处理失败，但不会影响整体业务流程，如消息格式错误但内容可忽略。（2）处理要求。系统应自动重试3次，重试间隔不小于5秒。2.中度异常（1）定义。指消息处理失败且影响部分业务流程，如订单状态更新失败但商品库存已扣减。（2）处理要求。需人工介入确认，并在10分钟内完成补偿操作。3.严重异常（1）定义。指消息处理失败且影响整体业务流程，如核心支付消息丢失。（2）处理要求。立即启动应急预案，24小时内完成修复。2.异常识别机制（1）监控告警。消息队列系统必须配置异常告警规则，包括：（2）日志分析。各业务系统需记录完整的消息处理日志，包括：三、异常处理流程（一）标准流程。所有消息队列异常处理必须遵循以下流程。1.自动重试机制（1）配置要求。消息消费者必须配置自动重试机制，包括：（2）实施要求。所有新接入的消息消费者必须实现自动重试机制，现有系统需在3个月内完成改造。2.人工干预流程（1）触发条件。当自动重试失败或发现中度/严重异常时，需启动人工干预流程。（2）处理步骤：3.补偿机制（1）适用场景。当消息处理失败导致数据不一致时，必须启动补偿机制。（2）补偿要求：（3）补偿策略：四、技术实现标准（一）消息队列配置1.消息重试配置（1）参数设置。消息中间件必须配置以下参数：（2）实施要求。所有消息队列配置必须符合《消息队列参数配置标准表》要求。2.死信队列配置（1）死信判定。必须配置以下死信判定条件：（2）死信处理。死信队列必须配置自动清理策略，包括：五、监控与审计（一）监控体系1.实时监控（1）监控指标。必须监控以下关键指标：（2）监控工具。必须使用公司统一监控平台（如Prometheus+Grafana）实现监控，监控频率不低于每5分钟。2.告警规则（1）告警分级。告警分为三级：（2）告警通知。必须配置多渠道告警通知，包括：（二）审计要求1.日志规范（1）必须记录以下关键日志：（2）日志保留期限。所有日志必须保留至少90天。2.审计功能（1）必须实现以下审计功能：（2）审计权限。仅授权给运维部、风控部等相关部门。六、组织与职责（一）组织架构1.职责划分（1）运维部：负责消息队列系统监控、告警处理、参数配置（2）技术部：负责消息消费者开发、异常处理逻辑实现（3）产品部：负责业务流程梳理、补偿方案审核（4）风控部：负责异常数据分析、风险控制2.职责要求（1）运维部必须在告警发生5分钟内响应（2）技术部必须在工单生成15分钟内响应（3）产品部必须在问题定位后30分钟内确认补偿方案（4）风控部必须在异常发生2小时内完成风险评估（二）应急响应1.应急小组（1）成立消息队列应急小组，成员包括：（2）小组成员必须24小时开机，保持通讯畅通。2.应急预案（1）严重异常应急预案：（2）应急演练。每季度组织一次应急演练，考核指标包括：七、附则（一）文档管理（1）本规范由技术部负责解释与修订（2）修订周期。每年修订一次，重大变更需即时修订（3）发布要求。修订后的规范需在7个工作日内发布至公司知识库（二）培训要求（1）新员工入职必须接受消息队列异常处理培训（2）每年组织两次全员培训，考核合格后方可上岗（3）培训内容必须包含《消息队列异常处理实操手册》（三）