证券交易所设备故障应急演练脚本

证券交易所设备故障应急演练脚本第一章演练总体设计1.1背景与目标证券交易所核心交易系统对连续性的要求达到99.999%，任何一次设备级故障都可能引发市场波动、监管质询与声誉损失。本次演练以“单套撮合主机突发宕机，伴随行情分发链路异常”为蓝本，验证技术、业务、公关三线在10分钟内的协同恢复能力，重点考核：1.故障发现与定级2.备用系统切换与数据追平3.市场公告与会员告知4.监管报备与舆情管控5.复盘改进闭环1.2演练范围与原则维度包含不包含系统撮合引擎、行情网关、订单回报、监察系统、官网/微博发布端银行端资金交收、中证金融结算人员技术运营部、交易监管部、会员服务部、品牌公关部、合规法务部外部券商柜台、普通投资者原则真实操作、真实流量、真实公告，但用“演练代码”标识，确保生产数据零污染不触发熔断，不写入真实成交回报1.3角色与职责角色姓名（演练代称）职责关键词总指挥王XX（代号A0）决策是否启停演练、对外统一口径技术指挥李XX（T0）故障定位、切换指令、回退指令交易指挥陈XX（B0）评估市场影响、决定是否暂停交易监察指挥赵XX（M0）异常交易监控、监管热线答复公关指挥孙XX（P0）公告拟稿、媒体应答、微博更新合规代表周XX（L0）向监管电话+书面同步、留痕检查第二章故障场景与注入脚本2.1场景叙事09:15:00，撮合主机PRIMARY（机柜A01）因主板电容故障突然重启，心跳丢失；同时行情分发交换机SW-CORE-02光模块异常，导致30%以上券商行情断流。冗余主机STANDBY（机柜B01）已自动升主，但存在3秒数据缺口，需人工追平。2.2故障注入方式序号注入点工具命令示例风险防控1PRIMARY主机IPMI强制断电`ipmitool-Ilanplus-H1-Uadmin-Pxxxxchassispoweroff`仅对贴有“DR”标签的演练机操作2SW-CORE-02流量整形仪下发100%丢包策略，持续120秒提前锁定端口，防止串扰生产交换机3数据缺口自定义脚本在STANDBY回放前删除最后3秒成交记录脚本内置校验和，确保可回滚2.3监控告警预期指标触发阈值预期时间推送通道主机心跳丢失2个周期（6秒）09:15:06钉钉“技术应急”群+声光报警行情断流线路质量<50%09:15:10行情监控大屏红色闪烁成交缺口序号不连续09:15:12监察系统弹窗第三章时间轴与动作分解（以下时间以09:15:00故障发生为T0，采用相对秒）时间角色动作关键指令/文案质量门T0+15s值班员发现告警，口头报告T0“PRIMARY心跳丢失，STANDBY已升主，存在缺口”声音洪亮，记录同步T0+45sT0启应急bridge会议，共享屏幕`sshstandby"showclusterstatus"`所有成员30秒内入会T0+90sB0评估市场，决定“不停市”口述：缺口<5秒，可接受需M0、L0无异议T0+120sT0启动数据追平脚本`./replay_gap.sh--source=primary_crash--target=standby--seconds=3`返回码=0T0+150sP0拟公告（首条微博）“【演练】9:15交易系统主备切换，行情正常，市场连续，勿恐慌”带#演练#标签T0+180sL0电话报告监管员“XX交易所，演练代码E20240618，主备切换，无暂停交易”同步录音T0+300sT0验证行情链路`telnet行情网关8400`连续10次0丢包记录于bridgeT0+600sA0宣布演练结束“故障恢复，市场正常，进入复盘阶段”无新告警第四章应急指令集（可直接复制执行）4.1主机级```bash检查升主状态crm_mon-1|grep-E"PRIMARY|STANDBY"强制STANDBY接管（若自动升主失败）pcsresourcemovetrading-groupstandby--lifetime=30m回切前验证数据一致./checksum_trading.sh--before-switch```4.2网络级```bash查看交换机光模块状态showinterfacestransceiverdetails|includeRxPower临时绕行链路configureterminalinterfaceTenGigabitEthernet2/0/2switchportbackupinterfaceTenGigabitEthernet2/0/3```4.3应用级```bash重发行情全量快照curl-XPOSThttp://行情网关:8080/resend--data'{"market":"ALL","seq":0}'重发订单回报./republish_ouch.sh--session=券商A--range=12345678-12345999```第五章业务验证矩阵验证项工具成功标准责任人最晚完成100笔限价单成交模拟撮合终端无掉单，成交序号连续券商接口人T+5min行情快照间隔抓包工具<=500ms行情组T+3min监察预警触发异常波动模板3秒内弹窗监察组T+2min官网公告展示浏览器打开<2秒，无格式错位网站运维T+4min第六章沟通与舆情脚本6.1对内口径1.技术线：PRIMARY硬件故障，STANDBY秒级接管，数据缺口3秒已追平2.交易线：市场未暂停，成交有效，会员无需撤单3.监察线：异常交易指标正常，无“乌龙指”4.合规线：已向监管报备，无临时停牌情形6.2对外公告模板（微博/官网）```演练公告#今日9:15，本所主交易系统出现硬件故障，备用系统自动接管，市场成交连续，行情正常。经核查，故障未对投资者交易造成影响。我们已完成数据校验，系统稳定运行。感谢广大投资者的理解。——XX证券交易所（演练代码E20240618）```6.3媒体问答Q&A提问标准回答是否人为操作失误？经初步排查，系硬件元件失效，非人为投资者订单会作废吗？所有成交合法有效，清算正常为何没暂停交易？因备用系统已接管，缺口<5秒，符合不停牌标准后续如何防范？将更换同批次电容，并缩短巡检周期至两周第七章风险回退与污染清理7.1数据一致性回退若追平脚本执行后校验失败（checksum≠0），立即：1.停止撮合写盘2.从冷备存储拉出T0前镜像3.通知会员“取消T0后成交”，上报监管“演练失败，需回滚”7.2网络流量清洗在SW-CORE-02取消丢包策略后，用流量仪双向抓包5分钟，确认无异常RST帧；若发现广播风暴，启用storm-controllevel1%。7.3舆情撤回若微博已误发无“演练”标签，30秒内：1.后台删除原微博2.重新发布带标签版本3.截图留痕发送L0归档第八章复盘与改进清单8.1复盘会议流程阶段时长输出事实还原20min时间轴确认，无争议指标评估15minRTO=90s，RPO=3s，舆情首条=150s缺陷定位30min1.监控粒度不足2.行情绕行脚本缺失改进行动25min见8.2表格领导总结10min宣布考核得分，激励处罚8.2改进跟踪表编号缺陷描述根因改进措施责任人完成截止状态1主机电容故障未预警巡检周期90天过长缩至14天，增加SMART日志张XX2024-07-15开放2行情断流30%才发现监控点只到交换机端口下沉到券商线路，增加BFD李XX2024-07-30开放3微博漏标“演练”发布流程缺二次确认引入双人复核+关键词拦截孙XX2024-06-25关闭8.3考核打分（满分100）维度权重得分说明故障发现2018告警15秒，但人工确认稍慢切换速度2523RTO90s，目标≤120s数据完整2017缺口3s，可优化至1s舆情管控1515无负面扩散复盘质量2019改进项可衡量总分10092优秀，通报表扬+奖金池5%第九章附录9.1演练通讯录（节选）角色手机钉钉备用邮箱A013900001111@王XXa0@T013900