信息系统变更、发布、配置管理记录

信息系统变更、发布、配置管理记录第一章总则与适用范围1.1目的本记录用于固化××银行信用卡中心（以下简称“卡中心”）所有信息系统的变更、发布、配置管理活动，确保任何一次线上调整均可追溯、可回滚、可审计，并满足银保监会《商业银行信息科技风险管理指引》第4.3.2条、ISO200001:2018、ISO27001:2022以及卡中心内部《生产系统连续性管理办法》的合规要求。1.2适用范围覆盖卡中心全部生产、准生产、灾备环境，包括但不限于核心授权系统、积分系统、手机银行信用卡模块、大数据风控平台、Kubernetes容器集群、F5负载均衡、EMC存储、OracleRAC、MySQL、Redis、Kafka、Zookeeper、Prometheus、Grafana、ArgoCD、GitLab、Jenkins、Ansible、Terraform、堡垒机、WAF、API网关等。1.3术语定义变更：对线上系统任何可增加、修改、删除逻辑或资源的操作，包括补丁、参数、SQL、配置、路由、白名单、证书、DNS、容量、拓扑、基线、内核、固件。发布：将经过验证的软件包、镜像、脚本、SQL、配置、文档一次性投放到指定环境并对外提供服务的过程。配置：承载业务运行所依赖的全部静态或动态变量，含中间件、数据库、OS、网络、安全、存储、云平台、容器、业务开关、灰度策略、限流阈值、黑白名单、密钥、证书、License。紧急变更：因监管要求、安全漏洞、重大故障、舆情事件，必须在2小时内完成上线，且无法提前3个工作日走标准评审的变更。1.4豁免条款办公OA、测试环境、非客户敏感内部工具、已下线系统，仅做备案，不走本记录全生命周期；但须满足最小权限与日志留存180天要求。第二章组织架构与职责2.1变更管理委员会（CAB）主任：卡中心分管科技副行长；常设成员：科技管理部、风险管理部、合规部、信用卡业务部、数据中心、安全部、运维部、测试部、SRE、DevOps、审计部；按需邀请外部监管或第三方评估机构。职责：对“重大变更”（定义见3.2）进行终审、风险定级、回滚决策、发布窗口审批。2.2变更经理（ChangeManager）由科技管理部指派专职人员担任，负责受理变更请求、组织CAB评审、监控进度、归档记录、出具月度度量报告。2.3发布经理（ReleaseManager）由DevOps团队负责人担任，负责发布计划、版本基线、分支策略、制品仓库、灰度策略、回滚方案、发布总结。2.4配置经理（ConfigurationManager）由SRE团队负责人担任，负责CMDB数据准确性、配置基线、漂移检测、差异审计、自动修复、配置快照。2.5变更执行人（Implementer）来自研发、运维、安全、网络、数据库、存储、云平台等一线技术团队，须持有当年内部《生产系统操作资格证》，并通过年度“变更沙盘”演练考核。2.6变更复核人（Reviewer）独立于执行人的第二人，对变更脚本、SQL、配置、回滚方案进行双人复核，并在变更系统留痕。2.7审计与合规岗对变更记录进行100%抽样审计，对高风险变更进行全程旁站，发现违规立即叫停并上报监管。第三章变更分级与评审策略3.1变更分级矩阵|维度|权重|评分标准||客户影响范围|30%|0=无客户感知；1≤10%客户；2=10%50%；3≥50%||交易金额敏感度|20%|0=不涉及资金；1≤1万元；2=1100万；3≥100万||可用性下降时长|20%|0=0分钟；1≤5分钟；2=530分钟；3≥30分钟||回滚难度|15%|0=一键回滚；1=5分钟内；2=530分钟；3≥30分钟||监管合规|15%|0=无要求；1=内部制度；2=行业规范；3=监管强制|总分03为“低危”；46为“中危”；79为“高危”；10以上为“重大”。3.2评审时效低危：自动化审核，5分钟；中危：团队级评审，1个工作日；高危：部门级评审，2个工作日；重大：CAB评审，3个工作日；紧急变更：事后24小时内补评审。3.3一票否决项涉及客户资金计算逻辑、监管报送接口、加密算法、个人敏感信息字段、跨境数据传输、根证书替换、双录系统、监管沙箱接口，无论得分高低，一律按“重大”走CAB。第四章变更管理全流程4.1需求提出需求方在Jira创建RFC（RequestforChange），字段必填：系统名称、环境、变更类型、业务背景、技术方案、影响范围、回滚方案、测试报告、上线窗口、应急联系人。模板由科技管理部统一下发，禁止空字段提交。4.2技术评估SRE在1个工作日内完成容量、监控、日志、备份、容灾、证书、密钥、安全基线评估；安全部完成漏洞扫描、代码审计、渗透测试；DBA完成SQL审核、执行计划、锁等待、主从延迟评估；网络组完成防火墙、DNS、CDN、WAF、负载均衡策略评估；所有评估报告以Confluence链接形式嵌入RFC。4.3风险定级ChangeManager依据3.1矩阵打分，并给出“建议批准/驳回/延后”结论。4.4评审会议CAB每周二、四上午10:00召开，节假日不顺延。会议前1天18:00截止收件。会议采用“过堂式”：变更执行人5分钟陈述，CAB成员10分钟质询，当场投票。出席率≥2/3且赞成票≥50%视为通过；出现平票由主任裁决。4.5窗口排期生产环境固定窗口：周三20:0024:00；周六00:0006:00；双11、618、春节红包、月末账单日、监管报送日封板。紧急变更窗口：7×24小时，但须由值班行长、科技管理部总经理、安全部总经理三人短信+企业微信同时批准。4.6变更实施执行人提前30分钟登录堡垒机，通过AnsibleTower调用预制Playbook；所有命令走sudo审计；数据库使用Yearning平台提交SQL，自动限流500行/次；容器使用ArgoCD同步GitTag；网络变更使用TerraformEnterprise计划+应用；全程录屏1080P，保存3年。4.7双人复核每一步操作必须由复核人在旁站确认，并在“变更控制台”点击“确认”按钮，系统记录双人指纹+人脸识别。4.8验证与监控变更完成后执行人立即跑Smoke用例30条，SRE同步查看Prometheus告警、Grafana仪表盘、ELK错误日志、APM黄金指标（延迟、流量、错误、饱和度）。任何指标超出基线±5%立即触发回滚。4.9回滚一键回滚按钮内置在ArgoCD/AnsibleTower，回滚窗口≤5分钟；数据库使用闪回或延迟从库；网络使用Terraform快照；回滚后重新跑Smoke用例，业务方、测试方、安全方三方签字确认。4.10关闭与归档变更关闭标准：监控24小时无异常、业务方验收通过、配置项更新至CMDB、RFC状态置为“Done”。科技管理部在次月5个工作日内出具《变更质量月报》，含成功率、回滚率、故障关联率、合规缺陷。第五章发布管理全流程5.1版本命名语义化版本：主版本.次版本.修订构建号环境后缀，例如3.2.1420240618prod；容器镜像使用sha256摘要作为唯一标识；数据库脚本使用GitSHA前8位。5.2分支策略主干分支：main，仅用于生产；开发分支：feature/；修复分支：hotfix/；发布分支：release/；所有合并必须通过MergeRequest+CodeOwner+CI流水线；禁止forcepush。5.3制品管理Java使用Maven私有库（Nexus），Node使用Verdaccio，Python使用JFrogArtifactory，容器镜像使用Harbor，全部开启漏洞扫描与签名；禁止手动上传SNAPSHOT到生产库。5.4灰度策略默认3段灰度：金丝雀5%→全灰30%→全量100%；每段持续30分钟，指标异常立即中断；灰度策略通过ArgoCDRollout自动分割流量，基于Header、Cookie、用户ID尾号、地区、终端类型等多维规则。5.5发布评审ReleaseManager在发布前2天召集“发布评审会”，参会人含研发、测试、SRE、安全、业务、客服、审计；评审材料：发布计划、回滚方案、配置差异、SQL清单、API变更、用户手册、客服FAQ、监管报备。5.6发布执行使用Jenkins+ArgoCDGitOps：1)Jenkins编译→单元测试→Sonar质量阈≥85%→镜像构建→Trivy扫描HIGH及以上漏洞为0→镜像签名→推送Harbor；2)ArgoCD检测到GitTag更新，自动对比当前与目标状态，生成diff；3)SRE点击“Sync”按钮，系统调用K8sAPI完成滚动发布；4)每批滚动等待PodReady≥95%且502/499错误率<0.1%才继续下一批；5)发布完成自动在CMDB写入版本号、镜像摘要、Pod列表、ConfigMap快照。5.7发布验证业务方在30分钟内完成50条黄金交易验证；测试部跑回归用例500条；安全部跑API安全测试100条；客服部拨测20通语音下单；全部通过后在Jira创建“发布完成”子任务。5.8发布回退若灰度阶段异常，ReleaseManager点击“Rollback”按钮，ArgoCD自动回滚至上一Git版本；数据库使用FlywayBaseline回滚；缓存使用Redis快照恢复；CDN缓存立即清除；回退后15分钟内出具《发布失败报告》给CAB。5.9发布总结发布后3个工作日内，ReleaseManager组织“Postmortem”会议，输出5W2H报告（What、Why、When、Where、Who、How、Howmuch），并录入Confluence，关联至RFC与Jira，经验纳入“发布知识库”。第六章配置管理全流程6.1配置识别所有配置项（CI）统一编码：APPXXXENVV001；属性必填：名称、类别、版本、责任人、上线时间、依赖、关联关系、基线哈希；容器环境以ConfigMap/Secret为最小粒度；传统主机以文件路径+MD5为最小粒度。6.2CMDB建模采用4层模型：业务系统→应用集群→逻辑模块→物理资源；支持多租户、多云、多活；每日凌晨03:00自动发现：K8s资源、VMware虚拟机、OpenStack实例、阿里云ECS、RDS、SLB、OSS、DNS、CDN、证书；发现差异>5%触发告警。6.3基线管理基线分为“功能基线”“分配基线”“产品基线”；任何变更必须先生成基线快照，再实施变更；基线快照包括：Git仓库Tag、容器镜像、SQL文件、配置文件Hash、网络策略、DNS记录、证书、Kernel参数、sysctl、防火墙规则；快照保存在MinIO对象存储，保留5年。6.4配置漂移检测使用Ansible+OVAL+SaltStack每6小时扫描一次；漂移阈值：文件MD5不一致、K8s镜像不是指定Tag、内核参数被修改、证书剩余有效期<30天；检测到漂移自动创建Jira工单，指派责任人24小时内修复，否则强制回滚。6.5自动修复对标准配置项开启“自愈合”：AnsiblePlaybook自动推送标准配置；K8s使用OPAGatekeeper策略自动拒绝非合规资源；数据库使用Yearning自动回滚非法改表；网络使用Terraform自动应用标准安全组；所有修复记录写入ELK，供审计查询。6.6配置审计季度抽查20%系统，年度全覆盖；审计内容：CMDB与实际差异、基线完整性、变更关联、权限最小化、密钥轮换、证书有效期、License合规；审计报告抄送风险管理部、合规部、审计部；发现重大缺陷列入“年度重大风险台账”。第七章工具链与权限模型7.1工具清单Jira：需求与RFC跟踪；Confluence：文档与会议纪要；GitLab：源码与MR；Jenkins：CI/CD；ArgoCD：GitOps发布；AnsibleTower：自动化运维；TerraformEnterprise：基础设施即代码；Harbor：镜像仓库；Yearning：SQL审核；Prometheus+Grafana：监控；ELK：日志；MinIO：对象存储；CMDB：自研“信用卡配置中心”；堡垒机：齐治；代码扫描：SonarQube+Snyk；漏洞扫描：Trivy+Nessus；OVAL：配置合规；OPA：策略引擎；企业微信：移动端审批；数字签名：国密SM2。7.2权限模型采用RBAC+ABAC组合：角色分7级（访客/开发/测试/运维/安全/审计/Admin），每个角色绑定项目+环境+命名空间+命令白名单；ABAC属性含：时间段、IP段、设备指纹、双人复核、风险等级；高危命令（rmrf、dropdatabase、truncate、iptablesF、kubectldeletens）必须双人+指纹+短信动态码；所有权限走4A平台统一审批，季度复检，离职即冻号。第八章应急预案与演练8.1场景分类A类：数据库误删；B类：配置推送全错；C类：容器镜像回滚失败；D类：网络策略误隔离；E类：证书过期；F类：密钥泄露；G类：监管紧急补丁。8.2预案模板每类预案含：现象、影响、定级、应急小组、指挥链、回滚步骤、数据修复、通知流程、监管报备、媒体话术、复盘报告；预案保存在Confluence，每年6月、12月更新。8.3演练要求生产真实演练每季度1次，全年4次覆盖AG类；演练窗口：周六02:0005:00；演练前3天公告全行；演练后24小时内出具报告，含RTO、RPO、演练得分、改进项；演练失败必须2周内重练直至通过。8.4应急变更通道企业微信内置“红色按钮”，由值班行长、科技管理部总经理、安全部总经理三人同时按下后，系统自动创建EmergencyRFC，跳过后续评审，直接进入“紧急实施”状态，事后24小时内补材料、补评审、补测试。第九章度量、考核与持续改进9.1核心指标变更成功率≥99.5%；回滚率≤0.5%；紧急变更占比≤2%；配置漂移率≤1%；CMDB准确率≥99%；发布前置时长（从MR到投产）≤5天；高危以上变更评审覆盖率100%；合规缺陷关闭率100%。9.2考核办法指标纳入技术团队年度KPI，权重30%；未达标团队扣减绩效奖金10%，负责人取消晋升资格；连续两次演练不达标，启动“黄牌”问责；出现一次未经审批变更，直接启动“红牌”，移交审计与纪委。9.3持续改进每月召开“变更质量复盘会”，使用5Why、鱼骨图、PDCA；对重复失败项建立“专项改进项目”，指定Champion与Sponsor，使用OKR跟踪；每半年邀请外部评估机构做“变更成熟度”评估，目标等级：CMMI4.0。第十章记录模板与填写示范10.1RFC模板（节选）系统名称：信用卡积分兑换商城；变更编号：RFC2024061582；变更类型：应用升级；风险等级：高危；变更窗口：2024061920:0024:00；变更内容：升级积分抵扣规则引擎，支持0.01元倍数抵扣；回滚方案：GitTagv3.2.13，ArgoCD一键回滚；SQL：无；配置变更：新增