研发测试验证实施细则

研发测试验证实施细则第一章总则1.1目的本细则用于规范公司级“研发-测试-验证”闭环（以下简称RTV闭环）的落地动作，确保需求从代码提交到生产发布全过程可追踪、可度量、可回滚、可审计，最终实现“零重大缺陷”上线。1.2适用范围适用于研发中心全部产品线（含嵌入式、移动端、服务端、SaaS平台）及配套质量保障部、运维部、安全合规部、客户成功部。1.3关键定义研发：指需求澄清、技术方案、编码、单元测试、代码评审、构建打包。测试：指功能测试、接口测试、性能测试、安全测试、兼容性测试、回归测试。验证：指灰度发布、A/B实验、用户验收、业务指标回检、回滚决策。1.4合规基线必须同时满足《网络安全法》第三章第21条、《个人信息保护法》第38条、ISO27001:2022A.14、GB/T25000.51-2016系统与软件质量要求。第二章组织与职责2.1RTV委员会主任：CTO；副主任：质量VP；常设秘书：QA总监。每月最后一个工作日召开评审会，对“重大缺陷逃逸”进行根因分析并输出CAPA（纠正预防措施）。2.2角色矩阵PO：需求优先级最终裁决，验收标准签字。ScrumMaster：迭代节奏控制，阻塞问题升级。DevOwner：技术方案、单元测试覆盖率、代码合并权限。SDET：测试方案、自动化脚本、缺陷定级。SRE：灰度策略、监控阈值、回滚执行。安全工程师：威胁建模、渗透测试、漏洞定级。合规专员：个人信息脱敏、跨境数据审批、日志留存周期。2.3责任追溯缺陷逃逸到生产后，按“五问法”回溯到具体环节，若因测试用例缺失导致，则SDET与DevOwner各承担50%责任；若因监控阈值未报警，则SRE承担主责。第三章研发阶段实施细则3.1需求澄清输入：PRD、UI原型、合规评审表。输出：Story卡片、验收标准（Given-When-Then）、威胁建模报告。时间盒：2个工作日。3.2技术方案模板强制使用《技术方案说明书》固定章节：背景、目标、总体架构、接口变更、灰度策略、回滚方案、性能预算、安全加固、兼容性分析、风险列表。评审：3级评审制。L1同组内评审；L2跨组架构师评审；L3若涉及PII或支付，必须安全工程师盖章。3.3编码规范语言层：Java采用阿里规约2023版；C++采用GoogleC++Style；Python采用Black格式化。静态扫描：SonarQube质量阈：阻断级问题=0，严重<0.5%，覆盖率>60%。提交粒度：单次提交不超过400行，commitmessage必须关联Jira编号。3.4单元测试要求：新增代码必须同步写单元测试，TDD模式优先。覆盖率：核心业务逻辑≥90%，非核心≥70%。Mock策略：外部依赖必须Mock，数据库使用H2，消息队列使用EmbeddedKafka。3.5代码评审平台：GitLabMR。评审人数：至少2人，其中1人为模块Owner。评审checklist含：1)是否包含幂等键；2)是否处理空指针；3)是否加分布式锁；4)是否打印敏感日志；5)是否更新Swagger。MR合并前必须通过CI门禁：编译、单测、Sonar、依赖漏洞扫描（Snyk）、License扫描（FOSSA）。第四章测试阶段实施细则4.1测试策略分层L0构建验证：编译+单测+静态扫描，耗时≤5min。L1接口自动化：覆盖全部P0接口，耗时≤15min。L2功能测试：覆盖全部Story验收标准，允许人工+自动化。L3性能测试：基准并发=峰值QPS1.5，持续30min，99th延迟<500ms，CPU<70%，内存无泄漏。L3性能测试：基准并发=峰值QPS1.5，持续30min，99th延迟<500ms，CPU<70%，内存无泄漏。L4安全测试：OWASPTop10+业务逻辑漏洞+越权遍历。L5兼容性测试：移动端Top30机型，Web端Chrome/Edge/Firefox/Safari最近2版本。4.2测试环境命名规范：sit-{产品线}-{日期}，uat-{产品线}-{日期}。数据源：SIT使用脱敏后5%生产数据；UAT使用脱敏后20%生产数据；脱敏算法需通过安全部评审。配置隔离：使用K8snamespace+ConfigMap，禁止硬编码IP。4.3自动化框架接口：基于pytest+requests+Allure，统一封装签名、加解密、重试、数据清理。UI：基于Playwright，PageObject模式，失败自动截图+录屏。性能：Jenkins+Taurus+Grafana，指标实时落库InfluxDB，报告自动生成PDF。4.4缺陷管理生命周期：新建→已确认→已修复→已验证→已关闭→已回归。严重等级：P0阻塞、P1严重、P2一般、P3轻微。SLA：P0缺陷2h内响应，24h内修复；P1缺陷1个工作日内修复。4.5回归策略代码diff驱动：仅对变更函数及其上下游调用链做回归，使用Jaeger调用链数据+自研影响度算法，平均节省42%执行时间。全量回归：版本封板前1天执行，全部用例必须通过。第五章验证阶段实施细则5.1灰度发布灰度比例：5%→15%→50%→100%，每阶段最短6h，最长48h。指标：错误率<0.1%，P99延迟<基线120%，订单转化率下降<1%，无P0缺陷。监控：Prometheus+Grafana+Alertmanager，告警通道飞书+短信+电话。5.2A/B实验分流：使用自研分流SDK，基于UUID末两位哈希，支持按用户、按订单、按设备维度。样本量：使用斯坦福样本计算器，显著性α=0.05，检验效能1-β=0.8，最小检测提升2%。5.3用户验收客户成功部提前3个工作日邀约标杆客户≥5家，使用标准化UAT脚本，输出签字报告。5.4业务指标回检核心指标：日活、留存、付费率、客诉率。对比窗口：灰度前7天与灰度后7天，使用Welch’st-test，p值>0.05视为无显著差异。5.5回滚决策触发条件：1)错误率>1%；2)P0缺陷>1个；3)客诉量>日常3倍；4)监管通报。回滚时间：5min内完成配置回滚，30min内完成代码回滚。回滚脚本：使用ArgoCD一键回滚到上一Gitcommit，并同步清理缓存、重启Pod。第六章度量与考核6.1北极星指标缺陷逃逸率=（生产P0+P1缺陷数）/版本需求数，目标<0.5%。测试自动化率=自动化用例数/总用例数，目标≥80%。灰度回滚率=回滚版本数/总发布版本数，目标<2%。6.2考核权重研发中心KPI：缺陷逃逸率占40%，交付准时率占30%，自动化率占20%，创新提案占10%。测试中心KPI：缺陷检出率占35%，自动化率占25%，测试用例评审通过率占20%，性能提升占20%。6.3奖惩措施达成北极星指标：团队发放1个月Base奖金。未达成：缺陷逃逸率每超标0.1%，扣减绩效5%；连续两次超标，启动组织调整。第七章工具链与基础设施7.1统一门户基于Backstage二次开发，单点登录集成GitLab、Jenkins、Sonar、Jira、Grafana，支持一键创建项目脚手架。7.2CI/CDJenkins多分支流水线，使用Kubernetes动态Slave，缓存依赖到NFS，平均构建时长3min42s。7.3质量门禁使用自研QualityGateService，统一API对接Sonar、Snyk、FOSSA、Trivy，支持自定义规则，MR阶段自动评论。7.4数据脱敏自研脱敏引擎Shimmer，支持正则、UDF、FPE、K-匿名，脱敏后数据不可逆，性能损耗<7%。7.5监控告警日志：Loki+Promtail，日志保留30天，索引保留7天。追踪：Jaeger采集率1%，存储使用Elasticsearch，保留15天。告警：多级路由，工作日飞书群，夜间及周末电话+短信。第八章安全与合规8.1安全测试准入所有版本必须通过SAST、DAST、依赖漏洞、容器镜像扫描，高危漏洞必须修复后方可进入灰度。8.2个人信息保护最小够用原则：后台查询默认脱敏，导出功能必须二次审批。跨境传输：使用标准合同+数据出境评估报告，通过省级网信办备案。8.3日志审计保留期限：交易类日志≥5年，行为类日志≥3年，日志防篡改使用Flink+Iceberg+MERKLETREE。8.4密钥管理使用云KMS，禁止本地落盘；加密算法：RSA-2048、AES-256-GCM；密钥轮换周期90天。第九章持续改进机制9.1缺陷复盘模板：背景→影响→根因→解决方案→横向排查→Action责任人→完成时间。复盘会议：P0缺陷24h内召开，P1缺陷3个工作日内召开。9.2测试用例库优化每季度基于生产缺陷反推用例缺失，使用NLP相似度去重，平均精简18%冗余。9.3性能基线调整大促前1个月重新压测，更新QPS基线；若接口RT环比上月提升>10%，则触发架构评审。9.4红蓝对抗每半年组织一次红队攻击，蓝队防守，攻击范围包括Web、API、内网、社工，输出报告并公开排名。第十章常见故障与排错指南10.1构建失败现象：Jenkins报“npmERR!404”。排查：1)检查package-lock.json是否提交；2)确认私有Nexus是否宕机；3)清除node_modules缓存重新安装。10.2灰度指标异常现象：错误率突增到2%。排查：1)查看Grafana错误码分布；2)对比灰度与baseline的Pod日志差异；3)回滚后使用Jaeger定位到某Dubbo接口超时，发现线程池满，调整maxThreads=500解决。10.3脱敏后数据不一致现象：UAT订单金额总和与生产对不上。排查：1)检查脱敏脚本是否把金额字段做了FPE；2)发现FPE对负数支持不完整，改用格式保持加密+符号位保留方案，diff工具校验通过。第十一章附表与模板附表A：技术方案说明书模板（含12个必填章节）附表B：Story验收标准样例（Given-When-Then20条）附表C：缺陷