腾讯质量监控中台实战

1、腾讯质量监控中台实战QAPM构建中台的背景与原因协同协作与中台建设相互促进中台建设的度量指标1.QAPM构建中台的背景与原因中台能力的类型业务标准化程度高数据集成度高数据中台/业务中台单体系统技术中台业务中台/SaaS业务视角 能力复用 平台演进效率、质量、成本测试做中台的优势测试开发负责多业务，多产品业务数据全面，具有真实、测试、模拟数据从业务出发推动技术负责单业务，单产品 具有线上真实数据 从技术出发诠释业务为什么测试需要构建中台业务需求多样敏捷模式对效率 的要求高业务规模大且复杂测试阶段左移右移开发阶段运维阶段统筹汇聚提效大前端基础监控DDD构建质量中台服务模型大前端用户行 为监控Dev

2、Ops平台自动化测试平台混沌工程平台全链路监控平台后端基础监控大前端性能监大前端渠道监 控控tracingperformancelogmetric统一登入/鉴权统一告警基础服务统一API网关统一AI大数据服务统一web宿主流程管理持续交付研发流程外线上压测故障演练 故障预测全链路压测自动化测试套故障测试套性能基准测试套单元测试套 服务接口测试套压力测试套 功能测试套AI基准测试套研发流程内DevOps质量流水线静态检查CR/MRCI/CD测试套执行质量中台代码管理镜像部署监控告警发布平台问题管理模块协同-中间件athena伦琴emonitorSentryQAPMSentryemonitor伦琴

3、athena后台-大数据打通关联SDK-接口关联整合2.协同协作与中台建设相互促进前台业务QAPM中台结构服务层数据层数据集市时序域问题域行为域产品域公共层查询数据服务套件导出编排数据推送服务数据运营服务站点看板大屏日报告警数据分析服务翻译解析评估预测小程序数据管理套件全链路跟踪基础平台CVM数据库服务集群管理消息队列产品业务WEB服务问题管理平台CI/发布流程三层用户划分一级二级三级投资方种子用户，专有服务，积极响应众筹方自助+VIP模式，服务团队共享，协同共建大多用户自助式服务，平台的白屏化数据采集数据分析数据存储数据展示中台建设中的协同协作方式质量中台数据协同分层协同生态协同数据研发用户

4、协同方式分层易难源码协同接口协同API服务协同插件协同配置协同报表协同解决方案协同信息协同协作协同方式与中台建设相互促进协同协作中台服务丰富、促进便捷、提速数据采集数据协同-接口协同快速提供数据接口定义APM反射回调X5内核数据协同-解决方案共享码客QAPM圈子数据协同-从性能监控组件到性能中间件，提供快速接入能力应用服务APM中间件卡顿监控插件内存分配监 控插件IO监控插件性能基础组件GC采集插件Socket层监控HTTP层监控数据捕获APM后台WEB/JSPerformancejs errorWEB/JS用户行为应用层WEB层浏览器内核X5内核系统内核伦琴系统grafanaWEB编译设置u

5、uid编译注入APM SDK运行时hookJSBridge用户查看SDK协同效果-完整的大前端监控解决方案（双端支持）中台进行质量数据抽象和采集操作/事件操作/事件状态（场景）状态（资源）环境信息机型用户id系统版本网络地域产品cpu流量IO电量内存响应时长场景切换布局变化崩溃泄漏状态（问题）卡顿ANR中台提供数据下钻分析与维度扩展能力能力点击（100%）A页面加载（100%）下载文件（80%）崩溃（60%）指标主操作流程个例 聚合数据崩溃崩溃用户触发时应用系统用户类型堆栈id间点机型版本版本反馈特征堆栈崩溃类型机型app版本系统版本掉帧率崩溃率触顶率12:0013:0014:0015:001

6、6:0017:00数据分析 数据存储聚合数据原始数据原始数据原始数 据数据信息的提炼插件协同原生模块实现初级协同，补充分析规则大数据 计算 & 存储数据呈现MessageQueueSDK分析云Sentry伦琴插件协同 扩展分析规则效果展示中台提供基于serverless的插件化工具MessageQueueSDK分析云 ServerlessI/ODB内存电量数据呈现大数据计算& 数据存 储Shark并发控制数据存储数据呈现插件管理插件模版插件试运行分析云 ServerlessJava 云函数Golang 云函数PHP 云函数Python 云函数例如： 内存分析shark中台提供基于serverl

7、ess的插件化工具serverless的插件化工具效果中台提供数据服务层mysqltidbpostgreselasticsearch数据源数据服务业务场景SQL数据报表业务系统平台产品查询服务导出服务 服务编排 开放API数据展示看板服务中台数据运营服务站点服务权限管理账号管理移动服务流控 配置基础 配置访问 配置问题个例 分析通用指标 统计数据服务层数据大屏小程序手机web指标看版分析看版中台数据运营服务 实现方案选择Grafana前端决定数据内容 安全性差无产品隔离Rest API后端决定数据内容 安全性高有产品隔离RestSQL灵活度高，前端决定数据内容 安全性高，使用QAPM鉴权体系 有产品隔离，数据保密跨数据库平台中台数据运营服务 Restful 风格的 SQL 查询接口报表协同-跨平台 API服务 & BI报表中台数据推送数据服务层触发器定时规则文本图片链接智能规则自定义规则数 据集告警信息编辑离线数据标题/段落实时数据触发信息卡消息推送组件接定定企业微信日报收人微信制人制组短信预警邮件反馈协作协同与中台建设带来的收益接入成本降低响应定制需求工具能力升级3.中台建设的度量指标数据应用阶段数据生成阶段数据服务阶段全链路数据监控业务上报数据表接口服务看板日报产品成本转化率调用量pvuv中台度量指标监控中台度量指标阿里中台考核指标：40% 稳定性 +25% 业务创