某公司业务级运维利器

1、吴静涛 听云技术副总裁BS 转云端带来新的挑战CDN虚拟计算虚拟存储虚拟网络DBA log研发网络运维外网监控客服WebAppDB终端终端性能硬件老旧低配建议关闭无用应用，释放资源OS版本版本更新造成APP兼容问题监控全部用户状况，快速发现接入方式Wifi2G丢包，延迟，带宽监控图片等下载的吞吐量，提出建议APP屏幕布局渲染图片过大，布局不合理监控应用过程，提出建议进程调用进程接口调用产生慢交互监控调用，发现top慢交互代码效率延迟，产生慢交互监控函数，方法的代码执行，定位代码段闪退崩溃代码，兼容，崩溃轨迹回溯，记录用户操作和环境网络传输异常路由南北电信拆分，电信间结算发现问题，协调解决，或变

2、更CDN节点CDN节点设计节点不合理，性能问题CDN选型评估，运行评估延迟抖动丢包，延迟，带宽不够实时监控，在用户投诉前处理数据中心设备延迟设备层级太多数据中心整合，平台化硬件性能硬件老旧，低配设备架构升级，并发压力设计容量和突发压力业务上线前实际用户压测，应用架构第三方，EBSSOA，DB运维监控由网络，端口，到应用调用代码效率排队，产生慢应用过程实时监控，发现慢应用慢SQL，定位代码段传统运维和业务级运维革新的方式，业务级运维的方法 真实用户的体验数字化1. 最终用户体验视角展现2. 慢交互追踪解决卡顿3. 崩溃轨迹回溯解决闪退4. 行业对比（竞品分析） 全网监控业务流量传输1. 应用流程

3、和传输监测2. 首屏时间评估，CDN评估3. 在造成用户影响前报警4. 行业对比（竞品分析） 应用实时性能监控1. 生产环境的性能展现2. 代码级监控和慢应用追踪3. 应用性能的诊断，追踪和优化依据研发网络CDN评估业务运维主机CDN虚拟计算虚拟存储虚拟网络DBA log研发网络运维外网监控客服WebAppDB位置方式技术侵入式 竞品对标网络问题定位全样本 代码级定位后端服务监控客户端主动基于自动化测试的拨测-OO-被动浏览器嵌码O-O-App嵌码O-OOO-服务端被动旁路监听-OO-O应用探针O-OOO构建全网应用性能监控的方式客户端APMClient客户端APM监测方式主动式基于自动化测试

4、的性能拨测客户端APM监测方式被动式基于页面插码或App嵌码的性能监测 建立覆盖全面的监测网络：地域、运营商、接入方式 可调度的分布式自动化监测引擎：网络测试（ping, traceroute），浏览器测试，流媒体测试、手机浏览器测试等基于自动化测试的主动式性能拨测在页面中插入JavaScript代码以采集最终用户的性能体验Navigation Timing (/hg/webperf/raw-file/tip/specs/NavigationTiming/Overview.html)通过页面插码监测客户端浏览器应用性能移动应用的客户端性能采集手机浏览器自动拨

5、测页面插码应用内插码 + H5页面内插件 + jsBirdge Web App:Native App:Hybrid App:应用内插码网络访问性能采集方法调用性能采集Crash日志采集客户端APM方式的优缺点主动式采集方式优点 非侵入式，不影响性能 可做发布前、发布后监测 互联网压力测试 竞品对标，服务选型 精确定位网络问题主动式采集方式缺点 样本偏差 监测网络部署成本高被动式采集方式优点 全样本覆盖，准确性高 成本相对较低监测网络节点真实用户被动式采集方式缺点 无法提供竞品和对标数据 手工插码的开发工作量大 对性能的影响服务器端APMServer-Side受网络影响严重无法精确定位服务端的问

6、题仅部署客户端APM的局限与客户端APM互补更精确定位应用和服务的问题被动式的应用性能数据采集服务端的APM服务端APM实现方式旁路监听采集方式应用内探针采集方式服务端旁路监听APM部署定位Sniffer网络报文解析NPM通过SPAN, TAP旁路应用访问流量进行Sniffer各类TCP协议分析和性能采集（NPM）优点： 非侵入式，对生产影响最小缺点： 报文处理能力 多协议的适配 无法定位应用代码问题应用内探针APM技术部署位置：应用服务器采集数据库等各类服务的访问时间采集应用响应时间和代码执行时间在应用代码中埋点来实现性能监控BCI（ByteCode Instrumentation)技术优点

7、 代码级别的性能监控 可监控到应用相关的各类服务性能缺点 侵入式监控，可能对应用性能和稳定性产生轻微影响听云构建的“业务级运维平台”业务级运维革新的方式，业务级运维的方法 真实用户的体验数字化1. 最终用户体验视角展现2. 慢交互追踪解决卡顿3. 崩溃轨迹回溯解决闪退4. 行业对比（竞品分析） 全网监控业务流量传输1. 应用流程和传输监测2. 首屏时间评估，CDN评估3. 在造成用户影响前报警4. 行业对比（竞品分析） 应用实时性能监控1. 生产环境的性能展现2. 代码级监控和慢应用追踪3. 应用性能的诊断，追踪和优化依据研发网络CDN评估业务运维主机CDN虚拟计算虚拟存储虚拟网络DBA lo

8、g研发网络运维外网监控客服WebAppDB解决业务运维研发的问题CDN虚拟计算虚拟存储WebAppDB虚拟网络研发网络CDN评估业务运维主机业务研发运维开发团队关心的问题开发团队关心的问题视图加载 视图布局图像处理 数据存储JSON处理 网络访问运维团队关注的问题运维团队关注的问题2G、3G、WIFI接入不稳定自身机房链路不佳服务器运行不稳定CDN加速效果不理想当地运营商出现劫持业务关心的问题业务关心的问题活跃用户量交易量和交易笔数用户体验可量化行业指标对比卡顿闪退崩溃等严重问题起源于互联网的听云，采用极简部署，免学习风格的理念，将动辄几千万的传统APM，带给互联网应用。将互联网的敏捷迭代开发

9、，开发运营的理念，通过统一的听云平台，实时监控用户传输应用的性能，在用户投诉前发现，定位，协助解决应用性能危机。高度自动化的工具，降低客户自行研发带来的时间和稳定性成本，更加关注核心业务，持续提升用户体验，留住用户，保障业务。听云平台的构建标准制定标准制定行业对标行业对标听云App用户体验量化App行业参考数据听云Network首屏时间各行业参考首屏时间听云ServerApdex应用性能指数用户自定义听云App听云Network听云ServerCDN虚拟计算虚拟存储WebAppDB虚拟网络研发网络CDN评估业务运维主机互联网的数据传输互联网的数据传输首包时间首屏时间总下载时间CDN节点判断行业

10、竞品分析终端用户体验量化终端用户体验量化应用交互执行性能时间标准闪退崩溃率的标准错误率细化标准综合评分体系传输服务终端总下载时间Apdex Apdex 应用性能指数应用性能指数首屏时间1. 标准制定 用户体验和应用性能标准化2. 行业参考 标准化后的行业指标CDN虚拟计算虚拟存储WebAppDB虚拟网络研发网络CDN评估业务运维主机传输服务终端外部接口：响应时间应小于1.5秒。内部接口：响应时间应小于1.1秒。图片体积：平均小于50KB。主机错误率：小于1.07。App崩溃率：小于1 。旅行预订首屏时间：2.1秒可用性：99.8%网上支付首屏时间：2.3秒可用性：99.5%综合搜索首屏时间：1

11、.1秒可用性：99.7%门户网站首屏时间：2.3秒可用性：99.6%电商网站首屏时间：2.3秒可用性：99.7%政府网站首屏时间：1.7秒可用性：99.8%T值缺省500ms使用者可设置3. 客户定制 定制业务关键交易过程 CDN虚拟计算虚拟存储WebAppDB虚拟网络研发网络CDN评估业务运维主机传输服务终端客户端定制关键交易定制关键页面服务定制关键应用过程慢应用追踪定义听云平台的日常监控展现展现用户体验组合通过采集操作系统版本信息，了解当前APP最活跃的系统版本是哪些，同时展现使用性能数据，可以有针对性的进行系统优化，保障APP在各版本上的运行效率。展现用户体验系统版本信息听云Server

12、会根据应用模块的关联关系自动生成应用拓扑图，让使用者通过视图查看监控的应用模块（数据库、NoSQL、外部调用等）和应用模块之间的性能数据。应用模块性能缩略图展现应用性能应用拓扑图听云App发现，定位(代码级)和解决闪退崩溃问题新版本小范围上线后发现崩溃比例较高，排除问题后，再进行大范围分发，加快版本上线进度问题发现闪退崩溃问题发现闪退崩溃APP近一周崩溃率达到了387.76（行业标准值1），已严重影响用户体验。需要崩溃率与影响用户数统计闪退崩溃需要上下文信息需要格式化的详细调用堆栈崩溃调用堆栈支持反混淆还原真实堆栈代码，准确定位代码行数。闪退崩溃需要崩溃轨迹追踪 创新的追踪App崩溃过程，为应

13、用迭代升级提供代码级关键信息，快速发现和解决崩溃问题，提升客户体验，留住客户。听云Server 发现，定位(代码级)和解决PHP慢应用问题l 发现耗时的Web应用过程，并以图表关联响应时间和吞吐量。Web应用过程响应快慢排序Web应用过程对每个URL调用过程的性能进行分解分析，明确执行过程中性能消耗的原因。性能分解后，响应慢的过程Web应用过程-分解l 钻取慢应用过程，摘要可以看到该过程中所有组件的访问量、耗时和响应耗时%。在响应慢的过程中发现导致慢的组件应用过程慢追踪-摘要应用过程追踪列表业务级运维革新的方式，业务级运维的方法 真实用户的体验数字化1. 最终用户体验视角展现2. 慢交互追踪解

14、决卡顿3. 崩溃轨迹回溯解决闪退4. 行业对比（竞品分析） 全网监控业务流量传输1. 应用流程和传输监测2. 首屏时间评估，CDN评估3. 在造成用户影响前报警4. 行业对比（竞品分析） 应用实时性能监控1. 生产环境的性能展现2. 代码级监控和慢应用追踪3. 应用性能的诊断，追踪和优化依据研发网络CDN评估业务运维主机CDN虚拟计算虚拟存储虚拟网络DBA log研发网络运维外网监控客服WebAppDB听云业务级运维的客户价值CTOCIO业务产品研发运维神圣的工作在每个人的日常事务里，理想的前途在于一点一滴做起。创造性模仿不是人云亦云，而是超越和再创造。逆境给人宝贵的磨练机会。只有经得起环境考

15、验的人，才能算是真正的强者。2:382:382:38:462:38:46所谓天才，只不过是把别人喝咖啡的功夫都用在工作上了。强烈的欲望也是非常重要的。人需要有强大的动力才能在好的职业中获得成功。你必须在心中有非分之想，你必须尽力抓住那个机会。患难可以试验一个人的品格，非常的境遇方才可以显出非常的气节;风平浪静的海面，所有的船只都可以并驱竞胜。命运的铁拳击中要害的时候，只有大勇大智的人才能够处之泰然。不放过任何细节。21.11.1721.11.1721.11.1721.11.17惟一持久的竞争优势，就是比你的竞争对手学习得更快的能力。把你的竞争对手视为对手而非敌人，将会更有益。一旦做出决定就不要

16、拖延。任何事情想到就去做!立即行动!如果通用公司不能在某一个领域坐到第一或者第二把交椅，通用公司就会把它在这个领域的生意买掉或退出这个领域。我的宗旨一向是逐步稳健发展，既不要靠耸人听闻的利润，也不要在市场不景气时，突然有资金周转不灵的威胁。2021/11/172:38:46在艰难时期，企业要想获得生存下去的机会，唯一的办法就是保持一种始终面向外界的姿态。若想长期生存，仅有的途径就是要使人人竭尽全力，千方百计让下一代产品进入用户家中。时间是一个伟大的作者，它会给每个人写出完美的结局来。自始自终把人放在第一位，尊重员工是成功的关键。让流程说话，流程是将说转化为做的惟一出路。21.11.1721.1

17、1.172:38:46在一个崇高的目的支持下，不停地工作，即使慢，也一定会获得成功。微软离破产永远只有18个月。坚持是一种智慧，固执是一种死板。21.11.1721.11.17命运是一件很不可思议的东西。虽人各有志，但往往在实现理想时，会遭遇到许多困难，反而会使自己走向与志趣相反的路，而一举成功。一个管理者如果不了解其下属的工作，那他就无法有效地管理他们。人们所认识到的是成功者往往经历了更多的失败，只是他们从失败中站起来并继续向前。2:38:462:3821.11.17等待。我将要在这三块基石上建立我成功的金字塔。千方百计请一个高招的专家医生，还不如请一个随叫随到且价格便宜的江湖郎中。是员工养活了公司。2021年11月17日2时38分能用他人智慧去完成自己工作的人是伟大的。不满足让客户满意，要追求让客户感动，创造客户终身价值。新经济时代，不是大鱼吃小鱼，而是快鱼吃慢鱼。路是脚踏出来的，历史是人写出来的。人的每一步行动都在书写自己的历史。2021年11月17日星期三上午2时38分21.11.17差错发生在细节，成功取决于系统。速度就是一切，它是竞争不可或缺的因素。管得少，就是管得好。2021年11月17日星期三命运本来就不公平所以我要改变命运。投机取巧的人。上午2