微服务下的APM全链路监控方案

微服务下的APM全链路监控技术创新，变革未来Agenda谈谈应用性能管理（APM）微服务对APM的大影响如何构建适于微服务的APM平台打造监控、告警和报障的闭环对未来的一些思考什么是APMAPM

(Application

Performance

Management)

即应用性能管理，属于IT运维管理（ITOM)范畴。主要是针对企业关键业务的IT应用性能和用户体验的监测、优化，提高企业IT应用的可靠性和质量，保证用户得到良好的服务，降低IT总拥有成本(TCO)。模块主要内容多级应用性能监控覆盖通讯协议1-7层，通过事务处理过程监控、模拟等手段实现端到端应用监测应用性能故障快速定位对应用系统各个组件进行监测，迅速定位系统故障，并进行修复或提出修复建议应用性能全面优化精确分析各组件占用系统资源的情况，并根据应用系统性能要求给出专家建议APM主要特征列表APM的发展历程13以网络监控基础设施为主，主要监控主机的CPU

使用率、I/O、内存资源、网速等，主要以各类网络管理系统（NMS）和各种系统监控工具为代表。STEP1以监控各种基础组件为主，随着互联网的快速发展，为了降低应用开发难度，各种基础组件（如数据库、中间件等）开始大量涌现，所以这个时期应用性能管理主要是监控和管理各种基础组件的性能2STEP2第三阶段以监控应用本身的性能为主,IT

运维管理的复杂度开始出现爆炸性的增长，应用性能管理的重点也开始聚焦于应用本身的性能与管理上STEP3云计算方兴未艾，而DevOps以及微服务的兴起对传统APM产生了很大的冲击，那么APM该何去何从？4STEP4Gartner对APM的定义(2014)维度描述终端用户体验图形化或者数据化展示最终用户在使用应用的可用性、时延、交易执行等用户视角体验。实时应用架构发现、建模、展示实时发现应用相关的硬件、软件组件，并对这些组件之间的交互进行展现，以及对实时交易的的路径进行清晰的图形化展现。用户交易追踪记录用户所有的访问行为，并根据相应的事件追踪用户的访问在架构中的路径，以及交易在路径中每个节点的性能表现代码级深度性能诊断深度代码诊断和分析，跟踪记录每个交易的代码级上下文关联，以及对于资源的消耗贯穿生命周期的性能管理性能管理必须贯穿开发、测试和运维各个环节，上述环节的相关人员能够使用统一的标准对应用性能进行监测、分析和诊断。Gartner对APM的定义(2016)维度描述DEM-Digitalexperiencemonitoring数字体验监控，浏览器及移动设备用户体验监控及利用主动拨测的实现的业务可用性及性能监控ADTD-Applicationdiscovery,tracinganddiagnostics应用自动发现、追踪和故障诊断，自动发现应用之间的逻辑关系，自动建模、应用组件的深入监控及性能关联分析AA-Applicationanalytics应用分析，通过机器学习，进行针对JAVA及.NET应用的根源分析Agenda谈谈应用性能管理（APM）微服务对APM的大影响如何构建适于微服务的APM平台打造监控、告警和报障的闭环对未来的一些思考服务开发架构的发展历程微服务带来的挑战依赖关系复杂持续交付容器化环境服务注册、发现和可靠性一切皆服务（Everything-as-a-Service)DevOps微服务对APM的大影响微服务的规模和动态性使得数据收集的成本大幅度提高，例如（cpu、内存和网络传输的开销）大量的监控数据对后台数据处理分析的产生影响对于可视化和关联分析的要求方面，传统APM缺少好的手段Agenda谈谈应用性能管理（APM）微服务对APM的大影响如何构建适于微服务的APM平台打造监控、告警和报障的闭环对未来的一些思考APM的核心能力ComefromIBMBlueMix

documentation基于微服务的应用程序端到端监控WWW路由器防火墙交换机LB认证服务Web

ServerMicroServiceMicroServiceMicroServiceAPIGateway三方服务MicroServiceMySQLMongoDBWWWWebService客户是否受影响网络传输是否正常认证服务慢?三方服务QoS低？SQL执行效率？SLA不达标代码有问题？日志异常？基础设施异常浏览器加载慢？访问日志ComefromIBMBlueMix

documentationAPM探针的基本原理

(Java

Instrument)APM探针的基本原理

(Java探针结构)JarAgentPluginsInterceptorClassFileTransformerDispatcherMethods

AreaClass1Class2Class4Class3loadKepler

PluginAdvicejava–javaagent:kepler-agent.jarAPM探针的基本原理

(Java

Instrument)收益持续改善终端用户体验端到端无盲点监控业务拓扑实时发现性能问题代码级定位自定义事务深度剖析平均响应时间，Apdex吞吐量，错误率多维度监控指标SQL注入，跨站攻击等安全事件监测应用漏洞代码级定位成本3%~5%的性能开销分布式追踪

–

Google

Dapper分布式追踪

–

OpenTracing/opentracing/specification/blob/master/specification.md追踪一切主机容器中间件微服务

(代码级异常和错误)业务服务（Qos/SLA)数据收取健康检测流式数据处理动态拓扑依赖检查关联分析性能指标实时分析数据计算和分析异常检测告警QoS服务关联元数据从CD中获取APM动态发现手工配置应用服务1*服务call服务call环境信息host信息（容器、虚机或物理机）配置authvip*11*Tierbelongs

to服务动态拓扑服务调用链分析APM总体架构微服务agent中间件agent浏览器agentDataCollectorThrifton

HttpkafkaDataProcessorElasticSearchAnalysisWebsiteMySQLClusterAdminWebsitemetadataRedisClusterAgent

ConfigurationAgent

ConfigurationSmart

AlarmTimeseriesbasedanomaly

detectionstatisticsOnDuty告警列表日志LogAgentElasticSearchLog

FilesKibana探针配置APM核心能力浏览器首屏时间白屏时间可操作时间资源加载完成时间页面性能指数浏览器类型和版本DOM解析时间用户IP请求重定向时间页面缓存加载时间•…应用应用服务器类型服务调用相应时间RPC调用详情方法执行时间方法执行参数堆栈信息吞吐量服务器性能指数IO及网络异常服务拓扑动态发现…数据库数据库连接时间数据库类型和版本SQL执行时间SQL调用语句SQL语句参数SQL执行计划SQL调用者堆栈信息…JVMJava版本堆使用情持久带使用情况青年代使用情况老年代使用情况GC次数和耗时线程数类加载数量…主机操作系统类型和版本CPU使用情况内存使用情况磁盘使用情况网络使用情况容器间关系。。。其它外部服务响应时外部服务错误Cache响应时Cache命中率Cache大小消息队列吞吐量消息队列使用率性能测试项目详情JDKjavaversion

"1.7.0_101"OpenJDKRuntimeEnvironment(rhel-.el7_2-x86_64u101-b00)OpenJDK64-BitServerVM(build24.95-b01,mixed

mode)jvm参数-Xms512m

-Xmx512mOS3.10.0-327.el7.x86_64Web容器apache-tomcat-7.0.81机器配置虚机8C32G200G测试应用pinpoint官方的testapp，版本1.6.2org.apache.catalina.core.StandardHostValve.invokeorg.springframework.web.servlet.FrameworkServlet.doGetcom.navercorp.pinpoint.testapp.controller.SimpleController.getCurrentTimestampAgenda谈谈应用性能管理（APM）微服务对APM的大影响如何构建适于微服务的APM平台打造监控、告警和报障的闭环对未来的一些思考构建“部署

+

监控

+

告警

+

报障”闭环运行环境轮值报障统一监控卓越运营代码更改改进运维数据生产监控问题清境构建系统触发谁构建，谁运维部署流水线告警平台报警数据源ElasticSearch业务数据库日志kafkaSensors规则引擎AnomalyDetection告警加工/过滤kafka告警发送网关短信邮件微信OnDuty规则配置告警阈值配置异常点修正sensors配置告警视图报障平台工单系统CTI

&

团队

&

人员影晌问题分类CTIResolve

Group问题的传播和轮转OnCall***1成员排班系统系统监控业务人员业务监控报障平台通过故障分类系统、支持组，快速将接入的各监控系统报障通知给相应维护人员，并通过配置的SLA及组织架构，对未及时响应的报障进行上告处理，以达到卓越运维的目的。Agenda谈谈应用性能管理（APM）微服务对APM的大影响如何构建适于微服务的APM平台打造监控、告警和报障的闭环未来的思考和展望大数据能力的充分释放-自动异常点检测不同服务有不同的特点，避免修改每个服务的阈值在服务负载发生变化时避免手工调整每个服务的阈值避免静态阈值造成的误报在不生成报警的的情况下预测不正常的指标，用于诊断问题大数据能力的充分释放-自动异常点检测日志硬件性能数据APM运营数据数据平台指标管理业务系统报警系统有监督学习MetricsData

Ingestion无监督学习数据输出插件（异常点）AIOps告警归并根因分析故障自动恢复容量预测ArchData技术峰会上海站合纵连横，在中国开发者群体中缔造品牌营销奇迹横跨全年的品牌传播与实效营销盛宴全域连横同城合纵年度技术峰会+十月十城，覆盖全国华