AA-NPM方案测试报告

1、AA-NPM方案测试报告行业背景和需求公司介绍Riverbed NPM/APM的方法论AA-NPM测试报告探针流量、应用流量、TOP流量的监控和分析 。每个应用详尽KPI指标的监控和分析。故障排查应用模块里各个智能分析模型的使用。Web应用的分析。掌上生活业务流监控和预警。议题行业背景和需求3IT部门常常遇到的状况“唉,今天系统又是好慢！IT的人都在干嘛！”End User 最终用户整体应用性能应用部门“是网络问题应用的Log都很正常沒有任何Exceptions我們已经压力测试过了!主机系统部门“与我无关,可能是网络CPU 是正常的内存使用率也很低Disk I/O 一切正常网络部门“网络没问题

2、”网络流量不大Ping 时延都正常Traceroute 也沒问题DBA“沒有什么异常现象”交易数比平常多一点， 不过看起来也是正常的IT部门处理用户的投诉问题从哪下手? 叫每个部门硬找出问题?问题时有时无，飘忽不定怎么办?企业网里普遍存在的问题的IT组织因为业务应用性能降低受到影响的时间中IT组织是从终端用户那里得知应用问题的75%70%的性能问题需要长达一个月以上才能被解决或者永远不会被解决31%500ms 500ms延迟会引起页面访问量降低20%交易机构1ms的损失可能高达400万美元1ms 100ms 100ms页面加载时间导致销售量减少1%交易延时给用户带来的损失银行业重要信息系统突发

3、事件应急管理规范NPM/APM的方法论端到端交易应用的完整性能监控(NPM+APM).NET Worker ProcessIIS Native PipelineTCP/IP 协议栈Web服务器客户端浏览器广域网WAS JVMApacheTCP/IP StackWAS Thread PoolApp服务器局域网起始处理排队代码执行网络、带宽、延迟处理排队处理排队代码执行远程调用Web服务，数据库网络传输性能指标代码执行代码执行网络传输性能指标网络传输EUE代码执行网络、带宽、延迟代码执行结束网页渲染时间服务响应网络、带宽、延迟、丢包服务请求网络、带宽、延迟、丢包主要的技术手段NPM的主要技术手段重

4、点区域（如数据中心）监控，探针技术：通过抓取网络数据包进行分析。全网流量监控，Flow 技术： 采集网络设备统计的NetFlow, sFlow, J-Flow, NetStream。APM的主要技术手段端到端（用户端）监控，Web页面JavaScript脚本嵌入技术（针对Web类应用）。端到端（服务器端）监控， JVM/CLR Agent的代码植入技术（针对JAVA/.Net应用）。探针的工作原理汇总应用流的KPI指标，得到该应用的KPI；并进行智能预警通过镜像或TAP抓取数据包，建立索引并保存数据自下而上应用的KPIFlowsPackets快速定位故障故障定位精细原始的证据获取故障数据包证据

5、 故障预警，揭示潜在问题早期预警分析自上而下11分析数据包里每个应用流的KPI指标：包括流量，网络传输时间，服务器延时，重传DATAACKREQUEST服务器响应时间Round Trip Time (Outbound) *数据传输时间Time连接建立时间SYNSYN/ACKACKREQUESTDATAACKDATAACK服务器客户端交互 1交互 2Round Trip Time (Inbound)Riverbed 详尽的延时参数计算* 数据传输时间 = Payload 传输时间 + 重传导致的延时*Round Trip Time 的计算针对每个 DATA/ACK对。用户响应时间ARXWeb响应

6、时间WEB ServerAPPS ServerWEBAPPSDBDatabase ServerService Provider探针部署示意图APP响应时间DB响应时间端到端监控的重要技术：Web页面JavaScript脚本嵌入技术的工作原理euemon.jsResponse with JavaScript in Header euemon.js Request from client GET index.htmlEUE metrics to collector (Port 80/443)BMX Server (public facing)End Users BrowserWeb Server1

7、23123Webpage requested by user GET index.htmlJS served from CDN/BrowserMetrixJS sends results to collectorWeb页面显示耗时：38.9秒http:/ Analysis端到端监控的重要技术：Web页面JavaScript脚本嵌入技术的工作原理APM Agent监控有两种技术手段“快照方式”“代码插入技术”（2001年就有标准接口）技术原理：每隔一定时间对应用的运行进行“快照”扫描；查找问题。缺点：系统开销大，只能“采样”监控（间隔扫描）;不能串联多个节点的交易。厂商： AppDynamics

8、，NewRelic技术原理：对应用植入简易代码，犹如安装了GPS应用交易实时全程监控。优点：系统开销小，每笔交易的全程监控，多节点关联分析。支持大数据分析。厂商： Riverbed, Dynatrace.端到端交易应用的完整性能监控(NPM+APM).NET Worker ProcessIIS Native PipelineTCP/IP 协议栈Web服务器客户端浏览器广域网WAS JVMApacheTCP/IP StackWAS Thread PoolApp服务器局域网起始处理排队代码执行网络、带宽、延迟处理排队处理排队代码执行远程调用Web服务，数据库网络传输性能指标代码执行代码执行网络传输

9、性能指标网络传输EUE代码执行网络、带宽、延迟代码执行结束网页渲染时间服务响应网络、带宽、延迟、丢包服务请求网络、带宽、延迟、丢包Riverbed Performance Management端到端的全程关联监控（APM和NPM的关联）http:/ code abc0.3秒 code xyz应用代码(classes/methods)6.3秒 code def0.4秒 code ghi后端延时: 82%前端延时: 18% 20sec SELECT x FROM y 4sec INSERT a INTO bSQL 语句网络 134 重传 1.3 请求MBs 17 连接重置 1.2 响应MBs6.8

10、秒 图片, .js, .css0.4秒 页面渲染时间客户端URL: http:/ 王大锤终端用户性能: 40.9sec数据中心全局业务视图 数据中心重要业务监控 数据中心单个应用业务流监控aa-NPM测试报告Who用户都是谁？内部用户还是外部客户？What在操作什么业务？ 使用什么终端访问？When什么时候操作了业务？Where在什么地方访问业务？How带宽使用状况如何？HTTP响应是成功还是失败吗？失败了是服务器错误（HTTP 500），还是客户端错误（HTTP 400）？用户体验是快还是慢？如果慢，是服务器的问题，还是网络的问题？如果是服务器的问题，瓶颈在哪一跳的应用服务器上？当我们谈应用

11、性能，我们希望了解什么？探针流量、应用流量、TOP流量的监控和分析探针接口及每个应用协议流量和其他KPI的监控通过Inbound 和outbound IP地址的定义，单个探针接口就可监控进出两个方向的流量信息。上图显示:工作日15:00-16:00 期间流量会有突发，导致应用服务器响应时间增大。图中突发流量达到200Mbps，但电信和联通总带宽为400Mbps；所以电信和联通的接口带宽不是瓶颈。快速查找某个时段的流量信息 包括TOP主机，TOP通讯对，TOP应用，TOP 网段每个应用详尽KPI指标的监控和分析该时段，整体HTTP业务用户响应时间为586毫秒，其中数据净荷传输197毫秒，TCP建

12、链时间186毫秒，重传时延136毫秒，服务器时延65毫秒。 外网客户端的平均网络延时98毫秒，服务器网络延时0.49毫秒。因此：整体来看用户体验良好；时延主要来自Internet时延、TCP建链时间、重传延时、以及数据传输。2015-4-12 8:30-10:00 服务器响应时间异常，可以轻松被ARX监控系统捕获。掌上生活网络出口整体HTTP KPI的监控分析每个应用协议的KPI指标监控该时段；ClientFace-WebMlife-BeforeF5业务用户响应时间为683毫秒，其中数据净荷传输387毫秒，重传时延266毫秒，服务器时延29毫秒。 外网的客户端的平均网络延时123毫秒, 内网服

13、务器网络延时0.21毫秒因此：Internet时延和丢包、以及数据传输是时延的主因。提供丰富的应用KPI指标，帮助用户查找问题。无需用户定义自动发现应用并监控；KPI指标与已定义的应用一样丰富。故障排查应用模块里各个智能分析模型的使用网络延时分析模型 快速查找到某时段每个IP业务组里网络延时最长的应用、主机以及相关通讯对。上图显示2014-12-12 17:00-17:30时间段，招行信用卡中心联通地址的对外服务器HTTP业务里，网络延时最慢的客户端IP，都是公网IP，来自天津联通和四川广安移动。哪些IP业务组里出现问题？哪些业务应用里出现问题？应用服务器的IP是什么？哪些客户端与该服务器通讯

14、时出问题？网络丢包分析模型 快速查找到某时段每个IP业务组里丢包最严重的应用、主机以及相关通讯对。显示2014-12-12 17:00-17:30时间段，招行信用卡中心联通地址的对外服务器HTTP业务里，网络丢包率最大的客户端IP，都是公网IP，主要来自天津联通和四川广安移动。哪些IP业务组里出现问题？哪些业务应用里出现问题？应用服务器的IP是什么？哪些客户端与该服务器通讯时出问题？服务器响应慢分析模型 快速查找到某时段每个IP业务组里服务器最慢的应用、主机以及相关通讯对。显示2014-12-12 17:00-17:30时间段，招行信用卡中心电信地址的对外服务器Repayment-web业务，

15、服务器响应延时为259毫秒，与服务器Top10交互的客户端IP地址见右下角视图。哪些IP业务组里出现问题？哪些业务应用里出现问题？应用服务器的IP是什么？哪些客户端与该服务器通讯时出问题？蠕虫攻击分析模型 快速查找到某时段每个IP业务组里存在类似蠕虫攻击的应用、发起攻击的主机。显示2014-12-12 17:00-17:30时间段，招行信用卡中心192.168.X.X网段HTTP业务，存在的类似蠕虫攻击导致的连接失败数的服务器IP，以及发起该攻击的客户端IP.哪些IP业务组里出现问题？哪些业务应用里出现问题？应用服务器的IP是什么？哪些客户端与该服务器通讯时出问题？应用质量前后分析模型 快速查

16、看某时段每个IP业务组里某个应用（割接或调整）前后KPI指标对比。上图显示招行信用卡中心联通地址的对外服务器HTTP业务，在不同时间段（可以是割接或调整前后时间段），复合响应时间参数的比较。比较哪些IP业务组？查看哪些业务应用？割接或调整前的KPI割接或调整后的KPIWeb应用的分析Web业务在不同区域的KPI页面响应时间？服务器响应时间？网络传输延时？慢页面的次数？页面访问次数？Web业务名称？用户来自哪里？什么时间？电信掌上生活联通掌上生活业务KPI 监控分析页面响应时间？哪些用户访问慢？慢页面的URL及它们的页面响应时间曲线？每分钟有多少次页面访问？什么时间？HTTP成功响应多少次？HT

17、TP客户端错误响应失败多少次？HTTP服务器错误响应失败多少次？HTTP重定向多少次？HTTP继续响应多少次？如果响应慢，是服务器的原因，还是网络因素导致？电信掌上生活业务KPI 监控分析页面响应时间？哪些用户访问慢？慢页面的URL及它们的页面响应时间曲线？每分钟有多少次页面访问？什么时间？HTTP成功响应多少次？HTTP客户端错误响应失败多少次？HTTP服务器错误响应失败多少次？HTTP重定向多少次？HTTP继续响应多少次？如果响应慢，是服务器的原因，还是网络因素导致？电信掌上生活业务在不同区域的KPI页面响应时间？服务器响应时间？网络传输延时？慢页面的次数？页面访问次数？来自哪些国家？用户

18、来自哪里？什么时间？电信掌上生活业务在不同区域的KPI页面响应时间？服务器响应时间？网络传输延时？慢页面的次数？页面访问次数？用户来自哪些省？什么时间？来自哪些国家？选中省的页面响应时间和页面访问数？电信掌上生活业务在不同区域的KPI页面响应时间？服务器响应时间？网络传输延时？慢页面的次数？页面访问次数？该省用户页面响应时间的曲线图？什么时间？来自哪些省？电信掌上生活业务用户终端分析页面响应时间？服务器响应时间？网络传输延时？慢页面次数？页面访问次数？用户使用哪些终端？什么时间？移动支付业务的故障排查 延时来自服务器页面响应时间？服务器响应时间？网络传输延时？慢页面次数？页面访问次数？Web业

19、务名称？用户来自哪里？什么时间？移动支付业务的故障排查 请求主要来自北京页面响应时间？服务器响应时间？网络传输延时？慢页面次数？页面访问次数？来自哪些国家？用户来自哪里？什么时间？选中省或直辖市的页面响应时间和页面访问数？移动支付业务的故障排查 请求集中来自北京页面响应时间？服务器响应时间？网络传输延时？慢页面次数？页面访问次数？来自哪些省和直辖市？什么时间？该省或直辖市用户页面响应时间的曲线图？移动支付业务的故障排查 导致慢的页面元素哪些页面元素导致响应缓慢，它们的具体URL是什么？无需用户定义，自动发现应用的URL并监控 包括访问的页面数、慢页面的数，慢页面百分比、页面访问平均时间和HTT

20、P错误数.Mlife的ClientFace-Web业务；大体包含四个页面族，其中出现慢页面访问比例最高的一般是http:/ 在此查看慢页面，可以发现大部分页面慢并非服务器响应慢，而是消耗在网络传输上。可以发现在2012-12-12 16:00-16:30时间里；有如上页面访问很慢；其中选中的第一个URL页面问题最突出，有13085次用户访问都超过5秒，下面是每个用户的访问情况。从数据来看，用户访问慢的原因不是服务器，而是用户访问的数据量比较大，需要拆分到很多个IP数据包里在互联网上传输导致，因此时间都消耗在网络传输上。因此可以建议应用部门对于这些网页进行优化，减少数据量，来缓解这些页面访问慢的

21、问题。掌上生活业务流监控和预警掌上生活业务流监控和预警智能监控和预警每一跳业务应用该应用出了什么问题？ 是重置和重传导致告警掌上生活业务流监控和预警 具体告警信息超过基线产生告警重传的问题出现问题的时间服务器IP地址客户端IP地址掌上生活业务流监控和预警 具体告警信息超过基线产生告警TCP重置的问题出现问题的时间服务器IP地址客户端IP地址公司介绍Riverbed 科技公司2006 年 IPO 后，营业额年均增长年营业额 2013年：公司成立时间2002 成立于：旧金山名员工2600+EnergyRetailBankingManufacturingHealthcareAECTechnology

22、InsuranceLegal企业客户22,000+78个办公室 个国家/地区39 106%$1B (NASD: RVBD)Riverbed 是行业中的领军企业Source: Gartner (April 2013) Joe Skorupa, Mark Fabbi, Bjarne MunchRiverbed is again a leader in the Gartner Magic Quadrant for WAN Optimization Controllers. After 6 years in a row as a leader, Riverbed stands alone in the

23、 leaders quadrant. “The rate and pace of change in enterprise IT has grown exponentially over the last few years,” said Eric Wolford, president products group at Riverbed. “New IT architectures and shifts in business structure such as cloud computing, virtualization, software defined data centers, m

24、obility and the consumerization of IT create opportunities for the business and new challenges for the CIO. Many of our customers are finding that WAN optimization is at the heart of enabling these new approaches without sacrificing performance. With our breadth and depth of optimizations and form factors, our customers rely on Riverbed as a strategic partner for ensuring application performance.”This Magic Quadrant graphic was published by Gartner, Inc. as part of a larger research note and should be evaluated in the context of the entire report. The Gartner report is availa