万达院线立项

万达院线应用性能监测项目Wandacinemaapplicationperformancemonitoringproject2016年02月19日目录项目解决方案项目概述与目标产品介绍1234项目预算项目概述与目标1项目背景及目标项目背景：伴随着业务的增长，系统稳定性受到越来越大的考验。院线现有的监控工具对线上购票业务的外网网络及后端应用缺乏直接有效的监控工具，无法为系统优化提供参考依据。且出现故障时，基本靠人工事后定位，故障定位耗时长，业务恢复慢。鉴于以上，院线电子商务系统迫切需要一套可以事前提供系统优化建议，故障发生时快速报警，快速定位故障点并协助业务恢复的应用性能管理工具以及专业服务团队。预期目标：1、监测外网网络质量，可快速定位网络故障范围及原因，并协助运维恢复。2、量化应用响应速度，对院线业务和架构变更等提供性能对比数据。3、发现系统的瓶颈及隐患并进行优化，降低故障发生可能性。4、应用故障及时报警，快速定位具体原因，尽快恢复业务运行。5、有专家团队协助分析复杂故障原因，提出优化建议。项目解决方案2项目解决方案–听云应用性能管理Network

-外网网络监测：1.量化购票用户体验及成功率2.同行业竞品分析3.购票异常告警及分析4.院线网络质量监控5.访问异常监控6.真实环境压力测试听云Network听云ServerPortalFSDetFrontJob*后端部署方案1.全局拓扑展示2.应用代码执行效率分析3.数据库性能管理4.外部调用分析5.JVM状态分析6.应用错误分析7.应用警报Server

–内网应用监测：人工服务价值总结测试阶段案例项目解决方案–听云人工服务人工服务：除监控平台外，听云还可提供以下人工服务：1：远程支持：应提供实时远程支持服务，主要负责人工报警，提供数据分析，解答院线使用人员疑问等。2：驻场人员：提供每周至少两天的专业人员驻场服务:(1)全面了解万达院线业务和需求，进行定制化的监控配置。(2)进行数据统计分析，主动发现可能存在的系统隐患和瓶颈，并对其进行原因分析，给出优化建议，配合院线相关负责人完成相应优化工作。(3)定期提供万达院线系统全面分析报告，包括汇总近期发生的事件及处理结果，对比近期优化效果等。3：后台支持团队：提供资深技术团队的后台支持，配合驻场人员完成监测平台及其相关的技术支持服务，保障对万达院线提供的数据分析和优化建议的权威性和准确性。4：重大事件事故专家服务：当万达院线进行架构升级调整、服务器搬迁等重要事件或出现重大故障时，听云会安排技术专家上门服务，从而保障特殊时期系统的高可用性。项目解决方案–对于万达院线的价值对于万达院线的价值外网网络监控：1.量化全国地区影院用户的真实购票体验及成功率。2.当出现外网故障时，第一时间报警并量化故障影响范围，提出网络优化建议。3.了解同行业网站购票体验，取长补短，有的放矢的进行优化工作。4.提出对前端页面的优化建议，有效节省运维成本。内网应用监控：1.以应用响应时间等指标量化应用健康程度，让运维从业务角度出发监控并了解应用状态。2.主动发现应用存在的瓶颈及隐患，提出建议并辅助运维开发团队解决问题，从而在大压力来临前完成优化，最大化的保证业务的稳定运行。3.当出现故障时即刻报警，快速定位故障发生的具体原因，立即配合万达院线人员完成修改调整，大幅减少MTTR从而帮助万达院线减少损失。4.评测发版前后性能情况，使每次发版性能上都有提升。故障排查案例mongoDB写日志死锁院线于2月11日出现系统故障，导致较长时间用户无法进行正常购票。当日听云工程师远程进行排查，定位到大概原因，由于当日无法进行代码分析，没有立刻解决该问题。15日听云工程师现场进行复盘排查，通过平台及分析代码直接定位到当日故障是由于Filmservice写用户行为日志时出现死锁现象，导致基本所有应用功能卡死。如11日听云工程师在现场并帮助排查定位，会大大缩短问题解决时间，减少故障带来的损失。10点28分开始所有应用单次响应时间达到约4130秒代码调优案例

近期发现DET应用obtain

ticket

notify功能调用阿里服务响应时间均值超过五秒，严重影响其平均响应时间。经过分析，其并不属于核心功能但响应时间非常长，于是在16日凌晨变更取消该功能，obtain

ticket

notify响应时长提高85%，DET整体响应时间减少近一半。变更前变更后产品介绍3听云network听云Network依托遍布全球的监测会员网络，帮助网站用户对CDN效果、行业网站、云主机链路、移动网络等方面进行分析和评估。以最终用户的视角及时发现在访问过程中遇到的问题，通过对监测数据不断的优化，使最终用户获得更优的访问体验。听云产品-

network听云network听云server听云Server通过在服务端应用中植入探针，实现对应用代码、关系型数据库、NoSQL、外部服务、服务器本身的监控，即时获取相关性能数据并进行智能分析，在代码层面上快速定位错误产生、性能下降的原因。听云产品-

Server听云server听云各行业用户展示听云行业用户展示-微影时代

微影时代在7月17日（周五）出现严重性能问题，发现微票业务部分接口已经处于不可用状态，后在听云报表平台发现主要是外部调用和应用层时间明显上升。通过分析听云server对微票儿应用系统的监测数据，仅用20分钟即定位到问题所在：调用一个第三方的影院票务信息接口时，响应时间过长，其根本原因是他们使用HTTPClient类时，没有设置请求超时时间，导致如果该请求出现异常时，程序会无限期等待。据估算当日如未及时解决将会导致30万张票滞销，损失近千万，听云快速发现定位问题为客户减少了大量损失。项目预算4感谢！项目解决方案–

1外网体验监测Network

-外网体验及网络监测：（1）量化页面打开及购票用户体验：通过模拟访问，监测全国各地区用户通过万达院线官网或平台购买影票的购票体验，对购票中每一步骤的成功率及响应时间进行细分。（2）同行业竞品分析：对同行业网站进行监测，并进行对比分析，得知万达院线各项性能优劣，可以有针对性的对网络进行优化调整。通过配置万达院线首页，相关伙伴及同行业页面完成对页面的用户体验监控，同时会针对每个时期较热门电影进行购票流程监测，从用户角度出发监测购票成功率及用户体验。（3）购票异常告警及分析当万达院线购票流程出现响应时间过长或无法购票时，第一时间进行告警，立即量化故障范围并分析其原因，提出故障解决建议并辅助恢复业务。（4）院线网络质量监控：监测全国用户访问万达院线各关键页面的网络链路、院线间数传输链路的链路质量，提供时时延时丢包率曲线图等。（5）访问异常监控：监测外网网络异常，例如DNS解析失败，建连失败等。除此外还包括劫持监测，监测因DNS劫持出现的广告弹窗、不正常页面和运营商劫持导致的电影排期信息过期等。（6）真实环境压力测试：从全国各地区发起模拟访问，从外网环境进行真实流量压测，可配合后端应用性能监测完成优化。Network

-外网体验及网络监测：项目解决方案–

1外网体验监测项目解决方案–

2内网应用监测

为了保证万达院线的信息安全，在院线内网环境里搭建一套数据收集及分析的听云平台。之后计划在PortalServer、FilmService、DET、DET

front、job等多台关键应用服务器上部署监控探针，得到其性能数据返回到内网平台进行分析。从而针对万达院线架构及应用部署，梳理其结构及应用响应状况，完成监测、优化、排障等。Server

-内网应用性能监测：项目解决方案–

2内网应用监测Server

-内网应用性能监测：1.全局拓扑展示对已安装探针的portal、filmservice、det等核心应用层以性能、吞吐率等进行集中展示，使院线人员可直观从业务角度出发了解后端服务性能状况。2.应用代码执行效率分析分析应用中各代码段的执行效率，明确性能消耗原因，可对院线应用中较差代码进行细节分析完成优化。3.数据库及非关系型数据库性能管理监测院线Oracle，redis，memcached，mongodb等调用性能并统计较慢的sql语句及执行计划等，方便研发人员进行sql性能优化。项目解决方案–

2内网应用监测Server

-内网应用性能监测：4.外部调用分析监测并统计汇总所有应用外部调用API的耗时，尤其对于院线来说各合作厂商的交易，座位信息等，方便监测并对于耗时长API进行优化。5.JVM状态分