AIOps在业务运维的最佳应用实践

1、AIOps在业务运维的 最佳应用实践云智慧与AIOps结缘云智慧AIOps最佳实践123AIOps更大的价值2010互联网站爆发式增长201220132014201520162017移动互联网浪潮数字化转型端到端应用性能管理DevOps概念普及互联网+全链路压测成为标配AIOps理念深入人心4提升IT基础架构 运营能力基于大数据分析的思路，在IT领域运用 大数据技术，更加科学高效的对基础架 构进行监控，问题发现，告警与处置。优化用户体验及业务 运营能力基于大数据技术，对用户体验进行全面 分析，不断优化用户端到端的用户体验 及业务运营能力。基于大数据和人工智能创新科技，提升IT运营效率及业务价值

2、实现智能化运营能力通过大数据和人工智能最新技术，实 现更加智慧与高效的企业运营，为社 会与企业创造更多的价值。Strategic Planning AssumptionBy 2019, 25% of global enterprises will have strategically implemented an AIOps platform that supports two or more major IT operations functions, up from fewer than 5% today.DefinitionAIOps platforms utilize big data

3、, modern machine learning and other advanced analytics technologies to directly and indirectly enhance IT operations (monitoring, automation and service desk) functions with proactive, personal and dynamic insight.AIOps platforms enable the concurrent use of multiple data sources, data collection me

4、thods, analytical (real-time and deep) technologies, and presentation technologies (see Figure).DescriptionAIOps platforms are composed of multiple, loosely coupled layers that address data collection and storage, analytical engines (real time and deep), visualization/UI, and integration with other

5、applications via APIs, as depicted in Figure 2.IT监控数据外网数据私有云数据日志数据移动端数据浏览器数据应用数据业务数据内存存储大数据存储聚合数据存储数据模型数据分析业务分析机器学习深度学习数据接入层大数据管理层大数据分析层实现业务可视化与智能业务运维统一管理门户可视化展现层应用模块层网络健康IT基础监控统一告警私有云监控业务决策分析Infrastructure移动用户体验浏览器体验预测分析 智能分析应用后端性能日志分析BusinessApplication01第一阶段：大数据运维02第二阶段：业务运维03第三阶段：智能运维云智慧与AIOps结缘

6、云智慧AIOps最佳实践123AIOps更大的价值大数据运维业务运维智能运维部署大数据核心平台IT，网络，私有云等数据接入；IT基础设施监控及大屏；网络监控监控及大屏；私有云平台可视化大屏；统一告警平台；落地大数据运维基础分析；采集用户端以及后端性能数据；应用拓扑实时大屏；真实用户体验监控及大屏；浏览器用户体验及大屏；端到端应用性能深入分析；企业业务管理驾驶舱；业务到应用到IT系统关联分析；部署机器学习平台；部署深度学习平台；IT资源规划预测；用户体验与用户留存预测；应用健康对业务影响预测；大数据采集部分：构建一套针对硬件设施、网络、主机系 统、关键业务进行监测、分析、日志抓取、属性收集的大数

7、 据采集平台，能够快速采集和展现监控对象基本信息及运行 状态，可全面、准确评估各类硬件、网络、主机系统、关键 业务的健康度水平。大数据管理部分：建立标准的大数据抽取、管理、建模平 台，通过配套各种大数据处理工具，选取相关角色所需的信 息，处理策略和操控动作，自由组合各类接口、大数据、功 能模块、处理流程，形成针对该大数据应用场景的定制化工 作平台，对大数据进行加工和处理。同时不断沉淀大数据， 形成大数据运维管理仓库，提供丰富大数据管理工具、插 件，为大数据的进一步应用提供支撑。大数据应用部分：从海量的沉淀大数据中，通过成熟的 大数据分析模型和智能化算法，为相关人员提供重要决策大 数据依据，从

8、“决策”、“管理”、“执行”三个视角对“网络”、“数据中心”、“应用”、“安全”、“运维” 五个维度进行大数据建模、计算、结果展现，最终实现多维 度大数据组合分析、辅助决策的大数据运维管理能力。大数据运管平台“3315”架构设计体系通用组件框架Windows Server 2012 Backup (Extensible)Windows Server 2012公有云 区划B应用服务A应用服务BIT管理员AIT管理员BRegistrationRegistrationBackup/RestoreBackup/Restore公有云 区划A业务转型过程中 遇到的问题和挑战非银金融行业面临较为严峻的外部经

9、营环境，一系列因素继续对企业经营发展构成较大 压力，如何快速实现与互联网融合成为该行业很多客户不得不面对的挑战。系统压力边界不清楚，随着很多互联网信贷及支付平台的接入，系统能够承受多大压力？存在哪些性能问题？如何进行优化？系统优化缺乏数据支持，随着业务量增大系统响应变慢，无法进行性能问题快速定位， 因为没有数据支撑。通过相关监控模块 实时、准确的把握 系统整体运行状态该中心有后台核心、专家系统、批量服务等多项业务系统，但是目前多系统采用的服务 器硬件配置和数据库都比较老旧。随着接入渠道的增多，通过模块实时掌握系统所能承 受的最大压力，系统存在哪些层面的性能瓶颈，可以从哪些方面进行优化。健康度数

10、据获取：在业务应用拓扑中，直观显示各个应用的健康度，包括请求次数、响应时间、错误及异常、网络接入带宽情况、关键接口正确性等详情。基础架构问题定位：通过相关数据获取和快照记录，能够找出基础架构关键问题，譬如 CPU负荷过高、内存溢出、IO读写速度不足等，给开发团队提出优化建议。大数据运维业务运维智能运维部署大数据核心平台IT，网络，私有云等数据接入；IT基础设施监控及大屏；网络监控监控及大屏；私有云平台可视化大屏；统一告警平台；落地大数据运维基础分析；采集用户端以及后端性能数据；应用拓扑实时大屏；真实用户体验监控及大屏；浏览器用户体验及大屏；端到端应用性能深入分析；企业业务管理驾驶舱；业务到应用

11、到IT系统关联分析；部署机器学习平台；部署深度学习平台；IT资源规划预测；用户体验与用户留存预测；应用健康对业务影响预测；LB服务器规模化加速需要从端到端关注整次请求响应应用系统架构复杂，技术体系多样，离散地采用了多种监控系统来实现不同的技术栈监控基础设施与服务采用开源的Zabbix监控网络监控使用Solarwinds软件应用性能管理采用Dyantrace部分业务和性能使用日志的手段进行监控从离散海量数据中找到故障根因业务场景化多样传统定位统计型与跟踪型均有局限性IT架构向云化迁移加速系统耦合性增强，问题发生后影响范围扩大平均每人工作量成倍增加，所需经验也不断提升业务场景增多，使得微小的一次故

12、障也会触发连锁反应需要问题发生后，快速、准确定位问题快速修复问题，也是重中之重用户体验不同的用户体验 对业务最终结果 产生不同的影响获取数据Java其它 (OLEDB/ODBC)ExcelSQL Server文本报告告警流数据 DB2Oracle数据平台支撑团队不同的应用状态 对业务的最终结果 产生不同的影响大数据技术，对推动深入分析两种影响之间的关联性并 量化指标，起着极其重要的作用。分析数据终端操作台服务器5000ms2次0101050099%64G120s准确评估性能对业务的影响量化与完善面向业务服务的KPI考核该企业IT部门面临监控 多系统、多维度、多目标 的挑战某药品制造企业IT部门

13、不仅负责传统意义上的运维系统，并且包括了多项运营管理职 责。例如门禁系统、考评系统、上网行为管理、基础设备规划、产线监控系统等。因 此如何快速的聚合多系统数据，并且进一步挖掘其中的价值非常迫切。在平台搭建完成后，在日常运维或使用过程中，由于不可能单独划分出人力资源对该平台进行区别维护，因此系统的易用性和可操作性对于该企业尤为重要。对于多样的应用场景，该企业也需要能够有更多的业界经验进行借鉴，特别是制造业 对IT运维、运营、安全场景的优秀案例。08业务运维 - 落地场景5：基于大数据可视化的精细化运营帮助运维人员快速发现问 题，提高运维效率帮助管理人员对业务进行高效管理和科学决策结合性能监控模块

14、，能够主动的快速评估应用的健康状态，并实时的在大屏中进行告警。 同时通过多种方式通知到相关人员，以便在第一时间对用户体验进行感知。结合应用性能管理模块，当系统出现响应慢，不可访问等性能问题时，能够快速通过全链路端到端的监控定位代码、堆栈级别的性能瓶颈。能够方便的通过大屏，快速甚至实时定位性能问题或异常发生时的相关链条。在问题发生 后快速确定影响的范围，以及能够进行下钻以查看更加具体的信息。大数据运维业务运维智能运维部署大数据核心平台IT，网络，私有云等数据接入；IT基础设施监控及大屏；网络监控监控及大屏；私有云平台可视化大屏；统一告警平台；落地大数据运维基础分析；采集用户端以及后端性能数据；应

15、用拓扑实时大屏；真实用户体验监控及大屏；浏览器用户体验及大屏；端到端应用性能深入分析；企业业务管理驾驶舱；业务到应用到IT系统关联分析；部署机器学习平台；部署深度学习平台；IT资源规划预测；用户体验与用户留存预测；应用健康对业务影响预测；机器学习算法集数据采集到分析的全流程全栈分析诊断定位问题过程根因分析可视化展现50% 每天工作内容中，仅有50%为计划内。云计算 随着越来越多的企业上云，运维工作范围急 速扩大。复杂 故障原因日趋复杂，仅凭已有经验进行处理已 然不可行。重复 部分故障是已知问题，但因为牵涉面广暂时不 做解决，需要周期性的进行重复处理。发现趋式异常识别异常区间,抑制重复报警学习历

16、史残差,避免过于灵敏造成的误报当前时刻趋势预测抵抗不同程度的 毛刺和抖动基线自动适应 总体趋式拟合周期性之外 的业务宏观趋式兼顾历史趋式和 局部趋式的变化运维用户配置下发历史数据故障预测模型使用过程中监控状态用户体验实时计算后台资源固定告警基线的缺陷反复触发、恢复会产生大量告警反复触发的告警掩盖真实情况动态告警基线，根据历史数据统计值生成除自动生成外，也可人为创建、修改动态告警基线Infra Admin响 应 时 间响应 时间更加主动高效呈现更加紧密 连接业务大屏、报表、报告、API多种呈现方式，灵 活多样大数据技术，使得实 时数据呈现成为可能在同面积视野中，呈 现更多维度的信息从业务视角切入

17、，更 直接的支持业务提升通过大数据技术，打 通多个业务之间的数 据孤岛更好体现IT部门在公司 中的价值关联性分析实时感知真实用户性 能体验借助机器学习能够进 行故障预测更加丰富多样的告警 通知方式更高效的找到问题根 因通过时序或逻辑，找 到多个现象互相影响 的关系将告警进行关联后， 减少人为筛选无用或 重复信息的成本云智慧与AIOps结缘云智慧AIOps最佳实践123AIOps更大的价值IT监控数据外网数据私有云数据日志数据移动端数据浏览器数据应用数据业务数据内存存储大数据存储聚合数据存储数据模型数据分析业务分析机器学习深度学习数据接入层大数据管理层大数据分析层实现业务可视化与智能业务运维统一

18、管理门户可视化展现层应用模块层网络健康IT基础监控统一告警私有云监控业务决策分析Infrastructure移动用户体验浏览器体验预测分析 智能分析应用后端性能日志分析BusinessApplication01第一阶段：大数据运维02第二阶段：业务运维03第三阶段：智能运维34提升IT基础架构 运营能力基于大数据分析的思路，在IT领域运用 大数据技术，更加科学高效的对基础架 构进行监控，问题发现，告警与处置。优化用户体验及业务 运营能力基于大数据技术，对用户体验进行全面 分析，不断优化用户端到端的用户体验 及业务运营能力。基于大数据和人工智能创新科技，提升IT运营效率及业务价值实现智能化运营能力通过大