IT可视化统一监控平台介绍

1、IT可视化统一监控平台介绍Make IT Visible传统监控管理平台架构IT系统业务用户体验/交易应用中间件数据库主机系统小型机系统Windows平台网络存储虚拟化平台硬件设备机房环境数据采集Data Collection数据处理Data Processing数据使用Data Utility性能指标采集PerformanceMetric Collection事件告警Event/Alarm实时数据/故障诊断Real-time Data/Diagnostic历史数据分析Historical Data/Analysis事件采集Event CollectionTrapSyslogNotificat

2、ionEvent Log无代理采集Agentless代理采集Agent basedSNMP/WBEMhttp/httpsJMX/JDBCWMI/SSH/telnetAgentAgentAgentAgentAgentAgentAgent性能分析平台PerformanceAnalytics性能管理数据库PMDB事件管理平台Event Manager事件Event性能事件PerformanceEvent事件通知Notification事件控制台Event Console工单Ticket业务影响管理平台Business Impact Manager业务影响分析Business Impact Analy

3、sis配置管理数据库CMDB服务模型Service Model诊断修复DiagnosticRecovery容量分析平台CapacityAnalysis历史数据仓库Historical Data Warehouse报表平台Reporting容量管理Capacity Mgmt运维报表Report历史数据historical Data可视化平台Visualization Platform规划举例统一可视化监控平台案例强调控制，深度耦合自由组织，松散耦合典型代表：实现模式：顶层设计，长期规划。深度功能整合，搭建集中的处理平台，集成各专业工具未处理数据，搭建完成后，专业工具管道化，处理过程全部由集中平台

4、接管。建行新一代运维管理平台适用场景：集中管理模式，存在统一的运维平台建设和管理团队，各专业团队对工具的运维能力有限，专业工具自身存在较明显缺陷；面向新建环境的管理，工具迁移成本较低。实施难度：已存在专业管理工具的系统改造量较大，建设过程需要强大的管理推动，实施周期长，见效慢。招行/华为可视化监控管理平台典型代表：实现模式：适用场景：实施难度：管理场景驱动，快速实现。搭建一套并行的整合管理系统，与各专业工具建立数据和调用接口，保留原有专业工具能力，采用松耦合，提供给用户灵活的集成扩展接口和自生产能力。专业工具建设已经进入较为成熟的阶段，各专业团队对专业工具具有较强的管理能力，迁移成本高，基于新

5、的平台有较强的内容生产能力。建设过程对专业管理团队自身的工具使用和内容生产能力有较高的要求，推广过程同样需要管理推动。模式优势：管理标准化程度高，功能集成度高模式优势：不改变原有工具功能，改动小，见效快集中事件管理一体化监控PAI应急管理值班系统通知系统自动化系统现状：专业工具建设较为成熟，能够很好满足单项的专业管理需求。监控信息事件报警人工报障配置信息场景/预案现状：管理信息分散在不同的专业工具中基于现有专业工具，搭建整合的管理平台围绕故障处理场景，整合多维度信息和操控数据整合关联VMDB配置信息监控采集事件/工单uAPI数据抽取从各专业工具中抽取各维度关键运维信息外部系统调用uSvcBus

6、应急场景调用策略调用操作可视化展示系统架构视图配置信息面板监控信息面板报警/故障面板应急预案面板业务系统组合视图建立与各专业管理工具的交互接口从可视化的角度建设协同处理平台围绕故障场景，提供处理过程所需信息统一指挥处理过程协同调度各团队或自动化系统执行应对操作关联事件报警和应急场景调用策略，对高频率标准故障场景实现自动处置增强现有专业工具的展示能力提供跨专业的统一运维视图，统一展现多维度运维信息统一可视化监控平台案例：招商银行统一事件处理平台事件整合平台工作内容1统一集成接口：流程工单、统一通信、自动化系统接口2驱动报警闭环处理流程：报警通知、故障工单、双向同步、知识关联、运维分析工作内容1事

7、件标准化和接口规范2监控对象精细化：监控报警对象与配置管理信息关联3监控指标精细化：报警监控指标统一编码，与知识库关联两个整合维度：*监控体系内部：监控数据源整合，提供整合的监控事件管理平台。*面向整体运维平台：系统整合，与相关系统集成，驱动闭环事件处理流程。监控规范化事件整合处理框架监控规范化和监控模板三级分类CI Host1CI Host2CI Host3CI Host4CI Host5CI Host6CI Host7CI Host8KPI FM-00-01-02-0001监控模板01监控模板02监控指标管理对象监控模板监控模板化部署和审计*监控对象、监控指标与实时报警事件强关联，提供影响

8、分析的基础*跟踪每个管理对象的监控报警指标列表*新增监控对象模板化实施，通过选择监控模板驱动监控实施业务交易应用系统系统平台 01基础设施开放平台 02Unix系统 03KPI FM-00-01-02-0002KPI FM-00-01-02-0003KPI FM-00-01-02-0004KPI FM-00-01-02-0005KPI FM-00-01-02-0006KPI FM-00-01-02-0007监控规范化与知识库关联监控指标知识条目监控指标知识化积累*针对报警监控指标，明确监控指标内容、含义、常用处理方法等，积累日常运维经验。KPI FM-01-00-01-02-0001KPI F

9、M-01-03-02-01-0002KPI FM-01-00-01-02-0003KPI FM-01-00-01-02-0004KPI FM-01-00-01-02-0005KPI FM-01-00-01-02-0006KPI FM-01-00-01-02-0007新一代事件管理技术平台事件整合技术架构：*升级技术平台架构:提供高可用、可扩展、高性能的事件管理基础平台。*监控事件规范化：搭建监控管理平台，规范事件内容、精细化事件管理对象和事件管理指标。负载均衡队列并发处理引擎内存数据库集群图数据库负载均衡队列客户端数据推送逻辑架构物理架构事件清除自动工单ECA事件规则处理引擎合规性检查事件丰富

10、和标准化过滤和屏蔽重复事件压缩实时事件库事件升级事件关联分析自动工作流处理事件转发事件周期处理规则实时集成接口自动事件通知同步接口工作内容1构建事件自动化处理的基础平台：建立由规则驱动的事件处理引擎2整合目前各监控系统的事件处理规则需求，全面覆盖需求场景3分阶段实现报警事件管理的标准化、精细化、智能化和自动化事件源关键任务分领域建模，各领域采取分级分层模式组织对象，各层次对象建立同层关系形成领域专业架构视图，跨层构建映射和依赖关系模型。以关系运算为核心，通过对对象模型和指标模型的寻路和遍历，实现双路径关联。利用图形数据库存储对象和指标关系模型，实现关系型数据库到非关系型数据库的转换。关键任务建

11、设思路模型设计和构建方法影响分析算法分析结果可视化数据采集和变更维护关系运算技术实现整合配置管理配置数据源和动态监控数据源，精简主键外的非核心属性，为主。构建标准化图标库和共享在线视图编辑器，实现自动布局与手工布局像结合，二维和多维方式相结合。模型设计和构建方法业务影响的建模过程，与架构设计遵从同样的原则，是对投入运行的系统的架构抽象过程，和配置发现过程。视角数据架构(实体=what)应用架构(活动=how)技术架构(位置=where)规划者视角（目标/范围）业务对象列表业务过程列表业务分布(场所)列表所有者视角（企业模型）语义模型业务过程模型业务支撑系统系统设计者视角（信息系统模型）逻辑数据

12、模型应用架构系统物理部署架构承包商视角（技术模型）物理数据模型系统设计技术架构分包商视角（详细规范）数据定义程序支撑软件组件网络架构模型框架构建方法：分层次分视角建立专业模型（业务、交易、应用、系统、基础设施）分领域建立关联和映射业务和应用自上向下建模基础设施整体建模建模参考：企业架构模型Zachman FrameworkTOGAFFEAF5层3态架构描述建模原则：依靠端到端数据流构建模型框架模型具备可扩展性关注数据来源和长期数据质量建设思路：基于现有数据源和监控颗粒度，建立基础模型针对新一代应用，建立标准化建模方法，推广经验证的成果IT运维管理范围应用交易监控和业务影响分析业务业务用户和角色

13、业务类型业务流程业务组织机构业务操作/步骤交易和应用应用系统交易类型交易交易路径应用组件系统平台和基础设施部署单元APAPAPAP业务影响分析*目的：实时分析支撑业务的运行状态，从用户、类型、机构、地域等维度量化业务运行指标。*交易和应用监控面向业务，连接业务和基础设施的关键监控环节。交易监控和模型数据源监控字段中文描述bi机构编号crd卡号rtc接收方交易码tc交易码typ服务种类trn全局事件跟踪号snd发送方节点号rcv接收方节点号seq交易序号amt交易金额st开始时间cos交易耗时rct接收方交易耗时ec错误码em错误描述res预留字段基于实时监控的建模：*目的：由监控实时采集和生成

14、交易及应用相关信息，针对自动数据源抽取出影响分析模型，保障数据质量。*交易和应用监控覆盖：业务用户、业务操作/交易、交易路径、应用组件、部署单元等环节，涉及基础设施以外的各个层面和分析维度。AP/组件业务用户和角色业务组织机构系统平台和基础设施部署单元APAPAPAP应用系统交易类型交易交易路径应用组件APAP服务器云平台和模型数据源虚拟机设备ID所属服务器IDDataStoreIP地址基于自动化采集数据的建模：*目的：由监控实时采集和生成交易及应用相关信息，针对自动数据源抽取出影响分析模型，保障数据质量。*交易和应用监控覆盖：业务用户、业务操作/交易、交易路径、应用组件、部署单元等环节，涉及

15、基础设施以外的各个层面和分析维度。部署单元APAPAPAP物理机设备IDIP地址存储设备DataStore卷路径网络设备端口接入IP服务器DataStore存储设备卷卷虚拟机虚拟机虚拟机虚拟机网络设备端口端口机房设备设备机房机柜环境模型数据来源和同步业务业务列表渠道机构业务流程应用和交易交易交易路径应用组件部署单元系统平台和基础设施虚拟机服务器存储网络机房和设备设备硬件机房机架环境区域软件实例应用和交易监控系统云管理平台开放平台监控系统环控系统CMDB模型数据源识别和采集：模型数据来自各工具平台。CMDB管理通用配置信息。监控管理库同步CMDB数据。对于不在CMDB管理范围内的动态模型数据，监

16、控管理库提供同步接口和数据管理功能。MMDB模型数据映射和转换CMDB配置数据源监控数据源映射转换规则数据库表格 关系运算数据模型graphDB关系运算模型模型数据映射和转换：从CMDB和监控系统中抽取配置模型数据。由关系型表格数据模型转换为节点和关系组成的图结构关系运算模型。影响关系定义对象状态定性遍历传递多因素根源路径确认影响关系运算业务影响的基础是影响关系，包括影响方向、影响权重。业务影响分析的运算过程是由全局定性分析驱动局部定量分析，由利用可能结果推导确定结果。监控对象监控对象影响方向影响权重监控对象报警状态影响状态监控对象记录自身的报警状态，当监控对象自身发生报警事件时，更新该对象状

17、态。以及由依赖对象传递的影响状态。监控对象监控对象报警状态影响状态报警状态影响状态报警对象根据影响关系方向和权重，将自身状态定性的传递给所影响的对象。监控对象监控对象报警状态影响状态报警状态影响状态新发生报警事件根据对象的影响状态，触发反向的故障根源诊断，根据指标关联和事件等因素确认故障根源和表象事件事件事件事件传递寻路关系运算技术实现关系型数据库图形数据库关系运算：*业务影响分析要求：实时分析事件的影响和根源关系，需要基于事件频率的高性能处理能力。*特点：基于图论的遍历和寻路，统计分析较少。*技术选择：关系型数据库和非关系型数据库对比：（部分完成）8层321362 326531 313802

18、 333438 323551 319660 322180 320908 318987 323743平均 322416.4毫秒16层11929 12191 12493 11296 12445 11921 12596 12032 12894 11894平均 12169.1毫秒(端到端）16层69 67 62 66 67 65 67 65 64 67平均 65.9毫秒16层25 24 23 23 21 31 16 21 21 20平均 22.5毫秒关系型数据库图形数据库（部分完成）5层41214 41352 39758 40438 39551 39660 39218 39088 38987 3974

19、3平均 39900.9毫秒遍历 （毫秒）寻路 （毫秒）数据：二叉树深度：16层节点数据：131071关系数量：131069影响关系运算执行过程系统:虚拟机宕机FM-02-01-00-0001应用平台：P4节点故障FM-03-02-01-0002业务交易：网银存款交易1-5步失败FM-06-08-05-0312设备:硬件故障FM-01-02-05-0003业务影响分析故障报警整合事件管理平台：关联告警事件至对象模型，根据影响关系传递监控对象影响状态。可视化监控平台带来集中化、场景化运维APM信息呈现数据处理数据采集主机监控信息呈现数据处理数据采集网管信息呈现数据处理数据采集DCIM信息呈现数据处

20、理数据采集流程平台信息呈现数据处理数据采集云平台信息呈现数据处理数据采集应急指挥信息呈现数据处理数据采集值班管理信息呈现数据处理数据采集自动化信息呈现数据处理数据采集可视化监控平台可视化引擎数据仓库架构管理应用画像业务流管理故障应急集中监控场景管理事件管理事件处理引擎性能处理引擎C4ISR 中央指挥控制系统指挥控制通信计算情报监控侦察空袭大兵团作战特种部队渗透IT运维的C4ISR - ITVOP应急指挥自动化应急通信关联分析工单/预案监控告警诊断工具故障应急变更发布容量分析安全控制故障应急发现响应诊断恢复验证快基础设施告警应用告警机房环境告警客户投诉人工报障各部门巡检业务人员信息各专业处置流程

21、应用日志处置预案网络流量历史变更知识库各专业告警系统日志网络日志重启切换隔离回退打补丁应急通讯服务经理信息技术支持信息发现响应诊断恢复验证应急指挥自动化操作应急通信关联分析工单/预案监控告警诊断工具应急指挥自动化操作应急通信关联分析工单/预案监控告警诊断工具应急指挥自动化操作应急通信关联分析工单/预案监控告警诊断工具应急指挥自动化操作应急通信关联分析工单/预案监控告警诊断工具应急指挥自动化操作应急通信关联分析工单/预案监控告警诊断工具发现响应诊断恢复验证应急指挥自动化操作应急通信关联分析工单/案例库监控告警诊断工具基础设施告警应用告警机房环境告警客户投诉人工报障各部门巡检故障应急发现响应诊断恢

22、复验证业务人员信息处置流程应急通讯服务经理信息技术支持信息应急指挥自动化操作应急通信关联分析工单/案例库监控告警诊断工具故障应急基础设施告警应用告警机房环境告警客户投诉人工报障各部门巡检发现响应诊断恢复验证故障应急应急指挥自动化操作应急通信关联分析工单/案例库监控告警诊断工具业务人员信息处置流程应急通讯服务经理信息技术支持信息基础设施告警应用告警机房环境告警客户投诉人工报障各部门巡检处置预案网络流量历史变更知识库系统日志网络日志诊断脚本发现响应诊断恢复验证故障应急应急指挥自动化操作应急通信关联分析工单/案例库监控告警诊断工具处置预案网络流量系统日志网络日志重启切换隔离回退打补丁应用日志发现响应

23、诊断恢复验证故障应急应急指挥自动化操作应急通信关联分析工单/案例库监控告警诊断工具处置预案网络流量系统日志网络日志应用日志人工验证诊断脚本ApplicationDatabaseSystemServerStorageNetwork应用管理系统管理网路管理存储管理数据库管理环境管理统一接口专业管理工具统一数据处理可视化管理IT可视化监控平台数缺图时少直观华罗庚图少数时难入微数图结合百般好隔离分家万事非CIConfigMonitorsChange/incident historyLogsScriptalarmsCiCi1，通过管理对象，整合多维度管理信息和管理接口CiCiRELRELRELRELRE

24、LCiCiCiCiCiCiCiCiCiCiCiCiCiCiCiCiConfigMonitorsChange Incident historyLogsScriptAlarms3，通过管理场景，使用需要的数据、规则、操作和信息2，通过管理场景，整合相关联的管理对象多维度信息整合运维数据管理实时缓存主数据管理监控数据流程工单作业调度自动化执行反馈事件报警事件数据性能数据映射配置信息监控指标接口接口接口接口接口关联关系配置信息监控策略静态架构视图动态运维场景转换发现应急预案接口接口接口应急预案分析引擎性能处理事件处理动态运维数据静态数据静态数据同步模式：批量信息同步为主，信息变动实时推送更新。动态运维

25、数据同步模式：固定间隔采集数据，主动轮询获取。随机事件/工单/作业结果被动接收通过系统架构整合运维管理对象通过管理对象整合多维度运维信息围绕故障场景的处理阶段整合多维度信息和操作按照业务系统组织系统架构视图制作/管理场景制作/管理可视化赋能配置数据监控数据事件告警操控数据流程数据数据处理层数据存储层JDBCWeb ServiceMQSocket数据接口层性能处理引擎事件处理引擎RESTful3D可视化引擎2D可视化引擎1D可视化引擎配置管理视图管理场景管理预案管理事件管理应用画像基础管理可视赋能层应用功能层操作调度引擎运营门户层个人工作台大屏门户掌上门户ITVOP解决方案整体架构传统运维管理可

26、视化架构管理集中化监控管理场景化运维管理众创化运维平台ITVOP带来运维“新四化”可视化架构管理目标：构筑IT运维的“百度”地图1可视化视图创建1数据管理2图标管理3视图管理4查看视图6视图钻取7架构回溯项目案例一 总体使用流程5告警模式项目案例一 视图管理1创建视图模板2选择视图模板3绘制视图管理员普通用户静态图纸逻辑宇宙组合视图目标：将相关联的视图根据逻辑模型架构组合立体展示，更直观形象地展现IT架构的层次依赖关系。实现业务影响和根源诊断的辅助判断。11112D视图项目案例一 视图管理集中化监控管理目标：构筑IT运维的“路况”地图2外汇交易量下降服务器无告警网络无告警其他监控指标均正常可能

27、不是外汇系统问题集中化监控管理-集中监控管理-查看组合视图可能是“二代支付”服务器问题，做进步一诊断发现上游“二代支付”系统存在“大额支付交易量”异常查看“二代支付”业务交易图，发现服务器告警查看“二代支付”系统部署架构图，亦发现服务器告警查看“二代支付”网络拓扑图，无设备告警集中化监控管理-集中监控管理-查看组合视图集中化监控管理-集中监控管理-查看组合视图集中化监控管理-集中监控管理-查看性能/告警/配置明细集中化监控管理-集中监控管理-查看应用画像为每个应用提供统一模式的集中查看，即称应用画像一种应用画像版式：地理分布、基础设施、业务流架构、Ci信息墙场景化运维管理目标：构筑IT运维的“

28、场景化路况”地图和“场景化应急预案”3数据选择场景内KPI信息应急预案、相关文档处理规则操作动作场景化运维管理（续）带宽利用率30%告警带宽利用率60%告警带宽利用率15%告警网络管理安全管理BeforeAfter 场景化运维管理（续）20%80%日常短信业务量节假日短信业务量上基线60%下基线10%20%80%上基线50%下基线5%上基线90%下基线20%日常短信业务监控节假日短信业务监控传统一刀切的管理面向场景的管理用架构图来描述某个管理场景设置场景级的监控指标指定场景内的所有告警场景级告警高可用集群，单台服务器故障为低级别告警场景化运维管理（续）场景化运维管理（续） 自动化接口适配器根据

29、场景中预定义的规则、阈值，通过任务引擎自动调用执行相关自动化脚本。场景化运维管理 场景管理针针对日常运维场景进行汇总，在各类场景视图上，运维人员可清楚了解，运维所需要各个步骤，并调出相关系统的各类监控相关信息可视化元素业务渠道、交易量、应用系统、服务器、存储、网络设备，交互关系管理功能整合监控信息，实时监控应用运行状态自定义指标、监控阀值，提高告警准确率对不同的角色或者业务，可设计不同的管理场景，来满足运维不同层次的需求众创化运维平台4众创化的数据采集、场景制作，社区化的分享和协作方式，释放运维人员的能量！业务流上端到端可视场景化、端到端的运行状态和异常。mq众创化运维平台画主机！画什么？画网

30、络！画交易！画存储！众创，让每个需求的提出者，同时也成为需求的实现者上基线下基线中心线平台化能力，使IT运维人员可以从画图、从场景设定开始众创！众创化运维平台 场景发布/订阅自助创建可视化管理场景领域专家/运维人员订阅订阅订阅众创化运维平台（续） 社区管理用户空间验证创建发布订阅社区分析我的管理场景我订阅的管理场景最热门的管理场景最新的管理场景最勤劳的*运维社区可视化运维平台总览可视化集中化场景化众创化事件性能产品计划ITVOP销售场景与产品包组合1、可视化架构管理2、集中化监控管理3、场景化运维管理4、众创化运维平台产品组合公共基础组件包公共基础组件包公共基础组件包公共基础组件包可视化架构管

31、理组件包可视化架构管理组件包可视化架构管理组件包可视化架构管理组件包可视化监控管理组件包可视化监控管理组件包可视化监控管理组件包可视化运维管理组件包可视化运维管理组件包可视化运维平台组件包配置数据集成能力数据驱动架构图绘制能力基于视图的架构管理能力监控数据集成能力性能数据处理能力事件数据处理能力监控数据集中呈现能力场景化规则定义能力自动化控制集成能力自服务能力社区分享能力社区管理能力进阶能力招行云图项目公安部项目建行集中化监控平台北京农商行项目邮储银行项目上交所流程可视化项目华为eSee项目招行一体化运维平台项目华为eSee项目招行一体化运维平台项目典型案例ITVOP销售场景与产品包组合（续）

32、1、可视化架构管理2、集中化监控管理3、场景化运维管理4、众创化运维平台基础管理组件公共基础组件包基础工作台组件基础工具包组件增强工具包组件国际化支持组件配置管理组件可视化架构管理组件包IT架构3D可视化管理组件(TIV)视图管理基础组件视图管理增强组件已实现待优化，16/57%实现中，2/7%规划中，10/36%图例说明基础管理组件公共基础组件包基础工作台组件基础工具包组件增强工具包组件国际化支持组件配置管理组件可视化架构管理组件包IT架构3D可视化管理组件(TIV)视图管理基础组件视图管理增强组件监控数据集成组件可视化监控组件包性能处理引擎基础组件性能处理引擎增强组件事件处理引擎基础组件事

33、件处理引擎增强组件数据中心可视化管理组件(DCV)监控数据集中展现组件基础管理组件公共基础组件包基础工作台组件基础工具包组件增强工具包组件国际化支持组件配置管理组件可视化架构管理组件包IT架构3D可视化管理组件(TIV)视图管理基础组件视图管理增强组件场景管理基础组件可视化监控组件包诊断管理基础组件场景管理增强组件诊断管理增强组件恢复管理组件个人工作台组件自动化调度引擎组件自动化任务引擎组件第三方自动化集成适配器组件基础协议自动化集成适配器组件监控数据集成组件可视化监控组件包性能处理引擎基础组件性能处理引擎增强组件事件处理引擎基础组件事件处理引擎增强组件数据中心可视化管理组件(DCV)监控数据

34、集中展现组件基础管理组件公共基础组件包基础工作台组件基础工具包组件增强工具包组件国际化支持组件配置管理组件可视化架构管理组件包IT架构3D可视化管理组件(TIV)视图管理基础组件视图管理增强组件场景管理基础组件可视化监控组件包诊断管理基础组件场景管理增强组件诊断管理增强组件恢复管理组件个人工作台组件自动化调度引擎组件自动化任务引擎组件第三方自动化集成适配器组件基础协议自动化集成适配器组件社会化分享组件可视化运维平台组件包社区管理组件监控数据集成组件可视化监控组件包性能处理引擎基础组件性能处理引擎增强组件事件处理引擎基础组件事件处理引擎增强组件数据中心可视化管理组件(DCV)监控数据集中展现组件ITVOP产品DNA探讨ITVOP-DNA可视化+大数据+互联网+ITVOP产品DNA探讨：可视化+可视化+的目标：让可视化的“u图”成为IT运维工作和IT运维数据的入口，让IT运维变得极致简单可视化+的驱动：是DNA在ITVOP产品的持续繁衍可视化+的演进：可视化+架构=可视化+监控=可视化+运维=可视化+万物ITVOP产品DNA探讨：互联网+互联网+的目标：充分借鉴互联网信息生产和信息消费的机制、模式和体验，让IT运维变得极致便捷互联网+的驱动：是互联网机制、模式和体验在ITVOP产品的创新植入互联网+的内涵：体验为王，个性化，众创化（消费者即生产者）ITVOP产品DNA探