金融行业大数据平台综合监控解决方案

1、金融行业大数据平台综合监控解决方案技术创新，变革未来目 录现状分析大数据背景下的监控平台架构介绍功能介绍性能目标产品演进路线一、现状分析当前架构一、现状分析民生银行当前架构中存在的问题随着民生银行集中监控系统监管的系统和平台越来越多，环境越来越复杂，其集中监控自身架构在当前和未来在处理能力和稳定性方面会存在如下制约:N多IT环境对一套NMS Server，形成多对一态势 基础设施监控、应用监控、存储监控、网络监控、机房监控等等，所有IT环境的监控处理都严重依赖于NmsServer, NmsServer一但down掉或性能出现瓶颈，相关联服务和应用都无法正常工作，严重情况下会出现监控平台全局瘫痪

2、。IT资源多种多样，数据格式和类型多种多样，对复杂数据处理和分析能力要求高 随着监控节点数量的不断增加、被管数据类型和新型数据格式的不断创新，数据消费模式新需求的不断涌出等等，不仅对集中监控系统本身的处理能力和稳定性提出了高高的要求，同时对于数据多维度、多角度的分析和处理能力要求就更高。传统基于JVM内存资源缓存技术的扩展能力远远满足不了如今技术格局的变化平台独立处理能力的提升，无法满足动态扩展和负载均衡的需求当前集中监控系统未来在大数据环境中的处理能力和扩展能力的挑战很大，当数据处理不过来时，无法通过增加机器或其他方式动态提高数据处理能力二、金融行业在大数据背景下监控平台应具备的特点和能力高

3、可用不因为某一单点故障影响整个系统的运行,提供7*24小时持续运行可扩展数据缓存和处理具备负载均衡能力，可通过增加节点来提高数据缓存和处理能力低延时告警，性能等实时数据处理速度高,延时低易维护系统自身运行情况可自监控，配置维护统一简单基于上述特点，Ultra-M面向大数据环境下大型金融行业用户的监控平台提供解决方案。 架构介绍Ultra-M架构架构介绍Storm平台1.Storm简介 Storm是Twitter公司开源的一个实时流数据处理框架。Storm支持水平扩展，具有 高容错性，保证每个消息都会得到处理，而且处理速度很快。简单的编程模型: Storm简化了实时处理模型支持多种编程语言: 目

4、前支持Clojure, Java, Ruby, Python容灾高可用: Storm管理整个worker集群, 允许单节点失败支持水平扩展:支持多线程, 进程, 服务器平行处理高可靠:保证消息能被全部处理, 一旦执行任务过程中失败, 能从失败处开始对消息进行回放.高效:用ZeroMQ作为底层消息队列, 保证消息能快速被处理支持本地模式:方便本地对Topology进行测试2.Storm设计思想 在Storm中，数据就像水流一样，从Spout(水龙头)流入，以tuple流形式流入到Bolt(处理器),经过当前Bolt处理过的数据再以tuple流形式流入下一个Bolt处理，直到数据处理完成。架构介绍

5、Storm平台3.Storm逻辑模型 Topology: 各个组件(Spout,Bolt)间的消息流动形成逻辑上的一个拓扑结构Spout: 在一个topology中产生源数据流的组件Bolt: 在一个topology中接受数据然后执行处理的组件Tuple: 一次消息传递的基本单元Stream: 源源不断传递的tuple就组成了streamStream grouping:定义每个bolt接收什么样的流作为输入架构介绍Storm平台4.Storm物理模型 Nimbus: 负责资源分配和任务调度Supervisor: 负责接受nimbus分配的任务，启动和停止属于自己管理的worker进程Worke

6、r: 在一个topology中接受数据然后执行处理的组件架构介绍Storm平台5. Ultra-M中Storm应用 基于Storm框架如下特点: (1).实时流式计算 (2).高可扩展 (3).高可靠 (4).高性能 以及监控系统中需进行大量实时告警，性能数据处理特点，在新一代大数据监控产品Ultra-M中使用 Storm作为实时大数据处理平台再合适不过。 在Ultra-M中,Storm主要用于如下几个方面的处理: (1).实时告警处理 (2).性能数据处理 (3).性能基线计算及基线告警处理 架构介绍Redis集群1. Redis简介 Redis 是一个高性能的key-value存储系统。性

7、能极高，支持10万/秒的读写频率丰富的数据类型及对应的操作：支持的数据类型包括:string、list 、set 、sorted set 和hash持久化: 内存数据同步到磁盘来保证持久化，解决了Memcached断电后数据完全丢失问题Pipeline: 将client的多个命令一起打包发给Redis-Server，Redis-Server将结果一起返回发布订阅(pub/sub): 可以作为一个小型消息服务器使用主从复制：允许多个slave server拥有和master server相同的数据库副本，配置简单分布式：目前Redis实现集群的方法Redis客户端根据shard技术实现2. Ul

8、tra-M中Redis应用 在监控系统中，告警数据的处理离不开资源数据作为基础，在告警处理中会频繁访问资源数据，因此，需要将资源数据缓存起来，以便提高告警处理速度。另外，随着资源数据的不断增长，缓存需要不断增长，不过单独在一个进程进行缓存资源数据会受到JVM内存大小制约。 基于Redis高性能的键-值缓存及分布式缓存特点， Ultra-M中使用Redis作为数据缓存。 在Ultra-M中，Redis主要用于缓存如下数据: (1). 资源缓存 (2). 告警缓存 (3). 规则策略缓存 (4). 配置文件缓存 架构介绍Metaq集群1. Metaq简介 Metaq是一个淘宝开源的分布式的消息中间

9、件，纯Java开发，具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。性能极高,吞吐量大生产者、服务器和消费者都可集群支持消息顺序支持异步发送消息消费消息失败，支持本地恢复支持消息持久化支持HA复制支持消息过滤2. Ultra-M中Metaq应用 在Ultra-M中，Storm平台大数据处理是通过消息中间件来收集待处理的数据的，这就要求消息中间件必须具备很高的吞吐量，并且防止单点故障以及具备高扩展能力。另外，告警数据还要求保证消息的顺序性，而这些正好是Metaq所具备的。 在Ultra-M中，Metaq主要用于处理如下消息数据: (1). Storm平台需要处理的数据，这部分数据主要由P

10、robe发送 (2). Ultra-M中各种各种消息通知，例如: 新建任务下发消息 包括采集任务，状态轮询任务，服务响应任务等 规则变更消息 数据变更消息 架构介绍Zookeeper1. Zookeeper简介 ZooKeeper是Hadoop的正式子项目，它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。Storm，Metaq集群都是依赖Zookeeper实现的。2. SigmaM中Zookeeper应用 Storm,Metaq均是基于Zookeeper来实现自身的负载均衡的，因此在Ultra-M中，Zookeeper是必不可少的，另外，基于

11、数据发布订阅(数据中心)的特点，将Ultra-M中一些全局配置发布到Zookeeper中进行存储，这些配置包括: (1).Redis集群地址 (2).数据库连接地址 (3).一些其他全局配置 Zookeeper提供了基于节点属性更改通知接口，因此在SigmaM中会监听这些全局配置的改变，然后重新初始化一些连接，而无需因为全局配置的更改重启系统。例如，如果数据库地址发生了变更，只需Zookeeper中数据库连接地址节点属性，SigmaM应用(NmsWeb,Probe)监听到变更后，重置数据库连接池中的数据库连接即可。 架构介绍统一配置中心，统一调度中心和数据库 统一配置中心和统一调度中心是Ult

12、ra-M自己的应用统一配置中心作用如下:(1).向Zookeeper注册Ultra-M全局配置(2).向Redis注册Ultra-M应用的公共配置(包括公共配置文件)(3).作为自管理平台，借助USM(Ultra-SelfMaintain)，实现: Ultra-M中应用的自动化安装和配置 监控Ultra-M中各应用的运行状态(包括storm平台，redis集群，metaq集群等) Ultra-M应用的自动化升级 统一调度中心作用如下:(1).各种定时调度任务，比如告警升级，工程调度任务等(2). Redis缓存与数据库数据的同步，包括告警，资源等缓存数据同步数据库:Ultra-M中默认采用My

13、Sql集群来做数据库存储，但也兼容Oracle数据库，主要是考虑到向以前Ultra-NMS项目兼容 架构介绍变与不变从民生当前解决方案到大数据解决方案之Ultra-M ，主要发生了如下改变:一.改变:1.分拆并去掉NmsServer (1).将NmsServer的内存资源缓存使用Redis存储 (2).将NmsServer的数据处理量大，实时性要求比较高的模块或处理环节放到Storm平台处 理，比如实时告警处理，实时性能处理 (3).将NmsServer中定时任务比如工程任务，告警升级等放到Ultra-M的统一调度平台中去2.去掉MsgServer,使用Metaq作为消息中间件3.去掉C/S客

14、户端(以后Ultra-M的客户端只有NmsWeb)二.不变:1.数据库模型不变，兼容以前的Ultra-NMS项目数据库2.客户端展示不变，即NmsWeb不变3.Probe采集接口及对外接口不变，兼容以前的数据接入及二次开发接口 架构介绍Ultra-M架构优势相对于Ultra-NMS或其他监控产品, Ultra-M存在如下优势:1.处理可负载均衡 告警，性能等数据量大，实时性要求比较高的处理在Storm平台中进行，Storm 平台可实现数据处理负载均衡。2.高可扩展 (1).Storm平台数据处理可通过节点方式来提高数据处理能力 (2).Redis可实现分布式缓存，可通过增加Redis-Serv

15、er节点来提高数据缓存 能力。 (3).Metaq支持集群，可以通过增加Metaq节点来提高消息服务处理能力。 架构介绍Ultra-M中数据处理举例告警处理功能介绍功能架构被管对象采集资源管理自动发现查询统计工程割接模型管理基础功能拓扑管理运维管理入口关系发现人性化排列性能管理实时性能跟踪历史性能分析告警管理门限配置事件标准化告警处理告警统计IP地址管理规划预分配分配回收业务影响故障快速定位组件影响分析健康度评价可用性量度应用专题性能基线静态基线动态基线分时基线突变基线VPN管理Vpn拓扑配置发现流量分析状态监测IDCPAgent轮询探测TRAPSYSLOGSNMPWBEM网络设备存储/备份主机数据库中间件服务/应用业务VmwareCitrix性能目标性能参数1.数据量 (1).资源数据:总量500万，其中:节点50万，对象450万 (2).KPI指标数量:总共3000个KPI指标,粒度包括15s,30s,1m,5m,15m,60m,1h,1d (3).活动告警数