云平台存储的全方位监控方案

云平台存储的全方位监控方案

云平台如何运维，这是企业信息系统考虑是否上云之前必不可少要决策的因素

之一，云平台如何监控，又是云平台运维体系建设的重点问题。云监控服务作

为云平台运维体系的重要服务，它可用于收集获取云资源的监控指标或用户自

定义的监控指标，探测服务可用性以及针对指标设置警报。使用户全面了解云

上的资源使用情况、业务的运行状况和健康度，并及时收到异常报警做出反

应，保证信息系统顺畅运行。本议题站在云平台存储的角度，深入解读云监控

服务中存储监控和传统环境的存储监控区别，以及由传统环境存储过渡到云平

台存储需考虑解决哪些存储监控建设方面的问题。

云平台存储如何实施全方位监控？

社区专家主张I邓毓江西农信运维技术经理；本议题由我本人、民生银行科技部

工程师白东旭和王向虎、某股份制银行存储架构师曾祥满几位用户专家针对议

题下的关键点进行主张，这些主张在经过某农商限行架构师胡海光、某金融科

技公司资深集成工程师孙伟光、某金融公司架构师刘艳春几位专家的复议之

后，最终形成一定的共识，希望对同行有所参考。

邓毓江西农信运维技术经理:

云监控作为云平台对外的一种云服务，通过它可全面掌控云上的资源使用情况、

业务的运行状况，能够及时掌控及处理云上出现的突发情况，保证业务连续性

运行，同时降低企业仃运维成本。

本文中所指的云监控为云平台（公有云或私有云）的性能监视与检测，它能为

用户提供一个针对云资源、云服务或者云产品的全方位监控平台。云监控本身

也作为云平台对外的一种云服务，通过它可全面掌控云上的资源使用情况、业

务的运行状况，能够及时掌控及处理云上出现的突发情况，保证业务连续性运

行，同时降低企业IT运维成本。云平台存储是云平台基础设施的核心基础资

源，包括块、文件和沟象等一系列存储产品，对用户提供数据存储服务。其架

构复杂性及技术难度较云下传统集中式存储有较大提升，因此，云上不同类别

的存储产品的精细化监控也变得尤为重要。基于此，本文将以三大知名公有或

专/私有云平台存储产品监控体系为例进行分析，旨在帮助读者详细了解云平台

存储全方位监控的方向和监控指标体系建设的详细内容。

一、云平台存储全方位监控建设方向

云平台存储全方位监控建设方向应当包括至少以下四个方面：云平台存储基础

底座监控、云平台存储产品监控、事件告警平台、多维度图表展示及报表，形

成一个完整的云监控服务，其架构如图1所示，下面将一一进行介绍:

图1:云平台存储全方位监控图

1.云平台存储基础底座监控

如今的云平台存储时代分布式架构得到了广泛应用，云平台存储基础底座通过

利用大量标准化机器的存储资源聚合构造一个海量存储池，作为数据存储的基

石性系统，其上承载了一系列的云平台存储服务。既有要求高吞吐量，I/O能

力随集群规模线性增长的“开放存储”，又有要求低时延的“弹性计算”。作

为底层平台核心的云平台存储底座必须二者兼顾，同时具备高吞吐量和低时

延。因此其技术架构十分复杂，作为基础底座，完备的监控是必备的。主要包

括两大类别，一是存储产品集群监控，包括该存储产品所用底座集群下的存储

空间、机器信息和健康信息等，健康信息涉及集群元数据节点和数据节点的整

体状态、水位、磁盘、集群日志等信息；二是集群节点监控，包括节点基础监

云监控事件告警平台要求能够为用户提供及时、个性化的事件及告警服务，统

一适用于云上各类计算、存储和网络的基础底座及云产品监控。

1）事件服务：提供了事件类型数据上报和查询功能。方便用户将云上的各类

重要事件或对云资源（包括云底座和云产品）的噪作事件收集到云监控服务，

并在事件发生时进行告警。事件服务保存并监控着云资源的关键操作，可通过

事件了解到谁在什么时间对系统哪些资源做了什么操作。

2）告警服务：提供了监控指标、事件的告警功能。用户对云资源的核心监控

指标设置告警规则，当监控指标触发用户设置的告警条件时，支持以邮箱、短

信、HTTP、HTTPS等方式通知用户，让用户在第一时间得知该云资源发生异

常，迅速处理故障，避免因资源问题造成业务损失。另外，云监控告警服务使

用消息通知服务向用户通知告警信息。首先，用户需要在消息通知服务界面创

建一个主题并为这个主题添加相关的订阅者，然后在添加告警规则的时候，需

要开启消息通知服务并选择创建的主题，这样在云资源发生异常时，云监控告

警服务可以实时的将告警信息以广播的方式通知这些订阅者。告警规则支持企

业项目，当选择了告警规则到某个企业项目时，只有拥有该企业项目权限的用

户才可以查看和管理该告警规则。

4.多维度图表展示及报表

云监控需要支持用户通过丰富的多样的个性化图表查看已有的监控数据，并支

持自定义报表导出能力。统一适用于云上各类计算、存储和网络的基础底座及

云产品监控。

监控面板/大屏：能为用户提供自定义查看监控数据的功能。将用户关注的核心

云资源监控指标集中呈现在一张监控面板里，为用户定制一个立体化的监控平

台。

1）用户可以在监控面板详情中便捷地查看和导出各个云资源的监控数据；

2）用户可以在监控面板订阅重要的指标，个性化地定制不同指标的展现形式

与运算规则，并通过列表与图表结合，对指标数据进行排序与对比展示，辅助

异常排查与故障分析；

3）用户可以查看和导出账号下所有云资源的监控数据与绑定的告警信息；

4）监控面板支持在一个监控项内对不同资源、不同维度的数据进行对比查看

和导出，帮助用户实现不同云资源间性能数据对比查看的需求；

5）监控面板支持结合云资源的健康状态与告警数据，为用户提供了快速定位

异常资源的功能，并支持用户结合具体数据与异常信息排查问题；

6）能够通过监控面板自定义需要定期导出成报表的监控指标和告警数据，形

成日报、月报等。

二、云平台存储全方位监控指标体系建设

云平台存储监控指标体系建设的重要性不言而喻，通过对云平台存储基础底座

以及块存储、文件存储和对象存储等三大主要存绪产品进行精细化监控，关注

这三类云存储服务的可用性、安全性、服务质量等指标，直观展示各类云存储

资源配置信息、使用状况、性能状况及健康状况，准确及时的发现云存储系统

中的故障和问题所在，以智能多样化的方式进行报警、信息统计，及时响应、

掌控以及处理系统突发故障，同时也可以进行问题预测。为了便于读者直观了

解云平台存储监控指标体系建设内容，下面以阿里专有云存储基础底座-盘古

（表1）,以及三大知名公有或专/私有云平台存储产品监控体系为例，列举并

对比三大云上存储产品各个方面监控重要指标（表2-表4）：

表1:阿里专有云存储基础底座监控指标

注：盘古Master服务器：盘古文件系统的元数据存储服务器；盘古Chunk

Server（简称CS）服务器：盘古文件内容数据存储服务器。

表2：块存储产品监控指标及对比

表3：文件存储产品监控指标及对比

\

表4：对象存储产品监控指标及对比

注1：包括各类对象存储操作的请求，如:对象追加(AppendObject),对象

拷贝(CopyObject)、对象删除(DeleteObject)对象下载(GetObject)>

对象存在和权限判断(HeadObject),对象上传(PutObject),对象HTML表

单上传(PostObject)、对象分块上传(UploadPart)、对象复制分块上传

(UploadPartCopy),可以对不同操作建立精确的监控指标。

注2：不同云厂商返回码和含义不同，常见返回错误包括：客户端授权错误、

超时错误、网络错误请求、客户端资源不存在错:吴、服务端错误、用户层级客

户端授权错误、用户层级客户端其他错误、客户端超时错误、用户层级客户端

超时、用户层级客户端资源不存在错误、用户层级服务端错误等，可以对不同

返回错误建立精确的监控指标。

注3：包括用户层级和非用户层级指标情况，未标注则未对此指标进行区分。

注4：包括标准存储、低频存储、归档存储等不同类别对象存储，可以对不同

类别建立精确的监控指标。

注5：包括指定回源源站的正常请求、指定返回值和回源源站的正常请求两

类。

白东旭王向虎民生银行科技部工程师：

未来存储监控平台可结合整体智能运维分层立体的监控体系，实现从基础设施

到租户业务的端到端全覆盖的立体监控，提供基础监控、业务监控、链路监控

等方面通用平台能力，将监控平台+云服务+一线运维等各云服务监控整合基于

监控平台实现自己特定业务监控。

现有运维体系的建设现状

随着银行数字化转型升级进程的加快，IT系统架构越来越复杂，软件更新迭代

越来越快。银行信息化建设中的大量业务和数据需要依靠信息系统来完成，这

使得构建稳定可用的IT系统成为业务发展的基础条件，而IT运维管理也随之

成为根行信息化建设的重要环节。

近年来，因为IT系统突然出现故障导致业务瘫痪甚至造成巨额损失的现象频出

不穷。而银行大型数据中心由于对系统、数据的高度依赖，IT风险更大，对IT

运维管理的重视也就更高。

在银行IT基础架构层中最重要的就是存储设备，存储最基本的功能就是对外提

供高可靠、高性能的数据存取能力。完善的存储运维不仅要对所有IT系统以数

据容量超PB级别的快速精准管理，更要面对年增长超20%的设备/容量增长，

不仅包括SAN/NAS/1PSAN,更包括上千个SAN端口、异构设备的挑战，时刻面

对呈指数级增长的应氏的压力。就当前的现状来看，基于存储的复制，系统恢

复仍然需要较长时间，高可用方案，包括存储层面的高可用，0S层的卷镜像，

Oracle的ASM,基于应用的复制方案等，管理上也更复杂。

云平台下运维的变革

随着云计算、大数据以及新兴的区块链等技术体系的迅猛发展，数据中心的扩

容建设进入高峰期，云数据中心运维需求应运而生。传统的运维直接接触硬

件，如服务器、存储设备和网络设备；但是在云数据中心时代，运维已经从面

向物理设备，转变为面向虚拟化、云的管理方式。

因此，云平台下的运维提出了新的能力要求一一不仅要熟悉传统硬件设备，同

时要掌握虚拟化、云系统的部署、监控和管理等运维能力。存储系统作为IT基

础设施的主要部件，也在探索如何利用AI技术提升其各项能力。

银行的业务千差万别，而不同的业务对可靠性、性能的需求也不尽相同。为满

足这些需求，存储设备提供了不同的介质、缓存、特性选项。如何合理配置这

些选项，实现存储设备的最大化利用，就成为了云平台存储运维复杂性的重要

来源。

云平台下存储运维实践

1.存储选型：

针对云下存储，首先需要划定对接不同业务类型的存储服务。

交易类服务器：裸机十FCSAN,适用于核心交易类、数据库类应用，要求极致

高性能的传统关键应耗；

OpenStack云平台：1）集中式块存储资源池：对接裸金属服务器和KVM云二

机；2）分布式块存储资源池：对接KVM云主机；3）分布式对象存储资源池；

容器平台：1）分布式块存储资源池：对接无状态容器主机；2）集中式文件资

源池：对接有状态高性能容器需求；

大数据平台：使用服务器本地盘，存算分离场景使用对象存储；

数据共享与交换：1）集中式NAS用于文件共享、票据影像等小文件场景，，生能

更优；2）分布式NAS：用于视频监控、HPC等大文件场景；

数据备份：1）分布式对象存储池：用于存储数据在线备份；2）磁带库或蓝光

存储：用于存储数据虎线归档；

如图1所示。

>

图1:不同业务类型的存储方案

2.基于应用感知的存储运维优化

通过存储设备内置的控制器、缓存、盘等使用情况去实时感知应用的特征、存

储的性能、消耗的资源等数据，并基于获取的海量实时数据的进行数据分析、

挖掘、建模和预测，准确的判断出应用的业务特点和行为模式，也就是应注的

“DNA”。在后期新业务或者未知业务的识别和分析中，通过业务特有的

“DNA”,便可准确获知其应用类型（如OLTP、OLAP、文件共享、VD1等）。更

进一步，基于长周期序列数据的分析和预测，存储可以预测应用性能需求的峰

值和低谷，甚至是某个时刻的具体IOPS值，以及应用的趋势变化。

例如，以应用读写的10大小分布作为横坐标，时间作为纵坐标，颜色深浅表示

所占比例大小，可画出应用在一个业务周期内I。大小的热力图。将不同应用若

干天的热力图放在一起比较，可以清晰的看到不同应用的特征区别显著，而同

一个应用特征相对稳定，如下图（图2）所示。显而易见，通过这些特征可以

准确区分出不用应用O

图2：不同应用业务周期内10大小热力图

具备了感知应用的能力，在云环境中就可以清楚的知道运行在不同存储上的应

用类型。而基于应用的特征，配合存储设备内置的接口，来调整和优化存储的

配置、参数、前台特性、后台任务等等，最终保障应用高效，平稳地运行。

3.提前预警和快速消除隐患

通过设备隐患的主动识别和提前预防，提高系统的稳定性和数据的可靠性，是

每个银行云平台存储运维人都十分关心的内容。

故障预测：整个存储系统是各类子硬件模块如控制器、盘、接口卡、缓存和软

件构成的复杂系统，每个部件都有可能出现故障，从而影响整个系统的稳定

性。虽然存储系统做了很多的容错机制，如不同类型的RAID,阵列双活等，防

止出现数据不可用或数据丢失等情况，但是若能提前获知某个部件即将发生故

障，如硬盘的失效，逅过硬盘的SMART信息，学习硬盘在失效前的模式，构建

机器学习模型，提前预测出故障盘，及时进行更次，可极大程度避免由于多盘

故障导致的数据丢失问题。

基于云端的智能存储运维，通过收集大量的存储上报信息，可实时获知每个阵

列设备的健康状态.当发生故障时，云端ML/AL可以迅速进行根因分析，指导

故障修复，同时总结故障指纹，立即在全网积极排查，避免同类故障在其它局

点出现。

系统瓶颈识别：基于历史数据对存储设备的运行情况进行预测，如容量和性能

的预测，给出建议。可以清楚业务在未来一段时间的容量和性能需求，并提前

进行相应的扩容或SLA(ServiceLevelAgreement)等级调整等工作，避免临

时出现资源不足导致的生产事故。

4.主动识别并准确定位问题

大部分情况下，当存储设备出现故障时，往往都有一些异常征兆：如控制器

CPU占用率上升，或许是短时间内大量告警日志。若这些异常能够被提前预

警，将会极大提升云下存储系统可靠性，降低运维风险。

对于云下存储设备来说，需要识别的异常有两类，一类是KPI(Key

PerformanceIndicator)异常,如CPU占用率、时延、IOPS、带宽等指标异

常；另一类是日志异常，如异常打印。

KPI异常通常分为三类：点异常(Pointanomalies),上下文异常(Contexture

anomalies)和群集异常(Collectiveanomalies)。点异常和上下文异常较好理

解，群集异常略显复杂。例如，在存储设备中，通常控制器的CPU利用率会随

着1OPS的增高或后台任务的增多而增高，当1OPS以及后台任务不变的情况

下，CPU利用率增高(但尚未到达告警的阈值)，这就是一个群集异常现象。

识别这类异常的方法他多，简单的方法是基于规则，通过设定阈值来检测c但

是，当监控指标很多，业务特征很复杂时，管理这些规则和阈值就成了不可完

成的任务。更智能的方法，是利用传统的ARIMA、Holtwinter方法，或

LSTM,CNN等深度学习方法，学习出预测模型，监控预测值与实际值的偏差；

或者通过最近邻、聚类和马尔科夫链等方法直接找出异常点。

日志异常：日志类的异常检测在运维已有不少成功的先例。其核心思想如下：

通过分析大量日志，符类似的日志标记为一个事件。通过学习正常日志来归纳

总结这些事件的正常模式。当系统发生异常，产生不正常的日志时，就可判断

出这时的事件发生模式有异常，可将其标记为不正常的时间段，如图3所示。

图3：机器学习在问题定位中的应用

监控升级，云存储运维向AIOps演进

随着堆栈变得越来越复杂和关键，在云平台存储运维流程建立完备后，需要整

体的AIOps的功能。特别是在云下混合、虚拟化和异构环境中，应用于基础设

施性能管理（IPM）的AIOps能够有效地确保最佳性能，可以监督业务关键型面

向客户的应用程序的运行状况和利用率，能够在数据中心基础设施中出现任何

潜在阻塞或延迟问题之前提供警报。

未来存储监控平台可结合整体智能运维分层立体的监控体系，实现从基础设施

到租户业务的端到端的全覆盖的立体监控，提供基础监控、业务监控、链路监

控等方面通用平台能力，将监控平台+云服务+—爱运维等各云服务监控整合基

于监控平台实现自己特定业务监控。

针对未来laaS规模急速增长，监控平台需结合SRE数据平台制定基于

Region,基于资源的集群隔离及解耦方案，平滑应对未来现网的规模增长。

曾祥满某股份制银行存储架构师：

金融企业中云平台和存储平台由不同团队负责管理，为了确保应用系统运行平

稳，传统云平台存储的监控不能仅仅依赖存储平台团队，也需要云平台团队的

协作配合。

金融企业在构建联机交易数据库时，通常由两台物理机组成RAC架构，底层共

享存储采用接入SAN网环境的块存储。此类存储具备高吞吐、低时延的优点，

结合物理机提供独享充裕的计算能力，有效地应对OLTP事务请求。而针对非交

易数据库的应用，一般对底层存储处理能力要求相对适中，此类应用目前均部

署在传统云上。与交易类数据库环境不同，传统云平台下虚机应用对底层存储

完全是透明的。

传统云平台应用及交易类数据库适用于不同处理能力的存储平台，这点在存储

部分特性的启用上也有明显的差别。例如，中端全闪存储出厂具备单独的压缩

芯片，启用重删压缩特性不仅对上层应用10请求毫无影响，还能大幅提高存储

订阅容量和利用率降低企业TCO。而高端全闪存储常用于核心类交易数据库，

为最大程度保证存储整体处理能力轻松应对数据库联机事务请求，通常金融企

业会非常谨慎启用其数据压缩特性。

受限于不同存储多路径版本的差异，交易类数据库服务器通常只安装一种品牌

型号的存储，且LUN在同一型号不同存储设备间进行数据迁移时需要数据库启

停操作配合。而传统云平台单个集群通常可以连接不同型号的存储，不同型号

的LUN之间进行数据热迁移对上层应用是完全无感知的。

交易类数据库关联存储，在日常监控中不仅关注没备的整体带宽、IOPS、时延

等指标，也会重点关注某套系统LUN组的以上指标运行情况。传统云平台的单

套存储通常只承载少量的虚拟化集群，上层应用对底层存储完全透明，所以监

控层面通常只关注盘阵的整体带宽、IOPS、延迟、CPU利用率等指标。

交易类数据库，一般根据业务应用的系统等级，底层采用存储复制或数据库DG

复制技术来实现同城灾备。而传统云平台运行的应用系统等级较低，为了规避

单台盘阵出现业务中断风险，部署同型号的存储洽承载相同应用系统的其他集

群使用。

通常金融企业中云平台和存储平台由不同团队负责管理，为了确保应用系统运

行平稳，传统云平台存储的监控不能仅仅依赖存绪平台团队，也需要云平台团

队的协作配合。

对于存储平台而言，除了安排厂商定期完成设备的深度巡检，在日常监控中需

关注四个方面。一是SAN网光纤链路层面的告警；二是存储硬件层面是否存在

异常；三是存储整体带宽及时延、CPU利用率；四是存储容量是否低于阈值。

对于云平台而言，需加强虚拟化集群DataStore状态监控，有助于在上层应用

出现异常时提供运行状态支撑。

光纤链路作为连通计算资源和存储资源的重要媒介，其质量好坏对数据请求服

务的稳定性、可靠性存在很大的影响。链路诊断以服务器侧的端口为主，查询

端口故障相关性能计数（丢包、CRC错误、PCSEbor、信号丢失、端口

Reset）是否存在非0