异构存储统一监控方案与最佳实践

1、 异构存储统一监控方案与最佳实践 【摘要】本文是一篇实用的干货文章。分析了当前企业异构存储现状及其造成的监控难题，介绍了当前异构存储监控软件的概况，并结合金融行业重点分享了几款集中监控软件具体的部署实践和使用效果，希望为有计划实施的同行提供参考。目录1 企业存储异构现状2 异构存储监控软件概况2.1 软件费用付费 / 免费2.2 订制方式成品 / 开发2.3 实施、维护难度和使用灵活性3 多品牌存储集中方式与 Provider 类型3.1 Provider分类3.2 Provider类型4 异构存储监控阀值设置与告警5 异构存储监控整体报告生成与趋势分析6 异构存储监控分享6.1 订制开发硬件

2、监控管理系统6.1.1 软件部署6.1.2 存储纳管6.1.3 监控告警6.1.4 统计报告6.2 IBM Spectrum Control（简称 IBM SC ）6.2.1 软件部署6.2.2 存储纳管6.2.3 监控告警6.2.4 统计报告6.2.5 维护管理6.3 STOR2RRD6.3.1 软件部署6.3.2 存储纳管6.3.3 监控告警6.3.4 统计报告6.3.5 维护升级7 异构存储监控小结前言谈到异构存储监控的时候，笔者头脑中就会闪现出自己曾经见过、用过的十多个品牌和数十个上百种型号的企业存储系统，即使是某一存储厂商所有的存储产品，由于公司并购，研发部门差别，产品功能迥异，管理

3、和维护也并不能做到整齐划一。作为一名从事存储维护、实施、使用管理等相关工作 12 年 + 的从业者，想在此分享一下对于多品牌存储统一监控和管理的感受和使用经验。1企业存储异构现状多数企业要努力满足其来自用户和应用的不断增长以及经营分析优化等带来的需求，金融行业还要满足审计、风险、合规和监管部门的支付和报送业务需求，这样企业就会因为不同的项目，不断增加磁盘阵列和服务器，随着时间的推移，内部存储系统独立、分散，遍布数据中心，即使通过 SAN Fabric 将相关联的业务群整合起来，还是会形成数据孤岛。这时，虚拟化和云的概念引入企业的存储系统，如何利用虚拟化和云存储模式整合现有资源，是很多数据中心面

4、临的实际问题。而后续企业 IT 系统上云之后，低成本、高冗余、去中心化、横向扩展的高效聚合存储也会逐渐从承载非关键业务，走向关键和核心业务，有赶超原有传统独立存储的趋势，这就形成现在的新老存储共存、特点各异的纷乱场面。不过我相信，无论怎样发展，所有企业都希望各个存储孤岛能够整合成为便于统一管理的整体，稳定而向上透明的提供数据服务。这样，统一存储监控和分配的需求自然而然地产生。然而，各个品牌的存储厂商为了追求高市场占有率和高回报，并不想把产品做成工业流水线上的标准件。恰恰相反，为满足客户的各种需求和应用场景，国内外存储厂商会对标友商，军备竞赛式地开发出指标和参数具有排他性，标准和概念具有先驱性的

5、存储产品，力争成为行业的独角兽，这样就导致不同品牌的存储各异，而统一品牌不同用途的存储型号又各异，在资本和利益的驱使下，想要统一各个品牌存储产品的使用和监控并不容易。但从另一方面来讲，形成竞争的市场才是健康的，对企业客户也是件好事，排除决策层主观意愿和其他人为因素，如果用垄断价格和竞争价格的差额资金，去做异构存储的统一管理和监控，还是划得来的。2异构存储监控软件概况异构存储集中监控软件主要通过对存储基本信息、状态信息和性能数据进行采集，经过分析和处理，通过多种告警通知途径，配以可视化的管理方式，实时通知管理维护人员；另外，采集到的数据以图表和报告形式定期定时产生，通知存储管理人员、相关业务人员

6、以及决策者。这基本上涵盖了异构存储统一监控软件的主要需求，当然将异构存储的整合与统一分配这样存储虚拟化或 IaaS 存储资源管理的议题不在本文讨论的范围内。金融行业传统异构存储监控平台，通常使用基于 Web 界面的监控系统 Zabbix 和分布式消息系统 Kafka，来部署集中监控系统，常常使用 SNMP 协议传输告警信息，但对存储设备的专项信息和指标获取不完整。通过搭建异构存储统一监控平台，使整体设备运维管理监控平台，可以通过中间的存储监控系统通过 SNMP 协议联动起来，获取异构存储更深入的管理与性能指标。2.1软件费用付费 / 免费异构存储统一监控软件的开发团队主要有：具备研发能力的存储

7、厂商，掌握存储技术资源或有开发项目经验的公司组织，以及致力于异构存储监控软件科学研究的非盈利组织。因此，绝大多数软件都是付费的，收费按照所管理的品牌存储规模不同，所需功能不同而价格各异，少数免费可用的监控软件不会对客户使用过程中产生的问题负责，仅以论坛和不断迭代升级的过程去弥补不足，现在已经在指定模块中收费，逐渐会趋于软件付费。2.2订制方式成品 / 开发企业根据自身存储品牌选择统一监控软件，或购买成品软件进行部署，或量身打造定制开发，通常情况下监控软件的部署，会从底层资源到上层业务全盘考虑，相比之下定制化方式会更符合客户众多个性化需求，有开发能力的企业会选择开源的集中监控程序（如 Zabbi

8、x 用以监控收集 +Grafana 用以展示分析）构建开源集中监控平台。成品的异构存储监控软件有 IBM Spectrum Control、DELL EMC ViPR SRM、 HP Storage Essentials 以及 SolarWindsStorage Resource Monitor 等其他网管软件，特此声明，上面列举的先后顺序并不代表任何排名意义。Spectrum Control 是 IBM 软件定义存储产品家族中的一员，是基于 Tivoli Storage Productivity Center （ TPC ）和 Management layer of Virtual Stor

9、age Center （ VSC ）技术的智能性能管理软件，具备统一管理异构存储功能，可作为简化和可视的管理工具，也能做存储分层优化，可以在逻辑卷级别跨平台实现自动存储分层，也能对接云和软件定义存储。ViPR SRM 是 DellEMC 公司为支持第三代软件定义数据中心开发的一款存储虚拟化管理软件，具备资源调配、自动服务、自动化和报告功能模块，直观显示、分析优化等功能，集中管理各品牌存储和物理基础架构，提供监视和报告，降低运营支出。除应用程序、数据库、操作系统和虚拟化之外，存储部分主要支持自家存储和 HITACHI 、 HP 、 IBM 和 NETAPP 的主要型号。Storage Essen

10、tials 是 HP 公司的一款存储网络管理软件，提供端到端存储基础架构访问方式，具备容量和趋势分析控制存储成本，自动化性能监控来快速定位并隔离热点故障，并直观展现存储的仪表盘，生成全局报表，实现存储变更管理自动化。SolarWinds 的 Storage Resource Monitor （ SRM ）是 SolarWinds 众多网络安全管理软件产品中的一款异构存储统一监控软件， SRM 可以监测存储 IO 热点、掌握映射关系，收集 存储消耗数据并跟踪历史模式，便于容量规划、预定义报表和实时监控，官方网站提供 30 天免费试用版本。（以上信息以相关厂商官网最新发布为准）2.3实施、维护难度

11、和使用灵活性软件实施过程的复杂程度和实施后管理维护的易用性、灵活性是存储管理人员比较关心的，如果资源耗费严重，使用灵活度不高或者达不到预期的效果，甚至达不到单独使用存储设备厂商提供的管理软件的效率高，获得的信息全，那么从使用角度来看，这款软件就变得食之无味了。易用、全面、灵活、高效才会带来更好的使用体验，后面的章节我会分享到几款集中监控软件在行内的部署和使用效果，希望可以为有计划实施的同行提供些参考。3多品牌存储集中方式与 provider 类型众多品牌存储系统以网络方式通过 provider 集中起来，再汇总到监控管理系统中，只是 provider 种类不同、传输协议不同。3.1 Provi

12、der分类Provider 分为存储内部嵌入和存储外部安装两种，多数用于监控的 Provider 程序都由厂商提供在客户需要的时候独立安装，也有存储厂商已经将 Provider 集成在存储中，在需要的时候启动程序，后续在纳管存储的过程中会举例说明。3.2 Provider类型Provider 按照网络传输协议不同，有采用高传输效率的 SNMP provider ，有采用 HTTP 协议的 REST provider ，有采用众多存储厂商共同参与开发的标准管理接口 SMI-S provider ，一般使用 TCP 协议端口为 5988 和 5989 ，关于 SMI-S 的详细信息可以参考全球网络

13、存储工业协会（ SNIA ）的官网。4异构存储监控阀值设置与告警异构存储监控软件设备告警和阀值告警分别针对存储系统和交换机的物理组件状态和存储池、逻辑卷的相关指标进行设置。存储设备和组件状态异常，会由 provider 主动收集状态信息或存储系统发送 SNMP trap 反馈状态异常，设备常见设置对象就是存储系统的控制器、缓存、磁盘、电池、电源、主机接口卡，以及 SAN 交换机的 SFP 模块、电源、风扇等；阀值告警设置通常针对存储系统的存储池已用容量、剩余容量，逻辑卷的分配情况，读写 IOPS 、吞吐量、响应时间，以及 SAN 交换机的端口协商速率、读写速率、读写 frame 数、丢帧率、校

14、验错误率等指标进行设置。上述两种告警都需要实时告知维护和管理人员，通过设置告警通知配置，是告警及时准确地通过微信、短信、邮件等方式传递到负责人，或直接设置出发脚本，自动化响应告警。5 异构存储监控整体报告生成与趋势分析异构存储监控软件会将一段时间或客户需要的时间点生成指定要素的报告，通过报告中数据的多纬度分析，发现和总结趋势规律。报告生成的要素，主要有常规要素，如存储系统名称、健康状况、固件版本、设备用途与位置等；有配置要素，如存储池组成、逻辑卷、映射关系等；还有容量要素，如各主机所需存储池总容量、分配比例和短缺比例等。要素在时间维度上的累积，加以参考值和过滤条件，就产生我们所需要的报告。报告

15、的交付不需要实时，会按调度频率定时产生或在需要时产生。报告交付格式有 HTML 、 PDF 和 CSV 等多种格式，主要以直观的图标为主。报告的分析方向则主要通过前面各要素的组合，通过图标的表现，为企业提供多种方向的报告，有用于采购、扩容的容量趋势报告，有用于统计存储设备生命周期的故障率报告，有用于存储稳定运行的固件管理报告，以及用于存储资产和机房资源消耗情况的资产报告。6异构存储监控分享6.1订制开发硬件监控管理系统该系统针对我行的 IT 设备型号类型多，抽取使用最多的、最具代表性的部分设备纳入测试，包括小型机、 X86 服务器、存储、 SAN 交换机等，通过准确、及时地获取硬件告警信息、资

16、产信息，实现对设备的发现与纳管，对部件变动信息的准确获取，对部件性能的参数监控，对服务器 KVM 的远程操作，并提供完整的资产信息和告警信息用于管理和维护，为日后硬件的采购提供技术参考和选型依据。6.1.1 软件部署软件部署由厂家工程师完成，笔者参与了存储部分的 POC 测试，由于时间非常匆忙，仅提供少量测试样机，存储提供了 IBM 与 V7000 与 DS4800 ， SAN 交换机提供了 EMC DS5300B （ Brocade ）6.1.2 存储纳管存储纳管与所有的主机设备均通过带外管理添加进监控系统，存储也通过管理端口和默认口令添加，与主机管理无异，统一在设备视图中展示。区别于主机和

17、存储，并且实在没办法合在一起， SAN 监测的部分独立出来，配以故障列表，流量分析和链路分析。6.1.3 监控告警监控告警部分作为监控首要内容，放在首个位置 - 事件视图，以列表的形式展示，其中也可以看到存储系统的故障类型与故障描述。另外在测试报告中描述出可以在监控大屏中展示监控告警内容，如下所示。6.1.4 统计报告系统中报表统计模块中包含统计分析和故障报告两部分，分别统计不同设备、业务、时间段和故障码的趋势、排行、分布和比例等；生成的故障报告中也会提供故障的详细信息与位置，包含上述统计的内容，给出某时间段内故障总数、故障高发日期的分析结论。整个系统测试和使用下来，对于异构存储的兼容性测试不

18、充分，这里确实有我工作问题的主观和客观因素，但我在 POC 测试结论中也给出了比较客观的评价，对优点给出了充分的肯定，但最终并没有在我行实施，希望这个厂商的朋友看见以后不要介怀，我们以后也有合作的机会。优点非常明显，在事件管理、故障处理和故障周报、月报、年报等方面，提升设备管理与故障报告效率；资产管理非常细致，并与维护记录联动，方便生成故障报告，预警高发故障期等。作为存储管理员，能看到可改进的内容是希望将存储的资产管理与性能部分独立管理，除告警信息外，增加容量与性能监控统计，包括固件版本、存储池容量、逻辑卷、热点卷、访问带宽和 IOPS、性能和容量短缺预测等，便于提高管理效率。6.2 IBM

19、Spectrum Control（简称 IBM SC ）IBM SC 软件是我行在用的异构存储监控管理软件，部署和使用时间比较久，也做过多次升级和系统迁移，由于篇幅和行内存储种类的限制，仅对现有存储和 SAN 交换机机型管理加以介绍，未介绍到的存储设备，可以参考 IBM SC 信息中心进行纳管配置。6.2.1软件部署安装分为单服务器和多服务器，单服务器的所有组件安装在一起，主要由数据库和 IBM 安 SC 组件组成。数据库当然是自家的 DB2 ，装组件有包括数据服务、设备服务、告警服务、导出服务、 Web 服务、 IBM SC 图形界面、 CLI 命令行接口、存储资源代理等。笔者行内采用单服务

20、器安装，硬件和软件配置如下：4C CPU ， 16GB 内存， 80GB 磁盘空间，操作系统 Windows Server2012R2 ，数据库 Db2 11.1 ， SC 版本 ，工作版本：20181110-2111 许可证：Advanced Edition 。软件部署需要先安装 DB2 ，在此基础上才能安装 IBM SC 。DB2 安装步骤前运行 db2prereqcheck 检查运行环境是否符合安装条件，详细安装过程此处省略。为避免日志将 C 盘写满，设置DIAGPATH 和_SPM_LOG_PATH_指向外置存储空间，验证数据库可以建立简单的数据库进行连接和查询测试，之后再 drop

21、掉，并重启。下载、解压并按提示安装 SC 软件即可，完成后验证安装及产品许可激活。验证 DB2 建立成功验证 TPC 数据库的表和视图是否存在验证 IBM Spectrum Control 的数据服务、设备服务、 SRA 和 web server 都已启动验证所有需要的设备服务正常运行：https:/localhost:9551/ITSRM/ServiceManager验证登录 GUI 图形界面 ( 默认端口为 9569) ：https:/host_name:9569/srm输入 license 激活产品， license 分为四种，在购买的电子镜像的 licensekey 中。部署代理程序，

22、笔者行内仅有单服务器本身按步骤更改语言包为中文，即可使用6.2.2存储纳管IBM SC 对 IBM 自家的产品当然是支持非常全面，加上一些比较熟络的存储产品和 SAN 交换机，对其上配置监控用户角色给出了明确的要求，如存储监控、探测和分配的权限表所示：IBM SC 的存储纳管 , 可以直接添加的有：Storwize 系列（ V3500, V3700, V5000, V7000 ）、存储虚拟化产品 SVC/Spectrum Virtualize 和 FlashSystem 系列（ FlashSystem 840 、 900 、 9100 、 A9000/R 、 V840 、 V9000 ） ,

23、其他自家和别家的存储产品和 SAN 交换机，均以 SMI-S 方式进行添加管理，具体的 SMIS provider 由各家厂商提供，根据存储产品的 Firmware 版本联系技术支持或品牌网站下载。绝大多数存储厂商都会加入非盈利的全球网络存储工业协会，让存储产品的 SMIS Provider 进行适配测试，由中立的 SNIA 给出其 Provider 支持的功能，详细的 Provider 名称和具体的功能，可以在 SNIA 网站找到 /ctp/conforming_providers 。IBM SC 通过各存储系统提供的 SMIS-Provider 下发探测、监控、数据收集等查询和命令到受管的

24、存储系统。Provider 中有资源调用响应部分，负责收集、校验、授权应用请求，响应应用，以及作为中转去调用相应对象和资源响应请求。Provider 中数据存储只存放资源调用响应模块的命令和查询相关数据，常采用 flat-file 数据库，而被调用的完成主机命令或查询的库对象，在 windows 中就是多个 DLL 。安装部署、增加存储系统、验证服务状态和端口之后，就基本完成了 SMI-S Provider 的部署。后续会以 DELLEMC 、华为和 Brocade SAN 交换机的添加过程为例，介绍 Provider 部署过程和 IBM SC 存储纳管过程 , 关于虚拟化和服务器的添加纳管，

25、参考官方网站或文档。纳管 IBM DS8000/V7000/SVC/XIVDS8000 系列的存储要求 IBM SC 版本最低在 5.3.0 以上，其中 DS8870 要求在 Firmware R7.5 () 以上，目前在用的 DS8700 版本为 R4 符合要求，存储端 DS8870 的 HMC 、 V7000 、 SVC 和 XIV 的管理端口，分别连接进带外管理网络后，不需要额外的配置。IBM SC端块存储系统 - 添加存储系统 - 添加 DS8000/Storwise/SVC 或 Spectrum Virtualize/XIV 存储系统，填写相应用户名 / 口令；下一步选择 “ 启用探

26、测器 ” ，在 “ 调度探测器 ” ：选择自动 - 每天，性能监视器 ：启用，每 10 分钟进行一次性能监视，可以根据需要和监控数据保留策略，更改调度探测器和性能监视器的频率。纳管 DellEMC VMAXDellEMC VMAX存储端配置DellEMC 存储产品以 VMAX200/VMAX100K/VMAX40K/VMAX10K 为主，在存储设备安装的时候，就将部署带外网络的管理机，通过 SAN 网络与存储连接。SMI-S Provider端在管理机安装 Solutions Enabler 软件时，要选择 SMI-S Provider 部分，安装成功之后，在此基础上封装的 ECIM 就可以对

27、外部 client 提供服务， windows 管理机安装目录在 C:Program FilesEMCECIM ，基本不需要做额外的配置。添加存储一般在管理机 SYMCLI 中，运行命令，如下：C:Program FilesEMCSYMCLIbinsymcfg discoverC:Program FilesEMCSYMCLIbinsymcfg list详细的 VMAX 管理命令可以在笔者文章商业银行基于 VMAX3 完成数据迁移及同城容灾技术手册中或 SE 手册中找到。另外，单台管理机可以管理多台存储设备，当被加入监控时也是共同纳管的。IBM SC端块存储系统 - 添加存储系统 - 添加 EM

28、C ， SMI-S 提供程序主机名或 IP 地址中填写管理机 IP 地址，默认用户密码为：admin/#1Password ，下一步正常配置调度探测器和性能监视器。纳管华为 OS18500 、 OS5600安装SMI-S Provider，建立用户，添加存储下载 eSDK_Enterprise_Storage_2.1.0_SMI-S_Plugin_V2.1.25_Linux.tgz ，安装软件并配置系统环境变凉后，启动 SMI-S Provider 服务，并建立默认账号密码 , 添加 OS18500 、 OS5600 和设备进管理机，虽然行内 Dorado 全闪和 OS5500v5 也可以添加

29、进来，但由于版本问题，存储分配容量部分信息并没有收集完整。提示：管理机用 smistool 的默认用户 / 口令为：smis_admin/Admin12OS18500和 OS5600 存储 SMIS 配置存储出厂后出于控制器保护和功能限制等原因，部分存储的 SMIS 功能需要手动打开， OS18500 要远程或现场登录控制台 SVP ，通过 CLI 命令（ show controller ip ），找到控制器的 IP 地址，或者直接点开 SVP 上 putty 程序，登入控制器 0A ，在单控制器打开 SMIS 服务即可，之后退出 developer 模式， OS5600 则直接命令行登录控制

30、器按上述方法更改即可。-查看 SMIS 服务状态：Stopped-进入 developer 模式 -admin:/change user_mode current_mode usermode=developerdeveloper:/-启动 SMIS-developer:/change smis status status=startCommand executed successfully.-确认 SMIS 状态 -IBM SC端块存储系统 - 添加存储系统 - 添加其他， SMI-S 提供程序主机名或 IP 地址中填写管理机 IP 地址，华为默认用户密码为：Esdk_user/hw12345

31、 ，下一步正常配置调度探测器和性能监视器。纳管 Brocade SAN正常纳管 Brocade SAN 交换机或者其他厂商 OEM 的设备都需要博科的 BNA 或替代产品如 DELLEMC 的 CMCNE ，由于中美关系和厂商发展策略， BNA 不会再向华为公司提供软件支持，客户想花钱购买都无法下单。笔者通过 DELLEMC 的低版本 CMCNE v14.4 ，安装免费自带的 SMI Agent ，这项“福利”在 v14.5 版本及以上也被修复了，需要先输入 license 后再安装使用。安装CMCNE的SMI Agent下载安装文件后，安装在与 SAN 交换机管理网可通的带外管理机上，选择

32、SMI Agent Only- 选择 Server IP 地址（带外网 IP ）和交换机地址（选 any ），后面资源端口配置、 SMI 配置默认即可。SAN 网络规模根据交换机端口数和 domain 数，分大中小三种规模，管理服务器的 CPU 、内存和硬盘空间需要符合要求才会继续安装，中等规模管理 5000+ 端口， 21-60 个 domain 需要管理机 4C 16GB RAM 和 80GB 磁盘空间。后面确认好配置，就启动了 SMI 和 SLP 服务。手册上标准的并不清楚，需要运行 CMCNE 安装目录下的 Server Management Console ，打开 DiscoverF

33、abrics-Add 来添加 SAN 交换机，输入管理地址、 admin 和口令后可进行更改和删除等操作。设置 CIMOM 对外服务端口默认为 5989 ，告警级别在 INFO 以上，其他配置参考手册 DELL EMC Connectrix Manager Converged Network Edition Enterprise User Guide v14.4.5 IBM SC端添加 SAN 交换机网络 - 添加交换机 -Brocade 填写 CMCNE 所在管理主机名或 IP 地址， CMCNE 默认用户密码为：administrator/password ，下一步正常配置调度探测器和性能

34、监视器。最后存储和交换机添加好之后，可在存储器和网络部分查看管理。6.2.3监控告警IBM SC 监控告警内容主要分为故障告警和性能告警两部分，故障告警在首页中可以查看到纳管设备的告警标志和问题级别，在具体设备中也标记具体故障存储和故障部件，告警级别由高至低分别为：严重、警告、信息，每种级别在管理员发现后可设置为知晓状态，修复后再取消告警标记为正常。性能监控告警的设置服务于关键应用系统，通过设置被参测存储系统的容量指标、性能指标阀值告警通知，与故障告警一同发送给相关存储和业务管理组，掌握系统状态与性能瓶颈。定义所选存储告警配置，在常规选项中定义存储状态、探测和监视状态异常级别与通知方式；在容量

35、告警中定义磁盘空间分配和短缺级别与通知方式；在性能部分定义性能度量参数进行阀值定义与告警。6.2.4统计报告容量报告详细收集查看存储设备的容量用途并制定容量扩充采购计划，主要创建过程建立报告名称、选择报告项类型，添加过滤条件，最终设置调度交付周期完成容量报告设置。库存报告通过监控存储资源的容量、 IP 配置、设备厂商、固件版本和健康状态形成各种报表，计费报告定期创建存储计费报告、消耗报告，并通过邮件通知使用存储的应用业务部门容量与费用消费消耗情况。6.2.5 维护管理IBM SC 的常用操作主要有配置告警通知，设置历史记录保留时间，用户与权限管理，配置可同时添加多台设备的服务位置协议（ SLP

36、 ），以及大规模 agent 的配置方法， Solaris 的 LUN provision ，为域用户设置权限， SSL 的创建、替换、 TLS 端口禁用、以及纯 IPv6 环境部署等操作，可以参考下面链接：/support/knowledgecenter/SS5R93_5.3.1/com.ibm.spectrum.sc.doc/fqz0_t_configuring_install.html6.3 STOR2RRDSTOR2RRD 是来自捷克共和国的一家专门致力于开发性能监控工具的公司 XORUX ，旗下的产品除了存储性能监控工具之外，还有主机的性能监控工具 LPAR2RDD，2020 年 2

37、 季度推出前两者整合版本 XORMON 。XORUX 会对基础架构做预测，监控并预测故障诊断，优化 IT 架构中的关键任务，将所有的物理机、虚拟化、存储设备和 SAN/LAN 网络在一张图中显示与控制，为高度虚拟化环境的性能监控和容量规划提供一个简单的解决方案，该解决方案具有从技术人员到管理层都能理解的图形用户界面，作为前端工具，可以轻松快速地识别负载异常，并在基础架构级别定位问题。不过基本的功能是免费的，包含在 DEMO 版本里面，部分高级功能（如生成专业报告等）需要购买 E nterprise Edition 版本） ，免费版本没有使用效期和临时 license ，相应也不会承担发生技术问

38、题的负责。6.3.1软件部署STOR2RRD 部署安装支持 Linux 和 UNIX 系统，安装介质提供支持 VMware 、 Hyper-V 、 Docker 的版本。所需硬件资源取决于受监视存储数量、类型和卷数量。和使用 REST API 的存储相比，使用装在 STOR2RRD 主机上的第三方 API 的存储（特别是使用 Java 的存储）自然需要更多资源。最小配置需要 2C ， 10-16 GB 内存、 100 GB 磁盘空间，大概承载 20 个存储和 1000 个 SAN 端口，如果再增加 20 台存储设备，配置要 4C 、 20-26GB ，每增加 1000 个逻辑卷，会增加 5GB

39、 的磁盘空间；每增加一个 SAN 端口，需要多 15MB 空间，以此可计算出所需系统硬件配置。安装过程非常简单，以 RHEL6 为例：建立用户：root 下建立 stor2rrd 用户#useradd -c STOR2RRD user -m stor2rrd下载配置 Apache启动 / 重启 Apache启动网页可测试http:/stor2rrd/安装 STOR2RRD增加用户 stor2rrd 和 WEB 服务器用户权限增加用户 stor2rrd 和 WEB 服务器用户权限产品安装：配置参数 etc/stor2rrd.cfg编辑 crontab6.3.2存储纳管纳管异构存储的范围涵盖了主流

40、企业级存储，对于陆续新增的存储产品， XORUX 也在不断推出新版本，对接新型号存储，如果您所购买的某款存储没在支持列表中，可以在下载软件的中留言，写清型号鼓励他们对接。图中还标出了纳管存储的型号和对接方式，例如博科 SAN 交换机需要通过 REST API 与部署了 BNA 的服务器对接， IBM SVC 和 DS8000 分别用各自的命令行 SVC CLI 和 DSCLI 进行对接，详细的纳管对接方式，可以参考网站或者文档的详细说明。由于 NAS （或 FILE ）和虚拟带库等设备对异构存储监控软件的兼容性还是有挑战的，因此就以 NetApp AFF8060 ， DELLEMC DD630

41、0 和 Huawei 18500/Dorado 为例分享一下纳管对接过程。纳管 AFF8060NETAPP AFF8060 属于 C-MODE 存储， STOR2RRD 通过 NetApp CLI (SSH) 接口获取性能数据，并通过 API(https) 获取存储配置数据。登录存储配置 :AFF8060 命令行执行创建 monitor 用户与访问权限：建立 stor2rrd 用户 , enable SSH, ONTAPI分配 stor2rrd 给 monitor 角色增加 ssh key 授权确认 ssh key 访问正常$ ssh stor2rrdCmode:确认 web 服务正常确认 N

42、etApp 防火墙未阻止STOR2RRD配置STOR2RRD v2.60+ 要用 stor2rrd 用户通过 UI 界面进行配置， STOR2RRD v2.50 及以下版本通过命令行进行配置。为了不使用命令行，笔者将版本升级到最新的 v2.71 ，存储添加方式如下：Settings 按钮 - Storages - New - Vendor:device - NetApp FAS CDOT/AFF A-series ，添加成功后会显示在存储列表中。纳管 DD6300STOR2RRD 通过 ssh 登录到 DataDomain CLI 获取数据信息，根据设备微码版本不同，纳管要求略有不同， Dat

43、aDomain firmware 在 5.5+ 和 6.x 的都可以正常支持 ( 其中 0+ 和 0+ 无法提供硬盘状态信息， 6.2 不受影响 ) ，比较新的 7.x+ 要求 STOR2RRD 在 v2.70 以上。存储端配置：创建 stor2rrd 用户赋予 user 角色；使用 stor2rrd 用户登录 DD6300 CLI ，增加 ssh key 授权：ssh -l stor2rrdstor2rrddata_domain_host adminaccess add ssh-keysEnter the key and then press Control-D, or press Cont

44、rol-C to cancel.输入 STOR2RRD 服务器中 .ssh/id_rsa.pub 中的 ssh-rsa key ，并测试STOR2RRD服务器配置：命令行测试 ssh 授权成功$ ssh -l stor2rrdEMC Data Domain Virtual EditionWelcome to Data Domain OS 1-571028Settings 按钮 - Storages - New - Vendor:device - Dell EMC DataDomain纳管 OS18500/DORADO华为 OceanStor V3/V5 和 Dorado V3/V6 及后续存储

45、产品 STOR2RRD 均支持，通过存储提供的 REST API 接口获取所有必要数据，无法通过 REST API 接口提供性能数据的之前型号的存储不会支持，另外 OS 9000 V5 Scale-Out NAS 也不支持，存储微码要求在 V300R003C10 以上。存储配置：建立 stor2rrd 只读用户，激活用户需要以 stor2rrd 登录，并修改口令；确认打开性能监控开关，并将历史收集设置为 300 秒，配置路径如下：新版微码：监控 -System Reporter- 系统 - 系统配置 - 注册与配置 - 点击存储 - 配置采集策略旧版微码：监控 - 性能监控 - 实时 - 设置

46、参数 - 启用状态下先禁用 , 再更改参数STOR2RRD 配置：Settings 按钮 - Storages - New - Vendor:device - Huawei OceanStor/Dorado存储纳管之后，在存储列表中可查看，编辑复制配置或测试连通性，另外可监控的性能参数可在左侧菜单栏浏览，指标非常全面，异构存储的个性化指标可以充分展现，我们按照业务关键程度和存储性能特点，将存储的关键指标重点显示在整体的 Dashboard 上从整体上重点关注。在左侧 Total 、容量、热点和存储配置选项中，对纳管存储 Pool/Volume/Hosts 的 IO 、吞吐、响应情况，以及 SAN 的数据量、 Frame 、 BB credits 和报