OceanStor F存储VMware VSI的场景最佳实践

1、华为 OceanStor F 系列存储系统VMware VSI 场景的极致性能(NAS 篇)华为 OceanStor F 融合存储是华为面向企业用户推出的新一代存储系列，融合了 NAS 和 SAN 的应用场景。本文档聚焦如何高效利用 OceanStor F V5 存储的进行 VMware VSI 业务部署，并针对典型的VSI 业务进行了一系列的验证，参考该最佳实践，可以获得更好的业务部署效率和业务运维质量，有效提高 VSI 业务的性能。目录 HYPERLINK l _bookmark0 概述4 HYPERLINK l _bookmark1 内容简介4 HYPERLINK l _bookmark

2、2 写作目的4 HYPERLINK l _bookmark3 面向读者4 HYPERLINK l _bookmark4 用户收益5 HYPERLINK l _bookmark5 关键组件5 HYPERLINK l _bookmark6 存储产品介绍6 HYPERLINK l _bookmark7 VMware 介绍7 HYPERLINK l _bookmark8 概述7 HYPERLINK l _bookmark9 VMware vSphere 组件与功能7 HYPERLINK l _bookmark10 VMware vSphere Hypervisor8 HYPERLINK l _book

3、mark11 VMware vCenter Server8 HYPERLINK l _bookmark12 VMware vSphere Client8 HYPERLINK l _bookmark13 VMware vSphere Web Client8 HYPERLINK l _bookmark14 服务器虚拟化（VSI）应用简介9 HYPERLINK l _bookmark15 数据库类9 HYPERLINK l _bookmark16 邮件类10 HYPERLINK l _bookmark17 典型配置11 HYPERLINK l _bookmark18 业务场景11 HYPERLINK

4、 l _bookmark19 参考架构11 HYPERLINK l _bookmark22 硬件列表12 HYPERLINK l _bookmark23 软件列表13 HYPERLINK l _bookmark24 操作配置13 HYPERLINK l _bookmark25 交换机侧13 HYPERLINK l _bookmark26 存储侧15 HYPERLINK l _bookmark27 主机侧19 HYPERLINK l _bookmark28 验证步骤与结论30 HYPERLINK l _bookmark29 验证步骤30 HYPERLINK l _bookmark30 验证结论3

5、0 1 概 述内容简介随着虚拟化技术的成熟，虚拟化已为众多数据中心的共同选择。虚拟化使 IT 组织可组织可有效提高基础架构的空间利用率利用率，简化管理，同时对业务需求的响应更敏捷并降低 TCO。但许多组织在转型到虚拟化的数据中心时，在对服务器虚拟化过程中的存储选择和配置，面临如下挑战：传统存储处理大量随机 IO 的性能瓶颈。选择普通的全闪存储，存在容量不够，是否可靠和 TCO 高等问题。华为 OceanStor F V5 一体化融合存储（下文简称 F V5 存储）是面向企业级应用的新一代融合存储产品。本文档基于 VMware 虚拟化平台，选择 F V5 系列存储 NAS 存储来作为后端存储资源

6、，聚焦如何高效利用 F V5 存储，提升 VMware VSI 业务性能。写作目的本文档的写作目的在于描述如何在 VMware VSI 应用场景中高效利用 F V5 存储系统NAS 存储资源，旨在为华为合作伙伴和华为用户提供参考，从而发挥华为存储在 IT 系统中的省成本、高效率和提升性能的优势。面向读者本文档面向华为员工、合作伙伴与客户，阅读本文档，需要熟悉如下技术：华为 OceanStor F V5 系列存储华为 DeviceManager 等软件VMware ESXi 操作系统基础知识VMware VCenter 基础知识Oracle、Exchange 相关知识用户收益本方案提供了 F V

7、5 存储 NAS 功能结合 VMware 存储插件的配合使用的证实解决方案，期望用户能够使用该证实解决方案，简化运维，提升存储利用率，获取最高投资回报率。关键组件本文中描述的内容基于以下硬件和软件进行描述：华为 OceanStor 5500F V500R007C00 版本存储系统VMware ESXi 操作系统VMware VCenter 管理软件Oracle 11g 数据库软件Exchange Jetstress 压力测试软件 2 存储产品介绍华为 OceanStor F V5 系列融合存储（下文简称 F V5 系列存储）是面向企业级应用的新一代融合存储产品。凭借面向云架构的存储操作系统、强

8、劲的新一代硬件平台和丰富的智能管理软件，F V5 系列存储在功能、性能、效率、可靠性和易用性上都达到业界领先水平，很好的满足了大型数据库 OLTP/OLAP、文件共享、云计算等各种应用下的数据存储需求，广泛适用于政府、金融、电信、能源、媒资等行业。同时，F V5 系列存储能够提供高效、灵活、丰富的备份、容灾解决方案，有效保证用户业务连续性和数据安全，为用户提供卓越的存储服务。图2-1 华为 OceanStor F V5 融合存储更多详细信息，请查看下面的链接： HYPERLINK /cn/products/cloud-computing-dc/storage/unified-storage/5

9、300f-5500f-5600f-5800f-v5 OceanStor 5300F/5500F/5600F/5800F V5 全闪存存储系统 HYPERLINK /cn/products/cloud-computing-dc/storage/unified-storage/6800f-v5 OceanStor 6800F V5 高端全闪存存储系统 HYPERLINK /cn/products/cloud-computing-dc/storage/unified-storage/18500f-18800f-v5 OceanStor 18500F/18800F V5 高端全闪存存储系统 3 VMw

10、are 介 绍概述VMware vSphere 作为 VMware 虚拟化平台，专为需要虚拟化整个数据中心并实现“IT 即服务”的组织而设计，包含众多可将数据中心转变为可提供灵活可靠的新一代 IT 服务的极为简化的云计算环境的功能。vSphere 可加快现有数据中心向云计算转变的速度，同时还支持兼容的公有云服务，从而为业界的混合云模式奠定了基础。图3-1 vSphere 虚拟化架构VMware vSphere 组件与功能VMware vSphere 是用于虚拟化的软件组件套件。这些组件包括 ESXi、vCenter Server以及在 vSphere 环境中实现许多不同功能的其他软件组件。下面

11、介绍了部分 VMwarevSphere 组件及功能：VMware vSphere HypervisorESXi 体系结构可提供功能强大、经生产验证的高性能虚拟化层。它支持多个虚拟机共享硬件资源，性能可以达到（在某些情况下甚至超过）本机吞吐量。VMware vCenter Server可为整个虚拟基础架构提供统一的管理，并可实现实时迁移等许多关键的 vSphere 功能。vCenter Server 可以管理分布在多个位置的数千个虚拟机，并利用快速调配和自动化策略执行等功能来精简管理过程。可与受支持的第三方数据保护、多路径和磁盘阵列解决方案进行集成。VMware vSphere Client一个

12、允许用户从任何 Windows PC 远程连接到 vCenter Server 或 ESXi 的界面。VMware vSphere Web Client一个允许用户从各种 Web 浏览器和操作系统远程连接到 vCenter Server 的 Web 界面。 4服务器虚拟化（VSI）应用简介数据库类数据库虚拟机属于计算密集和存储密集类型。数据库业务承载着企业的关键信息资 产，其性能和可用性要求最高，随着虚拟化技术的发展，将传统数据库服务器部署在虚拟化平台上，可实现服务器虚拟化，极大地降低了生产和维护成本。常见的数据包括 Oracle 和 Microsoft SQL Server，部署数据库类的虚

13、拟机时，应考虑分配高 SLA 级别（高 IOPS/GB、低 I/O 响应时间）的存储池，满足关键应用的性能需求。图4-1 Oracle 系统架构图邮件类邮件类虚拟机属于计算密集和网络密集类型。在 Exchange 2013 中，邮箱服务器角色通过以下过程直接与 Active Directory、客户端访问服务器和 Microsoft Outlook 客户端进行交互：邮箱服务器使用 LDAP 从 Active Directory 中访问收件人、服务器和组织配置信息。客户端访问服务器提供身份验证、代理和有限重定向服务，并提供所有常见的客户端访问协议：HTTP、POP、IMAP 和 SMTP。客户端

14、访问服务器是无状态的瘦服务器，不执行任何数据渲染。客户端访问服务器上从不会排队或存储任何内容。图4-2 Exchange 业务处理流程 5典型配置业务场景NAS 产品正是以其较低的价格、简单方便的使用方式满足了相当一部分用户的需求。简单地说，NAS 就是经过专门优化的文件服务器系统加上大容量存储。其优点在于结构简单，配置和使用非常方便。在数据共享方面，因为采用的是传统 NFS 或者 CIFS 协议，所以不需要任何附加软件，即可在几乎所有平台之间实现跨平台的数据共享。因此本文是基于 NAS 场景下设计解决方案，部署数据库及 Exchange 服务。参考架构本方案的参考架构如下图所示。图5-1 V

15、Mware VSI 极致性能的参考架构存储系统和应用服务器之间通过 10GE 网络建立连接。存储系统上提供 NFS 共享文件系统给应用服务器，应用服务器上使用该共享文件创建 datastore。通过 vCenter Server 来管理 VMware ESXi 服务器。每台应用服务器上的虚拟机的应用配置如下表所示。表5-1 应用配置表虚拟机操作系统应用名称单个 VM 配置测试工具VM-1RHEL 6.5Oracle 11g数据盘：4*350GBredo 日志盘：2*70GB 归档日志盘：2*200GBControl 数据盘：1*15GBSLOBVM-2RHEL 6.5Oracle 11g数据盘

16、：4*350GBredo 日志盘：2*70GB 归档日志盘：2*200GBControl 数据盘：1*15GBSLOBVM-3Windows Server 2012 R2Exchange 2007数据盘：1TB 日志盘：20GBJetstress每台应用物理机上配置 3 台虚拟机，其中两台配置 Oracle 业务，一台配置 Exchange 业务。总共 12台虚拟机。硬件列表本文中使用的硬件配置信息如下表所示。表5-2 硬件配置列表类型硬件配置数量存储OceanStor 5500F V5（V500R007C00SPC100）2*Controller（每控 Cache：128GB） 25*960

17、 GB SSD4*SmartIO 主机接口卡1应用服务器华为 RH5885 V2CPU:4*Intel(R) Xeon(R) CPU E7- 4820 2.00GHz内存：256GB4vCenter 服务器华为 RH1288CPU:2*Intel(R) Xeon(R) CPU E5-2620 v4 2.10GHz内存：64GB1交换机HUAWEI CE6810-48S41-EI（V100R005C10SPC200）1RHEL 虚拟机CPU:16内存：24GB8Windows 虚拟机CPU:16内存：24GB4软件列表本文中使用的软件信息如下表所示。表5-3 软件信息列表类型软件及版本备注虚拟化

18、软件VMware vSphere 6.0、6.5vCenter 管理软件vCenter 6.5操作系统RHEL 6.5Windows Server 2012 R2数据库软件Oracle database 测试工具SLOB -1JetStress Exectuable(08.02.0060.000) JetStress Core Engine(08.02.0060.000)操作配置交换机侧交换机上的端口规划如下表所示：图5-2 交换机端口规划主机端口号端口组存储 A 控10GE1/0/4、10GE1/0/8、10GE1/0/16、10GE1/0/20、10GE1/0/25、10GE1/0/26、

19、10GE1/0/27、10GE1/0/28Eth-trunk 1存储 B 控10GE1/0/2、10GE1/0/6、10GE1/0/14、10GE1/0/18、10GE1/0/31、10GE1/0/32、10GE1/0/33、10GE1/0/34Eth-trunk 2VMware A10GE1/0/1、10GE1/0/3、10GE1/0/5、10GE1/0/7Eth-trunk 3VMware B10GE1/0/13、10GE1/0/15、10GE1/0/17、10GE1/0/19Eth-trunk 4VMware C10GE1/0/37、10GE1/0/38、10GE1/0/39、10GE1

20、/0/40Eth-trunk 6VMware D10GE1/0/43、10GE1/0/44、10GE1/0/45、10GE1/0/46Eth-trunk 7存储的每个控制器接入 8 个端口到交换机上，交换机上将每个控制器上的端口划分为一个 Eth-trunk。每台服务器上接入 4 个端口到交换机上，同样，这 4 个端口在交换机上划分为一个 Eth-trunk。业务侧网络 IP 规划如下表所示：表5-4 网络 IP 规划角色说明IP 规划备注存储逻辑端口 A:00/24 VLAN:3210逻辑端口 B: 00/24 VLAN:3210每个逻辑端口选择一个控制器上的端口组为优选端口，另外一个控制器

21、的端口为 Failover 端口VMware A01/24与存储逻辑端口 A 连接VMware B02/24与存储逻辑端口 B 连接VMware C00/24与存储逻辑端口 A 连接VMware D13/24与存储逻辑端口 B 连接交换机上对划分 eth-trunk 的操作描述如下。交换机上存储侧端口配置以存储系统 A 控上的端口为例，命令如下：interface Eth-Trunk 1 port link-type trunkport trunk allow-pass vlan 3210mode lacp-static commitinterface 10GE 1/0/4 eth-trunk

22、 3 interface 10GE 1/0/8 eth-trunk 3 interface 10GE 1/0/16 eth-trunk 3 interface 10GE 1/0/20 eth-trunk 3 interface 10GE 1/0/25 eth-trunk 3 interface 10GE 1/0/26 eth-trunk 3 interface 10GE 1/0/27 eth-trunk 3 interface 10GE 1/0/28 eth-trunk 3commit交换机上服务器侧端口配置以 VMware A 上的端口为例，在交换机上的配置如下所示。interface Et

23、h-Trunk 3 port default vlan 3210 mode lacp-static commit存储侧网络配置interface 10GE 1/0/1 eth-trunk 3 interface 10GE 1/0/3 eth-trunk 3 interface 10GE 1/0/5 eth-trunk 3 interface 10GE 1/0/7 eth-trunk 3commit存储上的网络配置过程描述如下：步骤 1 进入端口设置界面。在存储系统管理软件 DeviceManager 上，选择右侧导航栏中的“Provisioning”，然后选择菜单中的“Port”，如下图所示。

24、图5-3 进入端口配置步骤 2 创建绑定端口。每个控制器上创建 1 个端口绑定，包含该控制器上所有可用的业务端口。如下图所示。图5-4 绑定端口对绑定的端口创建 VLAN，设定 VLAN ID 为 3210（可以根据实际情况进行设定）。图5-5 创建 VLAN步骤 3 创建逻辑端口。创建两个逻辑端口，每个逻辑端口分别以一个控制器上的绑定端口为 Primary Port，如下图所示。图5-6 创建逻辑端口完成两个逻辑端口的创建。创建完成后，交换机上显示 eth-trunk 的状态如下：图5-7 交换机上存储端口状态配置成功的话，端口状态会变为“Selected”。-结束存储配置按照下表进行存储配

25、置。表5-5 存储配置表硬盘域存储池文件系统DiskDomain001（25 * 960GB SSD）Oracle_NFS_1（3TB 容量 RAID 6）Oracle_NFS_1（1.5 TB Thin）Oracle_NFS2_1（1.5 TB Thin）Oracle_NFS_2（3TB 容量 RAID 6）Oracle_NFS_2（1.5 TB Thin）Oracle_NFS2_2（1.5 TB Thin）Oracle_NFS_3（3TB 容量 RAID 6）Oracle_NFS_3（1.5 TB Thin）Oracle_NFS2_3（1.5 TB Thin）Oracle_NFS_4（3T

26、B 容量 RAID 6）Oracle_NFS_4（1.5 TB Thin）Oracle_NFS2_4（1.5 TB Thin）Exchange_NFS_1（2TB 容量 RAID 6）Exchange_NFS_1（1.5TB Thin）Exchange_NFS_3（1.5TB Thin）Exchange_NFS_2（2TB 容量 RAID 6）Exchange_NFS_2（1.5TB Thin）Exchange_NFS_4（1.5TB Thin）因为 oracle 业务和 Exchange 业务都是小 IOPS 应用业务，所以创建文件系统的时候，选择“Application Scenario”

27、为“Database”，容量按照上表进行设置，其他参数保持默认。主机侧网络配置VMware 主机上配置端口绑定及存储业务网络的过程描述如下：步骤 1 创建分布式交换机。登录 VMware vSphere Web Client 界面，在左侧导航栏中选择“Network”，单击创建的数据中心，然后在右侧的菜单栏中依次选择“Action Distributed Switch New DistributedSwitch”。如下图所示。图5-8 创建新的分布式交换机命名新创建的交换机。然后选择合适的版本。这里的版本必须跟 VMware vSphere 虚拟机的版本保持一致。图5-9 选择合适的版本然后配

28、置交换机的属性：Number of uplinks：跟主机上的业务端口数量保持一致。Default port group：去勾选“Create a default port group”。其他参数保持默认，如下图所示。图5-10 配置分布式交换机属性确认后完成分布式交换机的创建。步骤 2 编辑分布式交换机的属性。选中刚刚创建好的分布式交换机，在右侧的菜单栏中依次选择“Actions Settings Edit Settings”如下图所示。图5-11 编辑分布式交换机属性编辑交换机的高级属性，修改如下参数：Type：选择“Link Layer Discovery Protocol”。Opera

29、tion：选择“Both”。结果如下图所示。图5-12 配置属性步骤 3 添加 LACP。选中刚刚创建好的分布式交换机，在右侧的菜单栏中选择 “Configure”，然后在左侧导航栏中选择“LACP”，最后单击添加的符号，如下图所示。图5-13 添加 LACP新增一个 Link Aggregation Group，参数设置如下。名称自己定义。端口数量根据实际使用的端口来设定。其他保持默认。配置界面如下图所示。图5-14 配置 LACP 属性步骤 4 给交换机分配主机。选中刚刚创建好的分布式交换机，在右侧的菜单栏中依次选择 “Action Add and Manage Hosts”，如下图所示。

30、图5-15 添加主机选择“Add hosts”，如下图所示。图5-16 新增 hosts然后选择对应的主机，如下图所示。图5-17 选择对应的主机“Select netwok adapter tasks”界面保持默认选项即可。“Manage physical network adapters”界面需要分配主机上的网络端口给交换机。每个跟物理交换机连接的网络端口都分配一个 Uplink，如下图所示。图5-18 分配 Uplink完成后的配置如下图所示：图5-19 完成物理端口的 Uplink 分配后面的步骤直接点击“Next”跳过，完成对应的配置。步骤 5 新建 Port Group。选中创建好

31、的分布式交换机，在右侧的菜单栏中依次选择 “Action Distributed Port Group New Distributed Port Group”，如下图所示。图5-20 新增 Port Group给 Port Group 命名后，进入配置界面，修改下面的参数：Number of ports：跟实际使用的端口保持一致。Customize default policies configuration：勾选其他参数保持默认，如下图所示。图5-21 配置 Port Group“Security”、“Traffic shaping”界面参数保持默认不变。 “Teaming and fail

32、over”界面中，修改如下参数：Load balancing：选择“Route based on IP hash”Failover order：选择之前创建的 LACP 为“Active uplink”，其余设置为“Unuseduplinks”，如下图所示。图5-22 修改端口组的绑定策略后续的参数保持默认即可。步骤 6 添加网络配置 IP。选定主机，然后在右侧菜单栏选择“Configure”，再在右侧导航栏中选择“VMkerneladapters”，然后单击“添加主机网络”的图标，如下图所示。图5-23 增加网络选择之前创建好的 Port Group，如下图所示。图5-24 添加之前配置的

33、Port Group配置端口属性，如下图所示。图5-25 配置端口属性配置网络 IP，如下图所示。图5-26 配置网络 IP完成后，主机上的网络配置结束。步骤 7 确认配置生效。配置完成后，在交换机上检查相应的端口的状态，确认都为“Selected”，如下图所示。图5-27 确认端口状态正常配置成功的话，端口状态会变为“Selected”。-结束存储配置主机上将存储映射的 NFS 共享文件系统挂载起来，结果如下图所示。图5-28 挂载文件系统以上图中的主机“12”为例，存储配置说明如下：Oracle_NFS2_1 用于存放 VM-1 上虚拟机的数据库文件。Oracle_NFS2_2 用于存放 VM-2 上虚拟机的数据库文件。Exchange_NFS_3 用于存放 VM-3 上虚拟机的 Exchange 数据文件。然后按照 HYPERLINK l _bookmark21 表 5-1 中的配置为各个虚拟机创建磁盘，分配存储空间。验证步骤与结论验证步骤验证步骤描述如下：步骤 1 准备硬件环境。按照 HYPERLINK l _bookmark20 图 5-1 准备好硬件环境。步骤 2 部署软件环境。在 vCenter 服务器上部署 VMware vCen