易思捷超融合硬件最佳实践v1 0

ii易思捷版权所有 超融合硬件最佳实践易思捷专注云计算领域 10 年，致力于虚拟化、云管理产品研发、行业解决方案的探究。中国开放云联盟协会(OCUA)核心会员，英特尔 Cloud Builder 核心成员，核心团队成员来自 IntelLANDesk、IBM。北京易思捷信息技术有限公司公司地址：北京朝阳区大屯里 317 号金泉时代 3 号楼 1610#服务电话：010- 51456738 官方网址：目 录一概述1二集群规模1三. 硬件要求1最低要求1安装备注2四. 存储最佳实践21.数量限制：22. 内存最佳实践：33. 后端存储物理盘最佳实践34. 网络最佳实践3五. 硬件建议规格5修订纪录版本号修订人修订日期修订描述V 1.0陈正坤20190719超融合硬件最佳实践一概述本文件提供了在标准X86服务器上搭建易思捷超融合的硬件规格建议书。二集群规模易思捷超融合支持物理与虚拟环境，但是生产环境基於性能考量，建议部署在物理节点上。测试环境可以1台，生产环境建议三台以上。易思捷超融合架构如下：三. 硬件要求最低要求 1个用于安装操作系统的磁盘， 1个用于作为超融合存储容量的磁盘。 1个企业级SSD或PCIe闪存卡，用于写入和DB角色的缓存（最小100GB）。 万兆以太网 交换机必须支持IGMP（必须启用igmp snooping和igmp snooping查询）。 超融合集群的典型设置是三个节点以上的集群。每个节点最低配置如下：2 * Intel E5-2630v4 / E5-2660v4128-256 GB RAM300G 系统盘（做成raid 1则需两颗）2 * 800GB SSD6 * 4TB SATA磁盘双10GbE网卡安装备注 所有节点应有相同的OS版本号并配置相同的时区与时间。 第一个或第二个节点脱机时安装第三个节点不起作用。 先前的超融合节点未完全安装完毕时，如安装其他节点可能会失败。 所有节点必须安装相同版本的超融合软件。 所有的硬盘设备都必须具备唯一ID，有些磁盘的ID是一样的，这将导致配置超融合后端存储失败。 不可有残留分区与文件系统：必须确认所有磁盘旧的分区与文件系统都已彻底移除乾净 每个节点除了系统盘需要开启缓存，其他磁盘（SSD与SATA/SAS）必须关闭写缓存，并开启读缓存。开启HBA模式通常无法对缓存进行配置，因此可以改成每块盘做成Raid 0或volume模式，并关闭写缓存，开启读缓存。四. 存储最佳实践1.数量限制：每台超融合节点挂载的虚拟磁盘不可超过500个，单个虚拟磁盘最大支持到64TB2. 内存最佳实践：超融合节点可以提供的虚拟磁盘数量取决於该节点的实际可用内存。存储系统本身需要4到6GB才能运行。每个虚拟磁盘至少需要100MB内存。除了100MB之外，还需要额外的内存来处理虚拟磁盘的元数据。另外每个虚拟磁盘所需的内存取决于虚拟磁盘的大小，平均每G磁盘需要10MB内存。计算公式如下：1个X GB vDisk所需内存=100MB+10MB*X=(10+X)*10MB例如:三个100G虚拟磁盘所需内存=3*(10+100)*10MB=3.3G建议定时监控内存的使用率，避免因为内存不足导致存储池的进程被OOM Killer所关闭。这会导致所有的虚拟磁盘因为存储池停止而无法提供IO。3. 后端存储物理盘最佳实践超融合节点每一节点无物理盘的数量限制，但是超融合单一后端存储避免超过125个物理硬盘，如果超过，建议创建一个新的后端存储。4. 网络最佳实践1. 每个超融合节点的存储网至少一个万兆网口（考虑冗余方案则配两口万兆）2. 每个超融合节点的业务网至少一个万兆网口（考虑冗余方案则配两口万兆）3. 每个超融合节点的管理网至少一个万兆网口（考虑冗余方案则配两口万兆）4. 每个超融合节点至少一个IPMI口，IPMI必须与管理网同网段5. 存储网网络支持RDMA协议（需要网卡与交换机支持）参考拓扑图上图跳板机供远程安装与维护之用，可以用物理机或虚拟机。跳板机需有两张网卡，一张网卡连接管理网，另一张网卡建议分配公网IP。超融合存储所需端口Framework:Master节点l 22(SSH)l 443(API,GUI)l 5672(Rabbitmq)l 6379(Redis)Slave节点l 22(SSH)l 443(API)l 5672(Rabbitmq)l 6379(Redis)Volume Driver:l 26200-26299(Storagedriver,ALBA proxy)l 26300-26399(mds)l 26400-26499(Arakoon)ALBA:l 8500l 8500+l Multicast group port 8123五. 硬件建议规格易思捷超融合硬件配置表服务器低配中配高配CPU2*英特尔 至强 银牌 4114 处理器 10核20线程 13.75MB L3缓存2*英特尔 至强 金牌 5120 处理器14核28线程 19.25MB L3缓存2*英特尔 至强 铂金 8160 处理器 24核48线程 33MB L3缓存标准内存16*16G RDIMM16*32G RDIMM16*64G RDIMM缓存1*960GB SATA 读取密集型SSD4*960GB SATA 读取密集型SSD2*3.84T NVME PCI-E闪存卡系统盘1 个 256 GB M.2 SSD硬盘4*2TB 3.5英寸 7.2K SATA 驱动器8*4TB 3.5英寸 7.2K SATA 驱动器12*8TB 3.5英寸 7.2K SATA 驱动器网卡 2*支持SR-IOV万兆网卡带模块 4*支持SR-IOV万兆网卡带模块6*支持SR-IOV万兆网卡带模块管理网络1*IPMI RJ45管理网口电源2*800W 冗余电源 2*1200W 冗余电源 易思捷超融合网络交换机配置表三层32口万兆交换机标准1RU 19英寸机架32个10GE SFP+ 以太网接口（不含光模块）交换性能