竣工北方民族存储实施

1、北方民族大学数据中心 Netapp实施文档信亦宏达网络技术（2014-8）Chengyuhong文档信息项目名称： 北方民族大学数据中心系统实施 文档版本信息作者行动日期V1.2起草2014 年 07 月 28 日V1.3修订更新2014 年 08 月 18 日目录文档概述4项目实施计划53 项目实施. 6系统架构7系统架构概要7业务逻辑示意图8各安装点设备信息：94.4 FAS32204.5 FAS3250 4.6 E5460网络背板以及接口示意图10网络背板以及接口示意图10背板示意图114.7 FAS与盘柜背板连接图（E 系列内置盘）11系统设计与实施规范14操作系统安装14网络配置14

2、4.105 网络与空间划分14基本配置规划145.1 网络配置规划表14Netapp网络5.3.1网络端口参考：16控制17管理端口（E0M/SP）175.3.2 数据传输端口17系统实施步骤18机房准备和网络环境186.2初始化196.2.1 FAS3220 初始化配置（举例）19磁盘空间划分21为机头分配磁盘216.3.2 Netapp卷分配236.3.3 设置卷属性256.4的划分266.4.1 Unix 上的划分（举例）266.4.2 Vmware ESX server 上的划分28开机顺序29关机顺序291 文档概述本项目实施方案专为北方民族大学Netapp项目定制，包含与项目实施相

3、关的设计方案、规划原则、实施步骤等方面的技术方案信息。2 项目实施计划序号步骤实施方时间1准备电源和网络环境客户到货前2设备验收，硬件上架客户/Netapp1D3硬件测试和初始化Netapp1D4为数据库服务器划分卷和Netapp2D5测试系统运行客户/Netapp3D6测试数据迁移Netapp/客户2D7系统运行观测客户/Netapp3D8项目验收客户/Netapp1D9项目进入阶段Netapp3 项目实施Netappchengsh项目经理毛速4 系统架构客户新购置三台IBM 刀片服务器，配置32个刀片服务器。因刀片服务器中没用本地硬盘，用户计划通过购置USB U盘刀片服务器充当刀片服务器的

4、系统盘符。32个刀片服务器通过安装Vmware ESXi5.5实现虚拟环境。本次新购置的FAS320、FAS3250用于虚拟化的，后期通过数据迁移并将之前老的NetApp FAS3220也融入至本次的新Vmware虚拟化环境中。本次除NetApp FAS外，还采购了一台NetApp E5460用于学院的和服务的数据存储。4.1 系统架构概要NetApp系统是一套系统，架构既能够整合用户现有SAN环境也同样可以对前段用户提供NAS方式；NetApp系统通过采用数据去重，自动精简配置，灵活卷等功能充分利用空间，利用率；NetAppVSC管理控制台和Vmware等环境能够完美融合，用户可以通过操作V

5、mware中的管理控制台VCenter就可以对NetApp进行管理操作，同时在VCenter中就可以操作NetApp的高级功能进行虚拟机的备份，恢复，快速克隆，自动精简配置等操作。所有数据系统通过NetApp的管理界面进行管理，同时数据去重，快照，恢复，以及备份，数据归档等所有操作也都可以通过该管理界面进行集中管理。4.2 业务逻辑示意图4.3 各安装点设备信息：安 装地点主要应用设备型号容量详细配置服务年限设备数量民族大学信息中心4楼VmwareFAS322030TBBSAN+NAS 双活控制器，整体设计无单点故障，24GB 缓存，4 个 8Gb FC 主机接口，4 个 10Gb/s万兆FC

6、oE 主机接口， 4 个 1Gb/s千兆NAS 主机接口，4 个 4Gb/s FC 磁盘接口，4 个 6Gb/s SAS 磁盘接口，可扩展闪存和端口 等，单台支持 480 块磁盘和 1920TB 以上扩展能力，支持自动容量扩展功能。3 年软硬件保修1民族大学信息中心4楼民族大学信息中心4楼VmwareFAS3250E546030TB100TBAN+NAS 双活控制器，整体设计无单点故障，40GB 缓存，4 个 8Gb FC 主机接口，4 个 10Gb/s 万兆 FCoE 主机接口， 4 个 10Gb/s 万兆NAS 主机接口，4 个 1Gb/s 千兆 iSCSI 主机接口，4 个 4Gb/s

7、FC磁盘接口，4 个 6Gb/s SAS 磁盘接口，可扩展闪存和端口等，支持 720 块磁盘和 2880TB 以上扩展能力，支持自动容量扩展功能。双主动冗余 SAN 控制器，整体设计无单点故障，控制器缓存 24GB，缓存掉电保护，配置 8个 8Gb/s FC 主机接口，4 个 10Gb/s iSCSI 主机接口，双控制器最大支持 384 块硬盘，支持SSD、 SAS、NL-SAS 等磁盘类型3 年软硬件保修3 年软硬件保修114.4 FAS3220网络背板以及接口示意图上图是 FAS3220A 的背板图标记是网络数据口，这两个端口绑定需要一个 IP，如果不绑定具体 IP 使用情况在协商（建议这

8、两个端口做绑定）标记的是管理口，需要两个 IP，用于日常管理和带外管理（SP）上述端口红色标记部分中，如果端口绑定模式是 Mulit 模式则需要在接入4.5 FAS3250网络背板以及接口示意图上图是 FAS3250A 的背板图标记是网络数据口，这两个端口绑定需要一个 IP，如果不绑定具体 IP 使用情况在协商（建议这两个端口做绑定）标记的是管理口，需要两个 IP，用于日常管理和带外管理（SP）上述端口红色标记部分中，如果端口绑定模式是 Mulit 模式则需要在接入背板接口说明：4.6 E5460背板示意图设备安装后，完成硬件加电测试：- 确认Filer所有的机柜的电源开关都在关闭状态- 请客

9、户确认Filer的输入电压要求：火线-零线 电压为 200V240V火线-地线 电压为 200V240V零线-地线 电压约 1V左右，小于2V-设置好仿真终端 （9600，8，N，1）-连接Filer机头Console口和仿真终端之间的RS232串口线-打开Filer的磁盘柜的所有电源-打开Filer的机头的所有电源-观察仿真终端上的Filer加电自检的显示-确认Filer自检信息正常-确认Filer机头和磁盘柜前面板和后面板的指示灯正常系统设计与实施规范4.8 操作系统安装ONTAP 版本： FAS3220、FAS3250 均安装 DataONTAP 稳定版本 8.1.3p1。命名规则：机器

10、名为 FAS3220-A，FAS3220-B;FAS3250-A，FAS3250-B.时区设置：Asia/Shanghai4.9 网络配置网口分配：参考网络规划表。IP 分配：由客户决定。Vif 设置：连接两台交换机的换机支持静态 802.3采用 single_mode.连接一台交换机的ad 协议,设置 port channel)采用 multi_mode(需确认交4.10空间划分磁盘分配：每个 NetApp FAS上各部署一个 Aggregate，留下 1 块磁盘作为热备盘RAID 级别：FAS32XX 上所有 Aggregate 采用 RaidDP（双校验盘）方式。FAS32XX 通过接管

11、其他空间，所以 FAS32XX 上的 Aggregate 采用 Raid0。在满足目前业务要求的情况下，尽量预留较多的热备盘。快照预留空间：用于两网交换的 Aggregate 采用默认的 5%，Vol 关闭快照预留空间、关闭快照自动执行功能。卷配置： 所有卷语言为 zh.GBK根卷 vol0 的大小采用 250G，使用缺省参数，保留 snapshot。数据卷容量根据北方民族大学原有的 IBM配置进行匹配，并适量扩充。5 网络与基本配置规划5.1 网络配置规划表FAS3220 和 FAS3250 控制器的 2 个网口组成 vif，以 Single Mode 连接到台交换机，以提供网络冗余；或者以

12、 Multi Mode 连接到一台交换机实现负载均衡。NetApp FAS3220 和 FAS3250的用户名 root ：admin123E5460FAS 系列只需要安装管理即可，登录时候无需用户名和共享方式例如：个人电脑开始-运行输入跳出窗口输入用户名：administrator：admin123控制器名称端口名称IP 地址子网掩码对方控制器IP 地址接口速度是否启用巨帧FAS3220-AE0aAuto否E0bSpAuto否FAS3220-BE0aAuto否E0bSpAuto否FAS3250-AE0aAuto否E0bSpAuto否FAS3250-BE0aAuto否E0bSpAuto否FAS

13、3220-A2E0aAuto否E0bSpAuto否FAS3220-B2E0aAuto否E0bSpAuto否虚拟端口配置控制器名称虚拟端口名称虚拟端口类型 (single, multi, lacp)负载均衡类型(rr,mac,ip)成员端口优先端口FAS3220-AVif01singleipE0a/e0bE0aFAS3220-BVif01singleipE0a/e0bE0aFAS3250-AVif01singleipE0a/e0bE0aFAS3250-BVif01singleipE0a/e0bE0aFAS3220-A2Vif01singleipE0a/e0bE0aFAS3220-B2Vif01s

14、ingleipE0a/e0bE0aFAS3240-A2Vif01singleipE0a/e0bE0aFAS3240-B2Vif01singleipE0a/e0bE0aFAS3240-A2E0a172.20.297Auto否E0bSpAuto否FAS3220-B2E0aAuto否E0bSpAuto否E5460A 控制器0网关：B 控制器1网关：5.2Netapp网络端口参考：5.3 网络控制5.3.1管理端口（E0M/SP）FAS3220 和 FAS3250 的 sp 口需要配置两个 IP 地址一个用于日常管理、一个用于带外管理5.3.2 数据传输端口序号源 IP源端口目的 IP目的端口协议备注

15、1.1056610566TCP2.1056610566TCP协议UDP 端口TCP 端口HTTP80HTTPS443RSH514SSH22NET23SNMP161162SYSLOG514CIFS445SMTP25SNAPVAULT10565-10566NETBIOS137-138139NDMP10000NTP123123&DNS5353TIME SERVICE3737系统实施步骤机房准备和网络环境注：本次项目有 FAS3220 一套，FAS3250 一套，另外并之前老的 FAS3220 和 FAS3240 存储整合到现有的 Vmware 虚拟机环境中。以下为 NetApp 物理规格要求，需客户

16、在安装前准备相关环境：A:室内温度变化范围: (20C25C)，湿度 20-80%B: NetApp 设备硬件尺寸和重量.FAS3220：FAS3250：Weightone controller module67.3 lbs (30.5 kg)Weighttwo controller modules79.5 lbs (36.1 kg)Weightcontroller and I/O expanmodule74.5 lbs (33.8 kg)Rack units3Height5.12 in. (13.0 cm)Width17.61 in. (44.7 cm)Depth24 in. (60.7 c

17、m)Weightone controller module67.3 lbs (30.5 kg)Weighttwo controller modules79.5 lbs (36.1 kg)Weightcontroller and I/O expanmodule74.5 lbs (33.8 kg)Rack units3Height5.12 in. (13.0 cm)Width17.61 in. (44.7 cm)Depth24 in. (60.7 cm)FAS3240注意：请确认系统后部到墙至少 3 英尺（91.44 厘米）空间。该空间确保您能够连接系统后面板的线缆。它还确保您在拆卸或安装硬件时，

18、能够从 Filer 后部拉出承载主机板的抽屉。C: NetApp 设备散热要求：D.网线和交换机：6.2初始化请客户提供初始化需要的 IP 地址和网关地址，并提供 DNS 服务器的 IP 地址和 Autosupport 邮件信息，参见网络规划表。以下为 FAS3220（FAS3250 初始化配置与 FAS3220 一样）初始化配置过程，先用 Console 线连接到 FAS3220的 Console 口，然后打开磁盘柜电源，一分钟后打开控制柜电源，就可以进入初始化了。（备注：以下配置中的IP、网关、DNS 等均是举例，实际信息需以客户提供 IP 等信息为准）6.2.1 FAS3220 初始化配

19、置（举例）初始化Filer setup设备规格要求10Base-TX/100Base- TX/1000Base6 类（或超 5 类）非双绞线(UTP)，RJ-45 接头网络交换机建议支持交换机级联和 802.3 QD 静态协议硬件型号散热量（BTU/hr）FAS32202116FAS32502089DS42433052DS22463800Weightone controller module67.3 lbs (30.5 kg)Weighttwo controller modules79.5 lbs (36.1 kg)Weightcontroller and I/O expanmodule74.

20、5 lbs (33.8 kg)Rack units3Height5.12 in. (13.0 cm)Width17.61 in. (44.7 cm)Depth24 in. (60.7 cm)6.3 磁盘空间划分6.3.1 为机头分配磁盘项目采购的空间配置如下：配置 RLM 模块This system will send event messages and kly reports to Network Appliance Technical Support. To disable this feature, enter options autosupport.support.enable of

21、f within 24 hours. Enabling Autosupport can significantly speed problem determination and resolution should a problem occur on your system. For further information on Autosupport, please see: htt/autosupport/Press the return key to continue.The RemoAN Module (RLM) provides remote management capabili

22、ties including console redirection, logging ander control.It also extends autosupport by sendingadditional system event alerts. Your autosupport settings are used for sending these alerts viaover the RLM LANerface.Would you like to configure the RLM LANerface y: yWould you like to enable DHCP on the

23、 RLM LANerface y: n Please enter the IP address for the RLM : Please enter the netmask for the RLM : Please enter the IP address for the RLM gateway : Thhost is required by your system to send RLM alerts and local autosupport.Please enter the name or IP address of thhost :host You may use the autosu

24、pport options to configure alert destinations.The initial aggregate currently contains 3 disks; you may add more disks to it later using the aggr addd.Verifyinghost settings for RLM use.Thu Oct 22 16:25:18 CST sh-FAS3220A: rlm.driver.host:warning: RLM setup unable to acshost specified in options aut

25、osupport.host.Thu Oct 22 16:25:19 CST sh-FAS3220A: work.failure:warning: The network configuration of the RemoAN Module (RLM) failed due to cable or network errors.Now type reboot for changes to take effect.FAS3220autosupport配置options autosupport.enable onoptions autosupport.from *.com options autos

26、upport.hostx options autosupport.noteto *options autosupport.performance_data.enable off options autosupport.support.transport smtp options autosupport.to*.comFAS3220 磁盘划分：FAS3250 磁盘划分：FAS3220（旧）磁盘划分：机头Aggr磁盘数量RaidSize可用容量(含卷快照空间)注释Spare 盘数量A 机头Aggr071664bit1B 机头aggr081664bit1机头Aggr磁盘数量RaidSize可用容量(

27、含卷快照空间)注释Spare 盘数量A 机头aggr0201664-bit1Agg131664-bit1B 机头aggr0271664-bit1机头Aggr磁盘数量RaidSize可用容量(含卷快照空间)注释Spare 盘数量A 机头Aggr0201664bit1Agg131664bit1B 机头aggr0271664bit1设备型号控制器型号、数量磁盘柜型号、数量磁盘类型、数量FAS3220FAS3220A 双控制器DS4243， 1 个DS2246， 1 个24 块 900GB 10K RPM SAS磁盘24 块 2TB 7200 RPM SATA磁盘FAS3250FAS3250 双控制器

28、DS4243， 1 个DS2246， 1 个24 块 900GB 10K RPM SAS磁盘24 块 1TB 7200 RPM SATA磁盘FAS3220（ 之前老存储）FAS3220A 双控制器DS2246，1 个154 块 600GB 10K RPM SAS磁盘FAS3250（ 之前老存储）FAS3250 双控制器DS4243， 1 个24 块 1TB 7200 RPM SATA磁盘FAS3240（旧的） 磁盘划分：6.3.2 Netapp卷分配FAS3220、FAS3250主要用于Vmware以及、个人数据共享等、E5460主要是为提供 设备。FAS3220的卷划分方案如下：控制器数据卷

29、卷空间空间FAS3240（旧的存储）ABshi_1_vol3050GB3TBshi_2_vol3050GB3TBshi_SAS_2_vol1705GB1.7shi_6_vol3050GB3TBshi_SAS_1_vol11305GB1.3TBshi_5_vol3050GB3TB控制器数据卷卷空间空间FAS3220ABFAS3220A_SATA1_vol4222GB4TBFAS3220A_SATA2_vol4222GB4TBFAS3220B_SAS1_vol4222GB4TBFAS3220B_SAS2_vol4222GB4TBFAS3220B_SAS3_vol4222GB4TBFAS3220B_

30、SANboot01_vol2GB2gbFAS3250ABFAS3250A_SATA1_vol4222GB4TBFAS3250A SATA2_YIKATONG_vol10111GB10TBFAS3250A_SATA3_vol4222GB4TBFAS3250B_SAS1_vol4222GB4TBFAS3250B_SAS2_vol4222GB4TBFAS3250B_SAS3_vol4222GB4TB机头Aggr磁盘数量RaidSize可用容量(含卷快照空间)注释Spare 盘数量A 机头aggr0121664-bit1B 机头aggr0121664-bit1E4560配置情况：创建了 5 个 Rai

31、d5，创建 10 个 10TB 的，剩余空间保留。然后将这 10的物理服务器上，这两台物理服务个通过光纤直连方式至两台器安装 Vmware ESXi 5.5 做虚拟化应用。目前计划将这 10 个 10TB 的通过设备的方式直接给服务器里面的虚拟机应用。FAS3220旧的ABFAS3220A2_SAS13040GBNFS 卷FAS3220A2_SAS13040GBNFS 卷FAS3220B2_SAS12500GBNFS 卷6.3.3 设置卷属性FAS3220 FAS3220 FAS3220FAS3220vol vol volvolsize vol0 250goptions optionsopti

32、onscreate_ucode on nosnap onnosnapdir onFAS3220FAS3220snap reserve snap sched 000 06.4的划分本次实施将完成基于 Windows 和 Linux的划分：1.基于 Unix 的 FCP 2.基于 ESX server 的6.4.1 Unix 上的划分。划分。划分（举例）任务命令或界面1 确保光纤交换机的zone设置正确，以便端可认到AIX主机 的 HBA 卡 WWN号光纤线连接好，光纤交换机配置好后可在端发现主机 WWN 号：FAS3220iscsi initiator show.ibm:ata-ixt5cbsi

33、uuj（CRTL+C，后有用）2 通过 setup 向导，为对应的客户机创建。FAS3220setup划分This setup will take you through the steps needed to creaUNsand to make them acsiby initiators. You can type C (Control-C) at any time to abort the setup and no unconfirmed changes will be made to the system.Do you want to create a? y: yMultiprotocol type of(image/solaris/windows/hpux/aix/linux/netware/vmware) image: aix设置Apath must be absolute. Acan only reside in a volume or qtree root. For exle, to create awith name 0he qtree root /vol/vol1/q0, specify the pas /vol/vol1/q0/ 0.Ent