湘潭存储节点

1、节点说明与使用1.系统说明：本设备采用英业达 U90/35-35 双节点高密度服务器，每个节点可控制 35 个 3.5 吋热插拔 SATA/SAS 硬盘，执行 RAID硬盘0/1/10/5/50 等分配与控制，最高可同时管理 70 个磁盘顺序034 共 35 个2.系统配置：首次使用，因实用性与考虑，先配置一个控制节点（最高可管理 35 个3.5 吋热插拔 SATA/SAS 硬盘，顺序为上图右边 35 个盘位），配置两片高端el XeonE5-2620v2 CPU + 32GB 内存 + 2*250GB SSD（安装 Windows 2008 系统）+ 1*LSI RAID控制卡 + 2*万兆

2、网口首次的配置，根据要求，先配置 6 片如果所需用量超过 35 个硬盘槽，则扩充第二个控制节点时，只需添购 CPU、内存与 LSI RAID 控制卡即可3.4.节点的实际应用，主要在两大部分：1.2.节点透过 RAID 控制卡（LSI MegaRADI）进行控制节点对外提供 iSCSI 服务的设定，以及用户端的连接以上应用，需要使用说明。自行决定”管理策略“，本文件仅针对”使用功能“提供对应Part1、节点透过RAID 控制卡（LSI MegaRADI）进行控制：基本术语说明：对应绝大部分刚入门的新手来说，应用的操作并不学习的，问题发生在对于”专有名词“以及对应关系的不理解，因此，本说明书一开

3、始会先花时间为大家说明这些专有名词。PD（Physical Driver）：物理硬盘，就是实际插在服务器上面 SATA 或 SAS 硬盘DG（Driver Group）：磁盘组，自行挑选某几个 PDs 所组成的磁盘组，在此部分需决定本磁盘组（DG）的 RAID 模式（各种 RAID 的用法，可自行在网上搜索到，本次不多做说明）VD（Virtual Drivers）：透过 Driver Group 将指定物理硬盘组结一整块具备特定RAID Level 的磁盘阵列区，然后可以将该 Driver Group 进一步分配成多个虚拟磁盘（Virtual Drivers）两片物理磁盘（PD）组成一个磁盘组

4、（DG）磁盘组(DG)进一步分配 Virtual DriveVirtual Driver 是最终能被服务器提供作为空间的单元，如果前面的设定为生成任何 VD 的话，则系统会找不到可用的空间。要执行服务器的空间管理，事实上就是管理 LSI RAID 控制卡，主要有两种方式：1.透过服务器开机时，直接进入 LSI Web-BIOS 界面（如下图）：此种方式存在非常大，就是每次要执行任务，都必须关闭服务器 - 重启 -按”CTRL-H“进入 WebBIOS 设定，完成后再重启系统。基本上这并不是一个合理的方式。使用手册为“1-2-3-用 WebBIOS 界面管理 RAID.PDF”2.安装 LSI

5、Manager控制服务器的 LSI RAID 控制卡,由于 Windows用户人数最多，可以将 LSI MegaRAID Storage Manager for Windows 安装在任何一台能够的设备的终端（PC、Notebook），透过 LSI Manager for Windows 远程进行所有控制，是非常简便的方式（如下图）。为便利本系统之使用，在管理节点上安装这个管理。3.该如何设定 RIAD 级别、如何切割 Virtual Driver 大小、如何分配资源给不同对象？是由使用自行决定，并且制定管理策略（policy），本文不提供建议。4.使用手册分为简易版（1-2-1-LSI-MS

6、M-Windows 简介.PDF）与完整版（1-2-2-LSI-MSM-Windows 完整操作手册.PDF），请自行参考。Part2、节点对外提供 iSCSI 服务的设定，以及用户端的连接基本术语说明：对应绝大部分刚入门的新手来说，应用的操作并不学习的，问题发生在对于”专有名词“以及对应关系的不理解，因此，本说明书一开始会先花时间为大家说明这些专有名词。iSCSI：ernet Small Computer Systemerface由 IBM 公司研究开发的，是一个供硬件设备使用的可以在 IP 协议的上层运行的 SCSI 指令集，这种指令集合可以实现在 IP 网络上运行 SCSI 协议，使其能

7、够在诸如高速千兆以太网上进行路由选择。iSCSI 技术是一种新技术，是一种基于 TCP/IP 的协议，用来建立和管理 IP设备、主机和客户机等之间的相互连接，并创建区域网络（SAN）。该技术是将现有 SCSI 接口与以太网络 (Ethernet)技术结合，使服务器可与使用 IP 网络的装置互相交换资料。使得 SCSI 协议应用于高速数据传输网络成为可能，这种传输以数据块级别（block-level）在多个数据iSCSI 服务器：网络间进行。由于提供与管理 iSCSI 服务的整套设备，通常就是磁盘阵列柜的管理服务器（有些高端配置方式，会由一台“管理节点”管理数个柜）。iSCSI 服务器本身并不执

8、行 RAID 的任何控制，它理该服务器能认得的容量本次配置的管理服务器，以 Ubuntu 14.04 64 位元 Desktop 版本搭建 iSCSI 服务器，便于与计算节点（安装 Ubuntu 14.04）系统配合IQN（iSCSI组成，例如Qualified Name）：iSCSI 认证名称，是由一堆不太容易识别的符合所.ibm:ssssssssi.nnnnnnnn.tp。其中，=ssssssss= 服务器序列号，i = 服务器硬盘的 partition IDnnnnnnnn = 网络服务器描述（NWSD）。并不容易识别本次配置 FULL_NAME_OF_IQN = iqn.xiantan

9、-lab.local:iscsi比较常用的 IQN 设定，可以用”来访 IP“作为”认证名“iSCSI启动多个：在 iSCIS 服务器上作为被的空间，一台 iSCSI 服务器可以（目标）给网上允许连上的用户端（initiator）进行连接与使用iSCSI Initiator：欲使用 iSCSI空间的用户机（Windows, Linux, Mac 等都可以），需在本机上安装启动 iscsi initiator 服务，经过设定后连接上（Logicait Number，逻辑单元号）：ID 的作用就是扩充了ID。每个下都可以有多个Device，通常简称 x 变成Device 为 y，这样就可以说每个设

10、备的描述就由原来的x以 Ubuntu 搭建 iSCSI 服务器：sudo apt-get install lvm2 iscsiiscsi-dkms# Disk allocation，creaVM physical volume sudo pvcreate /dev/sdb# Use physical volumn to create virtual volume sudo vgcreate data-volume /dev/sdb# Display volume group sudo vgdisplaygroup# 在卷组 data-volume 中创建逻辑卷 lv_0,大小自订（本例为 20

11、G）sudo lvcreate -L 20G -n lv_ # 查看创建的逻辑卷：sudo lvdisplay0 data-volume# 逻辑卷自动 ls /dev/mapper生成文件：# iSCSI 服务配置# 编辑 /etc/iet/ietd.conf，并修改以下部分 iSNSServer IP_OF_FULL_NAME_OF_IQN0 path=/dev/mapper/data-volume-lv_ Alias testinitiator-address IP_OF_INITIATOR0,Type=blockioinguser USERNAME PASSWORD #本处设定值详见本文

12、最后处 (save)# 编辑 /etc/default/iscsi，并修改以下部分ISCSI(save)_ENABLE=truesudo service iscsi # 设定开机启动mv /etc/rc0.d/K20iscsirestart/etc/rc0.d/S20iscsi# 检查 iscsi状态suetadm -opshow-tid=1节点-n lv_# 创建iSCSIsudo lvcreate -L200G1 data-volume# 修改 /etc/iet/ietd.conf，到最尾端增加配置iqn.xiangtan-lab.local:storage.iscsi1 1 path=/

13、dev/mapper/data-volume-lv_iqn.xiangtan-lab.local:storage.iscsi2 2 path=/dev/mapper/data-volume-lv_0,Type=blockio0,Type=blockioLinux 用户端（initiator）安装与使用：# Installsudo apt-get install open-iscsi# Modify /etc/iscsi/iscsid.conf：认证方式-CHAP、认证账号、 node.startup = automaticnode.ses node.ses node.ses (save)sud

14、o service # 寻找.auuthmethod= CHAP USERNAME PASSWORD.auth.username =.auth.password =#本处设定值详见本文最后处 #本处设定值详见本文最后处open-iscsi restartsuscsiadm -m discovery -ds -p IP_OF_# 查看信息suscsiadm -m node -o showIP_OF_:3260,1# 登录su-loginscsiadm -mode node -FULL_NAME_OF_IQN -portal IP_OF_:3260# 查看分区信息： more /proc/part

15、itions# 第一个登录分区的，使用 fdisk 对分区进行格式化，本例将 sdc 整区格式化sudo sudo sudofdisk /dev/sdc mkfs.ext3 /dev/sdc mkdir /iscsi0mount /dev/sdc /iscsi0# 设定开机自动挂载：有多少个 都要执行suscsiadm -m node -T FULL_NAME_OF_IQN -p IP_OF_-o update -nnode.startup -v automaticsuscsiadm -m node -T FULL_NAME_OF_IQN -p IP_OF_-o update -nnode.s

16、tartup -v automat cd /etc/init.dsudo update-rc.d iscsi default 95 # 查找 UUIDsudo tune2fs -l /dev/sdc |grep UUIDFilesystem UUID:638170a7-364f-43f7-a650-458361880dccsudo tune2fs -l /dev/sdd |grep UUIDFilesystem UUID:6d41ddf7-ea09-4cf9-8ccd-c071a657dbb8# 修改 /etc/fstab，加入UUID=638170a7-364f-43f7-a650-458361880dcc /iscsi0 ext4 _netdev 0 0UUID=6d41ddf7-ea09