Stornext v3.5-v4(附redhat 5安装)使用说明.doc

目 录1MDS的规划22RedHat 5安装23StorNext 安装与配置264MDS安装与配置264.1准备工作264.2安装配置STORNEXT274.2.1STORNEXT CLI模式284.2.2STORNEXT GUI模式374.3Client端配置494.3.1Linux client494.3.2Windows client514.4Distributed LAN Client配置594.4.1PROXY SERVER (linux)594.4.2PROXY SERVER (WINDWOS)604.4.3Distributed LAN Client615其他635.1注册license635.2文件系统检测635.3文件系统升级675.4 日常维护命令681 MDS的规划 元数据服务器需要满足的最低配置，建议如下 元数据卷大小定义是与存储文件的目录个数及目录下文件个数相关联表： 文件系统限制Maximum size of a SNFS 8PB with 16TB LUNsMaximum number of stripe groups per SNFS 512 (not recommended) Maximum number of nodes/LUNs per stripe group 32 Maximum number of files per SNFS 2*64th Maximum size of a single file on a SNFS One byte less than the filesystem size.2 RedHat 5安装1. 插入 rhel-server-5 x86_64 DVD 盘2. 默认键入回车键3. 检查CDROM介质，按tab键。选择SKIP,跳过CDROM 的检测。4. 系统显示RED HAT ENTERPRISE LINUX5的版本界面，鼠标点击“next“5. 选择安装RED HAT过程中安装界面所以使用的语言，鼠标点击“next“6. 设置键盘的类型，一般以默认为主-U.S.English,鼠标点击“next“。7. 输入Red Hat Enterprise Linux安装序列号，点击“OK”.8. 系统提示初始化磁盘的上数据，且磁盘上数据将被擦除，鼠标点击“yes“9. 选择 remove all partitions on selected dirvres and create default layout鼠标点击“next“，如果在此显示多个磁盘或着有外接存储的信息，只选择要安装linux的磁盘。即在磁盘前面打勾的磁盘。其中Advanced Storage Configuration主要是安装的时候增加ISCSI存储，需要先配置网络地址和ISCSI Target的IP 地址。10. 系统提示，该磁盘的数据将会丢失，鼠标点击“yes“11. 系统显示网络配置界面，点击EDIT12. 选择Manual Configuration，输入ip 地址和掩码，鼠标点击“OK“。13. 输入 hostsname 的名字。如mds1，若有访问其他网段，设置网关地址，但用作MDS时DNS建议不要设置，鼠标点击“next“。14. 系统提示没有设置DNS，忽略，点击“continue”15. 选择时区，如Asia/Shanghai,鼠标点击“next“16. 输入root 的密码，密码至少为6 位，鼠标点击“next“17. 选择“customze now“， 鼠标点击“next“18. 选择如图示。19. 选择如图示。20. 选择如图示。注意snfs的安装需要gcc的编译工具。所以必须选择Development Tools21. 选择如图示。22. 选择如图示。对于system tools，点击”optional packages”23. 选择如图示，在system tools 中建议选择sysstat，用来监测系统性能24. Virtuallztion虚拟化组件中，不选择任何一种虚拟化软件。25. 一般情形下没有必要安装多语言支持。确认各安装包选择正确后，鼠标点击“next“。 26. 系统显示install 的说明。鼠标点击“next“27. 系统开始安装。28. 安装完成后，单击“reboot”重新启动系统29. linux 第一次启动.30. 系统显示欢迎界面，单击“Forward”31. 选择“yes，I agree to the License Agreement” ，单击“Forward”32. 防火墙设置为“disable”, 单击“Forward”.33. 选择YES.34. SELinux安全机制设置为disable, 单击“Forward”35. 选择YES.单击“Forward”.调整时间和日期。单击“Forward”选择“No,I prefer to register at a later time”,单击“Forward”.选择No thanks,Ill connect later.单击“Forward”.输入新增的用户名字和密码，单击“Forward”。若不创建新的用户，系统提示没有个人帐号，只有root帐号。单击“continue”单击“Forward”.如果有red hat 扩展包，可以在这里安装它，继续单击“Finish”.系统需要重新启动，单击“OK”.系统重新启动后,显示登陆界面。键入root 和密码。3 StorNext 安装与配置4 MDS安装与配置4.1 准备工作1. 配置网络 在MDS上配置DNS静态解析 # vi /etc/hosts localhost.localdomain localhost5 mds1 6 mds2 2. 效验HBA卡加载在默认的REDHAT 5中默认安装已检测到HBA卡 通过lsmod 检测HAB卡驱动模块n Emulex的驱动模块名称为lpfc。如#lsmod |grep lpfcn Qlogic的驱动模块名称为qla2xxx或qla2300 。如#lsmod |grep qla2xxx 通过modinfo命令查看驱动模块的硬件信息，如Firmware、驱动版本等。如：# modinfo lpfcfilename: /lib/modules/2.6.18-164.el5/kernel/drivers/scsi/lpfc/lpfc.ko version: 0:8.2pauthor: Emulex Corporation - description: Emulex LightPulse Fibre Channel SCSI driver 8.2plicense: GPLsrcversion: 44014A849E1ED9614895D90alias: pci:v000019A2d00000704sv*sd*bc*sc*i*alias: pci:v000010DFd0000FC50sv*sd*bc*sc*i*alias: pci:v000010DFd0000E180sv*sd*bc*sc*i*alias: pci:v000010DFd0000E100sv*sd*bc*sc*i*. 通过cat /proc/scsi/scsi查看HBA卡检测到的所连接到的磁盘信息3. ISCSI配置 （若存储为ISCSI时，需要配置ISCSI Initiator ） 安装iscsi initiator 软件包 （在redhat dvd中的SERVER 中）#rpm -ivh iscsi-initiator-utils-71-0.10.el5.x86_64.rpm 显示如下：warning: iscsi-initiator-utils-71-0.10.el5.x86_64.rpm: Header V3 DSA signature: NOKEY, key ID 37017186Preparing. # 100%1:iscsi-initiator-utils # 100% 启动iscsid服务#service iscsi start 搜索ISCSI target#iscsiadm -mode discovery -type sendtargets -portal # 为ISCSI target的IP地址如下类似显示::3260,-1 .starwindsoftware:win-f6hd44ehl7c-snfs:3260,-1 .starwindsoftware:win-f6hd44ehl7c-share 设置系统自动加载启动ISCSI target的配置# vi /etc/iscsi/iscsid.conf将下面字段加入配置文件中iscsiadm -mode node -targetname targetname -portal :3260 login# service iscsi start# chkconfig -level 3456 iscsi on4.2 安装配置STORNEXT STORNEXT完整的安装包为图形模式，但项目上往往是仅安装基本包，以命令模式管理文件系统。4.2.1 STORNEXT CLI模式 安装STORNEXT RPM包1. 以root用户登录Linux， StorNext FS DVD#cd /media如果CDROM没有被mounted，那么执行#mount /dev/cdrom /media# cd /media1. ISO文件#mount -o loop snfs.iso /media2. #uname -a 查看当前系统内核的版本。 如：uname -aLinux mds1 2.6.18-164.el5 #1 SMP Tue Aug 18 15:51:48 EDT 2009 x86_64 x86_64 x86_64 GNU/Linux3. 拷贝相应的安装包到MDS上，如将DVD中的fs_only目录下的sn_dsm_linuxRedHat50AS_x86_64_client.tar.gz拷贝到/tmp解压安装包：#tar xzvf sn_dsm_linuxRedHat50AS_x86_64_client.tar.gz 显示如下：snfs-client-RedHat50AS_2618-4727.x86_64.rpmsnfs-client-RedHat50AS_2618-4727.x86_64.rpm.md5sumsnfs-server-RedHat50AS-4727.x86_64.rpmsnfs-server-RedHat50AS-4727.x86_64.rpm.md5sum4. 安装stornext 软件包（此安装根据不同版本而定，本例中以3.5.2为例）# rpm -ivh snfs-client-RedHat50AS_2618-4727.x86_64.rpm显示如下：Preparing. # 100% 1:snfs-client # 100%ln -f cvfs_bin.o_cmd_shipped .cvfs_bin.o.cmd CC M /usr/cvfs/install/linuxif_fs.o CC M /usr/cvfs/install/linuxif_fs_common.o CC M /usr/cvfs/install/linuxif_fsctl.o SHIPPED /usr/cvfs/install/cvfs_bin.o LD M /usr/cvfs/install/cvfs.o Building modules, stage 2. MODPOST CC /usr/cvfs/install/cvfs.mod.o LD M /usr/cvfs/install/cvfs.ko INSTALL /usr/cvfs/install/cvfs.ko DEPMOD 2.6.18-164.el5 # rpm -ivh snfs-server-RedHat50AS-4727.x86_64.rpm显示如下：Preparing. # 100% 1:snfs-server # 100%注意，在MDS上服务器上必须安装Server和client两个软件包，因为文件系统的驱动模块cvfs.ko 由 client软件包提供。 配置STORNEXT1. 修改环境变量#vi /etc/profile 在26行加入pathmunge /usr/cvfs/bin如 # Path manipulation if $EUID = 0 ; then pathmunge /sbin pathmunge /usr/sbin pathmunge /usr/local/sbin pathmunge /usr/cvfs/bin fi# . /etc/profile才能使环境变量起作用或注销root用户，重新以root用户登陆系统。2. 磁盘Label2. 查看盘阵信息，执行fdisk -l如： # fdisk lDisk /dev/sdc: 6291 MB, 6291456000 bytes194 heads, 62 sectors/track, 1021 cylindersUnits = cylinders of 12028 * 512 = 6158336 bytesDisk /dev/sdc doesnt contain a valid partition tableDisk /dev/sdg: 4294 MB, 4294967296 bytes133 heads, 62 sectors/track, 1017 cylindersUnits = cylinders of 8246 * 512 = 4221952 bytesDisk /dev/sdg doesnt contain a valid partition tableDisk /dev/sdb: 1073 MB, 1073741824 bytes34 heads, 61 sectors/track, 1011 cylindersUnits = cylinders of 2074 * 512 = 1061888 bytesDisk /dev/sdb doesnt contain a valid partition table 查看disk Label #/usr/cvfs/bin/cvlabel lDevice NameDeviceVolume Type LabelSectorsSector Size/dev/sdcROCKET IMAGEFILE 0001unknownSectors: 12269535SectorSize: 512/dev/sdbROCKET IMAGEFILE 0001unknownSectors: 2078687SectorSize: 512/dev/sdg ROCKET IMAGEFILE 0001unknownSectors: 8370143SectorSize: 512 编辑disk Label配置文件将cvlabel输出结果加载到cvlabels配置文件中# /usr/cvfs/bin/cvlabel -c /usr/cvfs/config/cvlabels # vi /usr/cvfs/config/cvlabels 定义各LUN的SNFS Label，将unkown更改为data，share， meta 等，如本例中：Volume Type LabelSNFS LabelCvfsDisk_UNKNOWNdataCvfsDisk_UNKNOWNshareCvfsDisk_UNKNOWNmeta类似如下：data /dev/sdc # host 16 lun 0 sectors 12269535 sector_size 512 inquiry ROCKET IMAGEFILE 0001 serial 3EFBFA5CED176EB5share /dev/sdb # host 17 lun 0 sectors 2078687 sector_size 512 inquiry ROCKET IMAGEFILE 0001 serial 50C413502AEED21Fmeta /dev/sdg # host 21 lun 0 sectors 8370143 sector_size 512 inquiry ROCKET IMAGEFILE 0001 serial 49C5D5B5856DDB8E 使个LUN标记为在cvlabels中预定义的SNFS Label名称# /usr/cvfs/bin/cvlabel /usr/cvfs/config/cvlabels 运行后显示如下：*WARNING* This program will over-write volume labels on the devices specified in the file /usr/cvfs/config/cvlabels. After execution, the devices will only be usable by the StorNext. You will have to re-partition the devices to use them on a different file system.Do you want to proceed? (Y / N) - y/dev/sdc ROCKET IMAGEFILE 0001 unknown Controller default, Serial 3EFBFA5CED176EB5, Sector Size 512, Sectors Max 12269535 (5.9GB)Warning: Because it will use an EFI label, disk /dev/sdc will not be usable by some Solaris systems, IRIX systems or earlier StorNext releases.Do you want to label it SNFS-EFI - Name: data Sectors: 12269535 (Y / N) - yNew Volume Label -Device: /dev/sdc SNFS Label: data Sectors: 12269535./dev/sdb ROCKET IMAGEFILE 0001 unknown Controller default, Serial 50C413502AEED21F, Sector Size 512, Sectors Max 2078687 (1015.0MB)Warning: Because it will use an EFI label, disk /dev/sdb will not be usable by some Solaris systems, IRIX systems or earlier StorNext releases.Do you want to label it SNFS-EFI - Name: share Sectors: 2078687 (Y / N) - yNew Volume Label -Device: /dev/sdb SNFS Label: share Sectors: 2078687./dev/sdg ROCKET IMAGEFILE 0001 unknown Controller default, Serial 49C5D5B5856DDB8E, Sector Size 512, Sectors Max 8370143 (4.0GB)Warning: Because it will use an EFI label, disk /dev/sdg will not be usable by some Solaris systems, IRIX systems or earlier StorNext releases.Do you want to label it SNFS-EFI - Name: meta Sectors: 8370143 (Y / N) - yNew Volume Label -Device: /dev/sdg SNFS Label: meta Sectors: 8370143.cvlabel: One or more disks with 2147483647 sectors or less has had anEFI label applied to it, or has changed from an EFI label to a VTOC label.Before they can use these disks, Solaris systems will need to be rebootedwith the following command: reboot - -rDone. 3 source lines. 3 labels.SNFS提示需要重新启动系统。3. 创建StorNext FS文件系统的配置文件 若查看参数信息，键入#man -M /usr/cvfs/man cvfs_config# cd /usr/cvfs/config# cp ./examples/example.cfg ./test.cfg /例程中拷贝出文件系统的配置文件# vi /usr/cvfs/config/test.cfg ABMFreeLimit NoAllocationStrategy RoundBufferCacheSize 64M # Default is 32MB，64对大文件访问要好DataMigration No # SNMS Managed File Systems Only# DataMigrationThreadPoolSize 128 # Default is 8 (Managed only)Debug 0x0FileLocks NoFsBlockSize 16K #大文件时可以需要设置为64K# 建议FsBlockSize在16K-64K之间是一个合理的参数值。特别是针对存储文件都在1MB或1GB以上文件，建议在文件系统创建时测试较大的FsBlockSize参数，例如64K，观察系统性能是否能更好满足客户需求。#请注意FsBlockSize和Journalsize的值相差1024倍# FsBlockSize的修改，需要重新初始化文件系统！GlobalSuperUser Yes # Set to Yes for SNMS Managed File SystemsInodeCacheSize 16K # 800-1000 bytes each, default 8KInodeExpandMin 32K # 预分配写入块的大小InodeExpandInc 128K # 当写入数据大于预分配写入块32K时，以扩展的128K分配InodeExpandMax 8M # 写入数据的最大分配的块为8M# InodeExpandMin、InodeExpandInc 和InodeExpandMax参数设置,务必与客户数据存储需求相一致，这是减少数据文件产生碎片的非常重要的参数，但如果优化的不合理，可能会造成很对空间浪费。# 此修改不需要重新初试化文件系统，重新启动CVFS服务即可JournalSize 16MMaxConnections 32 # Maxconnections应该是StorNext SAN client数量 + 10，但设置数值过大时会消耗系统资源 此修改后不需要重新初试化文件系统，重新启动CVFS服务即可。# ReservedSpace Yes # NO: Slows small I/Os. Causes fragmentation.MaxLogs 4MaxLogSize 16M# OpHangLimitSecs 300 # Default is 180 secsQuotas NoThreadPoolSize 32 # Default is 16, 512 KB memory per threadUnixDirectoryCreationModeOnWindows 0755UnixFileCreationModeOnWindows 0644UnixIdFabricationOnWindows NoUnixNobodyGidOnWindows 60001UnixNobodyUidOnWindows 60001WindowsSecurity Yes# *# A disktype section for defining disk hardware parameters.# *DiskType MetaDriveSectors 8370143 SectorSize 512#DiskType MetaDrive, 该名称可以自行定义#元数据META的LUN，建议为raid 1, Sectors、SectorSize值为cvlabel -l中对应的数值DiskType DataDriveSectors 12269535SectorSize 512#DiskType DataDrive, 该名称可以自行定义#数据的LUN，建议为raid 5、6，Sectors、SectorSize值为cvlabel -l中对应的数值# *# A disk section for defining disks in the hardware configuration.# *Disk meta Status UPType MetaDrive# Disk meta，为该LUN在cvlabel -l中预定义的cvlabel名称# Status UP 必须为UP，说明此磁盘在文件系统中被使用。# Type MetaDrive，该disk meta的Sectors、SectorSize引用上文中定义磁盘类型的MetaDriveDisk data Status UPType DataDrive# Disk data，为该LUN在cvlabel -l中预定义的cvlabel名称# Type DataDrive，该disk meta的Sectors、SectorSize引用上文中定义磁盘类型的DataDrive# *# A stripe section for defining stripe groups. # *StripeGroup MetaFilesStatus UPMetaData YesJournal YesExclusive YesRead EnabledWrite EnabledStripeBreadth 256KMultiPathMethod RotateNode meta 0#StripeGroup MetaFiles中MetaFiles名称自行定义，习惯上命名与该StripeGroup作用相关。#一个文件系统，必须有一个StripeGroup是MetaData Yes、Journal Yes的。#元数据与日志可以在一个StripeGroup，也可以分离在两个StripeGroup#若该StripeGroup只做元数据用，必须设置Exclusive Yes#可以只有一个StripeGroup，即数据和元数据在同一个StripeGroup组里。#在只有一个StripeGroup中，若想写入非元数据，必须将Exclusive Yes改为Exclusive No.StripeGroup DataFiles Status UPExclusive No #Non-Exclusive StripeGroup for all Files#Read EnabledWrite EnabledStripeBreadth 4M MultiPathMethod RotateNode data 0 # StripeBreadth 参数是一个优化存储性能的参数，其理论优化的数值为RAID中数据盘个数与RAID的Segement Size的积的倍数。如: 如512*8=4m 该LUN有8个磁盘组成的,对于用户的数据存储的StripeGroup来讲，由于这个参数是一个近似优化值，与客户存储的数据文件大小和存储方式存在一定关系，因此确定此参数值时，可以考虑0.5倍、1倍、两倍等值，进行测试，选择最为优化的值作为StripeBreadth的参数。# Node data中的data要与上文中Disk data对应# 从根本上来说，一个文件系统中用于数据存储的StripeGroup越多，文件系统的数据存储的安全性越强。缺省配置下StripeGroup是文件存储的最小单元，因此理论在一个文件系统中，用于用户客户数据信息存储中的StripeGroup只包含一条LUN将是最好的，当然前提是这一条LUN就能满足客户应用对这一个文件进行访问时的存储带宽。如果一条LUN不能满足客户应用对这个文件的并发访问带宽，则只能增加这个StripeGroup中的LUN的条数 #建议创建多个StripeGroup用于数据的存储，每个StripeGroup中只包含一个或两个LUN，最多不要超过4个为宜。#若有多个文件系统依次创建文件系统配置文件#vi /usr/cvfs/config/ file_system_name.cfg4. 重启cvfs服务# /etc/init.d/cvfs restart 或# service cvfs restartr Unmounting SNFS filesystemsStopping SNFS DaemonsStopping SNFS PortMapperWaiting for FSMs to finishWaiting for FSMPM to finishSNFS Stop OK Initializing StorNext Filesystem (SNFS) Loading SNFS modulesnet.core.rmem_max = 1048576Starting /usr/cvfs/bin/.core.rmem_max = 131071Starting /usr/cvfs/bin/cvfsd.Mounting SNFS filesystemsSNFS Initialized OK 5. 初始化文件系统（cvmkfs）# /usr/cvfs/bin/cvmkfs test StorNext File System Initializer.* WARNING * This will destroy all contents and data of the - test - file system. Re-initialization cannot be un-done!Do you want to proceed? (Y/N) - yRe-initializing file system test.Shared Meta Data File System.Meta Data Root is on MetaFiles.Resetting Arbitration Block.Writing Configuration Information Block.Writing Root Directory Block.Writing Disk Information Block.Writing Stripe Group Index MetaFiles.Writing Stripe Group Index DataFiles.Resetting File System Journal.Creating Free List.Writing Initial 1024 Inodes.Writing Initialization Control Block.Setting Force Stripe AlignmentResetting Super Block.Writing Reserved Allocations.File system test successfully created.同样方法依次初始化文件系统 # /usr/cvfs/bin/cvmkfs file_system_name6. 创建SNFS文件系统中预启动的文件系统列表# cd /usr/cvfs/config#vi /usr/cvfs/config/fsmlist /将当前的StorNext FS文件系统的配置文件test.cfg的文件名写入fsmlistfile_system_name . 0 如：test . 0#其中的 . 表示当前机器的ip地址,0是优先,可为一个07. 但当前默认的为0是activate7. 创建SNFS文件系统中名称服务列表# vi /usr/cvfs/config/fsnameservers #将当前的StorNext FS文件系统的服务器的ip写入fsnameservers如: 58. 手动启动文件系统配置（cvadmin）# /usr/cvfs/bin/cvadmincvadminStorNext AdministratorEnter command(s)For command help, enter help or ?.List FSSFile System Services (* indicates service is in control of FS):No FSSs are active.Select FSM nonesnadmin start testStart FSS testFSS test start initiated.FSS test started.snadmin activate testActivate FSM test Created : Wed Sep 15 01:07:29 2010 Active Connections: 0 Fs Block Size : 16K Msg Buffer Size : 4K Disk Devices : 2 Stripe Groups : 2 Fs Blocks : 383392 (5.85 GB) Fs Blocks Free : 112672 (1.72 GB) (29%)snadmin (test) show longShow stripe groups (File System test)Stripe Group 0 MetaFiles Status:Up,MetaData,Journal,Exclusive Total Blocks:261552 (3.99 GB) Reserved:0 (0.00 B) Free:258332 (3.94 GB) (98%) MultiPath Method:Rotate Stripe Depth:1 Stripe Breadth:16 blocks (256.00 KB) Realtime limit IO/sec:0 (0 mb/sec) Non-Realtime reserve IO/sec:0 Committed RTIO/sec:0 Non-R