IBMDS3400SAN配置详解.doc

认识IBM DS34001 SAN - 認識 IBM DS3400 (一)IBM DS3400 是個 4Gbps 的SAN(/storage/tw/disk/ds3400/) ,需要透過 IBM 的管理介面,去修改 Host 和 logical Drive 的對應,Server 才能認到 SAN 所指派的 Lun(Logical Unit Number) Disk.通常在 IBM 的光碟可以找到給 Linux 的管理程式(IBM System Storage DS3000 Storage Manager).不過你可以在 IBM 的官方網站找到新版的程式.目前版本為 v2.72.A5.05/systems/support/supportsite.wss/selectproduct?bra.選擇我作業系統的安裝版本( Linux ),安裝也很簡單就是下一步下一步完全用預設的方式即可.預設安裝的目錄在 /opt/IBM_DS3000/,主程式為 /opt/IBM_DS3000/client/SMclient ,不過 IBM 會很貼心的在桌面加上一個捷徑,點選2次就可以開始設定.2 SAN - 認識 IBM DS3400 (二) 設定 IPIBM DS3400 的管理介面是透過 IBM 管理工具的方式去管控,所以控制端的 IP 需要配合 DS3400 ,系統預設的是 Controller 1:01/24 ,Controller 2: 02/24 (兩片板的個別 IP,需要同時都和控制端相連,兩片 controllers 需要將資料同步),點選桌面的 IBM System Storage DS3000 Storage Manager 2 client 或是執行程式/opt/IBM_DS3000/client/SMclient 就可以開始設定.預設可以直接讓系統去 Automatic Discovery ,只要控制端和 DS3400 是相同網段都可以找到.如果你的 Storage Manager 可以看到下面的 Storage Subsystem Unamed.就代表正確連接到 DS3400 了.點 2 下進入控制介面.右下方的狀態代表了目前 Automatic Discovery 的進度.如果系統偵測了半天還是沒有東西代表 DS3400 和你控制端不同網段,如果網路環境有可以 DHCP 不如讓控制端使用 DHCP 指定 IP 再試試看.因為 DS3400 並沒有 comsole 可以登入,所以一開始連不到會很辛苦(不知道有沒有 reset 鍵).進入控制介面的第一個畫面如下,不過這個稍後再做詳細的介紹.登入之後來看一下 DS3400 設定成什麼 IP,在 Tools / Configuration Ethernet Management Ports .,可以看到我還是預設的 Controller 1:01/24 ,Controller 2: 02/24 這裡就可以設定你想要的 IP.不建議以免之後忘記了 IP 是多少!記得修改 IP 之後最好將 Remove 掉 Storage Subsystem 再重新作連結.3 SAN - 認識 IBM DS3400 (三) create Logical Drives如果一開始是一個全新的 DS3400 系統上並不會建立任何的 Logical Drive.就會像是目前看到的樣子!在 Configure / Create Logical Drives 可以建立 Logical Drive.因為 DS3400 主要由 4X3 = 12 個實體硬碟(SATA / SAS Hard Drives)組成.所以這邊的 Drive 都是經由實體硬碟建立出的 RAID 再切割出多個 LUN(Logical Unit Number) 再來指派給需要的 Server.1.Unconfigured capacity: create a new array and logical drive.2.Free capacity: use capacity from an existing array.因為一開始並沒有任何的 Array 存在,所以能做的就是 1 建立 RAID 和 Logical Drive.選擇 Manual 可以讓你自己多做一些選擇,不過 IBM 還是建議使用 Automatic.依需求來切割,我的環境有 4 個 sas Hard drive 我要把他都建成 RAID 5.Logical drive capacity 預設是使用全部的空間,我們可以依據需求做修改,比如有2台 Server 都需要這空間,我們可以切割不同的2個區塊共不同的 Server 來使用(這會在後面介紹).所以硬碟空間不要全部用完.其中的 LUN 值很重要當你要指配不同的 Drive 給 Server 時 Lun 就不能重複.Server 會依據 Lun 大小來決定硬碟順序.到這裡就算是建立好 RAID 並再切割一個 LUN.如果剛剛空間沒用完的回 Configure / Create Logical Drives 還是可以在建立另外的 Lun.回到 Summary 就會看到剛剛所做的一些改變.在 Modify / Delete Logical Drives 可以移除剛剛所建立的 RAID.4 SAN - 認識 IBM DS3400 (四) create Host AccessIBM DS3400 是由 2 片 control modules 組成.每一片上面都有 2 個 fiber ports 可供存取,但是另外一組皆是使用再備援上.所以上面雖然有4個 fiber port 但其實可以和 Host 連接的只有2個 fiber port(另兩個是備援).如果要提共多組的 Fiber 連結就需要透過 Fiber Switch 的連接方式.下圖是在同一台 Host 使用備援的連接方式.圖的來源:/storage/tw/pdf/ds3000_config.pdf在未開始之前先確定你的 Server (QLogic 2462 dual port fiber channel)已經連接到 IBM DS3400 如下圖,並且 Driver(module) 確定都已經在運行,可以使用 #lsmod 來確定. 目前我使用的是 QLogic 2462 dual port fiber channel, Driver(module) 可以在這邊找到/QLogicDriverDownloads_UI/SearchByProdu.因為 Fiber Channel 是靠 WWPN 來認 Lun 的,所以在建立完 Lun 之後就要建立相對應的 Host(Server fiber channel 的 WWNP).在 Configure / Configure Host Access (Manual) 設定中,名稱是為了方便記憶,還要選擇 Server 的 OS 版本.目前我使用的是 QLogic 2462 dual port fiber channel,所以會看到兩個 WWPN,先建立第一組 Host.如果你的 Server 需要高可靠度的環境,我們會將多個 Fiber channel 的路徑指向同一個 Logical Drive.先選擇 No.後面我們才會建立出這樣的環境.完成一個 Host!使用相同的步驟建立出另外一個 Host.note:WWPN如同網卡有 MAC Address(48bits) 作為辨識方式.光纖也是有類似的定址 WWN，World Wide Name:FC 光纖通道的定址 (64 bits),這個光纖通道的 WWN 也像是 MAC 一樣每一個出貨的 HBA(Host Bus Adapter) 都有他獨一無二的 WWN .屬於硬體的一部份,無法輕易更改.不過 WWN 還細分了 WWNN:World Wide Node Name / WWPN:World Wide Port Name 使用上有點不同.1.當你的光纖 HBA 卡有多個 port 時存在(2個以上) 你想針對 HBA 上所有的 port 你應該使用 WWNN2.如果是針對單一個 port 時需要使用 WWPN3.通常會在 Fiber switch 上使用到 multipath 時會針對 WWNN 來設定.Linux 下要看 WWNN / WWPN 可以查看檔案 /proc/scsi/qla2xxx/不同的 Fiber HBA 會有不同 Module 這邊我使用的是 Qlogic 的 Fiber HBA.rootbenjr #ls -l /proc/scsi/qla2xxx/total 0-rw-r-r- 1 root root 0 Mar 11 19:04 4-rw-r-r- 1 root root 0 Mar 11 19:04 5rootbenjr #cat /proc/scsi/qla2xxx/4QLogic PCI to Fibre Channel Host Adapter for xxxxxxxx:SCSI Device Information:scsi-qla0-adapter-node=9005962432112233;#就是 WWNNscsi-qla0-adapter-port=9005962432112233;#就是 WWPN5 SAN - 認識 IBM DS3400 (五) Create Host Group企業中 SAN 的環境會要求高可靠度,所以單一的路徑是不能符合企業中的需求,所以你可以看到下面的圖:圖的來源:/storage/tw/pdf/ds3000_config.pdf路徑是兩條的,DS3400在預設是無法將同一顆 logical Drive 硬碟分享給不同的 WWPN,所以需要將不同的 WWPN 設定成一個 Group.這樣 Logical Drive 才能同時指派給不同的 WWPN,在 Configure / Create Host Group 可以建立 Host Group.名稱是方便記憶,在 Hosts 可以看到剛剛我們設定好的 Host P0 和 P1.將這兩個都指派到這個 Group.基本上這樣就已經將 Host Group 設定完成,最後就是需要將 Host 和 Logical Drive 做對應(Mapping).在 Modify / Edit Host Topology 可以看到我們所設定的.6 SAN - 認識 IBM DS3400 (六) Create Host-to-Logical Drive Mappings前置作業都已經告一段落了,現在需要做的就是將先前定義好的 Host Group 對應(Mapping)到 Logical Drive.在 Configure / Create Host-to-Logical Drive Mappings 選擇對應的 Host Group 和 Logival Drive已經定義好的可以在 Modify 的 Edit Host-Logical Drive Mappings 來查看.先前我定義了兩顆 Logical Drives 和兩個 Host,並將這兩個 Host 對應到同一個 Group.目前要將這兩顆 Logical Drives 對應到這個 Group.基本上要注意的一點就是 Assign logical unit number(LUNX0 to 31). Linux 是依據 Luns 值大小來決定硬碟順序.並且 Linux 最大的 Luns 為 031(種共32個 Luns),所以在指配時須將這兩個 Luns 設為不同的值,不過 IBM DS3400 會自己指定,分配不同數值.可以看到在指派第二顆時他指定的 Lun 變成 1.回到 Summary 可以看到剛剛指定好的 Hosts & Mappings.現在最後一步就是回到 Server (Linux) ,設定driver(module) 和 multi-path 了!7 SAN - 認識 IBM DS3400 (七) Linux multi-path driver雖然我們在 IBM DS3400 已經設定好了 Host Group 讓同一個 Lun 去讓不同的 wwpn 存取.所以在 driver 上還需要透過一些設定讓系統不會誤認為這是兩個硬碟裝置.目前我系統使用的是 Qlogic 的 HBA 需要下載的東西有兩項 1. Qlogic Driver 2.SANsurfer (Qlogic 圖形管理介面) 這兩項在 Qlogic 都可以找的到/QLogicDriverDownloads_UI/default.aspx先來看看 Qlogic Driver 是如何使用.雖然 RHEL5 在預設就有配置 Qlogic 的 Driver ,不過這邊還是說一下 Qlogic Driver 是怎麼使用.rootbenjr #tar -xvzf *.tgzrootbenjr #cd qlogicrootbenjr qlogic#./drvrsetup#這會將 source files 檔案解開至 qla2xxx 的目錄下rootbenjr qlogic#cd qla2xxx-x.yy.zz#x.yy.zz 將依據實際版本而有所不同rootbenjr qla2xxx-x.yy.zz#./extras/build.sh install#這是實際在編輯 driver 的 script 程式在 Qlogix 8.x 以上的版本已經將 failover(multi-path) 設定為預設值(=1).之前的版本可以在 /etc/modprobe.conf 加入 options qla2xxx ql2xfailover=1 的 failover 參數選項.下次開機或是重新開機會只會看到一個硬碟(Lun).8 SAN - 認識 IBM DS3400 (八) 安裝 Qlogic SANsurfer下載下來的 SANsurfer 是個 .bin 檔在 Linux 可以直接去執行安裝.SANsurfer 是一個透過 Java 所寫的 x-windows 圖形管理介面.安裝方式很不難,就只有下面幾個步驟.rootbenjr #./standalone_sansurfer5.0.1b34_linux_install.bin或是rootbenjr #sh standalone_sansurfer5.0.1b34_linux_install.bin一些宣告和重要訊息有興趣的可以看一看!通常我們使用預設的全安裝 (FC HBA GUI and ALL Agent) 就可以了!預設安裝目錄是 /opt/QLogic_Corporation/SANsurfer 沒什麼特別情況就不需要再去修改.安裝完成了!勾選 Enable Qlogic Failover Configuration 這也是我們最重要要使用的選項.在這邊就選擇開啟程式或是在目錄 /opt/QLogic_Corporation/SANsurfer 執行./SANsurfer 皆可!安裝完 SANsurfer 時會啟動 qlremote 的服務所以我們無法立即移除 qla2xxx 和 qla2xxx_conf 的 module ,所以當你在移除 qla2xxx 或是 qla2xxx_conf 時會出現 ERROR: Module qla2xxx is in use. 不用急的關機,先將 qlremote 的服務停止 #/etc/init.d/qlremote stop 就可以再移除 qla2xxx 和 qla2xxx_conf 的 module.如果要移除 SANsurfer 在目錄 /opt/QLogic_Corporation/SANsurfer/UninstallDate/SANsurferUninstaller 就可以將 SANsurfer 移除了.9 SAN - 認識 IBM DS3400 (九) 透過 SANsurfer 去管理剛剛安裝完 qlogic driver 和 SANsurfer 先確定一下相關的 driver 和 service 都啟動了.1.driverrootbenjr #modprobe qla2xxx2.SANsurferrootbenjr #/usr/local/bin/qlremote(or qlremote start)SANsurfer FC HBA Manager (執行 #./SANsurfer) 存放在目錄 /opt/QLogic_Corporation/SANsurfer 下.SANsurfer 可以透過遠端去連接但目前我的是存放在 Local 本地端.所以選擇 localhost 如果是遠端的可以使用 IP 或是 Hostname 去連結.因為是初次登入所以沒有設定過任何資料,我們可以透過 w