博科光纤交换机维护手册

1、中国建设银行信息技术管理部 SFB 项目组博科光纤交换机维护手册博科光纤交换机维护手册（v1.0）作者门斌审核分类交换机子类光纤交换机更新时间2010-10-05关键字博科，brocade 光纤交换机摘要博科光纤交换机维护手册博科光纤交换机维护手册主要适用环境版本说明版本说明中国建设银行信息技术管理部 SFB 项目组版本号拟制/修改责任人拟制/修改日期修改内容/理由V1.0门斌2010-12-1新建中国建设银行信息技术管理部 SFB 项目组目录第 1 章应用系统概况 .31.1 应用系统简介 .31.2 应用系统物理拓扑图.3第 2 章交换机介绍 .4第 3 章SAN 系统实施准备.73.1

2、涉及交换机设备.73.2 环境要求 .73.3 光纤布置 .73.4 交换机管理 IP 的分配.83.5 管理控制台需求.9第 4 章安装实施过程 .104.1 实施过程 .104.2 微码升级 .114.3 配置分区 .12第 5 章和刀片交换机级联.15第 6 章产品维护服务 .176.1 日常维护 .176.2 技术服务 .195:技术文档模板第 5 页 共 4 页应用系统概况应用系统概况应用系统简介应用系统简介中国建设银行在 2007 年 7 月启动了分行 IT 基础设施资源整合项目，旨在将各分行的 IT 架构都纳入到一个统一的 SAN 架构中，这样做的好处是：可以实现存储的集中，可以

3、实现统一的集中的 LAN-Free 备份系统，可以很容易实现服务器的容灾系统，另外，通过数据的整合，可以以较低的成本实现数据容灾系统。应用系统物理拓扑图应用系统物理拓扑图在 SAN 架构设计时，有一个统一的原则，就是双冗余的设计，在这个设计中，所有的部件都实现了冗余，没有任何单点故障。所以整个系统的设计如下图所示：生产中心LANSAN磁带库磁盘阵列服务器这是一个典型的 SAN 架构设计图，上面的两台服务器做一个应用的 HA，都分别连接到两个冗余的Fabric 网络中，磁盘阵列和磁带库也冗余连接到两个 Fabric 网络中，所有的部件都冗余连接，没有单点故障。这个系统架构的优点是：双网络设计，两

4、个网络之间实现完全冗余，并互相独立；目前一个 Fabric 网络有一台 Brocade 48000，如果需要扩充，可以通过级联的方式连接新的交换机，级联交换机之间可以采用即插即用的 Trunk 相连。6:技术文档模板第 6 页 共 4 页交换机介绍交换机介绍此次交换机都采用 Brocade 48000，端口板都是 48 端口板，冗余电源和风扇配置。不同的分行采购的端口数不一样，如果是 144 口，就是 3 块端口板；如果是 192 口，就是 4 块端口板；如果是 256 口，就是 6块端口板；具体端口数以实际合同为准。下面是交换机的相关参数：SILKWORMSILKWORM 480004800

5、0 导向器参数：导向器参数：系统构架系统构架光纤通道端口最多 384 端口, 通用 (E、F 和 FL); 最多 8 个 16 或 32 或 48 端口光纤通道模块控制处理器冗余 (主/备) 控制处理器模块扩展性 最多 239 交换机全 Fabric 构架认证最大 Fabric56 台交换机,19 次跳跃;可根据需求认证更大的 Fabric;详细配置,请参照博科通讯或者 OEM厂商的 SAN 设计文挡。互操作性 任何 SilkWorm 2000 系列交换机, SilkWorm 3000 系列交换机, SilkWorm 4000 系列交换机, SilkWorm 200E, SilkWorm 12

6、000, 和 SilkWorm 24000性能1.063 Gbit/sec 线速, 全双工; 2.125 Gbit/sec 线速, 全双工; 4.25 Gbit/sec 线速, 全双工; 1、2、 4 Gbit/sec 端口速率自适应; 可选择固定端口速度编程; 1、2、 4 Gbit/sec 端口间速度匹配ISL 干线合并每个 ISL 干线最多 8 个 4.25 Gbit/sec 端口; 每个 ISL 干线最高 32 Gbit/sec. FC4-16 最多支持 2 个 8 端口干线组, FC4-32 最多支持 4 个 8 端口干线组。要与 SilkWorm 3000 系列交换机、SilkWo

7、rm 12000 和 24000 导向器兼容, ISL 干线合并速度为 2 Gbit/sec集合带宽 2.176 Tbit/sec交换机延迟速度为 2 Gbit/sec,最短路由时,任何两个端口之间延迟2.1 微秒速度为 4 Gbit/sec,最短路由时,任何两个端口之间延迟 ipaddrset -sw 0 设置交换机的SWITCH IP地址Ethernet IP Address 48:7Ethernet Subnetmask :Fibre Channel IP Address none:Fibr

8、e Channel Subnetmask none:Committing configuration.Done.switch:admin ipaddrset -cp 0 设置交换机的CP0 管理IP地址Ethernet IP Address 48:5Ethernet Subnetmask :Fibre Channel IP Address none:Fibre Channel Subnetmask none:Committing configuration.Done.switch:admin ip

9、addrset -cp 1 设置交换机的CP1 管理IP地址Ethernet IP Address 48:4Ethernet Subnetmask :Fibre Channel IP Address none:Fibre Channel Subnetmask none:Committing configuration.Done.11:技术文档模板第 11 页 共 4 页管理控制台需求管理控制台需求用户提供一台 PC 作为管理控制台，安装 Windows XP 或 2003 操作系统，设置 IP 地

10、址为和交换机在同一网段，比如 ，作为日常检查、升级微码和保持日常交换机配置的终端。这个终端上需要安装免费的 Java 软件，版本 JRE 1.5.x。在需要升级交换机微码时，在管理控制台服务器上开放 FTP 服务。12:技术文档模板第 12 页 共 4 页安装实施过程安装实施过程由于用户的实际情况差别较大，安装过程也不尽相同，我们用一个模版来具体说明。实施过程实施过程1.物理安装：将 2 台 Brocade 48000 上架，固定；2.安装所有 SFP 模块，将光纤连接到相应的端口，注意光纤的顺序和清洁；3.连接电源线，接通电源启动，待启动自检完成，此过程需要 10 分钟；

11、4.检查硬件指示灯的状况，查看硬件运行是否正常；telnet 登陆到交换机(用户名/admin;密码/password)，运行 switchshow 命令：switch:admin switchshowswitchName: switchswitchType: 42.1switchState: OnlineswitchMode: NativeswitchRole: SubordinateswitchDomain: 1switchId: fffc01switchWwn: 10:00:00:60:69:e2:09:beAD Feature: Not ActiveCurrent AD: 0zonin

12、g: ON (bot_cfg)switchBeacon: OFFblade4 Beacon: OFFblade8 Beacon: OFFFC Router: OFFFC Router BB Fabric ID: 1Index Slot Port Address Media Speed State Proto=output truncated80 8 0 035000 id N4 No_Light81 8 1 035100 id N4 No_Light82 8 2 035200 id N4 No_Light83 8 3 035300 id N4 No_Light84 8 4 035400 id

13、N4 No_Light85 8 5 035500 id N4 No_Light86 8 6 035600 id N4 No_Light87 8 7 035700 id N4 No_Light88 8 8 035800 id N1 Online F-Port 10:00:00:00:c9:25:3d:43 如果可以看到所有的端口，说明端口都工作正常，No_Light 表示该端口没有收到信号。5.检查微码是否是我们计划的版本，如果不是，升级微码到相应的版本；13:技术文档模板第 13 页 共 4 页 运行命令 firmwareshow，查看现在的版本。switch:admin firmwaresh

14、owfirmwareshowSlot Name Primary/Secondary Versions Status-5 CP0 v5.1.0 Active *v5.1.06 CP1 v5.1.0 Standbyv5.1.0如果现在的版本不少 v5.3.0，需要升级到 v5.3.0（注：最终的版本可能会改变） 。具体的升级过程见下面章节。6.设置用户提供的 IP 地址，询问用户有没有其它要求，设置修改系统参数；修改 IP 地址在前面已经描述过。7.根据实际应用情况，配置分区，配置分区的过程见下面的章节；微码升级微码升级在安装过程中，我们会确定一个允许的最终版本，初步确定是 v5.3.0。具体的升

15、级方法是：1、将微码拷贝到指定的管理控制台服务器上。打开 ftp 服务（IP 地址：7，用户名root，口令是 root；将 ftp 的根目录设定为/v5.3.0）2、登陆到交换机的 Standby CP；键入 firmwaredownload 命令。switch:admin firmwareDownloadfirmwareDownload 7,root,/release.plist,root7,root,/release.plist,rootThis command will upgrade both CPs in the swit

16、ch. If youwant to upgrade a single CP only, please use -s option.You can run firmwareDownloadStatus to get the status of this command.This command will cause the active CP to reset and will require that existing telnet, secure telnet or SSH sessions be restarted.Do you want to continue Y:FirmwareDow

17、nload has started in Standby CP. It may take up to 10 minutes.And you will the following on Standby CP:Start to install packages.dir #terminfo #termcap #glibc #.sin #Write kernel image into flash.Verification SUCCEEDEDFirmwaredownload completes successfully.14:技术文档模板第 14 页 共 4 页3、使用 firmwareshow 命令查

18、看升级是否完成，如果没有完成，耐心等待。4、使用 hashow 命令查看交换机的 CP 工作是否正常。 switch:admin hashowhashowLocal CP (Slot 6, CP1): ActiveRemote CP (Slot 5, CP0): Standby, HealthyHA Enabled, Heartbeat Up, HA State Synchronized如果不是这个 Synchronized 的状态，需要查找原因解决。配置分区配置分区由于每个分行的业务系统不尽相同，它们的分区配置也不会一样，以重客系统为例。 创建分区的步骤如下：分区配置是交换机安装的一个很重要

19、的环节。但由于每个分行的业务系统不尽相同，它们的分区配置也不会一样，下面举一个应用为例来说明。 北京分行有一个重客业务系统，使用 DMX 磁盘阵列，磁带库有 6 个磁带机，每个 Fabric（Switch）上连接 3 台。系统的连接布局和 Zoning 配置是：Switch 0(Fabric A)Zoning 表NumZoneAreaH-PortH-NameRole1BJAP0511DMX1H0100,32100,40BJAP0511存储2BJAP0521DMX1H0100,32100,41BJAP0521存储3BJAP0511TL00H2100,174;100,175;100,190100,

20、288BJAP0511备份我们做分区的原则是每一个 HBA 做一个分区。这样做分区的步骤如下：switch:admin zonecreatezonecreate BJAP0511DMX1H0,BJAP0511DMX1H0, 100,40;100,32100,40;100,32switch:admin zonecreatezonecreate BJAP0521DMX1H0,BJAP0521DMX1H0, 100,41;100,32100,41;100,32switch:admin zonecreatezonecreate BJAP0511TL00H2,BJAP0511TL00H2, 100,28

21、8;,100,174;100,175;100,190100,288;,100,174;100,175;100,190switch:admin cfgcreatecfgcreate BJ_Prod_FA,BJ_Prod_FA, BJAP0511DMX1H0;BJAP0511DMX1H0; BJAP0521DMX1H0;BJAP0521DMX1H0; BJAP0511TL00HBJAP0511TL00H 2215:技术文档模板第 15 页 共 4 页switch:admin cfgenablecfgenable BJ_Prod_FABJ_Prod_FA You are about to enabl

22、e a new zoning configuration.This action will replace the old zoning configuration with thecurrent configuration selected.Do you want to enable BJ_Prod_FABJ_Prod_FA configuration (yes, y, no, n): no y yzone config BJ_Prod_FABJ_Prod_FA is in effectUpdating flash .加入将来需要增加新的ZONE配置的话，执行如下命令：switch:admi

23、n zonecreatezonecreate BJAP0511DMX1H0_NEW,BJAP0511DMX1H0_NEW, 100,45;100,33100,45;100,33switch:admincfgadd BJ_Prod_FA,BJ_Prod_FA, “BJAP0511DMX1H0_NEW”“BJAP0511DMX1H0_NEW”switch:admincfgenable BJ_Prod_FABJ_Prod_FAYou are about to enable a new zoning configuration.This action will replace the old zoni

24、ng configuration with thecurrent configuration selected.Do you want to enable BJ_Prod_FABJ_Prod_FA configuration (yes, y, no, n): no y yzone config BJ_Prod_FABJ_Prod_FA is in effectUpdating flash .16:技术文档模板第 16 页 共 4 页如果还有新的应用，可以填入上面的表格，允许相同的命令，生成zone和config，并激活。17:技术文档模板第 17 页 共 4 页和刀片交换机级联和刀片交换机级联

25、由于分行刀片服务器存储交换机是博科产品，如核心交换机是博科产品，则互联非常方便，具体步骤是：1 检查刀片交换机的 Domain ID，如果和核心交换机冲突，则根据SFB 实施工艺-存储部署详细设计方案中有关 Domain ID 使用规范予以分配.。具体命令为：（假设 Domain ID 为 102）switch:admin configureConfigure.Fabric parameters (yes, y, no, n): no yesDomain: (1.239) 1 102BB credit: (1.27) 162 连接完成后，查看相应的端口模式，如是 E-Port，则表明连接成功。

26、具体命令为switch:admin switchshowswitchName: switchswitchType: 42.1switchState: OnlineswitchMode: NativeswitchRole: SubordinateswitchDomain: 1switchId: fffc01switchWwn: 10:00:00:60:69:e2:09:beAD Feature: Not ActiveCurrent AD: 0zoning: ON (bot_cfg)switchBeacon: OFFblade4 Beacon: OFFblade8 Beacon: OFFFC Ro

27、uter: OFFFC Router BB Fabric ID: 1Index Slot Port Address Media Speed State Proto=output truncated18:技术文档模板第 18 页 共 4 页80 8 0 035000 id N4 No_Light81 8 1 035100 id N4 No_Light82 8 2 035200 id N4 No_Light83 8 3 035300 id N4 No_Light84 8 4 035400 id N4 No_Light85 8 5 035500 id N4 No_Light86 8 6 035600

28、 id N4 No_Light87 8 7 035700 id N4 No_Light88 8 8 035800 id N1 Online E-Port 10:00:00:00:c9:25:3d:43 (Upstream)19:技术文档模板第 19 页 共 4 页产品维护服务产品维护服务日常维护日常维护服务方公司将定期了解买方对系统的使用情况，及时听取买方对产品及系统工作状况的意见，帮助其合理地使用产品系统，并建立日常维护、保养机制。维护内容：包括交换机的电源，firmware 版本、光纤接口卡、以太网卡接口、日志信息、Zoning 的软硬件功能、运行性能、容量等。(1)检查交换机系统板指示灯

29、工作是否正常CP 板指示灯：绿灯表示正常，黄灯表示有问题。CP0：正常不正常CP1：正常不正常(2)检查交换机电源指示灯工作是否正常： 电源指示灯：绿灯表示正常，黄灯表示有问题。PS1：正常不正常PS2：正常不正常（3）检查交换机风扇指示灯是否正常：风扇指示灯：绿灯表示正常，黄灯表示有问题FAN1：正常不正常FAN2：正常不正常FAN3：正常不正常SWITCH-NAMESWITCH-NAME以太网端口测试 通过局域网和终端计算机远程登录（telnet）到交换机：1. 在 dos 窗口键入：C:telnet switch1_IP2输入用户名及口令，登录到交换机，键入：# fabricshow屏幕显示，登录提示符及网络配置信息：1. swichname login:2. “Switch ID Worldwide Name Enet IP Addr FC 20:技术文档模板第 20 页 共 4 页IP Addr”检查交换机的状况远程登录（telnet）到交换机，执行如下命令： switchstatusshow可显示交换机的总体运行状态。屏幕打印状态“Healthy/OKHealthy/OK”为正常。如果打印“Marginal/Warning” ，视具体情况判定正常或者非正常电源状态