博科光纤交换机维护手册

1、博科光纤交换机维护手册博科光纤交换机维护手册 （v1.0） 作者门斌审核 分类交换机子类光纤交换机 更新时间2010-10-05 关键字博科，brocade 光纤交换机 摘要 博科光纤交换机维护手册博科光纤交换机维护手册 主要适 用环境 版本说明版本说明 版本号 拟制/修改责任人拟制/修改日期修改内容/理由 V1.0 门斌 2010-12-1 新建 目录 第 1 章应用系统概况 .3 1.1 应用系统简介 .3 1.2 应用系统物理拓扑图.3 第 2 章交换机介绍 .4 第 3 章SAN 系统实施准备.7 3.1 涉及交换机设备.7 3.2 环境要求 .7 3.3 光纤布置 .7 3.4 交换

2、机管理 IP 的分配.8 3.5 管理控制台需求.9 第 4 章安装实施过程 .10 4.1 实施过程 .10 4.2 微码升级 .11 4.3 配置分区 .12 第 5 章和刀片交换机级联.15 第 6 章产品维护服务 .17 6.1 日常维护 .17 6.2 技术服务 .19 应用系统概况应用系统概况 应用系统简介应用系统简介 中国建设银行在 2007 年 7 月启动了分行 IT 基础设施资源整合项目，旨在将各分行的 IT 架构都纳入到 一个统一的 SAN 架构中，这样做的好处是：可以实现存储的集中，可以实现统一的集中的 LAN-Free 备份系 统，可以很容易实现服务器的容灾系统，另外，

3、通过数据的整合，可以以较低的成本实现数据容灾系统。 应用系统物理拓扑图应用系统物理拓扑图 在 SAN 架构设计时，有一个统一的原则，就是双冗余的设计，在这个设计中，所有的部件都实现了冗余， 没有任何单点故障。所以整个系统的设计如下图所示： 生产中心 LAN SAN 磁带库磁盘阵列 服务器 这是一个典型的 SAN 架构设计图，上面的两台服务器做一个应用的 HA，都分别连接到两个冗余的 Fabric 网络中，磁盘阵列和磁带库也冗余连接到两个 Fabric 网络中，所有的部件都冗余连接，没有单点故 障。 这个系统架构的优点是： 双网络设计，两个网络之间实现完全冗余，并互相独立； 目前一个 Fabri

4、c 网络有一台 Brocade 48000，如果需要扩充，可以通过级联的方式连接新的交换机， 级联交换机之间可以采用即插即用的 Trunk 相连。 交换机介绍交换机介绍 此次交换机都采用 Brocade 48000，端口板都是 48 端口板，冗余电源和风扇配置。不同的分行采购的 端口数不一样，如果是 144 口，就是 3 块端口板；如果是 192 口，就是 4 块端口板；如果是 256 口，就是 6 块端口板；具体端口数以实际合同为准。下面是交换机的相关参数： SILKWORMSILKWORM 4800048000 导向器参数：导向器参数： 系统构架系统构架 光纤通道端口最多 384 端口,

5、通用 (E、F 和 FL); 最多 8 个 16 或 32 或 48 端口光纤通道模块 控制处理器冗余 (主/备) 控制处理器模块 扩展性 最多 239 交换机全 Fabric 构架 认证最大 Fabric56 台交换机,19 次跳跃;可根据需求认证更大的 Fabric;详细配置,请参照博科通讯或者 OEM 厂商的 SAN 设计文挡。 互操作性 任何 SilkWorm 2000 系列交换机, SilkWorm 3000 系列交换机, SilkWorm 4000 系列交换机, SilkWorm 200E, SilkWorm 12000, 和 SilkWorm 24000 性能1.063 Gbit

6、/sec 线速, 全双工; 2.125 Gbit/sec 线速, 全双工; 4.25 Gbit/sec 线速, 全双 工; 1、2、 4 Gbit/sec 端口速率自适应; 可选择固定端口速度编程; 1、2、 4 Gbit/sec 端 口间速度匹配 ISL 干线合并每个 ISL 干线最多 8 个 4.25 Gbit/sec 端口; 每个 ISL 干线最高 32 Gbit/sec. FC4-16 最多 支持 2 个 8 端口干线组, FC4-32 最多支持 4 个 8 端口干线组。要与 SilkWorm 3000 系列交换 机、SilkWorm 12000 和 24000 导向器兼容, ISL

7、干线合并速度为 2 Gbit/sec 集合带宽 2.176 Tbit/sec 交换机延迟速度为 2 Gbit/sec,最短路由时,任何两个端口之间延迟2.1 微秒 速度为 4 Gbit/sec,最短路由时,任何两个端口之间延迟 ipaddrset -sw 0 设置交换机的SWITCH IP地址 Ethernet IP Address 48:7 Ethernet Subnetmask : Fibre Channel IP Address none: Fibre Channel Subnetmask

8、none: Committing configuration.Done. switch:admin ipaddrset -cp 0 设置交换机的CP0 管理IP地址 Ethernet IP Address 48:5 Ethernet Subnetmask : Fibre Channel IP Address none: Fibre Channel Subnetmask none: Committing configuration.Done. switch:admin ipaddrset -cp 1

9、 设置交换机的CP1 管理IP地址 Ethernet IP Address 48:4 Ethernet Subnetmask : Fibre Channel IP Address none: Fibre Channel Subnetmask none: Committing configuration.Done. 管理控制台需求管理控制台需求 用户提供一台 PC 作为管理控制台，安装 Windows XP 或 2003 操作系统，设置 IP 地址为和交换机在同一 网段，比如 ，

10、作为日常检查、升级微码和保持日常交换机配置的终端。这个终端上需要安装免 费的 Java 软件，版本 JRE 1.5.x。在需要升级交换机微码时，在管理控制台服务器上开放 FTP 服务。 安装实施过程安装实施过程 由于用户的实际情况差别较大，安装过程也不尽相同，我们用一个模版来具体说明。 实施过程实施过程 1.物理安装：将 2 台 Brocade 48000 上架，固定； 2.安装所有 SFP 模块，将光纤连接到相应的端口，注意光纤的顺序和清洁； 3.连接电源线，接通电源启动，待启动自检完成，此过程需要 10 分钟； 4.检查硬件指示灯的状况，查看硬件运行是否正常； telnet 登陆到交换机(

11、用户名/admin;密码/password)，运行 switchshow 命令： switch:admin switchshow switchName: switch switchType: 42.1 switchState: Online switchMode: Native switchRole: Subordinate switchDomain: 1 switchId: fffc01 switchWwn: 10:00:00:60:69:e2:09:be AD Feature: Not Active Current AD: 0 zoning: ON (bot_cfg) switchBeac

12、on: OFF blade4 Beacon: OFF blade8 Beacon: OFF FC Router: OFF FC Router BB Fabric ID: 1 Index Slot Port Address Media Speed State Proto = output truncated 80 8 0 id N4 No_Light 81 8 1 id N4 No_Light 82 8 2 id N4 No_Light 83 8 3 id N4 No_Light 84 8 4 id N4 No_Light 85 8 5 id N4 No_Light 86 8 6 id N4 N

13、o_Light 87 8 7 id N4 No_Light 88 8 8 id N1 Online F-Port 10:00:00:00:c9:25:3d:43 如果可以看到所有的端口，说明端口都工作正常，No_Light 表示该端口没有收到信号。 5.检查微码是否是我们计划的版本，如果不是，升级微码到相应的版本； 运行命令 firmwareshow，查看现在的版本。 switch:admin firmwareshowfirmwareshow Slot Name Primary/Secondary Versions Status - 5 CP0 v5.1.0 Active * v5.1.0 6

14、 CP1 v5.1.0 Standby v5.1.0 如果现在的版本不少 v5.3.0，需要升级到 v5.3.0（注：最终的版本可能会改变） 。具体的升级过程见下 面章节。 6.设置用户提供的 IP 地址，询问用户有没有其它要求，设置修改系统参数；修改 IP 地址在前面已经描 述过。 7.根据实际应用情况，配置分区，配置分区的过程见下面的章节； 微码升级微码升级 在安装过程中，我们会确定一个允许的最终版本，初步确定是 v5.3.0。具体的升级方法是： 1、将微码拷贝到指定的管理控制台服务器上。打开 ftp 服务（IP 地址：7，用户名 root，口令是 root；将 ftp

15、 的根目录设定为/v5.3.0） 2、登陆到交换机的 Standby CP；键入 firmwaredownload 命令。 switch:admin firmwareDownloadfirmwareDownload 7,root,/release.plist,root7,root,/release.plist,root This command will upgrade both CPs in the switch. If you want to upgrade a single CP only, please use -s option. You ca

16、n run firmwareDownloadStatus to get the status of this command. This command will cause the active CP to reset and will require that existing telnet, secure telnet or SSH sessions be restarted. Do you want to continue Y: FirmwareDownload has started in Standby CP. It may take up to 10 minutes. And y

17、ou will the following on Standby CP: Start to install packages. dir # terminfo # termcap # glibc # . sin # Write kernel image into flash. . Verification SUCCEEDED Firmwaredownload completes successfully. 3、使用 firmwareshow 命令查看升级是否完成，如果没有完成，耐心等待。 4、使用 hashow 命令查看交换机的 CP 工作是否正常。 switch:admin hashowhas

18、how Local CP (Slot 6, CP1): Active Remote CP (Slot 5, CP0): Standby, Healthy HA Enabled, Heartbeat Up, HA State Synchronized 如果不是这个 Synchronized 的状态，需要查找原因解决。 配置分区配置分区 由于每个分行的业务系统不尽相同，它们的分区配置也不会一样，以重客系统为例。 创建分区的步骤如下： 分区配置是交换机安装的一个很重要的环节。但由于每个分行的业务系统不尽相同，它们的分区配置也 不会一样，下面举一个应用为例来说明。 北京分行有一个重客业务系统，使用 D

19、MX 磁盘阵列，磁带库有 6 个磁带机，每个 Fabric（Switch）上 连接 3 台。系统的连接布局和 Zoning 配置是： Switch 0(Fabric A)Zoning 表 NumZoneAreaH-PortH-NameRole 1BJAP0511DMX1H0100,32100,40BJAP0511 存储 2BJAP0521DMX1H0100,32100,41BJAP0521 存储 3BJAP0511TL00H2100,174;100,175;100,190100,288BJAP0511 备份 我们做分区的原则是每一个 HBA 做一个分区。这样做分区的步骤如下： switch:a

20、dmin zonecreatezonecreate BJAP0511DMX1H0,BJAP0511DMX1H0, 100,40;100,32100,40;100,32 switch:admin zonecreatezonecreate BJAP0521DMX1H0,BJAP0521DMX1H0, 100,41;100,32100,41;100,32 switch:admin zonecreatezonecreate BJAP0511TL00H2,BJAP0511TL00H2, 100,288;,100,174;100,175;100,190100,288;,100,174;100,175;10

21、0,190 switch:admin cfgcreatecfgcreate BJ_Prod_FA,BJ_Prod_FA, BJAP0511DMX1H0;BJAP0511DMX1H0; BJAP0521DMX1H0;BJAP0521DMX1H0; BJAP0511TL00HBJAP0511TL00H 22 switch:admin cfgenablecfgenable BJ_Prod_FABJ_Prod_FA You are about to enable a new zoning configuration. This action will replace the old zoning co

22、nfiguration with the current configuration selected. Do you want to enable BJ_Prod_FABJ_Prod_FA configuration (yes, y, no, n): no y y zone config BJ_Prod_FABJ_Prod_FA is in effect Updating flash . 加入将来需要增加新的ZONE配置的话，执行如下命令： switch:admin zonecreatezonecreate BJAP0511DMX1H0_NEW,BJAP0511DMX1H0_NEW, 100

23、,45;100,33100,45;100,33 switch:admincfgadd BJ_Prod_FA,BJ_Prod_FA, “BJAP0511DMX1H0_NEW”“BJAP0511DMX1H0_NEW” switch:admincfgenable BJ_Prod_FABJ_Prod_FA You are about to enable a new zoning configuration. This action will replace the old zoning configuration with the current configuration selected. Do

24、you want to enable BJ_Prod_FABJ_Prod_FA configuration (yes, y, no, n): no y y zone config BJ_Prod_FABJ_Prod_FA is in effect Updating flash . 如果还有新的应用，可以填入上面的表格，允许相同的命令，生成zone和 config，并激活。 和刀片交换机级联和刀片交换机级联 由于分行刀片服务器存储交换机是博科产品，如核心交换机是博科产品，则互联非常方便，具体步骤 是： 1 检查刀片交换机的 Domain ID，如果和核心交换机冲突，则根据SFB 实施工艺-存储部

25、署详细设计方案 中有关 Domain ID 使用规范予以分配.。具体命令为：（假设 Domain ID 为 102） switch:admin configure Configure. Fabric parameters (yes, y, no, n): no yes Domain: (1.239) 1 102 BB credit: (1.27) 16 2 连接完成后，查看相应的端口模式，如是 E-Port，则表明连接成功。具体命令为 switch:admin switchshow switchName: switch switchType: 42.1 switchState: Online

26、switchMode: Native switchRole: Subordinate switchDomain: 1 switchId: fffc01 switchWwn: 10:00:00:60:69:e2:09:be AD Feature: Not Active Current AD: 0 zoning: ON (bot_cfg) switchBeacon: OFF blade4 Beacon: OFF blade8 Beacon: OFF FC Router: OFF FC Router BB Fabric ID: 1 Index Slot Port Address Media Spee

27、d State Proto = output truncated 80 8 0 id N4 No_Light 81 8 1 id N4 No_Light 82 8 2 id N4 No_Light 83 8 3 id N4 No_Light 84 8 4 id N4 No_Light 85 8 5 id N4 No_Light 86 8 6 id N4 No_Light 87 8 7 id N4 No_Light 88 8 8 id N1 Online E-Port 10:00:00:00:c9:25:3d:43 (Upstream) 产品维护服务产品维护服务 日常维护日常维护 服务方公司将定

28、期了解买方对系统的使用情况，及时听取买方对产品及系统工作 状况的意见，帮助其合理地使用产品系统，并建立日常维护、保养机制。 维护内容：包括交换机的电源，firmware 版本、光纤接口卡、以太网卡接口、日志信息、 Zoning 的软硬件功能、运行性能、容量等。 (1)检查交换机系统板指示灯工作是否正常 CP 板指示灯：绿灯表示正常，黄灯表示有问题。 CP0：正常不正常 CP1：正常不正常 (2)检查交换机电源指示灯工作是否正常： 电源指示灯：绿灯表示正常，黄灯表示有问题。 PS1：正常不正常 PS2：正常不正常 （3）检查交换机风扇指示灯是否正常： 风扇指示灯：绿灯表示正常，黄灯表示有问题 F

29、AN1：正常不正常 FAN2：正常不正常 FAN3：正常不正常 SWITCH-NAMESWITCH-NAME 以太网端口测试 通过局域网和终端计算机远程 登录（telnet）到交换机： 1. 在 dos 窗口键入： C:telnet switch1_IP 2输入用户名及口令，登录 到交换机，键入： # fabricshow 屏幕显示，登录提示 符及网络配置信息： 1. swichname login: 2. “Switch ID Worldwide Name Enet IP Addr FC IP Addr” 检查交换机的状 况 远程登录（telnet）到交换机， 执行如下命令： switchstatusshow 可显示交换机的总体 运行状态。屏幕打印 状态“Healthy/OKHealthy/OK”为 正常。如果打印 “Marginal/Warning” ， 视具体情况判定正常 或者非正常 电源状态远程登录（telnet）到交换机， 执行如下命令： psshow 屏幕显示状态为