E9000安装与配置教学文稿.ppt

修订记录 本页不打印 E9000服务器安装与配置 目标 学完本课程后 您将能够 掌握E9000方案硬件安装部署流程 掌握E9000管理配置方法 掌握E9000交换配置方法 掌握E9000计算节点配置安装方法 目录 E9000服务器硬件安装E9000管理模块配置E9000交换模块管理配置E9000计算节点的管理配置 1 1E9000机框安装流程 机框外观 OSCA机箱 含风扇模块 电源模块 管理模块 交换模块 重量约为100kg 超出4个人的搬运重量限制 68kg 所以在安装机箱之前 需要先拆卸风扇模块 电源模块 管理模块 交换模块和直通模块 以方便安装机箱 1 2机框部件拆卸流程 拆卸交换模块拆卸直通模块拆卸管理模块拆卸电源模块拆卸风扇模块 槽位E1 E4主要安装直通模块槽位X2 X3主要安装交换模块槽位M1 M2安装管理模块槽位PSM安装电源模块槽位FAN安装风扇模块 1 3交换模块和直通模块的拆卸 使用十字螺丝刀拆卸交换 直通模块自带的两颗M3松不脱螺钉完全打开交换模块的两个扳手平行向外侧将交换模块拉出机箱槽位完全闭合交换模块的两个扳手 将拆卸的交换 直通模块放入防静电包装袋中 1 4管理模块的拆卸 使用十字螺丝刀拆卸管理模块自带的一颗M3松不脱螺钉完全打开管理模块的扳手平行向外侧将管理模块拉出机箱槽位完全闭合管理模块的扳手 将拆卸的管理模块放入防静电包装袋中 1 5电源 风扇模块的拆卸 按下电源模块的弹片沿水平方向将电源模块从机箱中拔出 向外侧拉紧风扇模块的内侧的扳手平行向外侧将风扇模块拔出机箱槽位 将拆卸的管理 电源模块放入防静电包装袋中 1 6E9000机框的硬件安装步骤 在标准的42U的机柜中 最多可以安装3个机箱对应的托盘分别安装在1U 14U 27U的位置处 机箱搬运时需要四人风扇与电源模块安装时注意方向具体安装方式请参考机箱安装指南 安装完成后需要按照手册进行安装结果检查 1 7风扇电源模块的安装 确定风扇的安装方向 风扇的安装方向 必须与风扇槽位挡风罩上面的标示的方向保持一致 沿水平方向将风扇模块插入机箱中 直到机箱扣紧风扇模块为止 风扇模块方向标识 安装时需要注意电源模块的安装方向 机箱后视图的左侧电源模块 有弹片的一侧方向向上 机箱后视图的右侧电源模块 有弹片的一侧方向向下 1 8安装管理模块 MM910安装位置 平行向内侧将MM910插入机箱槽位闭合MM910的扳手使用十字螺丝刀固定MM910自带的一颗M3松不脱螺钉 1 9交换模块的安装 完全打开CX911的两个扳手 将CX911平行向内侧推入机箱槽位用力闭合CX911的两个扳手 直至CX911完全插稳使用十字螺丝刀固定CX911自带的两颗M3松不脱螺钉 1 10计算节点的安装 按下计算节点扳手的弹片 完全打开计算节点的扳手 沿水平方向将计算节点完全插入机箱中 完全闭合计算节点的扳手 半宽刀片的安装 全宽刀片的安装 注意 安装全宽刀片是需要取出机框中间的隔板 目录 E9000服务器硬件安装E9000管理模块配置E9000交换模块管理配置E9000计算节点的管理配置 2 1E9000管理模块配置 在硬件安装完成后 需要对E9000系统进行配置 通常包括配置管理模块配置计算节点配置交换模块本章介绍管理模块的配置 2 2MM910外观及安装位置 MM910安装在OSCA机箱的后面的管理模块槽位上 M1 M2 机箱中最多可以安装2个互为主备的MM910提供1个MGMT接口用于机箱内设备的管理提供1个STACK接口用于多框自管理组网级联提供一个COM串口用于管理信息显示及控制提供一个RS485接口用于管理外置PDU模块提供一个VGA接口用于连接集中KVM显示器提供两个标准USB2 0接口 用于连接光驱 鼠标和键盘 2 3MM910配置流程 2 4MM910配置方式 管理的物理端口 串口方式MM910管理板的管理网口X2 X3槽位交换板端口访问管理网口 默认管理网口出线方式 管理界面 命令行web页面IP地址初始设置 使用串口登录方式配置初始IP设置自动获取IP地址 如果配置了DHCP服务器 通过机箱液晶屏配置 命令行界面 Web页面 2 5MM910配置命令格式 查询命令smmget格式 smmget h llocation ttarget ddataitem设置命令smmset格式 smmset h llocation ttarget ddataitem vvalue h 用于获取命令的帮助信息 如果使用此参数 则后面不能跟其他参数 llocation 命令生效的目标部件 省略此参数 表示目标部件为当前连接的MM910 不同的location代表不同的部件 详细说明如表所示 ttarget 待查询或设置部件上的特定组件 主要包括传感器 指示灯 网口等 ddataitem 查询或设置部件 部件上组件的特定属性 vvalue 设置操作的目标值 2 6检查和倒换的基本命令 查询MM910版本信息 smmget lsmm dversion屏幕回显如右图 在主用单板CLI界面 执行主备倒换 smmset dfailover v1屏幕回显如右图 SMMVersionInformation UbootVersion U54 0003CPLDVersion U1082 103120809PCBVersion SMMAREV0FPGAVersion U1049 003120803SoftwareVersion U54 OSCAV100R001C01IPMIModuleBuilt Aug27201214 08 58 ThisoperationwillmakeSMMswitchovertostandby Continue Y N 确认当前连接的MM910已经切换为备用状态 smmget dredundancy屏幕回显如右图 表示当前连接的MM910已经切换为备用状态 输入 Y 然后按 Enter 屏幕回显如右图 表示主板倒换成功 Success TheRedundancyStatesofSMMs SMM1 Present standby SMM2 Present active 2 7默认密码和修改密码 smmset duserpasswd vroot 用户密码复杂度要求 密码的长度至少8位字符 且必须包含如下至少两种字符的组合 至少一个小写字母至少一个大写字母至少一个数字至少一个特殊字符 和空格 2 8配置基础数据标 2 9配置基础数据命令 配置静态IP地址 smmset tfront dstaticip v静态IP地址子网掩码网关查询静态IP地址 smmget tfront dstaticip向NTP服务同步时间 ntpdateNTP服务器IP地址设置浮动IP地址 只在主用上有效 smmset tfront dfloatip v浮动IP地址子网掩码网关使能SNMPTrap功能 smmset dsnmptrapenable venable配置SNMPTrap的版本 smmset dsnmptrapversion vSNMP版本号配置接收SNMPTrap消息的目标主机的IP地址 smmset dsnmptrapaddressN vipaddress配置SNMPTrap接收端口号smmset dsnmptrapport vportnumber 2 10增加用户 MM910的用户按角色划分如下 管理员 具备所有查询和设置操作的权限 操作员 具备查询和设置操作的权限 但不能执行升级 管理用户 开 关密码复杂度检查操作 普通用户 具有查询权限 并能修改自身密码 增加用户smmset duseradd vusername修改用户权限smmset duserpropertychg vusernameprivilegeprivilege权限属性值 取值说明如下 0 表示管理员 1 表示操作员 2 表示普通用户 目录 E9000服务器硬件安装E9000管理模块配置E9000交换模块管理配置E9000计算节点的管理配置 3 1CX910交换模块配置过程 CX910安装在E1 X2 X3 E4交换模块槽位上 3 2登陆CX910 登陆CX910单板可以使用1串口登陆 Speed 115200 面板提供两个串口sys串口可以连接Base Fabric平面BMC串口可以登陆到CX910的BMC模块通过BMC模块可以控制sys串口在Base平面和Fabric平面切换2网口登陆 通过MM910配置Cx910Base Fabric平面IP地址通过Base平面端口连接到Base Fabric平面 BMC串口 sys串口 Base平面电口 3 3检查系统版本 登陆到Base Fabric命令行执行 displayversion显示如下信息 BoardName IT11XCUACPLDVersion 003PCBVersion VER ABootromVersion 009CreationTime Sep172012 09 53 25BackupBootromVersion 009CreationTime Sep172012 09 53 25SwitchVersion 1 1 0 0 19CreationTime Oct172012 17 10 28BackupSwitchVersion 1 1 0 0 19FCBoardName UNKNOWNFCPCBVersion UNKNOWN displayversion显示如下信息 BoardName IT11XCUACPLDVersion 003PCBVersion VER ABootromVersion 009CreationTime Oct162012 12 48 10BackupBootromVersion 009CreationTime Oct162012 12 48 10SwitchVersion 1 1 0 0 19CreationTime Oct172012 17 10 28BackupSwitchVersion 1 1 0 0 19 3 4查看Base Fabric平面端口对应关系 displayport connection relationships命令执行成功 显示如下信息 BASEPLANE24PORTSGigabitEthernet0 0 1 RJ45 1GigabitEthernet0 0 2 RJ45 2GigabitEthernet0 0 3 RJ45 3GigabitEthernet0 0 4 RJ45 4GigabitEthernet0 0 5 SPU01GigabitEthernet0 0 6 SPU02GigabitEthernet0 0 7 SPU03GigabitEthernet0 0 8 SPU04GigabitEthernet0 0 9 SPU05GigabitEthernet0 0 10 SPU06GigabitEthernet0 0 11 SPU07GigabitEthernet0 0 12 SPU08GigabitEthernet0 0 13 SPU09GigabitEthernet0 0 14 SPU10GigabitEthernet0 0 15 SPU11GigabitEthernet0 0 16 SPU12GigabitEthernet0 0 17 SPU13GigabitEthernet0 0 18 SPU14GigabitEthernet0 0 19 SPU15GigabitEthernet0 0 20 SPU16GigabitEthernet0 0 21 SMM01GigabitEthernet0 0 22 SMM02GigabitEthernet0 0 23 BaseCPUCrossXGigabitEthernet0 0 1 BaseInterconnection displayport connection relationships显示如下信息 FABRICPLANE58PORTSXGigabitEthernet0 0 1 SFI 1XGigabitEthernet0 0 2 SFI 2 为方便阅读 这里省去SFI 3到SFI 14 XGigabitEthernet0 0 15 SFI 15XGigabitEthernet0 0 16 SFI 16XGigabitEthernet0 0 17 SPU01XGigabitEthernet0 0 18 SPU01XGigabitEthernet0 0 19 SPU01XGigabitEthernet0 0 20 SPU02XGigabitEthernet0 0 21 SPU02XGigabitEthernet0 0 22 SPU02 为方便阅读 这里省去SPU03到SPU07 XGigabitEthernet0 0 38 SPU08XGigabitEthernet0 0 39 SPU08XGigabitEthernet0 0 40 SPU08XGigabitEthernet0 0 41 SPU09XGigabitEthernet0 0 42 SPU09XGigabitEthernet0 0 43 SPU10XGigabitEthernet0 0 44 SPU10 为方便阅读 这里省去SPU11到SPU14 XGigabitEthernet0 0 53 SPU15XGigabitEthernet0 0 54 SPU15XGigabitEthernet0 0 55 SPU16XGigabitEthernet0 0 56 SPU16XGigabitEthernet0 0 57 FabricInterconnectionXGigabitEthernet0 0 58 FabricInterconnection 3 5修改初始用户名密码 进入系统视图system view显示如下信息 Entersystemview returnuserviewwithCtrl Z 进入修改用户密码界面 Base setloginpassword显示如下信息 Pleaseloginfirst OldUserName rootOldPassword 输入旧的用户密码 命令执行成功后 显示如下信息 Loginsuccess PleaseinputnewusernameandpasswordNewUserName NewPassword Fabric与base平面修改方式一致Fabric只有一个用户 不能新增用户用户密码需要满足密码复杂度要求 3 6配置管理网口IP地址 IP地址可以通过串口和MX910两种方式配置 通过MX910配置 设置命令 smmset lswi 1 4 fru 1 3 dswipcontrol vseteth1IP地址子网掩码查询命令 smmset lswi 1 4 fru 1 3 dswipcontrol vgeteth1swi 1 4 1 4分别代表E1 X1 X2 E2四个槽位 fru 1 3 1代表base平面 2代表fabric平面 3无意义 3 7备份配置数据 保存配置文件到MM910在用户视图执行以下命令 保存配置文件到MM910在用户视图执行以下命令 确认文件系统中存在配置文件vrpcfg cfg 查询配置文件的详细信息 displaysaved configuration Fabric平面配置与Base平面命令相同 save显示如下信息 Thecurrentconfigurationwillbewrittentothedevice Areyousuretocontinue Y N YAug27201218 04 16Fabric 01CFM 4 SAVE l 0 TheuserchoseYwhendecidingwhethertosavetheconfigurationtothedevice Nowsavingthecurrentconfigurationtotheslot33 Info Savetheconfigurationsuccessfully 保存成功后 显示如下信息 beginuploadconfiguration uploadsuccess dir显示如下信息 Directoryofflash IdxAttrSize Byte DateTime LMT FileName0 rw 2 924Aug27201216 08 12private data txt1 rw 9 673Apr01200023 55 34vrpcfgbak cfg2 rw 12 189Aug27201218 04 19vrpcfg cfg32 385KBtotal 32 358KBfree 登陆CX310单板可以使用1串口登陆面板提供两个串口sys串口可以连接Fabric平面BMC串口可以登陆到CX310的BMC模块2网口登陆 通过MM910配置Fabric平面IP地址通过上行10GE端口登录CX310基本配置过程与CX910相似 具体配置命令请参考对应的命令手册 3 8CX310交换模块管理端口 BMC串口 sys串口 上行10GE光口 3 9CX110GE交换模块管理端口 4 10GE 12 GE BMC串口 sys串口 登陆CX110单板可以使用1串口登陆面板提供两个串口sys串口可以连接Fabric平面BMC串口可以登陆到CX110的BMC模块2网口登陆 通过MM910配置Fabric平面IP地址通过上行GE 10GE端口登录CX310基本配置过程与CX910相似 具体配置命令请参考对应的命令手册 3 10FCoEGatewayModule的配置方式 FCoEGatewayModule扣接在交换模块上 扩展系统出FC通道功能扣接在CX910上构成CX911扣接在CX310上构成CX311登录FCoEGateWay模块的方式 通过SOL登录访问FCoE串口 登录方法请参加下一页 通过模块网口登录 登录前可通过MM910的命令行对FCoEGatewayModuleIP地址配置 smmset lswiN fruM dswipcontrol vipaddressmaskaddress使用SSHclient工具连接Gateway模块IP地址 FCoEGateway 3 11通过SOL登录FCoEGateway模块 WelcometoSMMSOLServer PleaseloginwithSMMaccountandpassword username rootPassWord LoginSuccess root SMM telnet01101Trying0 0 0 0 Connectedto0 Escapecharacteris pleaseinputtheSOLBlade1 Blade16 1 16 SWI 33 36 andCOM n pressCtrl Rtoreturn Blade1 Blade16 1 16 Swi 33 36 Pleaseinputyourchoice 351BMCcom2fabriccom3basecom4FCcomCOM 1 4 4 FCoE GW admin showabout CommandLineInterfaceSHell CLISH SystemDescriptionHuaweiFCoE FCGatewaymoduleHostNameEth1IPv4NetworkAddr192 168 1 41Eth1IPv6NetworkAddrfe80 2c0 ddff fe24 2180MAC1Address00 c0 dd 24 21 80WorldWideName10 00 00 c0 dd 24 21 7fSerialNumber2198080446DQCB46F041SymbolicNameFCoE GWActiveSWVersionV9 8 0 4 0ActiveTimestampThuDec2017 46 482012POSTStatusPassedSwitchModeFullFabric 登录SMM板后输入命令 telnet01101 输入SMM板登录 用户名 和 密码 选择登录的交换模块的槽位号 33 36对应E1 X2 X3 E4 选择登录交换模块的串口 4对应FCoEGateWay模块串口输入FCoEGateWay模块的用户名和密码后进入FCoEGateWay模块的命令行 目录 E9000服务器硬件安装E9000管理模块配置E9000交换模块管理配置E9000计算节点的管理配置 4 1计算节点的配置 计算节点安装在E9000机框的前插1 16槽位对计算节点的配置安装主要包括以下几个方面 检查计算节点配置RAID配置BIOS配置BMC安装操作系统 4 2计算节点的检查 计算节点可以通过两种方式进行带外管理本地BMCMM910模块BMC和MM910模块都提供web页面和命令行形式来对设备进行操作MM910上命令行检查计算节点的版本信息 smmget lblade2 dversion 检查2槽位单板信息Blade2versioninformation IPMCCPU SPEAr310IPMIVersion 2 0FPGAVersion U4008 012CPLDVersion U38 008BIOSVersion U41 V010ActiveiManaVersion U4005 3 07ActiveiManaBuilt 15 47 39Oct162012BackupiManaVersion 3 07DriverVersion 1 00DriverBuilt 15 47 48Oct162012UbootVersion U Boot1 3 1 Jun142012 17 45 15 GRUABoardID 0 x0130GRUAPCB ARAIDCARDBoardID 0 x0021RAIDCARDPCB AIPMBAddress 0 x90 命令行 Web页面 RAID的配置可以通过三种方式进行通过BMC的远程KVMMM910模块的远程KVM本地KVM 4 3RAID卡和BIOS配置方式 VGA接口 USB接口 串口 高密接口 USB接口 本地KVM的高密头 本地BMC的远程KVM页面 MM910模块的远程KV