思科UCS安装部署手册

1、Cisco Unified Computing System（统一计算系统）思科UCS安装部署手册目 录第 PAGE 57页 （共 NUMPAGES 58页）目录 TOC o 1-3 h z u HYPERLINK l _Toc490143979 1概述 PAGEREF _Toc490143979 h 3 HYPERLINK l _Toc490143980 1.1编写目的 PAGEREF _Toc490143980 h 3 HYPERLINK l _Toc490143981 1.2文档适用人员 PAGEREF _Toc490143981 h 3 HYPERLINK l _Toc49014398

2、2 1.3实施原则 PAGEREF _Toc490143982 h 3 HYPERLINK l _Toc490143983 2网络设计 PAGEREF _Toc490143983 h 5 HYPERLINK l _Toc490143984 2.1UCS系统网络设计（可根据实际情况修改） PAGEREF _Toc490143984 h 5 HYPERLINK l _Toc490143985 3实施方案设计 PAGEREF _Toc490143985 h 7 HYPERLINK l _Toc490143986 3.1控制器设备命名参数表 PAGEREF _Toc490143986 h 7 HYPE

3、RLINK l _Toc490143987 3.2设备登录信息表 PAGEREF _Toc490143987 h 7 HYPERLINK l _Toc490143988 3.3IP地址规划表 PAGEREF _Toc490143988 h 7 HYPERLINK l _Toc490143989 3.4硬件配置信息 PAGEREF _Toc490143989 h 8 HYPERLINK l _Toc490143990 3.4.1Fabric Interconnect mode信息表 PAGEREF _Toc490143990 h 8 HYPERLINK l _Toc490143991 3.4.2

4、Fabric Interconnect port角色信息表 PAGEREF _Toc490143991 h 9 HYPERLINK l _Toc490143992 3.4.3设备连接信息表 PAGEREF _Toc490143992 h 11 HYPERLINK l _Toc490143993 3.4.4Port Channel信息表 PAGEREF _Toc490143993 h 13 HYPERLINK l _Toc490143994 3.5服务配置信息 PAGEREF _Toc490143994 h 13 HYPERLINK l _Toc490143995 3.5.1Service pr

5、ofile信息表 PAGEREF _Toc490143995 h 13 HYPERLINK l _Toc490143996 3.5.2MAC pool信息表 PAGEREF _Toc490143996 h 14 HYPERLINK l _Toc490143997 3.5.3WWNN pool信息表 PAGEREF _Toc490143997 h 15 HYPERLINK l _Toc490143998 3.5.4WWPN pool信息表 PAGEREF _Toc490143998 h 15 HYPERLINK l _Toc490143999 3.5.5UUID Suffix pool信息表 P

6、AGEREF _Toc490143999 h 15 HYPERLINK l _Toc490144000 3.5.6VLAN信息表 PAGEREF _Toc490144000 h 15 HYPERLINK l _Toc490144001 3.6策略信息 PAGEREF _Toc490144001 h 16 HYPERLINK l _Toc490144002 3.6.1Local Disk PAGEREF _Toc490144002 h 16 HYPERLINK l _Toc490144003 3.6.2Boot策略 PAGEREF _Toc490144003 h 16 HYPERLINK l _

7、Toc490144004 4实施过程 PAGEREF _Toc490144004 h 18 HYPERLINK l _Toc490144005 4.16248XP初始化 PAGEREF _Toc490144005 h 18 HYPERLINK l _Toc490144006 4.1.16248XP接线准备 PAGEREF _Toc490144006 h 18 HYPERLINK l _Toc490144007 4.1.26248XP初始化6248XP-A PAGEREF _Toc490144007 h 18 HYPERLINK l _Toc490144008 4.1.36248XP初始化624

8、8XP-B PAGEREF _Toc490144008 h 19 HYPERLINK l _Toc490144009 4.1.4登陆UCS Manager PAGEREF _Toc490144009 h 19 HYPERLINK l _Toc490144010 4.2刀箱发现 PAGEREF _Toc490144010 h 20 HYPERLINK l _Toc490144011 4.2.1配置刀箱发现策略 PAGEREF _Toc490144011 h 20 HYPERLINK l _Toc490144012 4.2.2配置存储上联口 PAGEREF _Toc490144012 h 20 H

9、YPERLINK l _Toc490144013 4.2.3配置网络上联口 PAGEREF _Toc490144013 h 22 HYPERLINK l _Toc490144014 4.2.4配置刀箱下联口 PAGEREF _Toc490144014 h 23 HYPERLINK l _Toc490144015 4.2.5刀箱发现状态 PAGEREF _Toc490144015 h 23 HYPERLINK l _Toc490144016 4.3刀片管理IP配置 PAGEREF _Toc490144016 h 24 HYPERLINK l _Toc490144017 4.4资源池和策略配置 P

10、AGEREF _Toc490144017 h 25 HYPERLINK l _Toc490144018 4.4.1UUID Pool PAGEREF _Toc490144018 h 25 HYPERLINK l _Toc490144019 4.4.2MAC Pool PAGEREF _Toc490144019 h 28 HYPERLINK l _Toc490144020 4.4.3WWNN POOL PAGEREF _Toc490144020 h 29 HYPERLINK l _Toc490144021 4.4.4WWPN Pool PAGEREF _Toc490144021 h 31 HYP

11、ERLINK l _Toc490144022 4.4.5Vlan定义 PAGEREF _Toc490144022 h 34 HYPERLINK l _Toc490144023 4.4.6Local Disk Raid策略 PAGEREF _Toc490144023 h 36 HYPERLINK l _Toc490144024 4.4.7Boot启动策略 PAGEREF _Toc490144024 h 37 HYPERLINK l _Toc490144025 4.5创建Service Profile（根据现场实施画面更改） PAGEREF _Toc490144025 h 39 HYPERLINK

12、 l _Toc490144026 4.6关联Service Profile到指定的刀片服务器上 PAGEREF _Toc490144026 h 48 HYPERLINK l _Toc490144027 4.7刀片服务器的操作系统安装 PAGEREF _Toc490144027 h 51 HYPERLINK l _Toc490144028 4.7.1KVM Console PAGEREF _Toc490144028 h 51 HYPERLINK l _Toc490144029 4.7.2操作系统安装 PAGEREF _Toc490144029 h 55 HYPERLINK l _Toc49014

13、4030 4.7.3操作系统驱动安装 PAGEREF _Toc490144030 h 57概述编写目的本文的是铁姆肯虚拟化平台UCS部分的项目技术实施的详细描述和规划，撰写本文的目的是在实际实施工作前，将所有实施步骤、方法和各方需完成的任务明确。文档适用人员本文档资料主要面向负责铁姆肯虚拟化平台UCS服务器实施项目的设计和实施的技术人员，管理人员。 实施原则实施步骤的完整性，对于每一个实施步骤各方所需要执行的动作有明确的规定，有精确的时间顺序安排，对每一个动作有详细的操作步骤，对每一个执行的动作都有相应的检查是否完成的步骤，达到任何一个只要具有实际实施经验的工程师都能按实施方案完成执行动作。详

14、细描述实施方案的风险和局限性，明确使用实施方案所应承担的风险和将导致的后果。在实施前需要各参与单位和人员最终确认实施方案的正确性、明确各方所执行的动作和担负的责任。对于检查实施方案的每一个阶段是否达到方案要求，需要有每一阶段的测试内容，明确那些测试在指定时间点不能完成或完成后测试结果不正确的情况下需要采用网络回退方案，不再执行实施方案的下一个执行动作或不进入下一个实施阶段。为了尽量减少业务中断时间，所有测试和改造工作都在重要业务停止时进行，同时对于参与测试的设备原有数据都要备份。网络调整、应用切换方案在制定时要和所相关应用部门进行充分的沟通，要向应用部门介绍详细的切换过程，切换步骤、切换时间要

15、征得相关应用部门的同意。网络调整、应用切换实施时要有应用部门的人员在场，负责对应用进行验证，并得出结论。网络设计 UCS系统网络设计（可根据实际情况修改）说明：每个UCS5108刀片机箱通过两个I/O模块，每个模块X条10G链路（2204XP上联或2208XP上联）分别连接到两台6248管理设备。两台6248之间通过两条100/1000M以太网线实现管理配置同步，之间不走业务数据。每个6248配置2个10GB网络上联接口，配置port channel连接到核心的Catalyst交换机上。每个6248的最后两个端口FC2/15、FC2/16配置成FC Port上联至存储交换机。每个6248的管理

16、口通过100/1000M以太网网线接入到管理交换机，实现带外管理。每个6248的取一个10G uplink，通过GLC-T模块，100/1000M以太网网线接入到管理交换机，接入虚拟化平台的管理网络，主要运行vCenter流量。实施方案设计控制器设备命名参数表设备设备命名Cisco UCS 6248XP-ACisco UCS 6248XP-BCisco UCS 6248XP-cluster设备登录信息表设备名（5B机房）用户名密码UCSMadminIP地址规划表设备（5B机房）地址规划子网掩码网关6248XP Virtual IP Address6248XP A IP Address6248X

17、P B IP Address刀片机箱刀片槽位管理IP子网掩码网关机箱11255.255.255.0 2255.255.255.0 3255.255.255.0 4255.255.255.0 5255.255.255.0 6255.255.255.0 7255.255.255.0 8255.255.255.0 机箱21255.255.255.0 2255.255.255.0 3 255.255.255.0 4 255.255.255.0 5 255.255.255.0 6 255.255.255.0 7 255.255.255.0 8 255.255.255.0 机箱31 255.255.255

18、.0 2 255.255.255.0 3 255.255.255.0 4 255.255.255.0 5 255.255.255.0 6 255.255.255.0 7 255.255.255.0 8 255.255.255.0 硬件配置信息Fabric Interconnect mode信息表Mode Nmae（5B机房）ModeCommentEthernetEthernet End Host与Catalyst交换机互联FCFC End Host与存储交换机互联Mode Nmae（6C机房）ModeCommentEthernetEthernet End Host与Catalyst交换机互联F

19、CFC End Host与存储交换机互联Fabric Interconnect port角色信息表设备接口（5B机房）对端接口Cisco UCS 6248XP-ACisco UCS 6248XP-A- E1/1server portCisco UCS 6248XP-A- E1/2server portCisco UCS 6248XP-A- E1/3server portCisco UCS 6248XP-A- E1/4server portCisco UCS 6248XP-A- E1/5server portCisco UCS 6248XP-A- E1/6server portCisco UCS

20、 6248XP-A- E1/7server portCisco UCS 6248XP-A- E1/8server portCisco UCS 6248XP-A- E1/9server portCisco UCS 6248XP-A- E1/10server portCisco UCS 6248XP-A- E1/11server portCisco UCS 6248XP-A- E1/12server portCisco UCS 6248XP-A E1/13server portCisco UCS 6248XP-A- E1/14server portCisco UCS 6248XP-A- E2/1E

21、th Uplink portCisco UCS 6248XP-A E2/2Eth Uplink portCisco UCS 6248XP-A- E2/15FC Uplink portCisco UCS 6248XP-A- E2/16FC Uplink portCisco UCS 6248XP-BCisco UCS 6248XP-B- E1/1server portCisco UCS 6248XP-B- E1/2server portCisco UCS 6248XP-B- E1/3server portCisco UCS 6248XP-B- E1/4server portCisco UCS 62

22、48XP-B- E1/5server portCisco UCS 6248XP-B- E1/6server portCisco UCS 6248XP-B- E1/7server portCisco UCS 6248XP-B- E1/8server portCisco UCS 6248XP-B- E1/9server portCisco UCS 6248XP-B- E1/10server portCisco UCS 6248XP-B- E1/11server portCisco UCS 6248XP-B- E1/12server portCisco UCS 6248XP-B E1/13serve

23、r portCisco UCS 6248XP-B- E1/14server portCisco UCS 6248XP-B- E2/1Eth Uplink portCisco UCS 6248XP-B E2/2Eth Uplink portCisco UCS 6248XP-B- E2/15FC Uplink portCisco UCS 6248XP-B- E2/16FC Uplink port设备接口（6C机房）对端接口Cisco UCS 6248XP-ACisco UCS 6248XP-A- E1/1server portCisco UCS 6248XP-A- E1/2server portC

24、isco UCS 6248XP-A- E1/3server portCisco UCS 6248XP-A- E1/4server portCisco UCS 6248XP-A E1/13Eth Uplink portCisco UCS 6248XP-A- E1/14Eth Uplink portCisco UCS 6248XP-A E1/15Eth Uplink portCisco UCS 6248XP-A- E1/16Eth Uplink portCisco UCS 6248XP-A- E1/31FC Uplink portCisco UCS 6248XP-A- E1/32FC Uplink

25、 portCisco UCS 6248XP-BCisco UCS 6248XP-A- E1/1server portCisco UCS 6248XP-A- E1/2server portCisco UCS 6248XP-A- E1/3server portCisco UCS 6248XP-A- E1/4server portCisco UCS 6248XP-A E1/13Eth Uplink portCisco UCS 6248XP-A- E1/14Eth Uplink portCisco UCS 6248XP-A E1/15Eth Uplink portCisco UCS 6248XP-A-

26、 E1/16Eth Uplink portCisco UCS 6248XP-A- E1/31FC Uplink portCisco UCS 6248XP-A- E1/32FC Uplink port设备连接信息表设备接口（5B机房）本端接口对端接口Cisco UCS 6248XP-AE1/1Chassis1-FEX-1/1E1/2Chassis1-FEX-1/2E1/3Chassis2-FEX-1/1E1/4Chassis2-FEX-1/2E1/5Chassis3-FEX-1/1E1/6Chassis3-FEX-1/2E1/7Chassis4-FEX-1/1E1/8Chassis4-FEX-1

27、/2E1/9Chassis5-FEX-1/1E1/10Chassis5-FEX-1/2E1/11Chassis6-FEX-1/1E1/12Chassis6-FEX-1/2E1/13Chassis7-FEX-1/1E1/14Chassis7-FEX-1/2E2/1上联网络交换机E2/2上联网络交换机E2/15上联存储交换机E2/16上联存储交换机L1Cisco UCS 6248XP-B L1L2Cisco UCS 6248XP-B L2M0上联管理交换机Cisco UCS 6248XP-BE1/1Chassis1-FEX-2/1E1/2Chassis1-FEX-2/2E1/3Chassis2-F

28、EX-2/1E1/4Chassis2-FEX-2/2E1/5Chassis3-FEX-2/1E1/6Chassis3-FEX-2/2E1/7Chassis4-FEX-2/1E1/8Chassis4-FEX-2/2E1/9Chassis5-FEX-2/1E1/10Chassis5-FEX-2/2E1/11Chassis6-FEX-2/1E1/12Chassis6-FEX-2/2E1/13Chassis7-FEX-2/1E1/14Chassis7-FEX-2/2E2/1上联网络交换机E2/2上联网络交换机E2/15上联存储交换机E2/16上联存储交换机L1Cisco UCS 6248XP-A L1

29、L2Cisco UCS 6248XP-A L2M0上联管理交换机Port Channel信息表设备（5B机房)Port Channel端口备注Cisco UCS 6248XP-A1E2/12*10GB网络上联端口E2/2Cisco UCS 6248XP-B1E2/12*10GB网络上联端口E2/2设备（6C机房)Port Channel端口备注Cisco UCS 6248XP-A1E1/134*1GB网络上联端口E1/14E1/15E1/16Cisco UCS 6248XP-B1E1/134*1GB网络上联端口E1/14E1/15E1/16服务配置信息Service profile信息表Ser

30、verService profileSlotTemplateBootChassis1Server1chassis-1/slot-1 Server2chassis-1/slot-2 Server3chassis-1/slot-3 Server4chassis-1/slot-4 Server5chassis-1/slot-5 Server6chassis-1/slot-6 Server7chassis-1/slot-7 Server8chassis-1/slot-8 Chassis2Server1 chassis-2/slot-1 Server2 chassis-2/slot-2 Server3

31、chassis-2/slot-3 Server4 chassis-2/slot-4 Server5 chassis-2/slot-5 Server6 chassis-2/slot-6 Server7 chassis-2/slot-7 Server8 chassis-2/slot-8 MAC pool信息表MAC poolsizeWWNN pool信息表WWNNNameSize WWPN pool信息表WWPNNameSize UUID Suffix pool信息表UUID Suffix poolsize5F-UUID-Pool0000-500000000001-0000-50000000002

32、000000-500000000201-0000-5000000000400VLAN信息表VLAN NameVLAN IDCommentVLAN_MGMT_21670VLAN_WEB_0601VLAN_WEB_1651VLAN_APP_8602VLAN_APP_9652VLAN_APP_10662VLAN_APP_11663VLAN_APP_12664VLAN_DB_16603VLAN_DB_17653VLAN_DB_18654VLAN_LDAP_15611VLAN_MAIL_7610VLAN_MES_193612VLAN_MES_224613VLAN_MES_225615VLAN_MGMT_

33、202609VLAN_MGMT_22671策略信息Local Disk NameDiskDisk policyCommentRaid12块硬盘Raid 1 Mirred所有服务器硬盘做Raid1策略Boot策略nameuseCommentCD-HDD启动顺序所有服务器设置CD/DVD启动优先，HDD其次实施过程6248XP初始化6248XP接线准备用2根100/1000Mb的网线，分别对应接在两台6248XP的L1、L2心跳线接口上。用一台PC电脑接上Console线，接入6248XP的Console接口上。6248XP初始化6248XP-A加电后，根据Console的输出，进行设置，这里选择

34、集群。等待一会，设置成功。6248XP初始化6248XP-B把Console接入6248XP-B，进行设置。等待一会，设置成功。登陆UCS Manager准备一根网线，把自己电脑的IP地址设置成跟6248XP的管理IP可以互通，用IE打开管理界面。刀箱发现配置刀箱发现策略目前6248XP是通过2条10G链路下联到刀箱，因此在Equipment-policy-Global Policies中，将Action改为1-Link，表示至少一条链路连接刀箱。配置完成后，6248交换机会自动发现下联的刀箱。配置存储上联口进入UCSM之后，选择每台6248XP，进行FC端口设置，初始化过程需要重启，以后的设

35、置都不需要做这个步骤。重启完毕，可以进行FC端口定义，这个过程不需要重启。如图，选择指定的端口定义为存储uplink口。配置网络上联口互联矩阵的上联端口通常主要跟交换机进行互联，目前现网要求5B机房每台互联矩阵6248XP使用两条10G链路上连至交换机，6C机房每台互联矩阵6248XP使用四条1G链路上联至交换机。如果是1G上联口，需要指定速率为1G。配置刀箱下联口当前要求使用4条10G链路分别下联到每一条UCS，每台刀框4条，实现冗余性。在UCSM管理界面Equipment-Fabric Interconnect-unconfigured Ports下，选择端口Port1-4，按顺序配置成S

36、erver port。刀箱发现状态配置好下联口之后，会自动发现设备的拓扑，如下。刀片管理IP配置如果要通过KVM console连接刀片，需要为每块刀片分配一个管理IP地址。我们可以通过互联矩阵上创建一个管理IP地址段，让互联矩阵自动为每块刀片服务器分配管理IP地址。配置步骤如下： 选择Equipment-chassis 2-Servers-Server 8 Inventory - CIMC选择Modify Outband Static Managerment IP，输入管理IP地址。资源池和策略配置UUID PoolUUID Pool作为刀片服务器的身份标识，在互联矩阵上，可以通过创建一个p

37、ool来自动为刀片服务器分配ID。配置步骤如下：选择 Servers - Pools - server Pools，来配置UUID POOL右键选择UUID Suffix Pools,选择Create UUID Suffix Pool，配置需要的Pool大小。建立完毕MAC PoolMAC Pool为每个虚拟网络适配器分配mac地址，通过在互联矩阵上创建一个MAC Pool，自动为刀片服务器管理网卡和虚拟机网卡分配IP地址选择LAN - Pools -root- Mac Pools来配置MAC Pool。右键选择Create MAC Pool，配置需要的MAC地址池大小。WWNN POOL选择SAN - Pools -root- WWNN Pools。右键选择Create WWNN Block，配置所需要的WWNN起始数值和数量大小。WWPN Pool选择SA