思科统一计算.doc

目录一、数据中心面临的挑战2二、思科统一计算系统4三、思科UCS硬件组成6四、UCS 管理架构14五、UCS 硬件安装18六、UCS各组成部分的连接与管理18七、UCS用户管理界面22八、UCS的启动与关闭24九、了解思科UCS manager25十、Organizations and RBAC28一、数据中心面临的挑战服务器的发展，基本上可以分为三个阶段。1、 扩大阶段90年代的大型机，代表性的厂商有SUN、HP、IBM。这个时期的服务器的特点是：拥有大量的CPU私有平台私有操作系统同一台服务器上部署了大量的应用高成本很大的故障域这个时期的服务器大多被设计为大型单机框式，同时它的各个组件都相当昂贵，一个系统可以为众多用户提供服务，在性价比上要优于那些采用大量小型服务器方案。2、 扩张阶段2000年有大量标准化的服务器，代表性的厂商有DELL、HP、IBM、COMPAQ、SUN，特点：极少的CPUX86平台标准化的操作系统同一台服务器部署一种应用服务器性能得不到充分利用电源及冷却问题2000 年出现了大量标准化的，或者说是品牌化的小型服务器，集中化的服务器部署开始分散化，管理也向着部门式的管理方向演变。这时的硬件成本已经得 到了大辐下降，性价比也比单一的大型机越来越优越，但是他们的处理能力有限，一台物理服务器一般仅部署一种应用。不过从可靠性及安全性上来讲，这种一对一 的应用架构还是有优势的，但是资源的浪费是不可避免的。3、现在的服务器，代表性的厂商有：HP、IBM、DELL、？多核CPUX86平台标准化的操作系统虚拟化管理复杂有限的规模现在的服务器通过提高效率来降低成本，越来越多小型化的，机架式，刀片式服务器应运而生，而传统的大型服务器需要更大的空间，更多的电力供应，更多的网络、存储连接。通过引入虚拟化技术，大量的应用也可以被整合进一台物理服务器。不过这 样一来很多的挑战也应运而生。在小型的数据中心里这并不会是什么问题，但是大型数据中心这就 意味着复杂性大大提高，运营成本，管理成本也随之提高。每台服务器都有着自已唯的一标识，包括WWN（World wide name），MAC Address，BIOS，Firmware。当服务器故障时，操作系统及应用需要迁移至备用服务器，但是这时操作系统、应用、网络都需要做手动的配置及修改，这就意味着更长的当机时间。解决的方法：1、Stateless server服务器的操作系统与应用的标识均与硬件无关。2、Server personality随着数据中心计算能力的提高，复杂性也越来越高。刀片服务器在解决了一些问题的同时，也带来了新的管理问题。除了许多独立的操作系统需要管理以 外，LAN、SAN、服务器、存储也都需要管理，很多时候，我们需要不同的团队使用不同的工具管理刀片中心的不同方面。另外由于数据中心内部网络的多样性，除了LAN和WAN之外，20-40%的服务器也需要通过Fiber Channel连接到SAN网络，基础设施的复杂性也是我们不得不考虑的问题。总之：当前的数据中心架构，是经过几代产品的深埋，架构设计的改变的结果。不断扩展的X86架构目前正经历着一次新的变革，包括刀片中心、虚拟化、I/O整合（Blade、Virtualization、I/O Consolidation）新技术的产生和架构的变化，给基础设施及管理（Infrastructure and Management）带来了复杂性。二、思科统一计算系统2台思科UCS 6100系列Fabric Interconnects可以支持：1、40个刀片中心/刀片机箱（以下统称刀片机箱），320个刀片2、通过FCoE整合I/O Fabric Channel与Ethernet，让LAN和SAN整合到一条链路上。注：思科UCS Fabric Interconnects同时拥有LAN和SAN的两种上行链路，如果想要同时支持40个刀片机箱，需选择UCS 6140XP 40端口的Fabric Interconnect.两台Fabric Interconnects可以同时做数据转发。40台思科UCS5108系列刀片机箱可以支持：每个刀片机箱支持2个思科UCS 2104XP Fabric Extenders（又称FEX）每个刀片机箱支持1-8个刀片UCS可以看作是计算云，通过一次线缆连接，就可以与SAN云、LAN云实现互连，适合新业务的快速部署。同时他还代替了传统的接入层，整合了现有的交换技术，简化了管理。UCS包括以下几个部分：1、UCS Management and Switching UCS 6100 Series Fabric Interconnectes2、UCS Blade chassis UCS 5100 Series Blade chassis3、Compute Nodes UCS B Series Blade Servers4、Chassis Network Distribution UCS 2100 Series I/O Module5、Server Network Distribution UCS VIC M81KR Virtual Interface Card UCS VIC M71KR Converged Network Adapter UCS VIC 82598KR 10-Gigabit Ethernet Adapter传统服务器，随着数量的增多，网络需求也越来越高，除了与LAN互连外，还要与SAN 有连接，在供电、散热成本提高的同时，也给布线及管理带来了挑战。通过 UCS的I/O整合，我们可以减少40%的布线，将LAN与SAN整合进一条链路，但为了保证存储网络的可靠性，有必要对现有的以太网络做增强型设计，例 如按流量类型区分优先级组，端到端的流量管理等等。FCoE就是I/O整合的代表，在一条10G的链路上，我们可以让存储通过一条专用的虚拟通道转发，以 太数据按优先级组区别对待。一般情况下，UCS可以比传统的服务器架构节省40%的线缆连接，66%的部件，提供更佳的散热，更少的能源消耗。并且UCS可以减化管理，减少运营维护 开支，简化整合步骤，自动化，减少上线时间。总之，UCS是一套集中化的管理与网络控制解决方案，它的接入层替代方案的实现方式是基于FCoE的。UCS技术优势三、思科UCS硬件组成1、前面板：同一台刀片机箱中可以同时支持半高和全高刀片，UCS 6100 Fabric Interconnect的风扇位于前面板，而UCS 5100刀片机箱的前面板位于后面板。2、后面板：所有的线缆，包括电源、以太、管理、Fiber Channel都被设计在后面板，互联阵列（Fabric Interconnect）可选冗余。 3、刀片机箱：UCS 5108刀片机箱，可以支持最多8台UCS B200-M1/M2 2-Socket刀片（半宽），4台UCS B250-M1/M2 2-Socket，Extended Memory刀片（全宽），台UCS B440-M1 4-Socket刀片（全宽），或是任意组合半宽/全宽刀片，半宽刀片之间有垂直分隔板，如需部署全宽刀片，必须先行移除隔离板4、IOM：UCS 2100系列IOM安装在刀片机箱后面板上，以提供刀片与Fabric Interconnects之间的连接，8个风扇模块为刀片提供总够的散热。IOM负责将刀片与Fabric Interconnects互连，但是IOM并非本地交换设备。4个10G的端口可以上连Fabric Interconnects。一台刀片机箱可以有1到2个IOM，如果仅配置一个IOM时，需要将其部署在左侧槽位内。IOM 的chassis management controller（CMC）是一个重要的管理组件，CMC通过使用Intelligent Platform Management Interface（IPMI）从IOM收集状态信息，同时CMC还控制着供电，风扇速度并且作为UCS Manager的代理。5、Backplane：刀片机箱backplane负责向IOM、CMC、刀片提供电源，也为IOM和刀片提供以太连接。6、Fabric Interconnect：UCS 6100系列Fabric Interconnect可以提供20-40个端口，20端口的FI高度为1U,40端口的FI高度为2U，同时具备1-2个扩展模块 （Expansion Module），Expansion Module可以为LAN和SAN提供扩展能力，扩展模块有3类，分别有8口仅Fiber Channel的，4个10G以太口，4个4G的Fiber Channel口混合，6口10G全以太口的。7、刀片：UCS刀片目前有以下几种类型：1、B200-M1，半宽，支持2颗Intel Xeon 5500系列处理器，12个DIMM插槽，2个SAS硬盘插槽，1个mezzanine插槽；2、B200-M2，半宽，支持2颗Intel Xeon 5600系列处理器，12个DIMM插槽，2个SAS硬盘插槽，1个mezzanine插槽；3、B250-M1，全宽，支持2颗Intel Xeon 5500系列处理器，48个DIMM插槽，2个SAS硬盘插槽，2个mezzanine插槽。4、B250-M2，全宽，支持2颗Intel Xeon 5600系列处理器，48个DIMM插槽，2个SAS硬盘插槽，2个mezzanine插槽。5、B440-M1，全宽，支持4颗Intel Xeon 7500系列处理器，32个DIMM插槽，4个SAS硬盘插槽，2个mezzanine插槽。如果只配置1个CPU时，必须置于插槽1内，同一台刀片上的多个CPU必须相同，同一个刀片机箱内的CPU可以不同。每个UCS刀片的本机硬盘可以与UCS的stateless特性配合，在Service Profile迁移时，清空硬盘上的所有数据。RAID配置也可以在Service Policy中配置和迁移。8、Mezzanine I/O Adapters：刀片上的适配卡类型，或是mezzanine卡类型，包括以下几种：VIC M81KR： 虚拟接口卡，支持vNIC和vHBAs,10G，支持冗余切换CNA M71KR-E：Emulex CNA，带专用FCoE引擎，支持冗余切换，10GCNA M71KR-Q：Qlogic CNA，带专用FCoE引擎，支持冗余切换，10G82598KR-CI： 10G ethernet network adapter，intel，需要操作系统配合实现FCoE，不支持冗余切换9、Vmware Integration：思科与VMWARE合作，将接入层移进虚拟环境，在VM 级别提供增强的网络功能。根据数据中心的设计与需求，可以采用硬件、软件两种不同的解决方案，均可提供VM visibility，Policy-based VM connectivity，Policy mobility，nondisruptive operational model10、Nexus 1000V：Nexus 1000V为VMware ESX提供增强的VM switching功能。Virtual Supervisor Module（VSM）：实现管理、监控、配置功能，并且与VMware Virtual Center（vCenter）紧密集成。Virtual Ethernet Module（VEM）：激活hypervisor的高级网络特性为每个VM提供虚拟专用的switch port总之：1、UCS刀片机箱向刀片提供必要的电源、散热、网络连接2、UCS Fabric Interconnect和IOM可以通过10G以太通道，同时对存储和数据做转发。所有流量在uplink处汇聚，在Fabric Interconnect做switching。3、UCS刀片有普通、内存扩展、高性能三种模型，支持2/4路CPU，可靠的内存管理和I/O性能4、UCS系统可以使用VN tagging或Nexus 1000V在虚拟网络级做到物理网络控制。四、UCS 管理架构1、 UCS Manager：UCS manager所有的管理行为都是通过GUI/CLI/API方式，并且基于 Fabric Interconnect的，然后使用专用VLAN4044连接刀片机箱IOM上的管理控制模块（CMC-chassis management controller）。与刀片机箱相关的管理任务，通过冗余的串行链路实现。与IOM相关的管理任务，通过I2C（Interintegrated circuit）实现。与刀片相关的管理任务，通过专用冗余的以太链路连接至刀片主板的BMC（baseboard management controller）实现总之无论是刀片机箱，还是IOM，或是刀片，所有的管理任务都是通过内部通道，汇聚至fabric interconnect 6100上，以实现6100上的单点管理。UCS 的管理是通过Fabric Interconnect上安装的UCS Manager来实现的，UCS manager接受来自于GUI,CLI，以及XML API的管理请求，有些刀片有管理或是通告也可以通过IPMI（Intelligent Platform Management Interface），刀片的KVM（Keboard/Video/Mouse）同样如此。UCS Management Software运行在安装了Cisco Nexus Operating System（NOS）的Fabric Interconnect上，UCS manager可以通过Fabric Interconnect上的管理接口访问。2、Chassis Management Controller（CMC）：IOM 是刀片机箱上的物理组件，CMC（chassis management controller）是它的管理核心，CMC通过I2C串行总线，使用Intelligent Platform Management Interface（IPMI）收集数据，然后通过以太链路与刀片做管理信息交互，CMC可以控制供电、散热，并且能够作为UCS manager的代理去控制刀片。CMC是IOS上的管理模块，其实它是作为一个桥梁，连接Fabric Interconnect上的UCS manager与刀片的BMC。3、BMC：刀片通过baseboard management controller（BMC）与CMC交互lights-out、KVM以及其它信息。4、UCS management assignment:Role-based access control（RBAC）可以给不同管理员分配不同的权限，以管理不同的域。UCS 6100 Fabric Interconnect可以运行在Ethernet host virtualizer（EHV）模式，或是作为一台传统的以太交换机，同时可以为SAN运行在N_Port virtulization模式。当Fabric Interconnect运行在switch模式下时，类似一台普通的二层接入交换机。以太网络管理员仍然负责LAN的配置，包括trunk、etherchannel等。当Fabric Interconnect运行在EHV模式时，它不会参与vtp或是stp，作为二层设备也不会参与路由协议。这时所需的配置也仅包括trunk与 etherchannel。UCS环境下，SAN管理员仍然需要负责将上行链路分配至合适的VSAN，创建logical unit number（LUN）。UCS Fabric Interconnect运行在NPV模式下，避免参与Fabric Shortest Path First（FSPF）。NPV模式基于N Port Identifier Virtualization（NPIV）标准，以便与其它厂商的SAN兼容。系统管理员仍然保持原有的角色，与维护传统服务器一样，负责所有操作系统的安装、调优，维护。 UCS不负责系统级的配置与管理。5、诊断信息UCS有多种不同的诊断工具例如LED，GUI，CLI并支持传统的排错工具与排错技术。6、管理解决方案集成外部管理工具通过XML-Application programming interface（API、Web-based enterprise management（WBEM）、SNMP、IPMI、SDK等接口或工具可以很容易地集成进UCS。Data management engine（DME）介于UCS硬件与软件之间，向接口提供API接口。UCS manager管理一个UCS Fabric。BMC BladeLogic可管理多个UCS：全局管理模板、全局MAC、WWWN、UUID，全局RBAC、全局监控及日志传统的刀片中心，每个管理模块只能管理一台设备（含多个刀片），但BMC BladeLogic可以管理多达40个刀片中心，320个刀片，并可以通过一次定义下的模板，复制到其它刀片中心上，由于MAC、WWWN、UUID等 属于全局分配，也就避免了管理员重复分配的可能。BMC BladeLogic将UCS扩展到了服务器软件层面，包括hypervisior层，操作系统及应用层。7、UCS manager高可用以及灾难恢复冗余互备的fabric interconnect通过专用链路同步数据库及状态数据。浮动管理IP为无缝切换提供条件主设备负责将数据库及状态数据及时同步给从设备。只有管理模式属于Active/standby，数据转发始终保持Active/Active（A/A）UCS manager的灾难恢复有多种方式，包括TFTP，secure copy protocol（SCP），FTPfull state备份包括硬件状态，包括service profile的关联情况configuration数据可以备份为XML格式，包括config-all，config-system和config-logicalXML格式的备份不包括与硬件刀片的关联情况，并可以在恢复前先行编辑。所有的配置文件都存储在UCS的数据库内。备份文件可以存在Fabric interconnect本地，或是通过FTP存储在远端设备上，而且可以实现定期备份以减轻管理员工具量。总之：1、所有的管理工作都可以通过UCS manager来实现，不需要直接连接设备（如Fabric Interconnect）或是通过子管理模块实现。2、网络与系统的管理模型没有变化3、UCS有许多监测与分析工具方便排错4、各类管理API接口方便第三方开发5、集群的Fabric Interconnects给管理以及数据转发提供了高可靠、高冗余6、UCS的备份及灾难恢复方式多样五、UCS 硬件安装1、UCS的电源有三种模式：Nonredundant：仅需配备最少的电源的模块，1块电源失效，整个机箱宕机N+1 redundancy：需额外配置1块电源，可负载分担，并做备份Grid redundancy(N+N)：需要额外多配置一套电源，提供最大的冗余刀片机箱的风扇模块可热插拔。硬件安装注意几个重点部件：1、Fabric interconnect2、Chassis3、IOM4、Blade ServerCISCO UCS平台的管理基于Fabric Interconnect.六、UCS各组成部分的连接与管理1、UCS 6100 Fabric Interconnect后面板左侧有单独RJ45 CONSOLE口1个同样在后面板左侧4个端口中，右上角端口为带外管理端口（Out-of-band/Lights-out），该口可分配IP并通过远程主机管理。后面板最左侧垂直排列的2个端口是Fabric Interconnect的集群（cluster）端口，上方为L1，下方为L2，集群端口的作用是为Fabric Interconnect提供心跳信息（heartbeat message）或其它服务于UCS Manager的高层协议信息。这两个端口的连接可采用IEEE802.3ad绑定，两端的IP地址是固定的，本端L1端口必须连接远端L1端口，避免混淆。2、IOM机箱上的两块IOM模块必须通过UCS management platform管理，不像Fabric Interconnect一样有直接的管理接口。3、刀片的连接排错期间，我们可以使用Blade dongle（包含DB9串口，VGA口，双USB口），把刀片看作一台独立的服务器操作。4、UCS机箱思科UCS 5108机箱通过内部的背板与8台刀片连接，背板同时承载了控制与数据流量。从外部看，刀片机箱拥有4个220V外部电源，刀片机箱没有直接管理模块。5、高可用性连接两台冗余的Fabric Interconnect通过L1-L1，L2-L2两条链路实现高可用。Fabric Interconnect A与IOM A的 1-4 uplink口互连Fabric Interconnect B与IOM B的 1-4 uplink口互连6、Fabric A/B DCOS网络Fabric A/B DCOS网络实体包括，数据包在以下三个实体之间传递：a、Fabric Interconnect的DCOS(Data Center Operating System of Cisco UCS Manager)实例b、刀片机箱IOM上的CMC(Chassis Management Controller)c、刀片mezzanine卡上的管理实例。Fabric A/B DCOS网络之间的流量包括2层协议数据，比如IOM的bootstrap数据包，用来network interface virtualization的virtual interface card协议数据包。这些数据包运行在VLAN 4042内。7、Fabric A/B Adapter Management(AM) NetworkAM负责连接DCOS实例与刀片mezzanine卡的管理模块，负责资源分配、标识定义、状态监控。2层协议数据包在两者之间实现刀片网卡的基本功能，3层IP数据包实现远程管理。以上数据包被分配至VLAN 4043。IP地址在刀片网卡启动过程中由UCS Manager根据算法自行分配。8、Fabric A/B AM Infrastructure Network基础网络提供系统级别的连接给AM、CMC和BMC。当UCS Manager发现有新的刀片机箱时，会通过网络将机箱号通告给CMC，并做进一步引导。所有上述数据通过VLAN 4404传递。9、Fabric A/B UCS Manager PXE NetworkPXE网络用来引导存储在UCS Manager内的的操作系统，VLAN 4047。10、Fabric Interconnect网络配置a. vlan 在UCS内全局配置 uplink链路启用trunk并包含所有在本UCS上配置过的VLANb. Port channel 使用UCS统一为uplink创建port channel 使用802.3ad或802.1ax作为channel协议11、全局VLAN配置在lan cloud标签下统一创建VLAN，默认该VLAN会同时出现在两个Fabric Interconnect上。不建议配置在单台Fabric Interconnect上。12、保留VLAN4042: UCS manager - chassis management4043:UCS manager - mezzanine adapters4044:UCS manager - CMC4047:PXE boot for cisco ucs utility OS(UUOS)13、port channel在lan cloud标签下的fabric a/b标签下创建port channel，port channel是针对某个特定fabric interconnect及特定端口的。14、VSAN全局配置基于单个Fabric Interconnect默认VSAN 1是预配置，不建议跑数据流量每个uplink目前仅支持一个VLANVLAN的创建在san cloud标签下的VSAN标签下，全局创建，创建的同时需要指定一个VLAN用于FCoE，并且不要与普通VLAN重名。总之：1、UCS 6100系列Fabric Interconnect的管理可以通过串行console口，带外IP，或是UCS manager GUI方式2、UCS chassis与IOM统一通过UCS manager管理3、UCS 6100为所有UCS组件提供管理通道（4042、4043、4044、4047），并且为UCS刀片节点的LAN/SAN提供数据通道。七、UCS用户管理界面1、图型界面，略过，前面说过的LAN cloud与SAN cloud标签就属于图型类GUI界面2、命令行界面：UCS的CLI界面同样可以用?查找相关命令，常用的几个命令如下：show fabric-interconnect inventory detailshow configurationscope类似于DOS或linux下的CD，如：UCS-6100-A# scope chassis 1UCS-6100-A /chassis # scope server 1UCS-6100-A /chassis/server # scope adapter 1UCS-6100-A /chassis/server/adapter # upUCS-6100-A /chassis/server # topUCS-6100-A#where可以让你找到自己目前的位置，类似linux下的pwdconnect命令让你连接到各个管理系统上，如：connect adapter : 管理mezzanine cardconnect bmc: 管理blade bmcconnect clp: 管理DMTF CLPconnect iom: 管理chassis IOMconnect local-mgmt: 管理local management cliconnect nxos: 管理cisco nexus operating system(nx-os) cli并可以使用该系统内的命令总结：1、Fabric interconnect提供GUI和CLI两种管理方式2、CLI分为三种模式，一是查看硬件的shell，二是查看交换组件的NX-OS模式，三是管理CLI3、管理CLI模式下可以在树型目录下切换八、UCS的启动与关闭1. fabric interconnectcisco ucs 6100通过后面板上的开关启动设备，重启时，可以通过console端口连接至local-mgmt模式，使用reboot命令。例:s6100-A# connect local-mgmts6100-A(local-mgmt)# reboot2. 计算节点的启动选择server标签下的service profile选项，点击右侧内容面板上方的general标签，点击boot server即可。3. 计算节点的关闭选择server - service profile - 点击右侧content面板中的shutdown server，请先确保该server上的操作系统已正常关闭。4. 计算节点的硬重启每个刀片前面板上都有一个reset按钮，可以在通过ucs manager无法软重启的情况下使用。5. I/O Module启动与关闭刀片机箱内的I/O模块没有独立的电源控制，仅仅作为6100 fabric interconnect的扩展，在刀片机箱后面板处的4个电源接通时自动启动。6. 电源状态监控电源状态可以通过fabric interconnect，和刀片机箱上的状态指示灯观测到。总结：1. fabric interconnect通过其后面板的开关启动，通过ucs manager或cli界面重启。2. 计算节点（刀片）使用service profile启动和关闭。3. ucs manager失效时可以通过计算节点（刀片）前面板右下角的reset按钮重启。4. ucs chassis（刀片机箱）和I/O模块没有电源开关，电源接通后立即启动。九、了解思科UCS manager1. UCS资源池思科统一计算将各种资源及其相关配置剥离开，以实现应用的快速、无状态部署。统一计算的资源可分为以下几钟：LAN、SAN、COMPUTE、MGMT（management）LAN资源：MAC地址，管理IP地址，VLAN以及LAN物理端口。SAN资源：VSAN、WWN（world wide name），WWN最重要的作用在于给service profile提供灵活的迁移性，WWN包含WWNN与WWPN，WWNN是world wide node name的简称，代表物理设备，比如HBA。WWPN是world wide port name的简称，指的是物理设备上的某个端口，比如一个双端口的HBA就会有两个WWPN，但是共享一个WWNN。COMPUTE资源：计算节点，firmwareMGMT资源：管理VLAN，服务器KVM（keyboard，video，mouse），底层控制以及UCS内部所有涉及管理的组件，都统一 通过fabric interconnect上的ucs manager进行管理。2. service profileUCS之所以能够实现快速部署的根本原因在于物理资源与配置的分离，前面提到了LAN/SAN/COMPUTE/MGMT等各种物理资源，这里 说的service profile就是剥离出来的配置信息。service profile从逻辑上看就像是一台服务器：identity：UUID，MAC，WWN配置：引导顺序，firmware，服务需求等连接：VLAN，VSAN，QOSservice profile使得计算节点变成无状态的，只有当它从ucs manager中取得service profile中定义的各种属性时，才是一个真正意义上的计算节点。service profile作为一个逻辑的刀片，不需要你去了解它实际上与哪台物理设备绑定，service profile包含了一台服务器所需的一切个性化配置比如identity，网络等。一个service profile一次只能与一台物理刀片绑定。另外即使你只想把