基准和接入实验室Power平台运维方法

1、基准和接入实验室Power平台运维开发中心侯祥君2015.9POWER概况p实验室现已在Power上部署了三套基准测试环境（J1/J2/J3）和接入测试环境（R1/R2/R3)约520个分区。p环境中大部分AIX系统分区位于4台POWER_780及4台750上，每台P780都为64c的cpu现在剩余约15c左右，每台部署了约80个分区。每个P750都为32c的cpu现在剩余1c左右，每台约40个分区。p实验室中绝大部分AIX分区(约500个)都是基于PowerVM的。POWER概况vJ3环境的POWER平台分区以生产环境备份恢复，包括rootvg、apvg、datavg, 部分VG参照生产重新

2、创建，包括ASM磁盘、GPFS文件系统和数据库数据。vJ1/J2环境则已J3为模板进行vg备份恢复。部分VG参照生产进行重新创建。PowerVM设计思路vPowerVM 具有VIO Server（VIOS）和VIO Client（VIOC）两个层面，主要分为CPU及内存规划、物理通道规划和虚拟通道规划三个方面。v先了解一下，什么是PowerVM ，我们看下图。PowerVM概述左边一张是传统 I/O 结构图，硬盘和外设挂载到 I/O 适配器上，通过 I/O 处理器连接到系统总线并与 CPU 和内存进行数据交互。右边一张是虚拟 IO 服务器的结构图，硬盘挂载到物理 I/O 适配器后，由虚拟 IO

3、 服务器统一管理，虚拟 IO 服务器将物理适配器虚拟化后，经由虚拟适配器通过虚拟 SCSI 层连接到客户分区进行数据交互。PowerVM 能够针对于客户分区来虚拟化 Power 主机的处理器、内存、存储及 I/O 资源，使我们的 主机资源得以充分的利用，更加方便扩展，在扩充虚拟机的时候并不一定需要增加硬件。计算资源设计我们看一个分区cpu属性计算资源设计vPowerVM的共享CPU池技术（share processor）可以根据用户分区的负载，以0.1颗CPU为粒度分配CPU的运算能力。v图中的CPU分为Min（最小值）、Des（已分配）和Max（最大值）三个值，Min表示分区启动所需的最小C

4、PU数，Des表示分区可以获得的运算能力。Max表示分区在Dlpar时可以调整的CPU最大值。计算资源设计v图中的虚拟处理器数（VP）也分为Min、Des和Max三个值。vMin和Max用于Dlpar时调整VP的数量，VP 已分配值是分区的运算负载分布在多少颗CPU上。比如一个处理单元 Des为1，而VP Des为2的分区，表示分区会使用两个物理CPU的运算时钟周期，但是每个CPU只使用50%，总共提供1个CPU的运算能力v注意这三个值都应该是整数，并且他们分别被对应的Entitlement值除时应该大于0.1计算资源设计v主机每过10ms会对分区的忙闲程度做评估，然后按需分配不同分区使用物理

5、CPU的比例。如果剩余的CPU数量有限，Weight值大的分区在与其他分区争用CPU时能够取得较多部分。这个后面还将详细说一下。计算资源设计v内存规划的分配与CPU类似，Min和Max确定了Dlpar的区间，Des是分区启动时尝试取得的内存数量。注意Max不能大于Min的64倍。v我们的计算资源分配分别为生产系统的5%、5%、20%。v物理通道规划物理通道规划v我们使用了VIOS来管理所有的网络和存储的IO，要把板卡冗余地分配给两个VIOS即可，下表为VIOS的硬件IO卡划分例子。虚拟通道规划虚拟通道规划v在搭建VIOS环境的过程中，要建立分区规划的虚拟网络及存储通道表。这有助于在后期对系统的

6、整体维护。v在使用VSCSI方式的模式下，我们用下面这个表格演示虚拟卡之间的关系，注意这个表格中ent、vhost、hdisk号是在系统安装完后才能确定。表中分别列出了VIOS1、VIOS2和VIOC的虚拟以太网卡（VEA）、虚拟SCSI卡（VSA）等内容的对应关系。 在两个VIOS中，建立了Slot ID 11的虚拟以太网卡，Slot ID 99的心跳线，20、30、40号卡为虚拟SCSI卡，用于绑定VIOC的虚拟SCSI卡提供磁盘、虚拟光驱等设备。 SEA下面的ent4是VIOS中用于桥接物理网卡和虚拟网卡而产生的以太网设备。两个VIOS需要有不同的优先级。虚拟通道规划虚拟通道规划v我们建

7、立Shared Ethernet Adapter（SEA）实现VLAN1和外部网络的桥接。建立SEA之前，我们需要确认两个方面，首先，VIOS1和VIOS2用于创建SEA的虚拟以太网卡的trunk是不一样的。其次，VIOS1和VIOS2用于心跳的虚拟以太网卡是在同一个VLAN里面。v这本例里面，就是确认VIOS1的11号卡trunk为2、VIOS2的11号卡trunk为1、并且VIOS1的99号卡和VIOS2的99号卡都处在VLAN99上。v这些检查步骤能够有效地预防网络风暴的产生。v下面的命令在两个VIOS中输入，注意命令需要完整：vmkvdev -sea ent0 -vadapter en

8、t20 -default ent20 -defaultid 3501 -attr ha_mode=auto ctl_chan=ent36 vmkvdev -sea ent0 -vadapter ent2 -default ent2 -defaultid 1 -attr ha_mode=auto ctl_chan=ent3vent0 （插槽ID为11）是桥接SEA使用的物理卡，ent2是默认VLANID为1的VEA（插槽ID为11）；ent3是VLAN为99的VEA（插槽ID为99），用来做心跳控制；ha_mode为自动切换模式，两个VIOS都要安装以上的参数规定进行设置。Npiv下的虚拟光纤卡

9、通道规划我们给每个 LPAR 配备四个虚拟 FC 适配器。将头两个虚拟 FC 适配器映射到第一个 VIOS 的头两个虚拟 FC 端口，并将最后两个虚拟 FC 适配器映射到第二个 VIOS 的头两个物理 FC 端口。如下图所示。其中蓝色数据流量从 客户分区 上的虚拟适配器 vfcs0 和 vfcs1 通过vfchost映射到 vios1 上第一个 FC 适配器上的物理端口 fcs0 和 fcs1。同样 虚拟 FC 适配器 vfcs2 和 vfcs3 映射到 vios2 上第一个 FC 适配器的物理端口 fcs0 和 fcs1。建立建立VIO Serverv我们首先要在服务器上建立前面提到的VIO

10、S.v如下图在HMC所管理的服务器上选择左侧server菜单下的POWER服务器建立虚拟IO 服务器分区，选择配置 - 创建逻辑分区 - VIO 服务器。建立建立VIO Serverv输入分区标识 和名称, 完成后继续选择下一步。建立建立VIO Serverv然后输入概要文件名，完成后继续选择下一步后，选择CPU的配置。vcpu受限与不受限，可以在这里选择。受限和非受限分区的差别。如果是受限分区，负载很重的话，分配也会恒定在某一个地方，你给它多少个CPU处理能力，就恒定在那里，有空闲的资源也达不到，如果是非受限分区，当它的负载要求很高的时候，它可以拿到更多的资源，并且整个CPU池中空闲的资源都

11、可以被它拿到。加权范围值，这个数值越高优先级越高，如果是0代表不可能拿到更多的CPU。不受限逻辑分区所使用的处理单元的总数可以临时地超出对不受限逻辑分区指定的最大数量v不受限权重必须是 0 到 255 的整数。更大的数目表示它接收到的空闲处理单元所占的比例更高。不受限逻辑分区的缺省不受限权重是 128。如果将不受限权重设置为 0，那么受管系统将逻辑分区视为受限逻辑分区。不受限权重为 0 的逻辑分区所使用的处理单元不能多于落实至该逻辑分区的处理单元。v下一步内存、IO设置依据规划分配便可。建立建立VIO Serverv创建虚拟适配器。v注意虚拟适配器的槽位号分配。VIOS系统是通过槽位号来区分虚

12、拟卡。建立建立VIO Server此图是创建虚拟以太网卡，适配器标识为虚拟卡槽位号。 如果vios上对外虚拟以太网卡VLAN ID设为130，配置VIO Client时需要把虚拟以太网卡的VLAN ID也指定为130，这样客户机分区就可以通过VIO Server连接外网，两个VIO Server上的优先级值不能相同，优先级值小的1优先级高）建立建立VIO Server逻辑主机以太网适配器、主机通道适配器（HCA）不用配置，直接点击下一步。预览概要文件配置信息，如果确认完成，选择完成. 虚拟IO服务器 概要文件 配置建立完成 。建立建立VIO Serverv分区概要创建完成后就相当于有了一台虚拟

13、机硬件，下一步就可以装系统了，按照一般的AIX安装步骤即可。v在安装VIOS系统时要注意系统版本选择：企业版和标准版，他们就差别就一点，它可以做动态分区迁移，第三种是快捷版，实际上它只支持POWER6的520和550上使用，它相当于比较粗略的版本，功能有一定的限制。采用PowerVM初级版，每一个服务器上最多有三个分区。v客户端分区与VIOS分区建立步骤相似，在第一步选择AIX分区选项。注意客户分区的虚拟卡规划。分区管理v分区的启停 这是分区关机状态下的控制栏，这里可以用激活概要文件来启动当前分区，在分区开机状态下操作栏下的激活变为关闭分区与重新启动。 这里也可以删除分区。通过管理概要文件来配置虚拟机IO卡，配置后的概要文件需要重启激活才能生效.延迟延迟：HMC 将使用延迟的断电序列关闭该逻辑分区。这使该逻辑分区有时间结束作业并将数据写入磁盘。如果该逻辑分区无法在预先确定的时间内关闭，那么它将异常结束，并且下次重新启动所需的时间将比正常情况长。立即立即：HMC 将立即关闭该逻辑分区。HMC 将立即结束所有活动作业。不允许那些作业中运行的程序执行任何作业清除工作。如果已经更新了部分数据，那么此选项可能会导致不良后