AIX操作系统LVM操作指导书.doc

AIX操作系统LVM操作指导书内部公开AIX操作系统LVM操作指导书关键词：AIX、LVM摘要：本指导书描述了在AIX服务器IX1000存储环境下，如何使用AIX提供的LVM功能，对IX1000中的IP SAN资源进行虚拟化管理，通过LVM在主机操作系统上对2台IX1000上的SAN分区作镜像，克服IX1000目前由于单控制器的弱点，实现存储的故障保护。缩略语清单：版本号验证人更新时间更新说明1 AIX下LVM概述1.1 基本概念PV (Physical Volume)：物理卷，指物理磁盘，是系统的主要存储设备，可以是内部的、外接的或是活动的。VG (Volume Group)：卷组，是若干个(1-32)物理卷的集合。卷组中可以包括不同类型的磁盘。一个物理卷只能属于一个卷组。PP (Physical Partition)：物理分区，是磁盘空间分配的最小单位。它是1MB-256MB( 若PP1M,则必须是4兆的倍数)的一块连续的磁盘空间。同一卷组中所有物理卷上物理分区的大小必须相同，一个物理卷中最多可有1016个PPLP (Logical Partition)：逻辑分区。通常情况下，LP和PP是一一对应的，但是当对LP做了镜像时，一个LP就可能对应2-3个PP了。逻辑分区中的物理分区可以来自不同的物理卷LV(Logical Volume)：逻辑卷，由若干个逻辑分区（不超过35512个LP）组成，可供程序作为一个设备使用，它通常用于建立文件系统，也可用作Pagine Space 、JFSLOG 或是作为裸设备供数据库系统使用。Mirror(镜像)：镜像指的是对存放在逻辑块上的数据的复制。AIX可以做单镜像（将数据置成两份来存放），也可以做双镜像（做三份存放）VGDA(Volume Group Description Area,卷组描述区)：VGDA存在于每一个PV的开始处，用于描述该PV所属的VG所包含的所有LV和PV信息。VGDA的存在使得每一个VG都可以自我描述。每个PV上VGDA的个数随组成该VG的PV个数的不同而不同：若VG中包含单个PV，则该PV上有两个VGDA；若VG中包含两个PV，则一个PV上有两个VGDA，另一个PV上有一个VGDA；若VG中包含三个或三个以上的PV，则每个PV上都有一个VGDA。VGSA(Volume Group Status Area,卷组状态区)：用于描述一个VG中所有的PP和PV的状态信息。1.2 LVM模型AIX下的存储管理模型如下：对于一个物理磁盘（本地硬盘或者是SAN逻辑卷资源），必须加到Volume Group（VG）中才能正在被使用。1个或多个物料磁盘（PV）构成了AIX下的虚拟存储池VG。通过在VG中创建的一个个逻辑卷（LV），应用程序可以创建文件系统、交换空间或作为裸设备使用。应用程序正在能使用的存储资源是LV。下图是逻辑卷和物料磁盘之间的存储映射关系：2 安装环境：2.1 应用系统信息操作系统版本：AIX 5L 5.2、AIX 5L 5.3Initiator版本：（1） AIX5.2：操作系统自带，需要安装补丁mon.IBM.scsi.rte.5.bff、devices.iscsi_sw.rte.6.bff（2） AIX5.3：操作系统自带，需要安装补丁mon.IBM.scsi.rte.0.bff、devices.iscsi_sw.rte.0.bff典型的系统环境如下：如上图所示，两台IX1000各分配相同大小的两个SAN卷Volume1和Volume2，分别映射到AIX中的PV1、PV2，PV1和PV2组成VG1，在VG1上作Mirror。保证应用程序的数据同步写入Volume1和Volume2中。如果其中1台IX1000故障，导致AIX上PV1和PV2中的一个无法访问，对于应用程序来说，由于实施了VG的镜像，IO操作仍然可以继续，业务可以继续。3 配置过程在进行配置之前，请确保AIX系统已经安装好initiator以及最新的iSCSI补丁，具体安装过程可以参见AIX操作系统下Initiator的安装配置指导书。配置好IX1000上的存储资源。具体配置过程如下：3.1 存储资源及镜像配置1、PV资源发现确保iSCSI已经正确配置。使用如下命令发现IP SAN资源：#cfgmgr l iscsi0说明：通常情况下，AIX系统的iscsi驱动设备名称对应为iscsi0如果上述命令没有返回错误信息，可以通过下面命令查看系统发现的PV资源：#lspvhdisk0 00ca05eab274eb95 None hdisk1 00ca05ea2e1abea6 rootvg activehdisk2 None None hdisk3 None None 其中hdisk2是IX1000-1中分配的存储资源在AIX系统中的映射；hdisk3是是IX1000-2中分配的存储资源在AIX系统中的映射。以下所有的配置以此为例。2、创建VG通过下面的命令行创建vg1（下面的配置以此为例）：#mkvg f y vg1 hdisk2 这里先将hdisk2加入vg1中。以上配置也可以通过smit mkvg实现。3、创建逻辑卷通过命令行或smit mklv创建lv1（下面的配置以此为例）：4、扩展卷组#extendvg f vg1 hdisk3这里将hdisk3也加入vg1。5、配置卷组镜像#mirrorvg vg1 hdisk3上面的命令将原先创建在hdisk2上的逻辑卷镜像到hdisk3上，以后所有的lv1的IO操作将同步对hdisk3进行操作。3.2 某一个PV失效后的恢复操作如果某一个PV失效（如某一台IX1000故障或连接的网络不同）。此时应用程序仍然可以正常的读写LVM管理的逻辑卷，但是由于镜像组的一块磁盘不可用，系统存在单点故障风险，需要及时进行恢复，对失效的PV进行替换。以下以hdisk2失效为例，具体配置过程如下：1、取消vg1的镜像配置#unmirrorvg vg1 hdisk22、将失效磁盘从卷组中移除#reducevg vg1 hdisk23、删除失效磁盘#rmdev dl hdisk24、在存储设备或网络修复后，重新分配IP SAN资源，并重新指定给AIX系统。5、在AIX上重新执行磁盘发现#cfgmgr l iscsi0通常情况下，新发现的磁盘仍然为hdisk2。6、重新将hdisk2加入vg1#extendvg f vg1 hdisk27、重新执行vg镜像#mirrorvg vg1 hdisk23.34 配置中发现的其它问题及经验总结4.1 问题跟踪列表序号问题简述责任人发现日期解决方法5 附：AIX下物理卷丢失的自动通知实现5.1 应用概述 如果有物理卷丢失，AIX将在系统错误日志中纪录一个LV_SA_PVMISS错误。但是，除非系统管理员检查日志或者用户遇到问题，这个错误将难于发现，即使系统管理员周期性的检查日志，在发现错误时，错误可能已经存在了一段时间。如果丢失的物理卷是一个镜像卷组的一部分，这种错误就更难于察觉，用户也感觉不到任何异常，因为在系统中，它们存取的数据仍有一个好的“拷贝”存在。 因此，很多系统管理员希望能有一个自动通知的机制，一旦有丢失卷的情况出现，能及时通知管理员，以缩短错误存在的相应时间或降低系统风险。另一方面，在LV_SA_PVMISS错误发生时，触发一个自动通知机制在技术上也是可能的。下面的步骤即描述怎样增加错误通知到ODM库（对象数据管理器）并且建立一个示范脚本执行错误通知，当有LV_SA_PVMISS生成的时候，在控制台显示一个错误信息并且发邮件给root用户。 5.2 操作过程 注意：必须以root用户登录执行以下步骤。 1. 备份errnotify ODM 文件 # cd /etc/objrepos # cp errnotify errnotify.MMDDYY (替换MMDDYY为当前的日期。) 2. 创建文件/tmp/pvmiss.add 并且包含以下小节（ stanza）： errnotify: en_pid = 0 en_name = LVM_SA_PVMISS en_persistenceflg = 1 en_label = LVM_SA_PVMISS en_crcid = 0 en_class = H en_type = UNKN en_alertflg = en_resource = LVDD en_rtype = NONE en_rclass = NONE en_method = /usr/lib/ras/pvmiss.notify $1 $2 $3 $4 $5 $6 $7 $8 $9 注意：错误通知后台程序（daemon）将会把$1到$9 按以下内容替换扩充 $1 错误日志项（error log entry）的序号 $2 错误日志项的ID $3 错误日志项的类属 $4 错误日志项的类型 $5 错误日志项的警示标志 $6 资源名称 $7 资源类型 $8 资源类属 $9 错误标号 3. 创建脚本文件 /usr/lib/ras/pvmiss.notify， 包含如下内容： #!/bin/ksh exec 3/dev/console print -u3 ? print -u3 - - print -u3 WARNING! WARNING! WARNING! WARNING! WARNING! WARNING! WARNING! print -u3 print -u3 Desc: PHYSICAL VOLUME DECLARED MISSING. PLEASE SEE ERRPT. print -u3 print -u3 Error Label: $9 print -u3 Sequence number: $1 print -u3 Error ID: $2 print -u3 Error Class: $3 print -u3 Error Type: $4 print -u3 Resource Name: $6 print -u3 Resource Type: $7 print -u3 Resource Class: $8 print -u3 - - print -u3 ? mail -s PHYSICAL VOLUME DECLARED MISSING root -EOF - WARNING! WARNING! WARNING! WARNING! WARNING! WARNING! WARNING! WARNING! Desc: PHYSICAL VOLUME DECLARED MISSING. PLEASE SEE ERRPT. Error Label: $9 Sequence number: $1 Error ID: $2 Error Class: $3 Error Type: $4 Resource Name: $6 Resource Type: $7 Resource Class: $8 - EOF 4. 为/usr/lib/ras/pvmiss.notify设置适当的权限，键入： # chmod 755 /usr/lib/ras/pvmiss.notify 5. 为LVM_SA_PVMISS增加errnotify 节到ODM，键入： # odm