Veritas-Cluster用户使用手册.doc

VERITAS ENTERPRISE CONSULTING SERVICES GROUPVCS用户使用手册Last Update: Tue Sep 30 19:20:00 EAT 2003日常管理4命令列表4命令一览8VCS缺省值10GABCONFIG设置选项11VCS 安装包 SOLARIS11VCS 安装12VCS系统上的进程12VCS启动配置文件13VCS操作命令13LLT GAB命令操作13离线维护过程25LOGS 日志信息25手工升级维护过程26WEB 界面地址29VCS QUICKSTART 命令29GAB LLT 端口29VERITAS TCP端口30图形界面使用指南31在使用图形管理界面之前31设置图形显示界面31关于集群管理器用户31通过命令行添加一个用户31启动集群管理器32添加和设置一个集群面板32集群管理器窗口33集群监视器33集群浏览器34命令中心40集群窗口框42模板浏览窗口42管理集群43启动/关闭一个集群43从集群管理器中管理用户。44设置用户45获取集群极其对象的状态信息46打开、保存、关闭集群设置47管理集群对象47添加和删除服务组48添加/删除资源49添加/删除系统50管理资源和服务组关系50为一个服务组管理系统52将服务组启动52将服务组解除在线使用53将资源启动在线54使资源组脱机54使用向导创建一个新的服务组55浏览日志信息56进口额外资源类型信息57设置编辑者57日常管理命令列表操作命令DLPI得MAC地址/opt/VRTSllt/getmac /dev/qe:0设置DLPI的server测试端/opt/VRTSllt/dlpiping -vs /dev/qe:0设置DLPI的client测试端/opt/VRTSllt/dlpiping -vc /dev/qe:0 mac_sys_remote(Low Latency Transport) LLT 启动LLT/sbin/lltconfig c停止LLT (GAB 也需要被停止)/sbin/lltconfig U从内核中卸载 LLTmodinfo | grep lltmodunload -i mod_id显示LLT状态/sbin/lltstat l/sbin/lltstat n/sbin/lltstat vvn启动LLT的 server测试端/opt/VRTSllt/llttest -p areceive -c 1000q启动LLT的客户测试端/opt/VRTSllt/llttest -p atransmit -n det_node_id -c 1000q(Group Atomic Broadcast) GAB 启动GAB/sbin/gabconfig c停止GAB/sbin/gabconfig U从内核中卸载GABmodinfo | grep gabmodunload -i mod_id显示GAB状态/sbin/gabconfig a手工广播GAB/sbin/gabconfig c -x如果三个系统都在线就启动GAB/sbin/gabconfig c -n 3显示gabdisks/sbin/gabdisk l初始化用于VxVM GAB的磁盘/opt/VRTSvcs/bin/hahbsetup c1t1d0Cluster配置校验配置信息hacf -verify /etc/VRTSvcs/conf/config生成main.cf hacf -generate /etc/VRTSvcs/conf/config将main.cf转化为main.cmdhacf -cftocmd /etc/VRTSvcs/conf/config将main.cmd转化为main.cfhacf -cmdtocf /etc/VRTSvcs/conf/configCluster控制在本地启动hastart本地stale启动hastart -force启动并设置本地配置为stalehastart -stale本地停止hastop -local在所有系统上停止hastop -all在所有系统上强制停止hastop -all -force在某个系统上停止hastop -sys sysname在线更改配置使配置信息可读写haconf makerw将运行的配置信息导到磁盘haconf dump使配置信息只读haconf -dump makero服务组控制在一个系统上启动服务组hagrp -online service_group -sys system_name在一个系统上停止服务组hagrp -offline service_group -sys system_name将服务组切换到另一个系统上hagrp -switch service_group -to system_name显示服务组信息hagrp display service_group暂停服务组hagrp -freeze service_group -persistent解冻服务组hagrp -thaw service_group -persistent建立服务组间的依赖关系hagrp -link parent_group child_group dependency列出服务组中的资源hagrp -resources group_name资源控制将资源离线hares offline sybase_ip sys tom在线修改资源的属性hares modify sybase_ip Address 195.10.10.1在线资源hares online sybase_ip sys tom修改一个资源为non-criticalhares modify sybase_fs Critical 0清楚一个失败资源的错误hares clear resource_name -sys system_name创建资源的依赖关系hares -link sybase_ip sybase_NIC资源类型控制修改进程类型的重起限制为1hatype modify Process RestartLimit 1修改Mount资源类型的监控间隔hatype modify Mount MonitorInterval 120允许详细debugging IP资源hatype modify IP LogLevel all图形界面管理创建一个用户hauser -add username创建Cluster管理员haclus -modify Administrators -add user启动图形界面/opt/VRTSvcs/bin/hagui命令一览启动 VCS启动图形界面hastart (-force) (-stale)hagui停止 VCS# hastop -local -force | -evacuate-local 在你运行命令的系统上停止had # hastop -sys system_name -force | -evacuate-sys在你定义的系统上停止had# hastop -all -force-all停止cluster中所有系统的had在线更改VCS配置信息haconf makerw make changeshaconf dump makrero得到当前的Cluster状态# hastatus -summary代理的操作手工启动和停止代理.# haagent -start agent_name -sys system_name# haagent -stop agent_name -sys system_name添加和删除用户添加对VCS配置信息有读写权限的用户# hauser -add user_nameEnter a password when prompted.添加cluster管理员# haclus -modify Administrators -add user 修改用户密码# hauser -modify user_nameEnter a new password when prompted.删除用户# hauser -delete user_name显示所有用户信息# hauser -display user_name系统操作列出cluster中所有系统.# hasys -list得到每个系统的详细信息.# hasys -display system_name在cluster中添加一个新系统# hasys -add system_name删除一个系统# hasys -delete system_name资源类型列出所有的资源类型# hatype -list得到某种资源类型的详细信息# hatype -display type_name列出某种类型的所有资源# hatype -resources type_name添加一种资源类型# hatype -add resource_type设置资源类型的参数值# hatype -modify .删除一种资源类型# hatype -delete resource_type在VCS配置中添加一种资源类型# hattr -add resource_type attribute修改资源类型的缺省值# hattr -default resource_type attribute new_value删除资源类型的属性# hattr -delete resource_type attribute资源操作列出所有的资源# hares -list列出一种资源的依赖性# hares -dep resource_ name列出一种资源的详细信息# hares -display resource_ name添加一种资源# hares -add resource_name resource_type service_group修改资源的属性# hares -modify resource_name attribute_name value删除一种资源# hares -delete resource_name在线一种资源# hares -online resource_name -sys system_name离线一种资源# hares -offline resource_name -sys system_name使代理立刻监控一个系统上的资源# hares -probe resource_name -sys system_name清除失败资源的错误# hares -clear resource_name -sys system_name 使资源的属性本地化# hares local resource_name attribute_name value使资源的属性全局化# hares global resource_name attribute_name value定义两个资源间的依赖关系# hares -link resource_name resource_it_depends_on删除两个资源间的依赖关系# hares -unlink resource_name resource_it_depends_on服务组操作列出所有的服务组# hagrp -list列出一个服务组资源# hagrp -resources service_group列出服务组的依赖关系# hagrp -dep service_ group得到服务组的详细信息# hagrp -display service_ group启动一个服务组# hagrp -online service_group sys system_name停止一个服务组# hagrp -offline service_group -sys system_name将服务组从一个系统切换到另一个系统# hagrp -switch service_group -to to_system 暂停一个服务组.# hagrp -freeze service_group -persistent解冻一个服务组# hagrp -unfreeze service_group -persistent允许一个服务组# hagrp -enable service_group -sys system_name禁止一个服务组# hagrp -disable service_group -sys system_name允许一个服务组中的所有资源# hagrp -enableresources service_group禁止一个服务组中的所有资源# hagrp -disableresources service_group定义两个服务组间的依赖关系# hagrp -link parent_group child_group relationship删除两个服务组间的依赖关系# hagrp -unlink parent_group child_groupVCS缺省值私网中的心跳频率 = 0.5 sec 可以在 /etc/llttab 修改 1/100th secs.Low-Pri 网络心跳频率 = 1.0 sec 可以在 /etc/llttab 修改 1/100th secs.重起后切换的间隔 = 60 sec 可以在案hasyss ShutdownTimeout属性中修改资源监控间隔 (资源类型) = 60 sec监控离线的资源 (资源类型) = 300 secLLT宣告系统死亡时间 = 21 sec (16 sec peer inactive + 5 sec GAB stable timeout value) Peer inactive可以用set-timer 在 /etc/llttab中修改草案1/100th secs. Stable timeout value可以用gabconfig -t修改.GAB-Had心跳 = 15 sec (通过VCS_GAB_TIMEOUT环境变量设置,单位 milliseconds, 需要重起had)GAB允许HAD在panic前被杀掉的时间 (IOFENCE) = 15 sec (通过 gabconfig f设置)最多网络心跳 = 8最多磁盘心跳 = 4VCS had engine端口 14141VCS Web Server端口 = 8181LLT SAP 值 = 0xcafeGABCONFIG设置选项在系统上运行 gabconfig -l 会显示当前的GAB设置.可以通过gabconfig修改.例子:draconis # gabconfig -lGAB Driver ConfigurationDriver state : ConfiguredPartition arbitration: DisabledControl port seed : EnabledHalt on process death: DisabledMissed heartbeat halt: DisabledHalt on rejoin : DisabledKeep on killing : DisabledRestart : EnabledNode count : 2Disk HB interval (ms): 1000Disk HB miss count : 4IOFENCE timeout (ms) : 15000Stable timeout (ms) : 5000gabconfig的选项如何对应修改的值:Driver state -cPartition arbitration -sControl port seed -n2 or -xHalt on process death -pMissed heartbeat halt -bHalt on rejoin -jKeep on killing -kIOFENCE timeout (ms) -fStable timeout (ms) -tVCS 安装包 SOLARISVRTScscm, VCS Cluster Manager (Java Console)_ VRTSgab, Group Membership and Atomic Broadcast_ VRTSllt, Low Latency Transport_ VRTSperl, Perl for VRTSvcs_ VRTSvcs, VERITAS Cluster Server_ VRTSvcsag, VCS Bundled Agents_ VRTSvcsmg, VCS Message Catalogs_ VRTSvcsmn, VCS Manual Pages_ VRTSvcsor, VCS Oracle Enterprise Extension_ VRTSvcsw, Cluster Manager (Web Console)_ VRTSvlic, VERITAS License Utilities_ VRTSweb, VERITAS Web GUI Engine_ VRTSvcsdc, VCS Documentation.VCS 安装安装必须按照如下顺序: VRTSllt VRTSgab VRTSvcs VRTSperl VRTScscm VRTSvcsorVCS系统上的进程在VCS系统上可以发现一些如下的进程: root 577 1 0 Sep 14 ? 16:53 /opt/VRTSvcs/bin/had root 582 1 0 Sep 14 ? 0:00 /opt/VRTSvcs/bin/hashadow root 601 1 0 Sep 14 ? 2:33 /opt/VRTSvcs/bin/DiskGroup/DiskGroupAgent -type DiskGroup root 603 1 0 Sep 14 ? 0:56 /opt/VRTSvcs/bin/IP/IPAgent -type IP root 605 1 0 Sep 14 ? 10:17 /opt/VRTSvcs/bin/Mount/MountAgent -type Mount root 607 1 0 Sep 14 ? 11:23 /opt/VRTSvcs/bin/NIC/NICAgent -type NIC root 609 1 0 Sep 14 ? 31:14 /opt/VRTSvcs/bin/Oracle/OracleAgent -type Oracle root 611 1 0 Sep 14 ? 3:34 /opt/VRTSvcs/bin/SPlex/SPlexAgent -type SPlex root 613 1 0 Sep 14 ? 8:06 /opt/VRTSvcs/bin/Sqlnet/SqlnetAgent -type Sqlnet root 20608 20580 0 12:04:03 pts/1 0:20 /opt/VRTSvcs/bin/./gui/jre1.1.6/bin/./bin/sparc/green_threads/jre -mx128m VCSVCS启动配置文件VCS启动和停止脚本包括:/etc/rc2.d/S70llt /etc/rc2.d/S92gab/etc/rc3.d/S99vcs/etc/rc0.d/K10vcs核心VCS配置文件包括:/etc/VRTSvcs/conf/config/main.cf/etc/VRTSvcs/conf/config/types.cf/etc/llttab/etc/gabtab/etc/llthostsVCS操作命令停止VCS HASTOP在所有系统上停止VCS,同时不停止所有的服务组: /opt/VRTSvcs/bin/hastop -all -force注: 如果cluster是置于可读写模式,这是唯一的停止cluster的方法. 如果Cluster是可读写的, 你会得到一个.stale .再执行hastart不会启动已经离线的服务组.在本地停止VCS和服务组: /opt/VRTSvcs/bin/hastop -local在本地停止VCS, 并且不停止本地的服务组: /opt/VRTSvcs/bin/hastop -local -force在本地停止VCS并将服务组切换到另一台系统上: /opt/VRTSvcs/bin/hastop -local -evacuateLLT GAB命令操作/sbin/gabconfig -a 校验LLT和GAB在运行./sbin/lltstat -n 显示心跳状态/sbin/lltstat -nvv 显示最多32个节电的心跳和MAC地址. /sbin/lltstat -p 显示端口状态/sbin/lltconfig -a list 显示LLT连接的MAC地址./sbin/lltconfig -T query 显示心跳的频率.在两个系统间测试LLT通信:/opt/VRTSllt/llttest -p 1 transmit -n name of other node -c 5000/opt/VRTSllt/llttest -p 1 (on other node) receive -c 5000/opt/VRTSllt/lltdump -f network link device 显示LLT通信./opt/VRTSllt/lltshow -n node name 显示LLT内核结构./opt/VRTSllt/dlpiping -vs network link device 打开dlpiping服务器 server./opt/VRTSllt/dlpiping -c network link device MAC address of other node 发送LLT包给另一节点并看反应.GABCONFIG LLTCONFIG 广播机制GAB和LLT在TCP/IP OSI栈的第二层工作. LLT是Data Link Provider Interface (DLPI)协议.GAB 处理: (1) Cluster成员管理 (2) 管理心跳 (3) 在Cluster广播信息LLT 处理: (1) Cluster的系统ID (2) 为多个cluster设置cluster ID. (3) 调试网络心跳频率.心跳频率在私有网是0.5秒, 在low-pri的网络上是1秒.用 /sbin/lltconfig -T query发现当前的频率.用gabconfig控制广播和启动.例子: 如果Cluster有四个系统,/etc/gabtab应包括: /sbin/gabconfig -c -n 4VCS只有在四个系统都启动后才会启动.为了在少于四个的系统启动VCS, 执行gabconfig时加少于四的数值node count.如果没有其他系统可用,手工广播Cluster: /sbin/gabconfig -c -x确认LLT和GAB是否已启动: /sbin/gabconfig -a GAB Port Memberships = Port a gen 4b2f0011 membership 01 Port h gen a6690001 membership 01 a 表示GAB在通信, h 表示VCS在通信. 01 表示系统0和系统1. gen表示随机生成的数值. GAB Port Memberships = Port a gen a36e0003 membership 01 Port a gen a36e0003 jeopardy 1 Port h gen fd570002 membership 01 Port h gen fd570002 jeopardy 1 该输出表明一根心跳已断,VCS在jeopardy模式. GAB Port Memberships = Port a gen 3a24001f membership 01 Port h gen a10b0021 membership 0 Port h gen a10b0021 visible ;1 该输出表明系统1的GAB与它的VCS daemons失去联系. GAB Port Memberships = Port a gen 3a240021 membership 01 该输出表明VCS daemons在当前系统上已停止,但GAB和LLT还在运行.设置LLT配置信息: /sbin/lltconfig -a list关闭GAB: /sbin/gabconfig -U卸载GAB (或 LLT)模块: modinfo | grep gab | llt (发现模块号) modunload -i module number 关闭LLT: lltconfig -U 监控LLT状态的命令: /sbin/lltstat -n 显示心跳状态 /sbin/lltstat -nvv 显示心跳和MAC地址 /sbin/lltstat -p 显示端口状态/etc下重要的VCS配置文件: /etc/rc2.d/S70llt /etc/rc2.d/S92gab /etc/rc3.d/S99vcs /etc/llttab /etc/gabtab /etc/llthosts例子: Low Latency Transport配置文件 /etc/llttab: set-node cp01 set-cluster 3 link hme1 /dev/hme:1 - ether - - link qfe0 /dev/qfe:0 - ether - - link-lowpri qfe4 /dev/qfe:4 - ether - - start Group Membership Atomic Broadcast配置文件/etc/gabtab: /sbin/gabconfig -c -n3 Low Latency Hosts 表 /etc/llthosts: 1 cp01 2 cp02 3 cp03这些文件启动LLT和GAB: /etc/rc2.d/S70llt /etc/rc2.d/S92gab/dev的link必须存在: ln -s ./devices/pseudo/clone0:llt llt在 /devices/pseudo :crw-rw-rw- 1 root sys 11,109 Sep 21 10:38 clone0:lltcrw-rw-rw- 1 root sys 143, 0 Sep 21 10:39 gab0:gab_0crw-rw-rw- 1 root sys 143, 1 Feb 1 16:59 gab0:gab_1crw-rw-rw- 1 root sys 143, 2 Sep 21 10:39 gab0:gab_2crw-rw-rw- 1 root sys 143, 3 Sep 21 10:39 gab0:gab_3crw-rw-rw- 1 root sys 143, 4 Sep 21 10:39 gab0:gab_4crw-rw-rw- 1 root sys 143, 5 Sep 21 10:39 gab0:gab_5crw-rw-rw- 1 root sys 143, 6 Sep 21 10:39 gab0:gab_6crw-rw-rw- 1 root sys 143, 7 Sep 21 10:39 gab0:gab_7crw-rw-rw- 1 root sys 143, 8 Sep 21 10:39 gab0:gab_8crw-rw-rw- 1 root sys 143, 9 Sep 21 10:39 gab0:gab_9crw-rw-rw- 1 root sys 143, 10 Sep 21 10:39 gab0:gab_acrw-rw-rw- 1 root sys 143, 11 Sep 21 10:39 gab0:gab_bcrw-rw-rw- 1 root sys 143, 12 Sep 21 10:39 gab0:gab_ccrw-rw-rw- 1 root sys 143, 13 Sep 21 10:39 gab0:gab_dcrw-rw-rw- 1 root sys 143, 14 Sep 21 10:39 gab0:gab_ecrw-rw-rw- 1 root sys 143, 15 Sep 21 10:39 gab0:gab_f/etc/name_to_major:llt 109gab 143-启动VCS VCS只在一台系统上本地启动. 如果main.cf在各个系统上不一致,你必须手工启动或重起其它的系统.启动有需要广播的main.cf文件的系统.启动VCS: /opt/VRTSvcs/bin/hastart如果其它系统已经启动和广播, 当前系统的VCS会载入其它系统的main.cf.启动VCS并设置配置文件为stale,即使它是有效的: /opt/VRTSvcs/bin/hastart -stale这会在cluster环境中生成.stale文件如果VCS无法正常启动, 配置信息会变成stale. 如果.stale文件存在并且你需要立刻启动cluster,使用force选项: /opt/VRTSvcs/bin/hastart -force在启动所有系统的VCS后,必须让VCS将cluster配置信息写到磁盘的main.cf文件.这会移掉.stale文件. .stale文件在强制启动后自动被删除. /opt/VRTSvcs/bin/haconf -dump -makero当一个系统加入cluster中和cluster在线更改配置时,main.cf, types.cf和include 文件被自动写入.HASTATUS状态显示校验Cluster是否正常运行: /opt/VRTSvcs/bin/hastatus (会显示实时的VCS信息) /opt/VRTSvcs/bin/hastatus -sum /opt/VRTSvcs/bin/hasys -display启动和停止服务组在系统上可以手工启动和停止服务组. hagrp -online service group -sys host name hagrp -offline service group -sys host name服务组的切换和暂停切换服务组到其它系统: hagrp -switch Group name -to Hostname of other Node暂停服务组: hagrp -freeze Service Group -presistent安装程序的位置man帮助信息在如下目录: /opt/VRTSllt/man /opt/VRTSgab/man /opt/VRTSvcs/man大部分的程序在: /opt/VRTSvcs/bin常用监控命令hastatus -summary 显示VCS Cluster环境的当前状态hasys -list 列出Cluster中的系统hasys -display 得到每个系统的详细信息hagrp -list 列出所有的服务组hagrp -resources Service Group 列出服务组的所有资源hagrp -dep Service Group 列出服务组的依赖关系hagrp -display Service Group 列出服务组的详细信息haagent -list 列出所有的代理haagent -display Agent 列出一个代理的详细信息hatype -list 列出所有的资源类型hatype -display Resource Type 列出一个资源类型的详细信息hatype -resources Resource Type 列出一个资源类型的所有资源hares -list 列出所有的资源hares -dep Resource 列出一个资源的依赖性hares -display Resource 列出一个资源的详细信息haclus -display 列出Cluster的属性-VCS命令设置步骤大部分命令存放在 /opt/VRTSvcs/bin.hagrp 切换系统 查看服务组,服务组资源,依赖关系,属性 启动, 停止, 切换, 暂停, 解冻, 禁止, 允许,刷新, 禁止和允许服务组中的资源hasys 检查系统参数 列出cluster中的系统, 属性, 资源类型,资源和资源属性 暂停,解冻系统haconf 导出HA配置信息hauser 管理VCS用户信息hastatus 检查Cluster状态haclus 检查Cluster属性hares 查看资源 启动和停止资源, 查明状态, 清楚错误信息haagent 列出代理, 代理状态, 启动和停止代理hastop 停止VCShastart 启动VCShagui 改变Cluster配置信息hacf 生成main.cf文件. 确认本地配置信息haremajor 修改共享磁盘的Major numbergabconfig 查看GAB的状态gabdiskhb 控制GAB心跳磁盘lltstat 查看llt状态其它进程:had VCS engine. 是高优先级的实时进程.hashadow 监控和重起VCS engine.halink 监控Cluster间的连接.HACF配置确认本地的配置信息有效: cd /etc/VRTSvcs/conf/config hacf -verify .生成main.cf文件: hacf -generate从main.cf生成main.cmd: hacf -cftocmd