redhat linux7-虚拟化+集群安装精简手册

RedHat linux 7 虚拟化环境集群安装精简手册 1、前期准备 挂载磁盘 /* 通过制作 iso，方便后续安装动作，在知识库中应形成 iso 镜像体系 */ dd if=/dev/sr0 of=/app/rh71.iso mount -o loop /app/rh71.iso /mnt 挂载制作的 iso mount -loop /dev/sr0 /mnt 查看少什么包 /* 如果想要是用 vgscan 指令，系统至少需要安装 lvm2 包，这个从安装好的系统上查 */ rootjttldb1 host5# rpm -qf /sbin/vgscan lvm2-2.02.83-3.el6.x86_64 常用包安装 net-tools (ifconfig 等用) yum -y install nautilus-open-terminal（ 右键添加 terminal） 配置 yum /* 根据具体挂载的路径和版本调整 */ 建立文件/etc/yum.repos.d/mycdrom.repo Base name=RHEL baseurl=file:/mnt enabled=1 gpgcheck=0 Cluster name=RHEL baseurl=file:/mnt/addons/HighAvailability enabled=1 gpgcheck=0 配置 ip IPADDR=10.88.89.100 GATEWAY=10.88.89.1 NETMASK=255.255.255.0 ONBOOT=yes 单网卡配置多 ip ifconfig team0:0 10.88.89.101 netmask 255.255.255.0 （临时添加一个 ip，重启后消失，如 果想永久拥有，需要配置 ifcfg-ens32:0 文件） 临时文件取消：ifconfig ens32:0 down 网卡绑定 1）创建组接口（会生产一个 ifcfg-team0） nmcli con add type team con-name team0 ifname team0 config “runner“:“name“:“activebackup“ nmcli con del team0 （删除绑定 team） 2）查看组接口配置 nmcli con show 3）给组接口添加设备 nmcli con add type team-slave con-name team0-port1 ifname enp11s0f0 master team0 nmcli con add type team-slave con-name team0-port2 ifname enp16s0f0 master team0 nmcli con mod type team-slave con-name team0-port2 ifname enp16s0f0 master team0 4）配置 ip rootjttldb2 network-scripts# more ifcfg-team0 DEVICE=team0 DEVICETYPE=Team TEAM_CONFIG=“runner“:“name“:“activebackup“ BOOTPROTO=none IPADDR=10.88.89.100 PREFIX=25 GATEWAY=10.88.89.1 DEFROUTE=yes IPV4_FAILURE_FATAL=yes IPV6INIT=yes IPV6_AUTOCONF=yes IPV6_DEFROUTE=yes IPV6_PEERDNS=yes IPV6_PEERROUTES=yes IPV6_FAILURE_FATAL=no NAME=team0 UUID=afa9d1a3-05d8-4cad-af44-fd187c5be16f ONBOOT=yes 查看网卡状态 teamdctl team0 state 验证 nmcli dev dis eno 断开 nmcli dev con eno 连接 OS 版本查询 lsb_release -a 需要安装包（yum install redhat-lsb） 起停服务 systemctl stop firewalld systemctl start firewalld systemctl status firewalld systemctl|grep 是否开机启动 systemctl enable XXX 开机启动 systemctl disable xxx 开机不启动 systemctl status XXX 查看状态 关闭防火墙 rootlocalhost # systemctl stop firewalld rootlocalhost # systemctl disable firewalld 关闭 selinux rootlocalhost # vi /etc/sysconfig/selinux 把 SELINUX=enforcing 改为 SELINUX=disabled rootlocalhost # reboot 查看#getenforce 临时关闭# setenforce 0 LVM 配置 虚机上共享磁盘配置要求 磁盘置备：厚置备置零 磁盘模式：独立持久 在 ha1 上， 创建 pv、vg、lv 挂载文件系统， 在 ha2 上重启系统即可识别 vg 信息 修改主机名称： linu7 通过 hostname 临时修改主机名，加 hostnamectl static 修改静态主机名的方式实现永 久生效主机名（修改主机名后注意修改 hosts） hostname hostnamectl -static set-hostname linux7-ha2 而在 linux7 之前是没有 hostnamectl 命令的，永久修改主机名的方式是通过 hostname 加修改/etc/sysconfig/network 文件的方式 配置 vnc 连接 rehhat7 1）安装包 yum install tigervnc-server 创建一个登录密码：#vncserver 2）配置 vnc cp /lib/systemd/system/vncserver.service /etc/systemd/system/vncserver:1.service 替换文件 #Type=forking 改成 Type=simple 3）重启 systemd systemctl daemon-reload 4）启动 vcn systemctl start vncserver:1.service systemctl status vncserver:1.service 永久启动 systemctl enable vncserver:1.service 5）关闭 vnc systemctl stop vncserver:1.service 开机不启动 systemctl disable vncserver:1.service 客户端 服务器段需要关闭防火墙，或修改过滤 2、oracle 静默安装 安装必要的包 yum -y install binutils compat-db compat-gcc-34 compat-gcc-34-c+ compat-libstdc+-33 elfutils- libelf-devel gcc gcc-c+ glibc-* libXp.so.6 libXt.so.6 libXtst.so.6 libgcc* ksh libXp libaio-devel numactl numactl-devel sysstat unixODBC unixODBC-devel pdksh yum install 静默安装 oracle 修改./database/response/db_install.rspdb_install.rsp 如下内容 oracle.install.option=INSTALL_DB_SWONLY UNIX_GROUP_NAME=oinstall INVENTORY_LOCATION=/u01/app/oraInventory ORACLE_HOME=/u01/app/oracle/product/11.2.0/db_1 ORACLE_BASE=/u01/app/oracle oracle.install.db.InstallEdition=EE oracle.install.db.EEOptionsSelection=true oracle.install.db.optionalComponents=oracle.rdbms.partitioning:11.2.0.3.0,oracle.oraolap:11.2.0.3 .0,oracle.rdbms.dm:11.2.0.3.0,oracle.rdbms.lbac:11.2.0.3.0,oracle.rdbms.rat:11.2.0.3.0 oracle.install.db.DBA_GROUP=dba oracle.install.db.OPER_GROUP=oper oracle.install.db.isRACOneInstall=false DECLINE_SECURITY_UPDATES=true 执行静默安装软件 ./runInstaller -silent -ignoreSysPrereqs -ignorePrereq -showProgress -responseFile /oracle/database/response/db_install.rsp 执行静默安装数据库（在 dbca.rsp 中添加实例名称） dbca -silent -responseFile /oracle/database/response/dbca.rsp 对数据库做必要的调整 3、linux7 vmware 下 ha 安装调试 -pacemaker 取代 rgmanager ssh 双机信任配置 1）在两个节点上生产证书 # ssh-keygen -t rsa 注意：在程序提示输入 passphrase 时直接输入回车，表示无证书密码。 上述命令将生成私钥证书 id_rsa 和公钥证书 id_rsa.pub，存放在用户家目录的. ssh 子目录中。 2）查看/.ssh 生成密钥的文件 # cd /.ssh 3）建立两个节点的信任关系（两个节点互相传一下证书文件，并改名称） # scp -r id_rsa.pub 主机 1:/root/.ssh/authorized_keys #scp -r id_rsa.pub 主机 2:/root/.ssh/authorized_keys 安装 HA 必要安装包 yum install pacemaker* yum install pcs* corosync* /* 系统常用的一些编译环境等包，系统安装时可能都已经安装了 */ yum -y install gcc gcc-c+ libstdc+-devel flex kernel-devel 启动 PCSD 服务 systemctl start pcsd.service systemctl status pcsd.service systemctl enable pcsd.service 设置集群认证用户 hacluster for i in 1 2; do ssh ha$i echo admin | passwd -stdin hacluster; done 或在两个节点运行： passwd hacluster admin 添加授权 #pcs cluster auth ha1 ha2 （在一个节点上执行就可以了） 创建集群 #pcs cluster setup -name lion ha1 ha2 开启集群并随机启动 rootlinux7-ha1 /# pcs cluster start -all rootlinux7-ha1 /# pcs cluster enable -all 查看集群状态 rootlinux7-ha1 /# pcs status 仲裁设置 linux7 模式下，双节点仲裁自动添加，不需要设置，需要改默认配置 rootha1 # pcs property set no-quorum-policy=ignore （说明） fence 设置 /* 不设置 fence 设备可以完成集群的配置，但是会导致异常场景下双节点同时使用资源， 对于如数据库资源来说，会造成数据库损坏，无法打开 */ 模式一：不使用 fence rootha1 # pcs property set stonith-enabled=false 模式二：使用 fence pcs property set stonith-enabled=true /* 开启 stonith */ pcs stonith list /* 查看系统支持的 fence 类型*/ 1）对于虚拟机 fence（使用 fence_vmware_soap 类型） 检测 fence 设备状态 /* 10.88.88.88 是 esxi1 10.88.88.89 是 exsi2 主机 用户名和密码也是 esxi 主机 的 status 改成 reboot 测试是否重启 */ fence_vmware_soap -a esxi1 -z -n ha1 -o status -ssl-insecure -l root -p 1234qwerasd fence_vmware_soap -a esxi2 -z -n ha2 -o status -ssl-insecure -l root -p 1234qwerasd 添加 fence 资源 pcs stonith create fence_vmware_ha1 fence_vmware_soap ipaddr=10.88.88.88 ssl_insecure=1 inet4_only=1 login=“root“ passwd=“1qaz2wsx“ action=reboot pcmk_host_map=“ha1:423cbe32-5e0d-fded-fde5-6c4d2cac47c2;ha2:423c98c4-23c5- dd46-67e2-9ce2f03c243f“ pcmk_host_list=ha1 pcmk_host_check=static-list power_wait=3 op monitor pcs stonith create fence_vmware_ha2 fence_vmware_soap ipaddr=10.88.88.89 ssl_insecure=1 inet4_only=1 login=“root“ passwd=“1qaz2wsx“ action=reboot pcmk_host_map=“ha1:423cbe32-5e0d-fded-fde5-6c4d2cac47c2;ha2:423c98c4-23c5- dd46-67e2-9ce2f03c243f“ pcmk_host_list=ha2 pcmk_host_check=static-list power_wait=3 op monitor interval=60s 虚拟机 ha1 和 ha2 的 uuid 的查找方法： fence_vmware_soap -a 10.88.88.88 -ssl-insecure -action list -l root -p 1234qwerasd 添加资源 添加浮动 ip，并加入资源组 pcs resource create VIP ocf:heartbeat:IPaddr2 ip=10.88.89.100 cidr_netmask=24 op monitor interval=30s -group orasrv 添加 lvm 信息并加入组： 修改/etc/lvm/lvm.conf use_lvmetad = 0 volume_list = “rhel“ （把非集群的 vg 添加进去） #dracut -H -f /boot/initramfs-$(uname -r).img $(uname -r) （必须重启操作系统， 使其生效） 添加 vg #pcs resource create my_lvm LVM volgrpname=datavg exclusive=true -group orasrv 添加文件系统：（排他锁模式） rootz1 # pcs resource create my_fs Filesystem device=/dev/datavg/datalv directory=/oracle fstype=ext3 -group orasrv oracle 添加 下载脚本，并拷贝至路径/usr/lib/ocf/resource.d/heartbeat/ 添加实例 pcs resource create oracledb ocf:heartbeat:oracle sid=lion home=/oracle/oracle11g/product/11.2.0/db_1 clear_backupmode=1 shutdown_method=immediate -group orasrv 添加监听资源 pcs resource create oralsn ocf:heartbeat:oralsnr sid=lion home=/oracle/oracle11g/product/11.2.0/db_1 -group orasrv 集群粘性 /*防止节点恢复后自动回迁，经验证，如不设置，当主节点恢复后集群会自动回迁, 资源 粘性表示资源是否倾向于留在当前节点，如果为正整数，表示倾向，负数则会离开，-inf 表示负无穷，inf 表示正无穷。*/ pcs resource defaults resource-stickiness=100 */ 集群资源异常时的切换策略 集群故障迁移策略迁移 /* 关于切换策略，默认是无限大，即集群应用出故障后不切换，我们调整为 1，表示当应 用出现一次故障，比如手工 kill 监听，节点应用会整体迁移至节点 2 */ pcs resource defaults migration-threshold=1 高可用测试 1）通过 standby 做节点切换 rootha1 # pcs cluster standby ha2 2）查看集群状态 rootha1 # pcs status 3）重新使 ha2 上线(默认配置并不回切) rootha1 # pcs cluster unstandby ha2 4）只停止包，不切换 rootha1 #pcs resource disable 资源组 5）另外一个切换命令（会产生 constraint，不建议用，需要用 clear 清 constraint） pcs resource move 资源组名 pcs resource clear 资源组名 集群常用命令 pcs property pcs resource defaults /*资源默认设置*/ pcs status pcs status cluster pcs status corosync pcs property list -all pcs cluster verify -V /*检查集群配置是否正常*/ pcs resource list ocf pcs resource describe ocf:heartbeat:IPaddr2 /* 添加资源的时候很有用*/ pcs stonith describe fence_vmware_soap /* 添加 f