济南市公安局oracle rac据库实施.doc

1. Oracle10g RAC数据库简介oracle10g RAC结构下图显示了 Oracle RAC 10g 配置的主要组件。 集群中的节点通常是单独的服务器（主机）。 硬件在硬件级别上，RAC 集群中的各节点共享三种功能： 1. 对共享磁盘存储的访问 2. 与专用网络的连接 3. 对公共网络的访问。共享磁盘存储Oracle RAC 依赖于一个共享磁盘体系结构。 数据库文件、联机重做日志和数据库的控制文件必须都能为集群中的每个节点所访问。 共享磁盘还存储 Oracle Cluster Registry 和 Voting Disk（稍后讨论）。 配置共享存储有多种方法，包括直接连接磁盘（通常是使用铜缆或光纤的 SCSI）、存储区域网 (SAN) 和网络连接存储 (NAS)。 专用网络每个集群节点通过专用高速网络连接到所有其他节点，这种专用高速网络也称为集群互联或高速互联 (HSI)。 Oracle 的 Cache Fusion 技术使用这种网络将每个主机的物理内存 (RAM) 有效地组合成一个高速缓存。 Oracle Cache Fusion 通过在专用网络上传输某个 Oracle 实例高速缓存中存储的数据允许其他任何实例访问这些数据。 它还通过在集群节点中传输锁定和其他同步信息保持数据完整性和高速缓存一致性。 专用网络通常是用千兆以太网构建的，但是对于高容量的环境，很多厂商提供了专门为 Oracle RAC 设计的低延迟、高带宽的专有解决方案。 Linux 还提供一种将多个物理 NIC 绑定为一个虚拟 NIC 的方法（此处不涉及）来增加带宽和提高可用性。 公共网络为维持高可用性，为每个集群节点分配了一个虚拟 IP 地址 (VIP)。 如果主机发生故障，则可以将故障节点的 IP 地址重新分配给一个可用节点，从而允许应用程序通过相同的 IP 地址继续访问数据库。Oracle 集群就绪服务Oracle RAC 10g 引进了 Oracle 集群就绪服务 (CRS) 一组用于集群环境的与平台无关的系统服务。 在 RAC 和 Oracle 并行服务器先前版本中，Oracle 依靠厂商提供的集群管理软件来提供这些服务。 虽然 CRS 与厂商供应的集群件协同工作，但 Oracle RAC 10g 所需组件只是 CRS。 实际上，必须在安装 RAC 之前安装 CRS。 CRS 维护着两个文件： Oracle Cluster Registry (OCR) 和 Voting Disk。 OCR 和 Voting Disk 必须以原始分区或集群文件系统文件的形式存在于共享磁盘上。 Oracle RAC 软件Oracle RAC 10g 软件是 RAC 数据库的核心，每个集群节点上都必须安装。 幸运的是，Oracle Universal Installer (OUI) 可以完成在每个节点上安装 RAC 软件的大部分工作。 您只需在一个节点上安装 RAC OUI 会完成其余的工作。 Oracle 自动存储管理 (ASM)ASM 是 Oracle 数据库 10g 中的一个新特性，它以一种与平台无关的方式提供文件系统服务、逻辑容量管理器和软件 RAID。Oracle ASM 可以条带化和镜像磁盘，从而实现了在数据库被加载的情况下添加或移除磁盘以及自动平衡 I/O 以删除“热点”。它还支持直接和异步的 I/O，并使用 Oracle9i 中引入的 Oracle 数据管理器 API（简化的 I/O 系统调用接口）。 Oracle ASM 不是通用的文件系统，只能用于 Oracle 数据文件、重做日志、控制文件和 RMAN 快速恢复区。ASM 中的文件既可以由数据库自动创建和命名（使用 Oracle 管理文件特性），也可以由 DBA 手动创建和命名。由于操作系统无法访问 ASM 中存储的文件，因此对使用 ASM 文件的数据库执行备份和恢复操作的唯一途径就是使用恢复管理器 (RMAN)。 ASM 作为单独的 Oracle 实例实施，只有它在运行时其他数据库才能访问它。ASM 需要的内存不多： 对大部分系统来说只需 64MB。 在 Oracle RAC 环境中，ASM 实例必须运行在每个集群节点上。 2. 安装oracle10g RAC2.1. 安装需要的软件操作系统:RedHat AS 4.0 U5Oracle10gRAC（）： CRS包括：10201_clusterware_linux_x86_64.cpio.gz RAC软件包括：10201_database_linux_x86_64.cpio.gz补丁包:从10201升到10203的补丁：p5337014_10203_Linux-x86-64.zip2.2. 系统设置注意，以下所说步骤如果没有特别强调，则要求在每个节点上执行。2.2.1. Linux软件检查以下软件包是否安装，如果操作系统是RedHat AS 4.0 U5并完全安装的话，以下软件包就不用检查了# rpm -q binutils compat-db compat-libstdc+-296 compat-libstdc+-33 control-center gcc gcc-c+ glibc glibc-common gnome-libs libstdc+ libstdc+-devel make pdksh sysstat xscreensaver openmotif libaiomake-3.80-184.1gcc-3.3.3-43.24gcc-c+-3.3.3-43.24libaio-0.3.98-18.3libaio-devel-0.3.98-. 系统参数1. 内核参数在/etc/sysctl.conf中编辑：kernel.shmall = 2097152kernel.shmmax = 4294967296kernel.shmmni = 4096kernel.sem = 250 32000 100 128fs.file-max = 65536net.ipv4.ip_local_port_range = 1024 65000net.core.rmem_default = 1048576net.core.rmem_max = 1048576net.core.wmem_default = 1048576net.core.wmem_max = 1048576然后用执行/sbin/sysctl p2.2.3. oracle用户和组/usr/sbin/groupadd oinstall/usr/sbin/groupadd dba/usr/sbin/useradd -m -g oinstall -G dba oracle# id oracleuid=1000(oracle) gid=1000(oinstall) groups=1000(oinstall),6(disk),1001(dba)设置 oracle 帐户的口令： # passwd oracleChanging password for user oracle.New password:Retype new password:passwd:all authentication tokens updated successfully.设置oracle的shell限制：在/etc/security/limits.conf文件中加入oracle soft nproc 2047oracle hard nproc 16384oracle soft nofile 1024oraclehard nofile 655362.2.4. 网络设置RAC要求机群内的每个节点至少有两块网卡，一个设置为公用（公网），对外提供服务；一个设置为私用（专用），提供节点内的告诉传输。此外还需要为公用网卡配置一个虚拟地址，oracle需要借此为用户提供透明的高可用服务。具体介绍如下：专用网络每个集群节点通过专用高速网络连接到所有其他节点，这种专用高速网络也称为集群互联或高速互联 (HSI)。 Oracle 的 Cache Fusion 技术使用这种网络将每个主机的物理内存 (RAM) 有效地组合成一个高速缓存。 Oracle Cache Fusion 通过在专用网络上传输某个 Oracle 实例高速缓存中存储的数据允许其他任何实例访问这些数据。 它还通过在集群节点中传输锁定和其他同步信息保持数据完整性和高速缓存一致性。 专用网络通常是用千兆以太网构建的，但是对于高容量的环境，很多厂商提供了专门为 Oracle RAC 设计的低延迟、高带宽的专有解决方案。 Linux 还提供一种将多个物理 NIC 绑定为一个虚拟 NIC 的方法（此处不涉及）来增加带宽和提高可用性。 公共网络为维持高可用性，为每个集群节点分配了一个虚拟 IP 地址 (VIP)。 如果主机发生故障，则可以将故障节点的 IP 地址重新分配给一个可用节点，从而允许应用程序通过相同的 IP 地址继续访问数据库。 修改/etc/hosts加入下面内容，: localhost xtyb1 xtyb1-priv8 xtyb1-vip xtyb2 xtyb2-priv9 xtyb2-vip 域名随便取就可以了，虚拟地址也随便，在安装RAC的时候，vipca会自动将虚拟地址绑定在公共网卡上的。2.2.5. 用户等效性必须先配通rsh来进行远程操作编辑/root/.rhosts xtyb1xtyb1-privxtyb1-vipxtyb2xtyb2-privxtyb2-vip然后cp /root/.rhosts /etc/hosts.equivchkconfig rsh onchkconfig rexec onchkconfig rlogin onvi /etc/pam.d/rlogin在auth required pam_securetty.so行首加#注释掉vi /etc/pam.d/rshvi /etc/pam.d/rexec都做同样操作在每台机器上都做上述所有操作然后用rsh xtyb1验证一下2.2.6. 加网关要求给每台机器加上网关，不然vip有可能起不来加网关：在/etc/sysconfig/network里加GATEWAY=542.3. 安装路径基本路径：ORACLE_BASE=/u01/app/oracleORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1ORA_CRS_HOME=/u01/crs/oracle/10gr2/crs据oracle的安装文档要求，CRS的目录最好不是ORACLE_BASE的子目录，因为安装过程中会改变CRS的父目录的权限，这会影响ORACLE的安装。在按以上要求生成对应目录之前，需检查所在磁盘的空间是否满足安装要求，确定之后生成目录，并将相关环境变量设置在oracle用户的profile中。在本环境中.bash_profile放在/home/oracle目录下，oracle用户的profile文件.bash_profile内容:export ORACLE_BASE=/u01/app/oracleexport ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1export ORA_CRS_HOME=/u01/crs/oracle/10gr2/crsexport ORACLE_SID=xtyb1export TNS_ADMIN=$ORACLE_HOME/network/adminexport PATH=$PATH:$HOME/bin:$ORACLE_HOME/bin:$ORA_CRS_HOME/bin:/sbin:$ORA_ASM_HOME:.export LD_ASSUME_KERNEL=2.4.19注意：ORACLE_SID每台机器不一样，如xtyb1的SID为xtyb1，xtyb2的SID为xtyb2，以此类推。2.3.1. 创建CRS安装路径1. CRS安装路径的创建及授权如下所示：2. OCR及voting disk安装路径先解释一下ocr（sdb1）和vote（sdb2）文件的用途，OCR（Oracle Cluster Registry）：它记录了机群配置和机群数据库的基本配置，默认大概需要100M的空间，这里我们给了它150M的空间,并且考虑到冗余性，ocr有2个；Vote：它是CSS（Cluster Synchronization Services）需要的文件，用来判断机群内各个节点的状态，默认大概也需要100M的空间，这里我们也给了它150M的空间，并且考虑到冗余性，vote有3个。先对磁盘阵列进行分区，用fdisk工具进行分区，如fdisk /dev/sdb和/dev/sdc，这绑定裸设备：#raw /dev/raw/raw1 /dev/sdb1#raw /dev/raw/raw2 /dev/sdb2#raw /dev/raw/raw3 /dev/sdb3#raw /dev/raw/raw4 /dev/sdc1#raw /dev/raw/raw5 /dev/sdc2#raw /dev/raw/raw6 /dev/sdb4#raw /dev/raw/raw7 /dev/sdc3然后在/etc/sysconfig/rawdevices文件里加如下内容：/dev/raw/raw1 /dev/sdb1/dev/raw/raw2 /dev/sdc1/dev/raw/raw3 /dev/sdb2/dev/raw/raw4 /dev/sdc2/dev/raw/raw5 /dev/sdb3/dev/raw/raw6 /dev/sdb4/dev/raw/raw7 /dev/sdc3在/etc/rc.local里加如下内容chown root:oinstall /dev/raw/raw1chmod 640 /dev/raw/raw1chown root:oinstall /dev/raw/raw2chmod 640 /dev/raw/raw2chown oracle:dba /dev/raw/raw3chmod 660 /dev/raw/raw3chown oracle:dba /dev/raw/raw4chmod 660 /dev/raw/raw4chown oracle:dba /dev/raw/raw5chmod 660 /dev/raw/raw5chown oracle:dba /dev/raw/raw6chmod 660 /dev/raw/raw6chown oracle:dba /dev/raw/raw7chmod 660 /dev/raw/raw7以上操作在所有节点上执行然后重启两台节点2.3.2. 创建oracle目录mkdir -p /u01/app/oraclechown -R oracle:oinstall /u01/app/oraclechmod -R 775 /u01/app/oraclemkdir -p /u01/crs/oraclechown -R oracle:oinstall /u01/crs/oraclechmod -R 775 /u01/crs/oracle2.4. 安装和卸载CRS2.4.1. 安装CRS安装之前先同步系统时间，用rsh xtyb1 date -s Sun Dec 23 17:45:51 CST 2007rsh xtyb2 date -s Sun Dec 23 17:45:51 CST 2007Sun Dec 23 17:45:51 CST 2007这个时间为date命令取的当时的时间同步所有节点的时间在安装CRS之前，确认显示没有问题：# xhost +解压CRS软件：#gzip d 10201_clusterware_linux_x86_64.cpio.gz| cpio idmv /dev/null 2&1 /dev/null 2&1 /dev/null 2&1 Create Disk GroupDisk Group Name (DATA)；不冗余（external）；更改磁盘发现路径:/dev/raw/*选择磁盘；选择新创建的磁盘组 11. Database File Locations 使用 Oracle 管理的文件 12. Recovery Configuration 单击 Next 13. Database Content 示例模式 14. Initialization Parameters 内存:把默认的40改为50；字符集的设定:要选择ZHSGBK16和UTF8。15. Database Storage 单击 Next 16. Create Options 选择“Create Database” 17. Summary 检查总结信息并单击 OK ./crs_stat t2.8.2. 关于删除数据库删除数据库最好也用dbca，虽然srvctl也可以。1. 运行dbca，选择”delete a database”。然后就next.，直到finish。2. 数据的删除并不影响asm实例，如果想删除与asm有关的内容，可以按如下做法：# export ORACLE_SID=ASM_instance_name# sqlplus / as sysdbaSQL drop diskgroup diskgroup_name including contents;SQL quit然后在各个节点上执行# srvctl stop asm n hostname# srvctl remove asm n hostname这样，应该就可以删除的比较干净了。2.8.3. 调整SGA和PGA以提高性能进入到其中任意一台机器上，然后su oracle进入到oracle用户sqlplus “/ as sysdba”sqlalter system set sga_max_size=7900M scope=spfile; sqlalter system set sga_target=7900M scope=spfile;sqlalter system set pga_aggregate_target=8000M scope=spfile ;sqlalter system set _pga_max_size=600M scope=spfile;sqlshutdown immediatesqlstartupsqlshow sga3. Oracle RAC的日常维护3.1. Oracle10g RAC启动和关闭3.1.1. 关闭机器1先停数据库（stop database）以oracle用户执行a)关闭所有的机器的数据库srvctl stop database -d db_name例如：srvctl stop database -d xtybb)只关闭其中一台机器的数据库实例srvctl stop instance d db_name i instance_name例如：srvctl stop instance d xtyb i xtyb22停asm实例（stop asm）以oracle用户执行srvctl stop asm -n node_name例如：srvctl stop asm n xtyb23. 停nodeapps即crs的相关服务(stop nodeapps) 以oracle用户执行srvctl stop nodeapps -n node_name例如：srvctl stop nodeapps -n xtyb2然后用crs_stat t查看状态所有的服务都offline以后，再以root用户reboot重启机器3.1.2. 启动机器其实系统起来以后，数据库将自动起来，如果没有自动起来，那我们可以手工启动1启动CRS的服务nodeapps（start nodeapps） 以oracle用户执行srvctl start nodeapps -n node_name例如：srvctl start nodeapps n xtyb22.启动asm实例（start asm）以oracle用户执行srvctl start asm -n node_name例如：srvctl start asm n xtyb25. 启动数据库（start database）以oracle用户执行a)启动所有的机器的数据库srvctl start database -d db_name例如：srvctl start database -d xtybb)只启动其中一台机器的数据库实例srvctl start instance d db_name i instance_name例如：srvctl start instance d xtyb i xtyb23检查状态srvctl status databased db_name例如：srvctl status databased xtybsrvctl status instance d db_name i instance_name例如：srvctl status instance d xtyb i xtyb23.1.3. 另一种启动和维护oracle RAC的方法与上面一样先启动CRS和监听以后，然后执行命令，以oracle用户执行：crs_start all它会启动所有机器的crs，asm，database实例，然后所有服务的状态可以用命令：crs_stat -t来检查。同样停掉所有机器的crs，asm，database实例，可以用以下命令：crs_stop all也可以通过crs_stat看具体某一个资源（如ora.xtyb1.vip）的状态，然后通过crs_start来启动某一个资源如crs_start ora.xtyb1.vip那么也可以crs_stop ora.xtyb1.vip停掉这个资源3.2. Oracle RAC数据库和操作系统的性能监控3.2.1. top命令查看cpu和内存的使用率top3.2.2. iostat命令查看I/O流量iostat k d 2 100此命令的参数数字2是隔2秒刷新一次，100是执行100次3.2.3. 用oracle的企业管理器来管理和监控数据库su - oracle用oracle用户执行命令emctl start dbconsole，此命令将启动OEM即oracle企业管理器4. 附录:关于用srvctl管理oracle10g RAC数据库4.1. srvctl的基本用法Usage: srvctl Available ：enable/disable/start/stop/relocate/status/add/remove/modify/getenv/setenv/unsetenv/configAvailable ：database / instance / service / nodeapps / asm察看srvctl所有使用方法：srvctl -h察看srvctl某种具体操作的使用方法：srvctl -hTable 1. Summary of srvctl commands.CommandTargetsDescriptionsrvctl addsrvctl modifysrvctl removeDatabaseInstanceServicenodeappssrvctl add / remove adds/removes targets configuration information to/from the OCR. srvctl modify allows you to change some of targets configuration information in the OCR without wiping out the rest. srvctl relocateserviceAllows you to reallocate a service from one named instance to another named instance.srvctl configDatabaseServiceNodeappsasmLists configuration information for target from the OCR. srvctl disablesrvctl enableDatabaseInstanceServiceasmsrvctl disable disables target, meaning CRS will not consider it for automatic startup, failover, or restart. This option is useful to ensure an object that is down for maintenance is not accidentally automatically restarted. srvctl enable reenables the specified object.srvctl getenvsrvctl setenvsrvctl unsetenvDatabaseInstanceServicenodeappssrvctl getenv displays the environment variables stored in the OCR f