地纬容灾监控系统使用说明书及解决方案

山东地纬计算机软件有限公司 地纬容灾监控系统解决方案及使用说明书 地纬容灾监控系统解决方案及使用说明书山东大学山东地纬计算机软件有限公司2005年11月目 录第一章 容灾监控系统解决方案2第一节 容灾功能简介2第二节 数据库业务接管实现原理3第三节 备机接管原则4第四节 服务器系统远程恢复方案5第二章 系统功能及运行环境9第一节 系统的功能9第二节 运行环境9第三章 系统的组成部分及各部分的安装10第一节 运行于主机上的监控模块的安装10第二节 备用数据库端软件的安装11第三节 运行于用户监控端的监控软件客户端的安装11第四章 系统各个部分的运行及使用说明15第一节 运行于被监控数据库和操作系统上的监控模块的使用15第二节 备用数据库端程序的使用16第三节 运行于用户监控端的监控软件客户端的运行及使用16第五章 数据库容灾25第一节 容灾功能介绍25第二节 体系结构25第三节 备份系统服务器要求26第四节 容灾功能的使用26第六章 系统的注册27第七章 联系方式28地纬容灾监控系统是由山东大学地纬计算机软件有限公司开发的、对数据库服务器进行监控的软件，是对操作系统和数据库的运行进行监控，对其错误和告警信息进行预警和诊断，并具有数据库容灾功能的软件。它能够获得操作系统和数据库的实时运行信息，及时获取其运行过程中出现的错误和告警信息，进行诊断分析，找出错误原因，出现灾难时通过容灾功能维护业务运行的连续性。第一章 容灾监控系统解决方案第一节 容灾功能简介网络的迅速发展和广泛应用，使企事业单位的运作模式产生了革命性的变化，信息系统占据了各行各业竞争优势的主体地位。然而，由于各种灾难或突发事件而造成的业务服务中断，以及不能及时恢复系统而导致信息系统应用停止或数据丢失，会对企业或行业部门的服务质量、声誉造成严重影响，甚至会造成重大事故，使企业面临着生存的困难。因此能否保障信息系统的连续性运行是企事业单位信息化建设成败的关键。要保证业务持续性和信息系统的高可靠性，就需要建设一个对各种情况都可以抵御或者化解的本地和异地的容灾系统。容灾系统的核心就在于将灾难化解，一是保证企业数据的安全，二是保证业务的连续性。容灾就是要在灾难发生时，全面、及时地恢复整个系统。容灾按其容灾能力的高低可分为多个层次，常见的容灾备份等级有以下四个：1. 第0级：本地备份、本地保存的冷备份这一级容灾备份，实际上就是通常所指的数据备份。它的容灾恢复能力最弱，它只在本地进行数据备份，并且被备份的数据磁带只在本地保存，没有送往异地。2. 第1级：本地备份、异地保存的冷备份在本地将关键数据备份，然后送到异地保存，如交由银行保管。灾难发生后，按预定数据恢复程序恢复系统和数据。这种容灾方案也是采用磁带机等存储设备进行本地备份，同样还可以选择磁带库、光盘库等存储设备。3. 第2级：热备份站点备份在异地建立一个热备份点，通过网络进行数据备份。也就是通过网络以同步或异步方式，把主站点的数据备份到备份站点。备份站点一般只备份数据，不承担业务，当出现灾难时，备份站点接替主站点的业务，从而维护业务运行的连续性。4. 第3级：活动互援备份这种异地容灾方案与前面介绍的热备份站点备份方案差不多，不同的只是主、从系统不再是固定的，而是互为对方的备份系统。这两个数据中心系统分别在相隔较远的地方建立，它们都处于工作状态，并进行相互数据备份。当某个数据中心发生灾难时，另一个数据中心接替其工作任务。通常在这两个系统中的光纤设备连接中还提供容余通道，以备工作通道出现故障时及时接替工作。地纬容灾监控系统对作为生产库的主机系统进行实时监控并把数据库更新同步到备机上。本系统容灾功能等级为上述的第二级，即热备份站点备份。当主机系统出现问题时，让备机作为生产库保障用户业务的正常运行，最大程度的减少用户的损失。第二节 数据库业务接管实现原理主机和备机安装好相同版本的操作系统和数据库，由监控机管理，随时把主机上的生产数据库的更新信息传送给备机，并在备机上的备用数据库上进行同步操作。正常情况下，备机上的数据库不对客户端开放，客户端连接到主机的数据库进行业务操作。当主机发生故障时，监控机开放备机上的数据库，客户端就使用备机上的数据库进行业务操作。主机和备机具有不同的IP地址，如何在主机出现故障时使得客户端可以自动连接到备机的数据库呢？解决方法是，在客户端的Oracle接口配置中(tnsnames.ora)同时配上主机和备机的IP地址，这样当主机出现故障时，Oracle的客户端会自动去连接备机的数据库。系统的整体架构如图1所示：图1：系统整体架构第三节 备机接管原则 为了尽可能不影响业务的运行，减少用户的停业务时间，我们让备机系统并不是在主机出现的任何故障的情况下都接管主机的数据库系统。在下面的情况下，备机不接管主机数据库，而是尽快通过人为干预方式恢复主机业务：1. 主机服务器操作系统出现的故障，包括硬盘故障、操作系统软件故障。我们的解决方式是，尽快用备用操作系统硬盘恢复。2. 主机网卡、网络故障。3. 主机服务器上的数据库出现故障，但是可以通过远程方式迅速恢复的情况。在下面的情况下，备机系统需要接管主机系统的数据库：1. 主机上的数据库系统所在的硬盘硬件出现问题。2. 主机上的数据库系统软件出现问题，并且不能很快恢复。第四节 服务器系统远程恢复方案在用户的服务器系统发生故障后，为了快的完成用户服务器系统的恢复工作，减少技术人员在路途上耽搁的大量不必要的时间。我们结合我们的软件制定了服务器系统远程恢复方案。4.1 服务器安装要求为了更快更简单的恢复服务器操作系统，服务器应该按下面的要求进行安装：先拿一块硬盘安装到服务器上安装好操作系统，然后把这块硬盘拆下来作为这台服务器操作系统的冷备份；再拿另一块硬盘也安装到服务器的同一个硬盘插槽中安装好操作系统。最后，把剩余的硬盘做成RAID并添加到操作系统中，然后把数据库安装到这个RAID上的文件系统中。这一过程如图2所示：图2：服务器安装4.2服务器发生故障后的远程恢复方案4.2.1 单纯的数据库问题当作为主机的服务器上的生产数据库发生问题时，我们首先通过远程方式看看能不能迅速修复，如果能迅速修复就立即修复好；如果不能迅速修复就先把备机数据库改变为生产库以保证用户业务的运行，然后我们通过远程方式把主机上的数据库基本系统修复或者重新安装好，最后再把备机上的数据重新同步到主机上，让主机系统再次成为生产数据库。当备机上的备用数据库发生问题时，我们只需要远程把数据库基本系统修复或者重新安装好，然后再把主机上的数据同步到备机上即可。如图3所示：图3：备机故障的处理4.2.2 操作系统故障、或者是操作系统所在的硬盘故障对于操作系统故障、或者是操作系统所在的硬盘故障，我们的解决方案是：（1） 首先把事先做好的操作系统冷备份硬盘替换到服务器上，然后通过远程把数据库系统启动起来，让用户的业务正常运行。（2） 把出现问题的操作系统硬盘邮寄到我们公司，我们进行更进一步的检测。如果只是操作系统本身问题，我们就重新安装操作系统，再邮寄回用户方，作为操作系统的冷备盘；如果是硬盘硬件问题，需要用户提供给我们新的硬盘，我们安装好操作系统后邮寄给用户作为服务器操作系统的冷备份。操作系统故障的处理过程如图4所示：图4：操作系统故障的处理4.2.3 对于非硬盘的其他服务器硬件故障对于非硬盘的其他服务器硬件故障只需要用户在当地找厂家修复后，然后我们再进行数据库同步操作，系统就恢复正常了。 第二章 系统功能及运行环境第一节 系统的功能系统的功能主要包括操作系统和数据库预警、诊断、实时监控，以及数据库容灾：1、 预警，是当操作系统和数据库的运行出现错误和告警时，及时将错误和告警信息通知给系统管理员，以便系统管理员在第一时间发现错误，减少可能造成的损失。2、 诊断，是对数据库运行过程中的错误和异常进行分析，帮助系统管理员找出造成错误和告警的可能的原因。3、 实时监控，是对监控操作系统和数据库的运行进行实时监控，获得其实时运行参数和信息，使系统管理员能够对系统的运行状况了如指掌。4、 数据库容灾，通过网络以同步或异步方式，把主站点的数据备份到备份站点。备份站点一般只备份数据，不承担业务。当出现灾难时，备份站点接替主站点的业务，从而维护业务运行的连续性。第二节 运行环境对于采用三层结构的系统，其结构如图5所示：数据服务器应用服务器（前置机）浏览器/Client端PC Server或小型机PC Server或小型机图5：三层结构示意图本系统适用于采用三层结构的系统，能够监控数据服务器的操作系统和数据库的运行信息。本系统的监控程序端运行在应用服务器（前置机）上，对数据服务器的操作系统和数据库进行监控，获得相应的信息，具体功能见下面的介绍。本监控系统适用于监控安装在Unix操作系统下的Oracle数据库，监控端运行于Microsoft Windows操作系统之上，包括Windows 98、Windows 2000、Windows XP等。第三章 系统的组成部分及各部分的安装本软件由三部分组成：运行于被监控数据库和操作系统上的监控模块、运行于备用数据库端的部分、运行于用户监控端的监控软件客户端部分。第一节 运行于主机上的监控模块的安装本监控模块监控的数据库为Oracle 8i以上，操作系统为SCO Unixware 。被监控服务器端的安装分成下面四个步骤：一、 光盘中server/bin目录下的所有程序拷贝到被监控机器上的某一目录下（该目录可以自己指定），并为相应的程序增加执行权限。二、 根据服务器的不同，相应的修改下面的几个文件。1、 mon.sh，修改./watch_os一行为：./watch_os 操作系统日志路径 $1修改./watch_ora一行为：./watch_ora 数据库日志路径 $1（注：操作系统日志的路径一般为/var/adm/syslog，数据库日志的路径一般为$ORACLE_HOME/admin/ORACLE实例名/bdump/）2、 编辑Sdw_monitor.sh：cd 程序安装到的目录./monitor.sh 程序安装到的目录 监控端IP 数据库主目录 数据库实例名 版本(Unixware下ora_home/product/的子目录名) 备机IP 主机归档日志路径param1: 程序安装到的目录param2: 监控端IPparam3: 数据库主目录 param4: 数据库实例名param5: 版本(Unixware下ora_home/product/的子目录名) param6: 备机IPparam7: 主机归档日志路径三、 设置Sdw_monitor.sh为开机自启动。四、 在/etc/hosts文件中增加监控机、备用机的IP地址、主机名等第二节 备用数据库端软件的安装备用数据库机器所安装的操作系统要求与主数据库的操作系统一致，数据库的版本也要求一致。在备用机上安装完操作系统和数据库之后，通过下面的四步来完成备用数据库端软件的安装：一、 把光盘中standby/bin目录下的所有程序拷贝到被监控机器上的某一目录下（该目录可以自己指定），并为相应的程序增加执行权限。二、 根据服务器的不同，相应的修改下面的文件。编辑Sdw_standby.sh：cd 程序安装到的目录./monitor 程序安装到的目录 数据库归档日志的存放目录 监控机IP三、 设置Sdw_standby.sh为开机自启动。四、 在/etc/hosts文件中增加监控机、主机的IP地址、主机名等第三节 运行于用户监控端的监控软件客户端的安装监控软件客户端运行于一台安装Microsoft Windows 2000 操作系统的、并有JRE运行环境的PC机，本监控软件已经附带了JRE的安装程序，您也可以到SUN公司的网站（）去下载最新的JRE安装程序。开始安装容灾监控系统客户端：您只需要双击setup.exe，它是一个Windows操作系统下的安装程序，您可以根据提示一步步完成安装。双击后弹出安装提示窗口，如图6所示：图6：系统安装步骤一根据提示点击“下一步”，弹出下面的窗口，如图7所示：图7：系统安装步骤二选择“我同意该许可协议的条款”，点击“下一步”，弹出窗口，如图8所示：图8：系统安装步骤三输入您的用户信息后，点击“下一步”，弹出窗口，如图9所示：图9：系统安装步骤四默认安装路径为C:Program Files地纬容灾监控系统，用户也可自由选择安装路径。点击“下一步”，弹出窗口，如图10所示：图10：系统安装步骤五继续下一步，弹出窗口，如图11所示：图11：系统安装步骤六点击下一步，弹出窗口，如图12所示：图12：系统安装步骤七点击“完成”，至此，您已经成功安装地纬容灾监控系统。第四章 系统各个部分的运行及使用说明第一节 运行于被监控数据库和操作系统上的监控模块的使用在安装被监控端的程序时，已经将相应的服务程序设置为开机自动启动，因此并不需要用户进行任何操作。在用户安装完被监控端程序后，可以通过重新启动被监控机器来使相应的服务启动，或者在不方便重新启动时，通过手工来启动相应的服务：# cd /etc/rc3.d# ./Sdw_monitor.sh第二节 备用数据库端程序的使用在安装备用数据库端的程序时，已经将相应的服务程序设置为开机自动启动，因此并不需要用户进行任何操作。在用户安装完备用数据库端程序后，可以通过重新启动备用机器来使相应的服务启动，或者在不方便重新启动时，通过手工来启动相应的服务：# cd /etc/rc3.d# ./Sdw_monitor.sh第三节 运行于用户监控端的监控软件客户端的运行及使用一、客户端初次运行的设置在开始菜单所有程序地纬容灾监控系统监控平台.exe,第一次运行开始后弹出窗口，如图13所示：图13：系统首次运行按照窗口要求填写相关信息完毕后点击“设置”按钮，系统会自动连接操作系统和数据库，若操作成功，则会陆续弹出消息框，提示连接成功，如图14所示： 图14：连接成功提示点击确定即可。二、客户端的使用 运行地纬容灾监控系统后，弹出系统主界面，如图15所示：图15：系统主界面下面首先介绍客户端的菜单：管理、连接控制、操作和帮助。单击“管理”，下面有三个选项：实时监控、停止实时监控和退出。点击“实时监控”弹出窗口，实时监控主数据库服务器的资源使用情况及历史记录，并以图形方式显示；“停止实时监控”菜单的功能是终止对主数据库服务器资源的实时监控；点击“退出”菜单，则退出监控程序。单击“连接控制”，菜单中的“连接数据库”、“连接主系统”，“连接备用系统”和“设置”可以设置和更改连接信息。在“操作”菜单中有“监控BadSQL语句”“停止监控”“设置监控时间”，分别用于操作监控BadSQL语句、停止和设定监控BadSQL语句的时间。“查询执行时间变长的sql”能够找出那些写的不合理而执行时间变长的SQL语句。“设置查询时间”用于设定查询最长时间及最短时间与最长时间之比。在“操作”菜单中的“查询最一次成功恢复的归档日志”，用于查询当前时间之前的最近一次成功应用的归档日志的有关信息；菜单“打开备用机器”的功能是在主数据库出现异常时，打开备用数据库；菜单“设置主机归档日志保留时间”和“设置备机归档日志保留时间”，用于设置主机和备机的归档日志保留的天数；“设置自动归档时间间隔”的功能是设置自动对联机日志进行归档的时间间隔。在“帮助”菜单中有简单的系统使用说明以及本系统的注册方法。双击主界面左侧的“监控选项”展开一个树形目录，如图16所示：图16：主界面展开图1、操作系统监控1）操作系统预警当操作系统的运行发生错误和告警时，系统能及时获得这些错误和告警信息，并通知系统管理员，如图17所示：图17：操作系统预警信息图2）操作系统实时监控系统能获取数据服务器操作系统的实时运行信息，包括：（1） 文件系统：有关磁盘空间大小、使用率等与Unix文件系统有关的信息；（2） CPU占用率：提供服务器的CPU占用率信息；（3） 用户进程：显示所有用户进程的ID、时间、所执行的命令等信息；（4） Oracle进程：所有Oracle进程的信息；（5） 登录用户：登录Unix的用户和登录时间；（6） 系统时间：显示服务器当前时间信息。下图以文件系统的例子来说明, 并以图形方式显示，如图18所示：图18-a：文件系统信息图图18-b：文件系统信息图形化显示系统能实时监控操作系统的资源使用情况及历史记录，并以图形方式显示，如图19所示：图19：操作系统实时监控图2、数据库监控1）数据库预警当数据库的运行发生错误和告警时，本系统能及时获得这些错误和告警信息，并通知系统管理员，如图20所示：图20：数据库预警信息图2）数据库实时监控获取数据服务器上数据库的实时运行信息，包括：（1） 用户：显示操作系统用户名、oracle进程、会话状态、终端、程序、用户名、活跃度及会话ID等信息；（2） 正在执行SQL：显示有关正在执行SQL的有关信息，如操作系统用户名、 oracle用户名、sql语句、机器名及终端等；（3） 所有执行过的SQL：显示所有执行过的sql的第一次访问时间、磁盘访问次数、 SQL语句及执行次数等信息；（4） 查看数据文件是否在线：显示状态、文件名、表空间名等信息；（5） 查看数据文件使用率：能以饼图形式显示；（6） 数据库归档方式：显示名称、创建时间、登录模式、检查点更改等信息；（7） 查看回滚段使用情况：显示状态、回滚段名、表空间名、是否存在及大小等信息；（8） 查看表空间是否在线：显示表空间的状态信息；（9） 表空间：表空间信息，能以饼图形式显示；（10） 控制文件：显示文件名和状态信息；（11） 在线日志：显示状态、分组、成员号、是否归档、大小、序列号及预定义大小等信息；（12） SGA使用情况：显示缓冲池名及空间大小信息，能以饼图形式显示；（13） 系统全局区SGA命中率：数据库系统全局区的命中率。下面以数据库表空间为例，说明实时运行的信息及其图形化显示，如图21所示：图21-a：数据库表空间信息图图21-b：数据库表空间信息图形化显示系统能实时监控服务器的当前正在执行的所有SQL语句信息，如图22所示：图22：数据库实时监控图3）数据库诊断当CPU使用率超过设定的阈值时，能够得到当前一直在执行的SQL语句。系统还能获得存在问题的SQL语句，应用程序中的一些SQL语句写的不合理，这些SQL语句的执行时间将随着数据量的增大而变得很长，系统能够找出那些写的不合理而执行时间变长的SQL语句。如图23所示：图23：数据库诊断图3、数据库容灾地纬容灾监控系统的数据库容灾功能的使用，我们将在下面的一章中进行讲述。第五章 数据库容灾第一节 容灾功能介绍在本地或异地建立一个热备份点，通过监控软件把生产库的更新传输到热备份服务器。也就是通过网络以同步或异步方式，把主站点的数据备份到备份站点。备份站点一般只备份数据，不承担业务，拓扑结构如图所示。当出现灾难主站点数据库无法使用时，打开备份站点数据库，由备份站点数据库接管主数据库的业务，从而维护业务运行的连续性。第二节 体系结构地纬容灾监控系统的体系结构如图24所示：图24：系统体系结构图第三节 备份系统服务器要求