备份和恢复过程及MySQL数据库itimscloud和DMSN_998的数据恢复.docx

修改记录20140624 “恢复过程”中强调了工作空间的恢复；增加目录权限的设置内容；备份和恢复过程说明从服务器A备份ITIMS环境，在服务器B恢复ITIMS环境。要求服务器A和服务器B都使用过installStandAlone.sh安装过ITIMS环境，并且都安装在相同的路径下，如/itims。特别注意：安装的路径必须相同。备份常见场景用户现场更换服务器l 执行backupStandAloneAllJarRoot.shl 保留备份目录下的所有文件l 另外：需要原始的安装程序包用户现场程序拿回公司测试l 公司有原始安装包执行backupStandAloneItimsJarRoot.sh【假定前提现场更新补丁未更新过第三方的包，否则也需要执行backupStandAloneAllJarRoot.sh】，没有原始安装包执行backupStandAloneAllJarRoot.sh。l 备份目录下的DMSN_998_D_TP.tar.gz、DMSN_998_D_TF.tar.gz、DMSN_998_D_TM.tar.gz、workfiles_rpt.tar.gz这4个文件不需要【这4个文件可能会比较大，只是测试程序的时候不需要这些文件】。备份过程备份过程之需要执行备份脚本即可。常用的备份脚本有backupStandAloneAllJarRoot.sh和backupStandAloneItimsJarRoot.sh。其他的备份脚本见“附录1：备份脚本说明”。backupStandAloneAllJarRoot.sh和backupStandAloneItimsJarRoot.sh的区别在于backupStandAloneAllJarRoot.sh将各个目录下所有的jar都备份，backupStandAloneItimsJarRoot.sh是将各个目录下itims开头jar都备份。所以backupStandAloneAllJarRoot.sh产生的备份文件比较大，backupStandAloneItimsJarRoot.sh产生的备份文件比较小。backupStandAloneAllJarRoot.sh主要用于服务器A和B安装的不是同一个发布版本（这时第三方的包可能有差异）。backupStandAloneItimsJarRoot.sh主要用户服务器A和B安装的是同一个发布版本（第三方包相同）。或者由于网络环境不允许传输大的备份文件（备份包中有第三方包的包名和大小的文本说明）。backupStandAloneItimsJarRoot.sh中最大的文件是DMSN_998_D_TP.tar.gz和workfiles_rpt.tar.gz（最新版备份脚本才生成），如果不需要性能数据和报表的话可以不复制该文件。可能比较大的文件是DMSN_998_D_TF.tar.gz和DMSN_998_D_TM.tar.gz如果不需要告警和SYSLOG数据的话可以不复制该文件。backupStandAloneAllJarRoot.sh执行完毕后生成bakalljar+备份时间（年月日时分秒）的目录，所有的备份文件在这个目录中，文件的说明见“附录4：备份文件说明”。backupStandAloneItimsJarRoot.sh执行完毕后生成bakitimsjar+备份时间（年月日时分秒）的目录，所有的备份文件在这个目录中，文件的说明见“附录4：备份文件说明”。备份过程中脚本的输出见“附录2：备份脚本输出”，这个部分只涉及到数据库的备份，其他的备份主要是对目录进行tar命令打包一般不会出现错误并且也没有输出。备份完成后请检查备份数据是否正常，参照“附录3：检查备份数据”检查数据库的备份是否合规，参照“附录4：备份文件说明”检查备份文件中的文件大小是否合规。恢复过程l 服务器B上安装的ITIMS环境在恢复前最好可以先启动服务并测试TOMCAT可以登录等基本功能。l 将所有的非MySQL数据文件（见“附录4：备份文件说明”）解压后覆盖相应的目录下的同名文件。特别注意：不能删除服务器B上的任何文件，否则会影响程序的运行。l 恢复MySQL的数据过程见“附录5：恢复数据”，如果不需要性能、告警、SYSLOG数据的话，只需要恢复itimscloud库的数据和DMSN_998_C.sql和DMSN_998_D.sql的数据，环境即可使用，这样恢复的速度比较快。l 特别需要注意的是工作空间的恢复，系统中的数据是同时存在在数据库和工作空间中的，所以在恢复数据库后必须同时恢复工作空间，否则会出现数据不一致的问题，引起很多问题。l 目录的权限设置：1. 建议ITIMS所有目录的宿主设置为itims用户2. 建议cloudCore、cloudMgr、tomcat这3个目录设置777权限。进入ITIMS安装目录rootlocalhost # cd $ITIMSINST_PATH执行rootlocalhost release# chown itims:itims * -R执行rootlocalhost release# chmod 777 cloudCore/ cloudMgr/ tomcat/ -Rl 执行updateStandAloneIpAddrRoot.sh 服务器BIP，更新环境中的IP地址。l 启动服务即恢复环境完毕。附录1：备份脚本说明备份脚本为陆续增减，所有不是所有的发布版本都具有这些备份脚本。备份脚本l backupCloudDB.sh（备份云库，其他脚本调用，基本上不单独使用）l backupDMSNDB.sh（备份998租户库，其他脚本调用，基本不单独使用）l backupStandAloneAllJarNoDataRoot.sh（备份程序、工作空间）l backupStandAloneAllJarRoot.sh（新版全备份，功能同backupStandAloneRoot.sh）l backupStandAloneDataRoot.sh（备份数据，备份数据库、工作空间）l backupStandAloneItimsJarRoot.sh（精简备份，备份程序jar文件只备份itims开头的文件，但是列出所有jar的大小和文件名、数据库、工作空间）l backupStandAloneLogRoot.sh（备份日志）l backupStandAloneRoot.sh（老版的全备份，备份所有的程序、数据库、工作空间）l showLibJarFileRoot.sh（显示jar文件的列表，包括大小和文件名，backupStandAloneItimsJarRoot.sh调用）附录2：备份脚本输出请检查执行备份脚本输出时是否基本符合下面的输出使用mysqlhotcopy复制tp开头的表，tp表应该有300多个，如果数量明显不同则存在问题Locked 348 tables in 0 seconds.Flushed tables (dmsn_998.tpctdns, dmsn_998.tpctdubangrt, dmsn_998.tpctftp, dmsn_998.tpctimap, dmsn_998.tpctldap, dmsn_998.tpctmail, dmsn_998.tpctnntp, 中间忽略了需要输出应该共348个表dmsn_998.tpwebspheretrans_a) in 0 seconds.Copying 696 files.Copying indices for 348 files.Unlocked tables.mysqlhotcopy copied 348 tables (696 files) in 177 seconds (178 seconds overall).Locked 3 tables in 0 seconds.如果复制tf开头的3张表的时候出现错误，没有问题。因为老版本的这些表的引擎不是MyISAM，所以肯定出错。在恢复数据的时候这些数据将丢失。如果想保留这些数据需要使用mysqldump导出单个表的数据。Flushed tables (dmsn_998.tfevt, dmsn_998.tfevthis, dmsn_998.tfevthisd) in 0 seconds.Copying 8 files.Copying indices for 3 files.Unlocked tables.mysqlhotcopy copied 3 tables (8 files) in 1 second (6 seconds overall).Locked 1 tables in 0 seconds.tmsyslogrealtimelog表和tf开头的表一样，老版本会出现错误。Flushed tables (dmsn_998.tmsyslogrealtimelog) in 0 seconds.Copying 2 files.Copying indices for 1 files.Unlocked tables.mysqlhotcopy copied 1 tables (2 files) in 0 seconds (0 seconds overall).Warning: -directory (-d) option is undocumented and no-op. Use -rf for deleting non-empty dirsWarning: -directory (-d) option is undocumented and no-op. Use -rf for deleting non-empty dirsWarning: -directory (-d) option is undocumented and no-op. Use -rf for deleting non-empty dirsWarning: -directory (-d) option is undocumented and no-op. Use -rf for deleting non-empty dirsWarning: -directory (-d) option is undocumented and no-op. Use -rf for deleting non-empty dirs总参独有的错误，由于工作空间中的文件有可能被破坏导致tar工作空间时失败，最好可以用rm f 文件名 命令删除错误的文件后再执行本法脚本。tar: workfiles/rptdbxmldefault+TOMCAT+1/_db.006：无法 stat: 输入/输出错误tar: 由于前面延迟的错误而退出由于/etc/f中没有配置datadirdatadir not in mysqld variables at /usr/bin/mysqlhotcopy line 234比较奇怪的问题是以前也没有配置就没有问题。现在新装的系统是64位的，实际文件放在itims/dbfile/mysql，/var/lib/mysql做了软连接在/etc/f中的mysqlddatadir=/var/lib/mysql重启Mysql后备份成功。公司152.4备份时出现的错误，数据库存在问题，执行mysqldump时出现错误，无法成功备份数据库中的数据。mysqldump: Error: Cant create/write to file /tmp/#sql_dde_2.MYI (Errcode: 28) when trying to dump tablespacesmysqldump: Couldnt execute show fields from ip_restore: Cant create/write to file /tmp/#sql_dde_0.MYI (Errcode: 28) (1)附录3：检查备份数据l 检查itimscloud_C.sql.gz（也有可能只有itimscloud.sql.gz，里面包含了C和D的内容，文件大小大约为1.9M）中的itimscloud_C.sql的大小是否正常，正常的大概40k，如果文件过小则说明导出itimscloud库时出现错误，需要检查itimscloud库是否才能在问题。l 检查DMSN_998_C.tar.gz中的DMSN_998_C.sql的大小是否正常，正常的大概500k，如果文件过小则说明导出DMSN_998库时出现错误，需要检查DMSN_998库是否才能在问题。DMSN_998_C.sql是使用一个mysqldump命令导出建表语句；DMSN_998_C2.sql是每个表执行一个mysqldump命令导出见表语句合并成的文件，所以DMSN_998_C2.sql大小约为1.5M。这2个SQL从功能上没有区别，如果DMSN_998_C.sql的大小正常，可以直接使用DMSN_998_C.sql，如果DMSN_998_C.sql小于100k，则建议使用DMSN_998_C2.sql。l 检查DMSN_998_D.tar.gz中是否包含DMSN_998_D.sql，如果不存在该文件则需要使用最新的备份脚本备份。附录4：备份文件说明backupStandAloneAllJarRoot.sh备份文件说明l cloudCore.tar.gz是整个cloudCore目录中程序的备份（不含工作目录），无动态数据，不同时间的备份文件大小应该基本一致。l cloudMgr.tar.gz是整个cloudMgr目录中程序的备份，无动态数据，不同时间的备份文件大小应该基本一致。l DMSN_998_C.tar.gz是DMSN_998库的建表语句的备份，无动态数据，不同时间的备份文件大小应该基本一致。l DMSN_998_D.tar.gz是DMSN_998库的管理数据的备份，含部分动态数据，不同时间的备份文件大小应该差别不大。l DMSN_998_D_TF.tar.gz是DMSN_998库的告警数据的备份，动态数据，文件大小变化大。l DMSN_998_D_TM.tar.gz是DMSN_998库的SYSLOG数据的备份，动态数据，文件大小变化大。l DMSN_998_D_TP.tar.gz是DMSN_998库的SYSLOG数据的备份，动态数据，文件大小变化大。l itims.tar.gz是tomcat/webapps/itims的备份，含部分图片动态数据，不同时间的备份文件大小应该差别不大。l itimscloud.sql.gz是itimscloud库的建表语句和数据的备份，含部分动态数据，不同时间的备份文件大小应该差别不大。l probe.tar.gz是整个probe目录中程序的备份，无动态数据，不同时间的备份文件大小应该基本一致。l workfiles.tar.gz是整个工作目录除报表以外的备份，含部分动态数据，不同时间的备份文件大小应该差别不大。如果同目录中不包含workfiles_rpt.tar.gz则是老版本的备份脚本还未将报表单独备份，那个文件大小变化大。l workfiles_rpt.tar.gz是整个工作目录报目录的备份，动态数据，文件大小变化大。backupStandAloneItimsJarRoot.sh备份文件说明l 所有的txt文件是对应的目录的jar文件的说明，如cloudCore_cloud_lib.txt就是cloudCore/cloud/_lib目录下的所有文件的说明。文件格式如下：l cloudCore.tar.gz是整个cloudCore目录中程序的备份（不含工作目录和_lib目录），无动态数据，不同时间的备份文件大小应该基本一致。l cloudCore_itims_lib.tar.gz是整个cloudCore目录中的_lib目录中的itims开头的jar，无动态数据，不同时间的备份文件大小应该基本一致。l cloudMgr.tar.gz是整个cloudMgr目录中程序的备份（不含_lib目录），无动态数据，不同时间的备份文件大小应该基本一致。l cloudMgr_itims_lib.tar.gz是整个cloudMgr目录中的_lib目录中的itims开头的jar，无动态数据，不同时间的备份文件大小应该基本一致。l DMSN_998_C.tar.gz、DMSN_998_D.tar.gz、DMSN_998_D_TF.tar.gz、DMSN_998_D_TF.tar.gz、DMSN_998_D_TP.tar.gz见上面的说明。l itims.tar.gz是tomcat/webapps/itims的备份（不含lib目录），含部分图片动态数据，不同时间的备份文件大小应该差别不大。l itims_itims_lib.tar.gz是tomcat/webapps/itims/WEB-INF/lib目录中的itims开头的jar，无动态数据，不同时间的备份文件大小应该基本一致。l itimscloud.sql.gz见上面的说明。l probe.tar.gz是整个probe目录中程序的备份（不含_lib目录），无动态数据，不同时间的备份文件大小应该基本一致。l probe_itims_lib.tar.gz是整个probe目录中的_lib目录中的itims开头的jar，无动态数据，不同时间的备份文件大小应该基本一致。l workfiles.tar.gz、workfiles_rpt.tar.gz见上面的说明。附录5：恢复数据l 启动mysql服务，mysqld -user=mysql /dev/null 2&1 &l 登录mysql,并记录tee日志。tee日志在批处理模式不工作。re.log中会记录所有在mysql客户端进行的操作。mysql -h 2 -P3306 -u itims -pitims1cstnet2DH -tee=re.log或mysql -u itims -pitims1cstnet2DH -tee=re.logl 删除已有数据库（如果还需要数据，请提前备份）drop database itimscloud;drop database dmsn_998;l 解压缩所有的备份文件，将备份文件复制到/root目录下gunzip itimscloud_C.sql.gz gunzip itimscloud_D.sql.gz（也有可能只有itimscloud.sql.gz，里面包含了C和D的内容，文件大小大约为1.9M）tar -xzf DMSN_998_C.tar.gztar -xzf DMSN_998_D.tar.gz tar -xzf DMSN_998_D_TF.tar.gz tar -xzf DMSN_998_D_TM.tar.gztar -xzf DMSN_998_D_TP.tar.gzl 创建itimscloud库create database itimscloud;use itimscloud;source /root/itimscloud_C.sql;source /root/itimscloud_D.sql;（如果结构和数据导入到一个sql中则是source /root/itimscloud.sql;）commit;l 创建DMSN_998库create database DMSN_998;use DMSN_998;source /root/create/DMSN_998_C.sql;source /root/data/DMSN_998_D.sql;commit;l 停止MySQL服务（下面的命令会杀掉所有mysqld的进程）ps -ef | grep mysqld | kill -9 awk -F print $2;l 恢复MyISAM表文件（注：一个正常的MyISAM表应该是3个文件，*.frm、*.MYD、*.MYI。由于一些数据库的脚本比较老导致tfdata和tmdata下的表示InnoDB的引擎，所以备份出来只有*.frm文件，这样的tfdata和tmdata不需要处理，只处理tpdata即可。）l 恢复tpdata文件n 进入原始路径cd /root/tpdatan 获取数据文件目录rootlocalhost tpdata# more /etc/f|grep datadirdatadir = /itims/mysql/mysql如果不能获取到datadir，则数据库的datadir为默认路径var/lib/mysql。单机版的路径就是默认路径。注意：如果datadir路径为默认路径，则下面的命令的目标目录需要做相应的修改。n 测试复制文件，（主要是为了测试是否能正确覆盖文件）rootlocalhost tpdata# cp dmsn_998/ /itims/mysql/mysql -Rcp：是否覆盖“/itims/mysql/mysql/dmsn_998/tpemersoninputperf.frm”?n 复制文件rootlocalhost tpdata# /bin/cp dmsn_998/ /itims/mysql/mysql Rfl 恢复tfdata和tmdata文件，如果需要处理参考“恢复tpdata文件”。tfdata备份了tfevt表（告警事件），tmdata备份了tmsyslogrealtimelog表（Syslog接收数据）。只有最新的创建库的语句这两个表才修改为MyISAM。如果是老的建表语句，只会备份出*.frm文件则不需要处理。（如果不对这两个表单独处理的话，相应的数据将丢失）l 修改文件属主，因为使用root拷贝文件可能导致文件属主为root。在下面这个目录下以root权限执行命令rootlocalhost mysql# chown mysql:mysql * -Rl 重建MyISAM表的索引cd /itims/mysql/mysql/dmsn_998myisamchk -rq *.MYIl 启动mysql服务，mysqld -user=mysql /dev/null 2&1 &（单机版使用service mysql start）l 可以使用checkMySQLTable.sh查看表的状态并修复相关的表rootlocalhost itims# sh checkMySQLTable.sh no no itims itims1cstnet2DH DMSN_998脚本会生成一个类似chkdb+20120912105637，后面的时间是当前时间的目录。查看一下其中的DMSN_998_checkStatus.txt文件表正确的样本为TableOpMsg_typeMsg_textdmsn_998.tcairdaikinconfcheckstatusOK表存在问题的样本之一：TableOpMsg_typeMsg_textdmsn_998.tpctdnscheckwarningTable is marked as cra