ab5.0排错anybackup5.0后台维护管理

1、AnyBackup 5.0 后台维护管理2015-05 爱数认证技术工程师 高级课程系列CONTENT目录后台服务介绍及管理工具控制台相关信息收集后台维护脚本介绍产品故障排查思路第一章：后台服务介绍及管理运行架构nginxserver9800/9801(SSL)Webforlocal8500/8505backupserver9951/9952thriftpysvc9950phpserver3345webforthrift8510/8515webfordataengine8520/8525mediaserver9955/9902clientserver(I)N/AsendlogtoermsN/A

2、updatediskpoolinfoN/AupdatesysinfoN/AWeb 前端Web 后端数据后端管理后端操作系统clientserver(O)N/A柜子客户端DBServer9906备份恢复相关AnyBackup的基本知识端口、进程、服务服务名端口号进程名控制台服务backupserver9951/9952esfdaemon -f consoled.config介质服务器服务mediaserver9955/9902esfdaemon -f mediasvrd.config客户端服务clientserver随机端口esfdaemon -f clientd.configbackupser

3、ver主要作用：1. 管理客户端的长连接，监控客户端状态（9952） 2. 发起备份调度（9951）mediaserver主要作用：1.存储和介质管理；2.浏览和查询备份数据（9955）；3.存储备份数据；4.为客户端提供恢复数据（9902）web服务相关服务名端口号进程名php服务phpserver3345php-fpm代理服务nginxserver9800/9801nginxAnyBackup的基本知识端口、进程、服务php服务 主要作用：动态解析页面nginx服务 主要作用：1.web界面的管理入口；2.将php请求分发给webservice。python相关服务服务名端口号进程名thr

4、iftpysvcthriftpysvc3345thriftpysvcwebforlocalwebforlocal8500webforlocalwebforthriftwebforthrift8510webforthriftwebforuploadwebforupload8570webforuploadwebfordataenginewebfordataengine8520webfordataengineAnyBackup的基本知识端口、进程、服务thriftpvsvc 主要作用：读写数据库webforxxxx 主要作用：1.webforlocal跟系统配置、管理有关；2.webforthrif

5、t跟备份恢复有关；3.webfordataengine跟设备管理有关；4.webforupload跟更新管理有关python相关服务服务名端口号进程名thriftpysvcthriftpysvc3345thriftpysvcwebforlocalwebforlocal8500webforlocalwebforthriftwebforthrift8510webforthriftwebforuploadwebforupload8570webforuploadwebfordataenginewebfordataengine8520webfordataengineAnyBackup的基本知识端口、进程

6、、服务thriftpvsvc 主要作用：读写数据库webforxxxx 主要作用：1.webforlocal跟系统配置、管理有关；2.webforthrift跟备份恢复有关；3.webfordataengine跟设备管理有关；4.webforupload跟更新管理有关数据库服务服务名端口号进程名DBServerAnyBackupDBServer9906mysqldAnyBackup的基本知识端口、进程、服务DBServer 主要作用：提供数据库服务数据库管理工具rootlocalhost bin# pwd/apphome/app/mgmserver/anybackup/binrootlocal

7、host bin# ./dbmanager -helpDatabase Management Toolsusage: dbmanager -h -d -r -voptional arguments: -h, -help show this help message and exit -d, -drop 删除数据库 -r, -rebuild 重建数据库 -v, -debug 查看执行输出详细信息OFS后台管理工具查看具体用法：rootlocalhost bin# pwd/apphome/app/binrootlocalhost bin# ./ofsutil helpOFS Utility Too

8、l 2.0.0 at Tuesday, July 21, 2015 09:43:49.Usage: ofsutil -app appName options ofsutil -help -version-app appName Specifiy the application name.-help Get help information.-version Get version information.常用功能：rootlocalhost bin# ./ofsutil -app AnyBackup clean 清理OFSrootlocalhost bin# ./ofsutil -app An

9、yBackup -list 查看OFS具体信息rootlocalhost bin#./ofsutil -app AnyBackup -remove -cid 1 gns:/xxxx 删除指定的CID第二章： 控制台相关错误信息收集系统日志/var/log/messages日志文件详细地记录了系统每天发生的各种各样的事件。用户可以通过日志文件检查错误产生的原因，或者在受到攻击和黑客入侵时追踪攻击者的踪迹。日志的两个比较重要的作用是：审核和监测。系统进程的执行报错，一般来说都会记录在系统日志中，包括文件系统相关、系统运行相关、软件运行相关；根据报错信息，通过网络查找，可以获得解决方案，以便解决用户

10、问题；介质服务器日志/var/lib/newcore/AnyBackup/expt_profiler.log该文件记录了ofs模块的出错信息，可以用来分析介质服务器无法启动，介质异常等错误；Mysql数据库日志/var/log/mysqld.log错误日志在Mysql数据库中很重要，它记录着mysqld启动和停止，以及服务器在运行过程中发生的任何错误的相关信息。通过此日志，可以排查mysql查询出现错误、mysql数据库服务无法启动、mysql运行过程中崩溃等mysql相关的问题；Vmware 备份日志/sysvol/apphome/app/bin/vddk_log.log该文件记录vmwar

11、e备份时vddk接口的日志，遇到vmware虚拟化平台备份出现问题时，可以查看此日志的记录，排查问题并解决；Trace获取修改/sysvol/apphome/app/bin/cfl.config，需要在cfl.config中添加以下内容：EnableTrace=onTraceOutputLocation=fileTraceOutputFile=/eisoo/log.logTraceType=syncEnableTraceTime=onEnableThreadSafe=offTraceModule=ModuleName，fileschedule获取进程堆栈Inforworks系统中未集成gdb，

12、为了使用gstack功能，需要先将gdb放到/usr/bin目录下，给赋予执行权限；（3.5的VX直接拷备，即可使用）；rootlocalhost gdb# cd /apphome/app/bin/rootlocalhost bin# ps -ef|grep mediaroot 11784 1 0 09:59 ? 00:00:05 /apphome/app/mgmserver/anybackup/scripts/./bin/syncmediadist -daemonroot 12448 1 0 09:59 ? 00:00:08 /apphome/app/bin/esfdaemon -f med

13、iasvrd.configroot 25677 24217 0 14:07 pts/0 00:00:00 grep mediarootlocalhost bin# gstack 12448 gstack.log可以每隔5s钟执行一次，将gstack的数据反馈给研发进行分析处理，以便解决问题；19第三章：后台维护脚本介绍20服务链接脚本/sysvol/apphome/app/scripts/link_service.sh采用临时处理的方式，将备份软件需要使用的服务链接到/etc/init.d目录下，可以用来尝试解决服务异常的问题；21重启所有服务脚本/sysvol/apphome/app/scr

14、ipts/Restart_AllService.sh该脚本的作用是重启AnyBackup相关的所有服务，当需要服务重启时，可以使用该脚本，快速进行重启；22第四章：产品故障排查1.查看服务、进程、端口是否正常/etc/init.d/AnyBackupxxxxxx status（查看AnyBackup相关服务状态）ps -ef | grep nginx（查看nginx服务是否正常）lsof -i:9955(查看介质服务器控制端口连接情况）telnet IP port_ID （查看端口是否可以正常访问）2.查看系统日志tail -20 /var/log/messages (查看后20行的系统日志）

15、cat /var/log/messages|more（逐页查看系统日志，避免因日志过多而刷屏）tail /var/newcore/AnyBackup/expt_profiler.log(查看介质服务器程序抛错信息）AnyBackup的基本维护常用的操作1.无法登录后台可能原因：1.网络连接；2.sshd服务未开启；3.密码错误；4.infoworks系统崩溃；5.存储柜未开机分析流程：如果是远端ssh登录，可按照如下过程： 网络问题-ssh服务是否开启-登录密码如果是直连显示器，则按照如下流程： infoworks系统-登录密码是否正确Tips：如果判断为密码问题，则可尝试使用driver登录

16、，如果可以登录，则说明控制台安装出现问题。常见问题2.客户端无法连接控制台可能原因：1.网络连接；2.客户端未开机；3.端口问题；4.客户端服务问题；5.版本不对应；6.控制台问题现象：某个客户端离线分析过程：1.检查控制台版本和客户端版本是否对应；2.检查客户端和控制台的网络连接；3.检查客户端服务是否正常，是否存在安全软件，将客户端目录添加到例外；4.尝试重装客户端 现象：所有的客户端均离线分析过程：1.检查控制台和客户端版本是否对应；2.检查控制台的backupserver和thriftpvc服务是否正常，尝试重启下这两个服务；3.如果仍然离线，则排除控制台问题，需要检查控制台和客户端的

17、网络连接；4.如果网络连接正常，检查防火墙是否将9952、9902端口屏蔽；5.检查客户端服务是否正常，是否存在xxx安全软件，将客户端目录添加到例外。6.尝试重装客户端Tips：一般在客户端处通过lsof -i:9952或者netstat -ano |findstr 9952判断客户端是否连接到控制台，除了一种情况：版本不对应常见问题3.无法登陆控制台可能原因：1.登陆密码错误；2.web服务异常；3.mysql服务异常现象：无法看到页面信息，但是可以ping通控制台，登陆报http502错误原因：php服务出现异常解决方法：检查php服务，可通过ps -ef|grep php-fpm，如果

18、没有php-fpm进程，则需要启动php服务；如果无法启动或者启动后依然无法进入控制台页面，则是php-fpm服务异常问题，原因较复杂，需要研发介入。现象：可以看到控制台界面，但是输入密码后，提示无法连接mysql原因：1.mysql服务未启动；2.myql服务出现异常，无法启动解决方法：1.对于第一种情况，可手动启动服务即可；2.对于第二种情况，需要从以下2点分析：1.sysvol目录是否被占满；2.mysql数据文件是否损坏现象：无法看到页面信息，提示“无法连接 ”原因：1. 网络问题；2. nginx服务发生异常解决方法：1.检查网络;2.手动重新启动nginx服务即可常见问题4.备份卡

19、死可能原因：1.备份速度过慢；2.控制台服务异常；3.thriftpvsvc服务异常分析方法：首先需要判断：备份卡死、备份速度慢、web界面不更新任务执行信息判断方法：1. 进入后台，检查9902端口、eefprocess进程是否正常; lsof I:9902； ps ef |grep eefprocess2. 如果正常，则查看网卡是否有流量，若无流量，则说明任务真正卡死，需要研发介入；watch -n 2 “/sbin/ifconfig em1“,查看网口的吞吐量；3. 若有流量，则需要检查是否存在网络问题，可通过将存储柜的文件拷到客户端，查看传输速度，如果很慢，则说明是网络问题，反之为程序问题，可能需要研发介入；4. 如果后台流量很大，但web页面始终不更新，则需要检查backupserver和thriftpvsv