APG故障处理.doc

APG故障处理经验积累APG故障处理经验积累：APG 进程重启故障表现：WINNT状态正常，可以正常TELNET；但是有告警中有“NODE DOWN”，TELNET 上该NODE，敲入PRCSTATE，提示 THE NODE UNDEFIND。首先，检查进程运行情况net start一般这种表现，多为CLUSTER MASTER没有正常启动。在确认没有发现CLUSTER MASTER没有正常工作后启动该进程： net start “Cluster Master”（R9） net start “Cluster Server” (R10)重启APG步骤：一、先看一下A/B NODE的RAID状态（指令raidutil -L all)，ACTIVE边所有的都是optima状态，PASSIVE边都是 drive failed状态。二、再看一下A/B NODE的RESOURCE状态是否都为ONLINE（指令cluster res)三、在B-NODE边敲指令prcboot,将active状态倒换为passive。可能需要好几分钟。四、重复第二步，所有RESOURCE都为ONLINE,且A-NODE为ACTIVE,B-NODE为PASSIVE，则成功。否则继续进行以下步骤。五、在A-NODE重复第三步操作。六、重复第二步，所有RESOURCE都为ONLINE,且B-NODE为ACTIVE,A-NODE为PASSIVE。七、在A/B NODE分别敲指令mktr yymmdd-hhmm为防止文件损坏，在unix提取文件的使用，请首先使用bin 这条指令！检查APG与CP 的联系是否正常OCINP：IPN=all; （cp command）定义外部告警查看定义：exalls -l exalls定义数据 ：exaldef -s MAINS FAILURE -c 0 -C 8 -o no -S Power exal-1-4修改数据：exalch -s MAINS FAILURE -c 0 -C 15 -o no exal-1-4 解开设备：exaldeblk -b exal-1-4 -e exal-1-8 （如果闭使用 exalblk）3、APG网元备份后，SYTUC出Fault Code:54 Fault Code 54 表示： Not permitted. File in exclusive use. (Name rotation is not initiated.) 故障定位为APG执行边吊死，在确定了备用边工作正常后，对APG执行边做重启后，故障排除。FSEMSC（APG）计费文件丢失后，检查的相关数据制作相应的TR报告mktr YYMMDD-HHMM 如在2004-11-08检查数据 MKTR 041108-0950检查LOG文件dumplog applicationdumplog securitydumplog system 将以上产生的LOG文件生成在C:templog.txt;在每个指令完成后,请重命名文件后,再输入下条指令.DIR /S 检查该盘符下所有的文件情况.为防止文件损坏，在unix提取文件的使用，请首先使用bin 这条指令；为了再次确认文件的好坏，请在个人pc机进行再次确认！补充：如果删除文件夹，请使用 rm -r APG 的超级用户及其密码修改：完整的修改方法1、 创建服务2、 两个节点输入setupservices -r3、 重启节点prcboot 先重启备用侧再重启主用侧4、 修改密码在A侧修改密码： net user administrator 在B侧进行同步： net accounts /syncnetdom bdc /reset5、 倒边测试net user administrator * 按照提示修改相应的密码PCANYWHERE 进行修改开始-程序-administrator tool - user manage for domain:选择accounts 可以修改用户的相关属性（包括密码期限和长度等）双击可以更改用户的密码和相关属性。（发现更改超级用户可能会出现异常）同样也可以选择Alt+Ctrl+Del,在log out的界面上选择更改密码。停止进程和重启进程：停止：cluster res FMS_CPF_server /off /wait启动：cluster res FMS_CPF_server /on /wait由于镜像磁盘的不一致，或者数据盘出现了部分损坏，CLUSTER在侦测到数据盘无法正常后，会自动重启相关的节点。在处理紧急故障或者是尽量保证网管畅通，这样的情况是危险的。在cluster的 ACS_PRC_Control_0是控制A-NODE的进程重启ACS_PRC_Control_1是控制B-NODE的进程重启因此在启动NODE的开始,在整个进程刚刚起来的时候,关闭以上进程,则可以避免NODE的循环重启,保障紧急情况下APG和CP的通信.查看不正常的进程指令:cluster res | findstr -ive online检查镜像磁盘的工作状态raidutil -L physicalraidutil -L logicalraidutil -K重建相应的分区:raidutil -a rebuild d0b0t1do（对于在一个NODE看到的d0b0t1d0中的b0表示为本端，如果为d0b1t1d0中的b1则表示为另一端）7APG中控制CP通信的进程MCS_MTS_ADM 如果发现CP与APG的通信不正常，可以尝试对该进程进行重启.8.修改用户名/密码的方法：在A边修改用户名/密码然后在B边进行同步： net accounts /sync在B边进行BDC的重置： netdom bdc /reset测试：在执行边： cd program filesforceam_services输入： fcc_amtest own -f Fcc_amtest other -f测试正常后，对备用边进行重启（prcboot）在确认备用边正常重启后，进行倒边测试。对主用边进行重启（prcboot） 重启后，确认APG两边都正常工作OK！APG中各进程含义：ACS_ALH_Exec_0 AP Alarm HandlerACS_ALH_Exec_1 AP Alarm HandlerACS_ALOG_BufMan_0 Audit Log Buffer Manager ACS_ALOG_BufMan_1 Audit Log Buffer Manager ACS_ALOG_Main Audit Log ProcessACS_ALOG_ProcSpwn_0 Audit Log Process Monitor ACS_ALOG_ProcSpwn_1 Audit Log Process Monitor ACS_CHB_ClockSyncService_0 Syncs APs Time-of-Day with CPs ACS_CHB_ClockSyncService_1 Syncs APs Time-of-Day with CPsACS_CHB_HeartBeatService_0 Heart Beat and CP object service ACS_CHB_HeartBeatService_1 Heart Beat and CP object serviceACS_DSD_service_0 Directory & Communication ServiceACS_DSD_service_1 Directory & Communication ServiceACS_PRC_ClusterControl_0 Cluster Control ACS_PRC_ClusterControl_1 Cluster Control ACS_PRC_CountReboot_0 Reboot Counter ACS_PRC_CountReboot_1 Reboot Counter ACS_PRC_EventAnalyser_0 Event Analyser ACS_PRC_EventAnalyser_1 Event AnalyserACS_PRC_IspLogger In Service Performance Logger ACS_SFC_Recovery_0 Soft Function Change Recovery ACS_SFC_Recovery_1 Soft Function Change Recovery ACS_SSU_Monitor_0 System Supervisor ServiceACS_SSU_Monitor_1 System Supervisor ServiceACS_SSU_SecMon_0 System Security Supervisor Service ACS_SSU_SecMon_1 System Security Supervisor Service ACS_USA_SyslogAnalyser_0 Systemlog Analyser ACS_USA_SyslogAnalyser_1 Systemlog Analyser AES_AFP_server AES AP File Processing Service AES_CDH_server AES Common Destination Handling ServiceAES_DFO_server AES Direct File Output Service APIO_TFTP_Server Distinct TFTP Server for STOC NetworkAPM_DHCP_Server Microsoft DHCP Server Cluster IP Address Cluster NameCPS_BUAP_filemgr CPS Backup/Restore File Manager CPS_BUAP_loader CPS Backup/Restore LoaderCPS_BUAP_parmgr CPS Backup/Restore Parameter ManagerCPS_BUFTPD CPS Restore File Transfer Protocol DaemonCPS_BUTFTPD_butftpdCPS Restore Trivial File Transfer FMS_CPF_server CP File System Handling ServiceInternal IP Address for SPOE MAS_CPTASP_cptcentral Central Processor Test MAS_CPTASP_cptheartbeat Central Processor TestMCS_ADH_ADM MCS MML ServerMCS_AIAP_ADM MCS Alphanumeric Terminal Information Server MCS_ALDA_ADM MCS Alarm Display AdministrationMCS_ALEC_ADM MCS Alarm External Collection MCS_ALIS_ADM MCS Alarm Interface ServicesMCS_MTS_ADM MCS MML Telnet Server OCS_IPNAADM IPNA administration service stsmain STS Collection Service stsopcf STS Output Configuration Servicestsprov STS Provisional Service 涉及到的子系统ACS Adjunct Computer Subsystem AES Adjunct Computer External Access Subsystem CPS Central Processor SubsystemFMS File Management SubsystemMCS Man-machine Communication SubsystemOCS Open Communication Subsystem（is used as a platform for communication between an AXE 10 and remote hosts connected to a Transmission Control Protocol/Internet Protocol (TCP/IP) based network. The subsystem consists of central software, regional software, software in IPNA and software in APG40.）The Statistics Gatherer Service (SGS) runs on the Adjunct Processor (AP) of an AXE switching exchange. It collects and provides statistic data from the AXE switching system .查看APG软件版本的指令： swrsidintelligent networks management interface file fault 告警的处理在CP中检查inmpar文件是否存在cpfls -l -s inmparif the file not exits,then create new file:cpfmkfile -l 32 inmpar exchvol