1350oms alu-nr9网管系统例行维护技术手册

ALU-NR9系统例行技术手基于<重大项目-山东PTN项目目前 文章目 如何使 一、每日例行操 EML操 EML层面的网元状态的检 EML层面的 EML层面的网元导 系统的raid状态检 SDH/NPR操 数据备 Raid状态的检 PKT系统的......................................................................... Raid状态的检 PW的导 业务列表导 设备上面的端口的带宽的检 数据备 二、每周例行操 EML操 SDH操 PKT操 三、每月例行操 EML操 SDH操 PKT操 服务器重新启 四、以太网业务操 如何判断数据与设备数据不一 文章目指导新进/初级人员借助技术手册参与 的日常工作当中，参考手册执 的常操作，熟悉系统，熟悉系统的操作；同时希望借助技术手册使得操作如何使按照周期分为日/周/月三大模块，模块下面按照产品分为EML/SDH/PKT/以太网四个使用者可以选择具有适合本项目的操作条目将其组织在一起，逐条进行检查并形成文档输出以便查阅。一 每日例行操EML操磁盘空间检UNIXNMS系rootCRTOMS执行命令检查磁盘空间的使用比率，确保没有95%以上 nmm02,sys,root# kbytesusedavail%usedMounted43002943%34%0%33%3510600%309568%3%3%9%/usr/Systems/EML_2_92%15852933%78%/dev/vg00/lvol1352428837460714035373% 6463449%1%52428811685823%66%77%记录文 使用率为90%以上 ，需求本地专职人 可以使用命令对文 进行扩展，扩展之后需要启动才能生效CPU使用率的检rootCRTOMScheckbzyd,sys,root#程除外，此进程暂用过高(500%左右）可能是因为320的standby问题引起，不要随便重新启动这个进程），320standbytop命令检查是否正常。告警数量检备上传的告警能得到告警进程的及时处理，确保上网元的状态与设备保持一致。确认当前告警列表数量在门限以下（9000条对较早期（比如发生在半年前的告警）EML层面的网元状态的检PKTSDH层面做的操作能够正常下利用 或则其他的管理帐号登录，并且进入networkmanagement界面Search-EML-network检查网元状态为Supervised、Reachable、Reachable、Aligned、对于declared状态的NE，在确认能够，相应的SNA进程normal的情况下，重新NE对于出现unreasonable的状态请检查NE是否通，如果不可达，请找出不可的原因，并且处理，如果NE能通，尝试再次停，起misalignedNE，请检查设备是否正常，比如是否存在高温OMS的进程是否正常，如果设备和进程都正常，请重新对NE停起无EML层面的EML检EMLSNA利用alca或则其他的管理帐号登录，并且进入networkmanagement界面执行Search-EML-EML所有SNA进程EMLstate是绿色的ready状态，出现黄色或灰色的都不正常，需要处1-SNAnotready首先checkSNA进程（EMLSNAdownSwap空间的检查看swap空间是否正常，因为它和日常的操作关rootCRTOMSswap50%以下；#swapinfo-amt查看有没有人对做一些操作（创建NE，创建业务等），如果有请让其停止操topcpurestart相关downFTSmap-im进start他们。上面的操作都做完，重新执行上面的swap检查令，确保使用低于50%#swapinfo-amtkillcpuEML层面的网元导EML层面的网元信息（IP地址，userlabel，localabel，进程号，NEID，版本信息NE的详细情况进行归纳（ip地址和版本的信息，NE的创建时间等根据数据具体分析，是否增加新的进程，网卡，license为意元文件丢失提供重建的依据使用 用户从web登录OMS系统并进入networkSearch出networkelementsSearch-EML-networknetworkelements列表手动显示隐藏列（NEID）-networkelementsidentiferNEIDNE的创建时间（掌握设备安装的大概时间导出networkelements，的图所示的图标，然后对导出的文件命NELIST-示系统的raid状态检raidraidraid的硬件故障而让系统rootCRTOMSraid状态检查#sasmgrget_infoD/dev/sasd1qraid=all,RebuildProgress100%（完全同步）的情况，请等待数分钟再次执行上面令，如果此参数在变化（比如从50%--60%），那么可以证明raid正在100%.case. 工程师的指导下执行SDH/NPR操磁盘空间检UNIXNMS系执行命令检查磁盘空间的使用比率，确保没有95%以上 rmm01,sys,root# kbytesusedavail%usedMounted 49636151776149% 51% 0% 45% 0% 54% 8% 1%/usr/Systems/HA_9/dev/vg00/lvol2439321610327827185228% 5%/usr/Systems/Global_Instance_8 9% 10% 10% 10% 10% 11% 9% 10% 9%/usr/Systems/EML_12_9 12% 50927946505752% 87%/dev/vg00/lvol1552428837460714035373% 5564610% 73% 6463449% 3%52428811737624%1%57%79%6553609480415%65536010052616%6553609434415%记录文 使用率为90%以上 ，需求本地专职人 可以使用命令对文 进行扩展，扩展之后需要启动才能生效CPU使用率的检rootCRTOMSrestart使用率很高的进程（map-目前山东的320版本是3.22.01，有standby的bug，它会造成的Mysql数据库占500%以上，需要检查设备的缓存使用情况，并且在矩阵状态正常的情况下把设备reboot，直到此进程使用率正常（50%以下）为止，否则不要对做任何操作，对于未处理standby问题就频繁使用系统而造成的鼓掌将不给予支持，谢Swap空间的检查看swap空间是否正常，因为它和日常的操作关rootCRTOMSswap50%以下；#swapinfo-amt查看有没有人对做一些操作（创建NE，创建业务等），如果有请让其停止操topcpurestart相关downFTSmap-im进start他们。上面的操作都做完，重新执行上面的swap检查令，确保使用低于50%#swapinfo-amtkillcpu电路刷新状态检查（CES业务EPIM使用alca用户从WebPortal登录系统，打开Network 如不能正常刷新，更换PC机再次进试；地图上的NE及node列表里面的NE状态的检SDH/NPRPKTNEoperationstate使用alca用户从WebPortal登录系统，打开networkmanagerment，Search检查node的状态都是正常的，如下表示node的状态正nodeNEunreachable及unreachable检查NE是否可达，如果不能通（通过CRT或则在系统中直接NE的工具，请检查光路或则交换机路由器的连接及运行状态是否正常，如果能够 可能是因为的进程（EML和NPR/SDH)之间的通信存在问题，这是请检查EML的SNA进程及NPR/SDH的FEP进程是否正常，正常进程如下：supervisionNEnode列表中的状态的变化，直到正常.MAP进程检MAPEPIM进程的工作使用 用户从WebPortal登录系统，打开Process#top–h-告警异常网元检EPIMroot#cd/usr/System/SDH_1/maintenance/trace/topMngAgent_csa.trc#tail–ftopMngAgent_csa.trc|grepNE在EML层面逐一排查找到的网元，对其进行停止、告警、更换机盘等一系列告警数量检备上传的告警能得到告警进程的及时处理，确保上网元的状态与设备保持一致。使用 用户登录并打开告警管理界面2-Debouncing的设置；登陆用户数量检使用 用户登录并启动SecurityAdministration->UserSession管理界面检查当前登录的用户数量以及时间2对超期用户实施强制退出(forceLogout)数据备备份SDH的数据库，在系统出现异常时恢复数据，确保系统上创建的业务与设备使用alca用户从WebPortal登录系统，打开#tarcvf/alu/DEPOT/<文件名>/usr/Systems/SDH_1/BackupArea/.<备份任务名称>4-将压缩文件包上传到PC机的指定 完成当前数据传送后顺便清除较早前的数据备 ISN、Operator、SystemConfiguration、PM、Network进行一次较全面压缩文件包的名称以“点tar”结尾；切勿将该文件路径省略，可能会导致 Raid状态的检raidraidraid的硬件故障而让系统rootCRTOMSraid状态检查#sasmgrget_infoD/dev/sasd1qraid=all,RebuildProgress100%（完全同步）的情况，请等待数分钟再次执行上面令，如果此参数在变化（比如从50%--60%），那么可以证明raid正在100%.case. 工程师的指导下执行导出node信node掌握网络中node的数量，状态，网元类型 IDnode使用 用户从Web登录OMS系统并且进入network导出node列表（默认情况下NEID，nodeID，NE 是不显示在node列表中的，需要手动让其显示，方法同上的EML层面的networkelements的NEID的列显显示EMLnode--nodeEMLnetworkelements导出Physical信光钎的数量，连接关系，Physicalconnectionid，物理连接的状态，告警情况。使用 用户从Web登录OMS系统并且进入networkPhysicalconnection（Physicalconnectionid是隐藏的，需要手动让PhysicalconnectionPhysicalconnectionEMLnetworkelementsPKT系统的系统磁盘空间检UNIXNMS系执行命令检查磁盘空间的使用比率，确保没有95%以上 bmethm01,sys,root# kbytesusedavail%usedMounted 40321760505040% 41% 0% 45% 0%/dev/vg00/lvol315242888640141056617% 49% 24%/dev/vg00/lvol2826214481042381963% 1%/dev/vg00/lvol2539321612088125533632% 4%/usr/Systems/Global_Instance_8 9% 9% 9% 9% 9% 9% 9% 9% 8%/usr/Systems/EML_12_9 6% 50927946505752% 87%/dev/vg00/lvol1552428837460714035373% 5564610%/opt/oracle/oraInventory10 73% 6463449% 2%11752324%59%80%9616215%9771716%6%/usr/Systems/EML_11_9 可以使用命令对文 进行扩展，扩展之后需要启动才能生效Cpu使用率的检rootCRTOMS执行系统进程运行情况令检查进程PMC中能够找到，可以尝试重新启动这个进程（对于Mysql320standby问题引起，不要随便重新启动这个进程），top命令Swap空间的检查看swap空间是否正常，因为它和日常的操作关rootCRTOMSswap50%以下；#swapinfo-amt查看有没有人对做一些操作（创建NE，创建业务等），如果有请让其停止操topcpurestart上面的操作都做完，重新执行上面的swap检查令，确保使用低于50%#swapinfo-amtkillcpuProxy同步状态检PKTEMLProxyEML系统EMLIMCORBASNMP进程的通信连接状态；检PKTEMLNMLProxySDHMediator进程的通信连接状态。使用root用户从Go-GlobalUX登录PKT服务器（root的是打开Go-GloabalUX软件，如果PC上没有安装，请用FTP软件或则FTP命令从服务器 切换到所EMLNMLProxyPKTProxy进程NotIsolatedisolated的状态的情况会在列表中显示成isolatedlan1是ioslatedPKTEMLProxyPMCEMLSNARaid状态的检raidraidraid的硬件故障而让系统rootCRTOMSraid状态检查#sasmgrget_infoD/dev/sasd1qraid=all,RebuildProgress100%（完全同步）的情况，请等待数分钟再次执行上面令，如果此参数在变化（比如从50%--60%），那么可以证明raid正在100%.case. 工程师的指导下执行告警数量检备上传的告警能得到告警进程的及时处理，确保上网元的状态与设备保持一致。使用alca用户登录并打开告警管理界面确认当前告警列表数量在门限（9000条告警对较早期（比如发生在半年前的告警）登陆用户数量检使用alca用户登录并启动SecurityAdministration->UserSession管理界面检查当前登录的用户数量以及时间2对超期用户实施强制退出(forceLogout)PKT&SDH同步状态检USM工作正常。使用alca用户从WebPortal登录系统，打开Network 搜索测试TMPLS域内的测试用的Segment，对其进试操作如不能正常刷新，更换PC机再次进试；同时检查EPIM的工作状态；使用测试电路进试，避免影响现网业务Tunnel的导使用alca用户从WebPortal登录系统，打开NetworkManagement（同上tunnel表格（tunnelid是隐藏的，需呀手动让其显示）TMplstailIDTunnel同上的列表导出方法PW的导使用alca用户从WebPortal登录系统，打开NetworkManagement（同上PW表格（tunnelid是隐藏的，需呀手动让其显示）TMplstailIDPW同上的列表导出方法业务列表导统计系统中的业务的数量，类型，evcid，方便日后及故障的处 使用alca用户从WebPortal登录系统，打开NetworkManagement（同上evc表格（evcid是隐藏的，需呀手动让其显示）evcid同上的列表导出方法设备上面的端口的带宽的检使用 用户从WebPortal登录系统，打开NetworkSearch-PKT-Construction-DefindNEdefindNE（NESearchEthernetbandwidth的参数表明了对应的对口已经使用的带宽。NNItunnel是否能够正常建立保护，所以一定要UNIUNI口的预留带宽是否能UNIusedbandwidth参数只能显示在上建立的业务，tunnel，pw的带宽，如果你的tunnel，pwusedbandwidth数据备备份PKT的数据库，在系统出现异常时恢复数据，确保系统上创建的业务与设备使用alca用户从WebPortal登录系统，打开#tarcvf/alu/DEPOT/<文件名>/usr/SystemsPKT_1/BackupArea/.<备份任务名称>5-将压缩文件包上传到PC机的指定 完成当前数据传送后顺便清除较早前的数据备 Operator、SystemConfiguration、PM、Network进行一次较全面的备压缩文件包的名称以“点tar”结尾；切勿将该文件路径省略，可能会导致 二 每周例行操EML操数据备备份EML的数据，保存系统上创建的网元、用户以及其他配置数据，在系统出现使用 用户从WebPortal登录系统，打开#tarcvf/alu/DEPOT/<文件名>/usr/Systems/EML_<ID>/BackupArea/.<备份任务名称>4-将压缩文件包上传到PC机的指定 完成当前数据传送后顺便清除较早前的数据备 Operator、SystemConfiguration、PM、Network（NTW）进行一次较全面的压缩文件包的名称以“点tar”结尾；切勿将该文件路径省略，可能会导致 EML层面的NTW的备份主要包含NE的信息（IP地址，用户名，，userlabel，进程号等）NE就必须做备份。PNM进程的检root#ps-efx|greppnmPNM如果没有输出结果可以尝试如下令重新启动这个进#cd/usr/Systems/Global_Instance_8.2.0_Master/PMC2/script/#./pmc2imstartPNM_GS_EML_1-9.1.0_严禁用同样令关闭其他的进程，如果做了，自SDH操数据备备份SDH/NPR的数据，保存系统上创建的node、物理连接，地图，在系统出使用 用户从WebPortal登录系统，打开#tarcvfalu/DEPOT/<文件名/usr/Systems/NPR_<ID>/BackupArea/.<备份任务名称#tarcvfalu/DEPOT/<文件名/usr/Systems/SDH_<ID>/BackupArea/.<备份任务名称将压缩文件包上传到PC机的指 保存完成当前数据传送后顺便清除较早前的数据备 Operator、SystemConfiguration、PM、Network进行一次较全面的备压缩文件包的名称以“点tar”结尾；切勿将该文件路径省略，可能会导致 SDH/NPRNTWnodetop的变动NTW做备份。PNM_GSroot#ps-efx|greppnmPNM如果没有输出结果可以尝试如下令重新启动这个进#cd/usr/Systems/Global_Instance_8.2.0_Master/PMC2/script/#./pmc2imstartPNM_GS_EML_1-9.1.0_严禁用同样令关闭其他的进程，如果做了，自PKT操数据备备份PKT的数据，保存系统上创建的tunnel、defindNE,LOC,PW，TD，TC及业务，用户，systemconfig等信息，在系统出现异常时恢复数据。使用alca用户从WebPortal登录系统，打开#tarcvf/alu/DEPOT/<文件名>/usr/Systems/PKT_<ID>/BackupArea/.<备份任务名称> 将压缩文件包上传到PC机的指定 完成当前数据传送后顺便清除较早前的数据备 Operator、SystemConfiguration、PM、Bmdata进行一次较全面的备压缩文件包的名称以“点tar”结尾；切勿将该文件路径省略，可能会导致 PKTbmdatadefindNE,LOC,tunnel,PW,TD,TC,业务的信息,所以这个PNM_GS重rootSDH#cd./pmc2imshutdownPNM_GS_EML_1-9.1.0_系统会自动重启该进程EMLUSMshutdownEMLID号码。#./pmc2imstartPNM_GS_EML_1-三 每月例行操EML操系统备对服务器系统进行全盘备份，以防系统磁盘故障导致的系统使用net登录到服务器的CONSOLE(用户名和root#/opt/ignite/binia/make_tape_recovery–A–mcpio使 net登录到服务器的CONSOLE检查确认备份成功并保存好磁带SDH操系统备对服务器系统进行全盘备份，以防系统磁盘故障导致的系统使 net登录到服务器的CONSOLE(用户名和root#/opt/ignite/binia/make_tape_recovery–A–mcpioPKT操系统备对服务器系统进行全盘备份，以防系统磁盘故障导致的系统使用net登录到服务器的CONSOLE(用户名和root#/opt/ignite/binia/make_tape_recovery–A–mcpio使用net登录到服务器的CONSOLE检查确认备份成功并保存好磁带服务器的重新启服务器重新启使 net登录到服务器的CONSOLE(用户名和root利用 用户登录，然后打开进程管理窗PKTEMLEML，SDH/NPR，PKT进程颜色由绿色变成蓝bdf95%consoleshutdownrconsolesystemisKernelServices还没启动起来，请等待，直到出现如下的结果tadl,sys,root#/