CES业务,FE业务分析与故障定位-张磊.ppt

CES/FE业务分析与故障定位,张磊2013年2月,培训内容：,业务分析概述,CES业务分析及故障定位,FE业务分析及故障定位,小结,业务类型分析概述,移动回传网主要用于承载基站回传业务2G基站：BTSBSC3G基站：NodeBRNCLTE基站：eNBSGW/MME,FE/GE,FE/GE,FE/GE,汇聚层,L2VPN专线,GE/10GE,GE/10GE,2M/FE,SGW/MME,RNC,STM-1,BSC,2G基站业务,3G基站业务,LTE基站业务,业务类型分析概述,4,PE1,PE2,PE3,L2VPN功能管道不改变帧内容，不分包处理，透明传输；业务类型CES业务FE业务,业务类型分析概述,业务规划接口类型/VLAN划分上话槽位、端口线路槽位、端口VC标签分配Tunnel标签分配,5,业务类型分析概述,6,PE7,PE8,PE2,PE6,PE3,PE4,PE5,15/1,15/3,15/4,11/3,6/2,8/1,8/2,7/2,7/1,4/2,4/1,11/3,7/2,主用,备用,接入(640)：PE7/8汇聚(860)：PE2/3/4/5核心(865)：PE6,IPRAN组网设备类型,7,集中式交换,分布式交换,培训内容：,业务分析概述,CES业务分析及故障定位,FE业务分析及故障定位,小结,CES业务分析及故障定位-业务特点,固定带宽，固定帧长E1业务，固定带宽2M155M业务，承载63个2M时隙，S1O2盘集成8个155M光口E1和155业务均是TDM（CES）业务，其配置单位为2M;数据敏感，易造成业务中断丢帧错包乱序报文时钟敏感,9,CES业务分析及故障定位-转发,10,E1O1,SCUO1,NP,TDM-PKT,PKT-TDM,CES业务分析及故障定位-仿真盘配置,11,E1O1S1O2,CES业务分析及故障定位-思路,12,一找出问题业务在网管上右键点工程业务管理，打开过滤，输入源网元号或网元名称，宿网元号或网元名称。,CES业务分析及故障定位-找到故障电路,业务类型分析概述-定位到VC,14,定位工作路径,业务类型分析概述-定位到Tunnel,15,主用备用Tunnel，定位保护路径,CES业务分析及故障定位-思路,16,CES业务分析及故障定位-分析电路,17,提炼CES故障业务规划表,CES业务分析及故障定位-分析电路,18,PE7,PE8,PE2,PE6,PE3,PE4,PE5,15/1,15/3,15/4,11/3,6/2,8/1,8/2,7/2,7/1,4/2,4/1,11/3,7/2,提炼CES故障业务拓扑图,CES业务分析及故障定位-思路,19,CES业务分析及故障定位-定位故障点,源节点故障中间节点故障宿节点故障,20,CES业务分析及故障定位-定位故障点,分析业务规划表和拓扑图性能分析方法（源中宿节点逐步定位）1.端口流量，报文计数2.VP层流量，报文计数,21,源节点,22,端口流量分析,在8号站的交叉盘XCUK1上面查看状态，打开LSP保护状态信息，找到标签为423，查看主备状态，如果都没有告警，说明主备状态都正常。,源节点,CES业务分析及故障定位-定位故障点,24,中间节点：入口槽位盘显示,宿节点,25,宿节点：入口槽位盘显示,宿节点,宿节点：备用槽位盘显示,CES业务分析及故障定位,定位到节点并查看该节点丢包原因点击端口丢包原因查询右边的按钮,CES业务分析及故障定位,常见丢包原因REASON_ING_UNI_SHORTFLOW_ACL_POLICY_DROP：入口非法，检查VPWS配置情况REASON_ING_NNI_OUTER_LABEL_SPACE_CHECK_ERROR：外层入标签非法，检查ilm表情况REASON_ARP_INVALID:出接口查找不到ARP，检查ARP配置情况,28,CES业务分析及故障定位-思路,29,CES业务分析及故障定位-分析故障原因,故障节点配置数据检查网管配置分析端到端配置主控配置数据分析单网元配置单盘配置数据分析单板卡配置,30,数据不同步会造成业务故障,网管配置数据分析,业务配置标签规划与槽位端口与物理走纤一致告警信息端口Link-Los，CRC记数，端口收发光功率正常状态和性能信息仿真链路收发包，端口流量，保护组状态正常LSP流量稳定帧长统计查看业务是否发出,31,网管配置数据分析,业务配置标签规划与槽位端口与物理走纤一致告警信息端口Link-Los，CRC记数，端口收发光功率正常状态和性能信息仿真链路收发包，端口流量，保护组状态正常LSP流量稳定帧长统计查看业务是否发出,32,业务配置1,选中业务，右键查看业务属性UNI接口、业务时隙,业务配置2,业务配置与业务规划是否一致,定位至Tunnel，保护组在8号站（640）上，主用标签是423，备用标签是424,业务配置3,网管配置在主控和单盘上是否同步,告警,36,本地,远端,告警示例远端链路接入故障和本段链路包丢失,状态,37,异常,正常,Tunnel流量,性能,仿真链路接收的包数和发送的包数是否相等,CES业务分析及故障定位-主控/单盘,源/宿节点数据分析VPWS配置LSP_Tx配置LSP_Rx配置ARP配置中间节点数据分析LSP_Rx配置ARP配置,39,主控配置数据分析,分析步骤登陆主控主控配置命令查看VPWS是否正常查看FTN表（LSP_TX）是否正常查看ILM表（LSP_RX）是否正常查看ARP表是否正常,40,查看VPWS配置：,查看LSP_TX配置：,查看LSP_RX配置：,协议盘上查看ARP：,IP地址,MAC地址,单盘配置数据分析,分析步骤登陆单盘单盘常用命令VPWS配置LSP_Tx配置LSP_Rx配置ARP配置历史配置数据记录,43,单盘数据转发处理原理1,44,VPWSLSP_TX,ARPLSP_RX,单盘数据转发处理原理2,45,线路盘,交叉盘,线路盘,Lsp_Rx,Arp,单盘数据处理原理3(SCU交换),46,槽位端口与交换芯片物理端口号对应关系,单盘数据处理原理4(NP交换),47,面板1到SYS1口面板2到SYS2口面板3到SYS3口其它端口到SYS4口,面板端口与背板SYS口对应关系,单盘命令函数集锦-menu,单盘命令函数集锦-apihelp,输入命令DbgGetMplsVpnInfo0,1,0回车后打印所有VPWS信息，找到RX-Lable=0 x156的VPWS，可知vpwsid=11；,CES业务-源宿VPWS,CES业务-源宿LSP_TX,CES业务-源宿ARP,CES业务源宿LSP_RX,53,CES业务中间节点LSP_RX,54,CES业务中间节点ARP,55,55,CES业务-历史配置数据记录1,如果NP盘上面“REASON_ING_NNI_MPLS_ACTION_INVALID_INNERLAB”第二层标签动作非法的丢包原因，那么需要查看VPWS配置内容是否存在并看配置是否正确。,CES业务-历史配置数据记录2,第一个参数1是数据类型表示vpws，第二个参数500是看500条记录，找出其中收pwlable=342，发pwlable=343。,主控配置VPN数据是否下发正常更多函数查看“menu”函数,典型故障解析,源/宿节点控制字使能配置不匹配保护组状态不一致ARP未配置VPWS配置未下发仿真盘配置中间节点ARP未配置LSP标签未下发中间链路有CRC,58,CES业务工程问题分析,查找过程,1.找到故障电路2.查询流量3.中间节点入tunnel表没有lsp表项4.登陆主控盘，发现有配置数据；5.登陆NP盘，发现没有配置数据；6.检查配置下发时间，较早时间配置数据；7.检查主控配置锁开关,60,协议盘查看TNE状态命令：,CES业务工程问题分析,CES业务工程问题分析,1.找到故障电路2.查询流量3.中间节点入tunnel表中流量不对称4.检查源节点发送数据流量，太少5.检查单盘配置，发现CES使能开关关闭,63,查找过程,CES业务工程问题分析,1.找到故障电路2.查询流量，正常3.沿路检查端口性能和告警；4.发现有CRC计数，端口收光功率过低,65,查找过程,案例4：LSP1:1保护倒换出现异常，没有成功倒换。查询原因：所在的网元S1O1单盘的设备类型为PTN，影响了背板总线。修改设备类型为IPRAN后，问题解决。注意：S1O1单盘修改设备类型后单盘会重启，重启时间需要20分钟左右。,CES业务工程问题分析,1.找到故障电路2.检查保护组状态3.检查流量，业务走向备用路径4.登陆交叉盘，检查保护组告警信息5.读总线告警信息与备用槽位发送告警信息不一致6.查询哪块板卡影响背板；CES板卡-NP板卡逐个定位；,67,查找过程,培训内容：,业务分析概述,CES业务分析及故障定位,FE业务分析及故障定位,小结,FE业务分析,数据不敏感帧长随机帧速随机VLAN操作,69,UNI,NNI,Tag识别,Vlan增加/删除,Tag识别,Vlan增加/删除,Tag不识别,Vlan增加,Tag不识别,Vlan增加,70,网管查看相关配置,首先在网管上找到出现故障的业务路径，方法如下：右键点击工程1，选中“业务管理”，然后点击“业务管理主视图”中的过滤图标，在弹出的对话框中输入原宿网元后点击确定。,网管查看相关配置,找到出现的故障业务后，右击该业务，选中“显示业务属性”，在弹出的对话框中可以看到PE7和PE2节点上VPWSUNI测配置。,网管查看相关配置,73,按照前述方法找到出现故障的业务后，右击该业务，选中“定位到IPRANVC”，右侧会显示该业务相关标签信息。,LSP保护主备状态,74,右击出现故障的业务，选中“定位到IPRANTUNNEL”，右侧显示tunnel保护信息。从右侧保护路径可以看出在PE8和PE2上配置了保护。,LSP保护主备状态,75,打开PE8的XCUK1的状态，从上图中可以看到PE8的收标签为315，点击LSP保护状态信息，找到标签值为315的对应项，查看其主备告警信息,LSP保护主备状态,76,PE2上主用路径是11/1，主用标签是317，备用路径是11/3，备用标签是321,。打开PE2的11号槽位的状态信息，点击保护组状态。找到主用标签为317的相应项，即可以看到该tunnel保护组的信息。,77,FE业务工程问题分析,78,提炼以太网业务规划表,组网拓扑图,PE7,PE8,PE2,PE3,15/1,15/1,15/3,15/4,11/3,11/1,11/1,11/3,提炼以太网业务逻辑图,定位故障点,80,定位故障点方法,Ping包分析法ping特定帧长的报文，通过帧长区间统计查看数据路径；Oam包分析法通过OAM包特定流量，进行分析流量分析法,81,1.1.1.1,2.2.2.2,arp,rarp,ping,ack,MEP1,MEP2,Enablevc,Vcloc,Vcrdi,EnableVc,82,FE业务分析及故障定位-定位故障点,配置数据检查网管配置分析主控配置数据分析单盘配置数据分析,83,问题定位-配置,84,以PE7到PE2方向的业务出现故障为例，且LSP工作在主用状态。则其工作路径为：PE7(15/1)-(15/1)PE8(15/4)-(11/3)PE3(11/1)-(11/1)PE2。右击出现故障的业务，选中“定位到IPRANTUNNEL”。,85,FE业务分析及故障定位-状态,问题定位,86,通过以上步骤确定业务出现故障的网元及槽位后，需在相应网元的槽位上查看丢包原因。查看丢包原因方法如下：点击相应网元，然后右击该网元的相应槽位，点击状态监视。,87,在弹出的对话框中，点击左侧端口丢包原因查询所对应的图标。,FE业务分析及故障定位-定位故障点,主控盘配置数据,VPWSLSP_TXLSP_RXARP,88,原宿节点查看配置,89,原宿节点上有VPWS、LSP-RX、LSP-TX的配置。以下图示均以PE2为例（收pw标签为312）。1、主控中查看vc的配置,原宿节点查看配置,90,3、在主控盘上查看LSP-TX的配置,原宿节点查看配置,91,5、在主控盘中查看LSP-RX的配置,查看节点上arp配置,92,1、在主控盘上查看arp配置信息,中间节点查看配置,93,1、主控盘查看标签为315的LSP-RX配置,单盘配置数据,VPWSLSP_TXLSP_RXARP,94,原宿节点查看配置,95,在单盘中查看vpws的配置命令：menu-apiHelp-DbgGetMplsVpnInfo0,1,-1参数：,原宿节点查看配置,96,4、在业务盘上查看LSP-TX的配置,中间节点查看配置,97,2、业务盘上标签为315的LSP-RX的配置命令：menu-apiHelps-DbgGetMplsLspInfoByLabel参数：第一个为0，第二个为所需查的LSP的收标签,查看节点上arp配置,98,2、在业务盘上查看arp配置,典型故障,源节点VPWS配置未下发保护组状态不正确入口VLAN配置错误基站双收业务ARP配置未下发中间节点LSP标签未下发ARP配置未下发,99,工程ARP故障排除方法-FE业务中断,100,640,R860,R860,R860,640,找到故障电路分析电路OAM分析法，使能VCOAM流量分析查找丢包原因分析主控/单盘ARP配置数据,培训内容：,业务分析概述,CES业务分析及故障定位,FE业务分析及故障定位,小结,小结-业务特点,CES业务特点固定带宽(一个2M业务，固定带宽2M)数据敏感(丢帧、错包、乱序、时钟)FE业务特点