PTN L3网络典型故障分析(2014年).pptVIP

四川移动网维中心隆环宇2014 11 1 PTNL3网络典型故障分析 前言 PTN网络 在其核心采用了MPLS TP技术实现数据包的路由与交换 同时 采用了传统传输SDH的保护倒换等理念 正因为兼有2层交换与3层交换特色 在带来灵活性 高适应性的同时 不可避免增加了其故障处理的难度 本课件 力图通过分析典型的PTN故障案例 协助维护人员对故障处理思路 排查方式进行梳理 达到举一反三 提升经验的目的 由于作者水平所限 课件可能存在一些不完善之处 还请各位同仁们指正 目录 典型故障案例 1 如何处理PTNL3网络故障 2 基本思路 网内关键检查点 重要手段 总结与提高 L2转L3节点间同步协议通道故障案例 明细路由成环的案例 典型原因归纳 L2转L3节点间同步协议通道故障案例 LTE业务组网如图 其中接入环网元 PTN1 为OptixPTN950设备 核心环的网元 PTN2 PTN3 PTN4及PTN5 均为OptiXPTN3900设备 PTN2和PTN3为L2 L3网元 其中 正常情况下 PTN2为主用桥接点 PTN4和PTN5为L3网元 PTN1至PTN2 PTN1至PTN3开有伪线双归的以太网业务 业务通过L2转L3桥接后 进入3层网络 最终落地点是MME SGW PTN2和PTN3zhi之间设置DNIPW 同时还配置有ICB 同步协议通道 承载ARP热备和MC LAG协议报文 在L2转L3桥节点 将L2VE 该E Line业务VLL的V UNI 和L3VE 静态L3VPN业务的V UNI 进行桥接 并分别将VE绑定到业务 隧道 某日 出现LTE基站业务中断 L2转L3节点间同步协议通道故障案例续1 3 发现L2VPN业务状态正常 PW能PING通 PWAPS状态已经倒换 2 PTN网络中 其余部分 如承载DNIPW的通道等无物理中断告警 1 告警现象 PTN2和PTN3之间 有隧道Tunneldown告警 进一步复核 发现该隧道是承载ICB通道的隧道 4 沿着正常情况下 业务路径检查 发现PTN2节点连接PTN1节点的端口统计有发送流量 但查看PTN1节点连接PTN2节点的端口统计无接收 L2转L3节点间同步协议通道故障案例续2 告警及性能初步分析 各节点路由检查 1 从告警现象看 承载ICB的隧道告警 应该和故障有关联 2 从告警影响看 该隧道down掉 影响的是ICB通道 即会影响承载ARP热备和MC LAG协议的报文传递 3 从收发包分析 PTN1没有收到PTN2的包 说明LTE业务下行在该区域发生了中断 1 上行路由检查 正常情况下 业务路径应该是PTN1 PTN2 PTN4 MME SGW 各节点优先级 应该是沿此路径方向优先级高 备用保护方向优先级低 当前PTN1的优先级有变化 上行路径为 PTN1 PTN3 PTN5 PTN4 MME SGW 即PTN3承担了上行业务流量 这与PW发生倒换的事件吻合 2 下行路由检查 正常情况下 业务路径应该是MME SGW PTN4 PTN2 PTN1 各节点路由优先级无变化 但当前PTN1已发生PW倒换 选收PTN3方向 即当前PTN2应该以去PTN3方向为高优先级才对 原因分析 当ICB通道故障 MC LAG协议报文不通 PTN3备节点的MC LAG协议 导致备升主 且会通过PW备通道通告PTN1节点 触发PTN1节点PWAPS倒换 上行流量路径变为PTN1 PTN3 PTN5 PTN4 MME SGW 下行流量从PTN4到PTN2后 由于MC LAG双主 PTN2节点不会把下行流量切到DNIPW 而是直接发往PTN1节点 但PTN1节点已经PWAPS倒换 只会从与PTN3对接端口接收流量 而与PTN2对接端口不接收流量 故而下行流量中断 出现LTE站点全阻的情况 明细路由成环的案例 某承载LTE的PTN网络中 由于建网初期 业务量少 EPC侧提供的地址为包含少量IP地址的明细路由 后随着EPC的扩容 需要扩容业务IP地址路由 增加了相应的网段路由 已有的网段路由包含了原有的明细路由 明细路由为冗余路由 需要进行清除 该操作理论上不影响业务 割接时 发现LTE基站业务出现中断 割接前路由分析 红色明细路由掩码比绿色的网段路由长 由于路由优选第一原则为最长掩码匹配 所以业务通过红色路由来进行业务转发 对于掩码相同的红色路由 再进行优先级比较 因为上行EPC优先级较高 所有业务正常向省干转发 明细路由成环的案例续 割接过程路由分析 据了解 割接时先清除了PTN 1 PTN 2对外部UNI侧冗余路由 图中红点处 此时 由于PTN 1 PTN 2之间 尚存在明细路由 此时两台设备都优选了互指的网络侧保护路由 明细路由 在两个节点间形成路由环路 使基站上行EPC的业务无法正常转发 典型原因归纳 请归纳常见PTNL3业务故障的原因 并描述这两起故障可能的原因 硬件故障 节点失效 且保护失败 单点故障 且保护失败 光路两点中断 单站配置数据 路由错误 端到端各节点路由配合错 以上的组合 目录 典型故障案例 1 如何处理PTNL3网络故障 2 基本思路 网内关键检查点 重要手段 总结与提高 L2转L3节点间同步协议通道故障案例 明细路由成环的案例 典型原因归纳 根据已有信息 确定影响范围和排查方向 排查PTN物理层面故障 是否PTN之外的故障引起本网络故障 可查看相关网络告警等 结合工具 进行ping trace 抓包等辅助分析 根据受影响业务 梳相关理业务路径 排查PTN数据设置层面故障 基本思路 PTNL3网络故障处理 网内关键检查点 省干核心A 省干对接B 省干核心B 城域桥接落地A 城域桥接落地B 接入设备 EPC L2VPN IP L3VPN IP IP L3VPN 网内关键检查点续1 省干对接A 省干核心A 省干对接B 省干核心B 城域桥接落地A 城域桥接落地B 接入设备 EPC L2VPN IP L3VPN IP IP L3VPN 业务端到端路由查询 服务层路径告警 性能梳理 连通性检查 配置状态检查 VPN路由查看 倒换状态查看 隧道实际路径查看 网管操作查看 基于路径的物理层 协议状态告警查看 基于路径的物理层关联性能查看 各层次连通性检查顺序VRFPING等 基于业务 PW PWE3 的性能查看 连通性检查结果对应的分析 L2L3VPN的典型桥接配置及ARP热备检查 L3VPN的典型路由配置及状态检查操作日志查看 告警性能中有相关专题1 对应告警 异常性能的可能原因梳理 尽可能基于业务快速分析出根告警2 另外同时要求掌握告警 异常性能有哪些 3 了解基于业务的端到端告警能够关联过滤出哪些告警 性能 哪些需要在总的告警视图中进行进一步的分析查看 1 连通性检查中 对于不可达需要的进一步分析 2 逐段的连通性检测的关联 层层递进 3 多个连通性检测关系间的组合分析 初步得出结论 1 对桥接的典型配置状态进行分析2 对L3路由的典型配置检查以及路由状态查看 业务路由若无法完成 A Z不可达 就可以分析相关专题 1 例如Tp隧道LOC 导致L3VPN路由找不到出接口2 桥接点无法获取基站ARP 从而L2L3无法真实完成业务桥接3 部分VRF静态路由配置缺失 导致没有找到出口路由可一次性分析出问题 网内关键检查点续2 重要手段 1 Ping trace OAM 链路级端口状态查看 sGW L3VPN N侧 城域桥接节点 城域落地节点 城域桥接落地节点 省干对接节点 IP U侧 L2VPN L2VPN 节点内部故障可能OAM无法感知 本桥接 落地点携带是否所有业务中断 保证L2VPNPW强制切换绕行此点 基于PEER节点部分业务的上下行切换 基于PEER所有业务U侧切换 基于PEERN侧所有业务切换 L3VPN上下行VPN FRR ECMP切换绕行此点 此节点进行IP FRR触发切换触发对端的IP流量绕行此点 本节点OAM去使能触发到达本节点的N侧L2 L3VPN业务绕行此点 部分业务中断 所有业务中断 经过操作保证所有业务绕行此点 经过操作保证故障业务绕行此点 重要手