杭州电信IPRAN交流胶片

杭电IPRAN项目培训 周源廊坊RSRC2010年3月 Page2 第一章 IPRAN简介第二章 项目背景及组网结构第三章 基础规划第四章 FE业务部署第五章 CES业务部署第六章 时钟部署第七章 技术案例总结第八章 工程交付总结 目录 Page3 IPRAN简介 RAN radioaccessnetwork 即从无线基站到基站控制器之间的传送网络 RAN通常为基于电路交换的网络 多以MSTP 微波等传统传输产品组网为主 随着无线业务的发展 数据 视频 非实时语音等新业务的出现 RAN对带宽的需求越来越高 而移动运营市场竞争不断加剧 利润逐年下降 为了满足终端用户不断提高的带宽需求 同时降低投资成本 具有统计复用功能 同时每bit价格低廉的IP网络 成为了越来越多运营商的新选择 IPRAN解决方案及为RAN的IP化 聚焦于移动回传领域 重在解决该领域的网络平滑演进和设备互联互通性 以及端到端时钟方案的实现 Page4 IPRAN解决方案介绍 杭电IPRAN项目用的为ATN910 CX SR的组网方式 为以上几种方案中最接近IP化的方案 是传说中真正的IPRAN Page5 第一章 IPRAN简介第二章 项目背景及组网结构第三章 基础规划第四章 FE业务部署第五章 CES业务部署第六章 时钟部署第七章 技术案例总结第八章 工程交付总结 目录 Page6 杭电IPRAN项目背景 浙江公司作为IPRAN试点省份 将根据集团公司城域网全业务承载能力提升试点的统一部署及本省实际情况在杭州 宁波和金华开展相应试点工作 以试点来验证IPRAN的承载能力 逐步推进RANIP化承载的进程 为移动数据业务的发展和未来向LTE演进承载网发展奠定基础 同时以IPRAN试点为契机 杭州电信想把IPRAN这张网络打造成城域网的精品第二平面 验证IPRAN承载网上承载部分电信自营封闭类业务如AG L2 L3VPN等的可行性 寻求电信的多业务承载的思路 Page7 杭电IPRAN项目规模 城域网部分 萧山两台SR路由器 NE40E 萧山11台CX600 X3 BTS接入部分 59台基站路由器ATN910 BSC接入部分 武林两台CE路由器 NE40E 其他系统 一套U2000和一套BITS时钟系统 无线侧 新增一台BSC本次项目共割接59个BTS到IPRAN网络承载 Page8 梅花楼M320 体育路M320 体育路新增SR 梅花楼新增SR 杭州原城域网 武林EVDO NE40E 1 武林EVDO NE40E 2 武林新增CE 1 武林新增CE 2 城东CX600 新塘CX600 螺山CX600 御前CX600 来苏CX600 所前CX600 临浦CX600 崇化CX600 黄家河CX600 曹家桥CX600 高桥CX600 景芳SR IPRAN网管服务器U2000 IPRAN报表服务器 武林BSC12 BTS 朝阳村ATN910 曹家桥ATN910 黄家河ATN910 实际组网结构 BITS主时钟 BITS备时钟 Page9 第一章 IPRAN简介第二章 项目背景及组网结构第三章 基础规划第四章 FE业务部署第五章 CES业务部署第六章 时钟部署第七章 技术案例总结第八章 工程交付总结 目录 Page10 杭州原城域网 OSPFAREA0 1000 1000 5000 1000 1000 1000 1000 1000 1000 5000 5000 5000 5000 5000 5000 5000 1000 1000 5000 5000 1000 1000 OSPF规划 OSPFAREA153 NSSA AS号 64740 Page11 杭州城域网 PE PE PE PE PE PE PE PE PE PE PE PE PE PE PE PE PE PE P P CE CE CE CE VRF IPRANMAN Server Client Route Globle MPLSL3VPN 网管组网模型 Page12 网管的实现 在OSPF组成的IGP域上配置管理L3VPN 网管从景芳SR接入网络 把景芳SR的面向网管侧的FE业务口添加入管理L3VPN私网侧 使得网管系统接入到该L3VPN 对于所有新增CX设备和NE40E设备均通过管理L3VPN用snmp协议来进行管理 便于安全性并与业务VPN隔离 对于所有ATN910设备 通过DCN协议进行管理 1 对于ATN环边缘节点的ATN设备 在对端的CX或者NE40E的端口上添加vlan子接口 vlanID为52 与ATN侧DCN的vlan一致即可 将这些vlan子接口添加入管理L3VPN私网侧 并配置IP地址 在每个ATN与CX设备直连的端口上使能网管DCN并修改DCNvlan为52 并配置网管子接口的IP地址 使之与对端的子接口在同一网段 即可实现与网管的互通 2 对于ATN环上没有与CX设备或NE40E设备直连的ATN设备 只需要把环上所有端口ETHDCN使能 并且配置与CX设备或NE40E设备直连的ATN设备为主管理网关和备管理网关 Page13 第一章 IPRAN简介第二章 项目背景及组网结构第三章 基础规划第四章 FE业务部署第五章 CES业务部署第六章 时钟部署第七章 技术案例总结第八章 工程交付总结 目录 Page14 第四章FE业务部署第1节总体规划第2节MPLSL2VPN部署第3节MPLSOAM部署第4节BTS侧业务部署第5节BSC侧接入技术第6节保护技术第7节DHCPRELAY技术第8节QOS部署 内容介绍 Page15 FE组网总体规划 梅花楼M320 体育路M320 体育路新增SR 梅花楼新增SR 杭州原城域网 武林EVDO NE40E 1 武林EVDO NE40E 2 崇化CX600 黄家河CX600 曹家桥CX600 高桥CX600 武林BSC12 BTS 朝阳村ATN910 曹家桥ATN910 黄家河ATN910 BITS主时钟 BITS备时钟 裸IP MPLSL3VPN FE EthPW 核心网BSC侧 城域骨干网 IPRAN汇聚层 IPRAN接入层 BTS侧 Page16 IGP路由规划 城域网部分内的设备 CX及以上 武林SR及以上网络设备 CX之间 的IGP协议为OSPF 城域网OSPF域 放入城域网OSPF骨干 遵循城域网IGP规划原则 1 每条链路cost值设置见基础路由规划部分 2 萧山SR至M320的多条链路采用OSPF的负载分担模式 BTS接入网络部分内的设备 CX及以下 ATN及以上网络 CX之间 的IGP协议为ISIS 1 全网ISIS路由采用多进程设计 新增路由器针对每一个接入的ATN环采用一个独立的ISIS进程 共同组成Level2区域 2 CX之间metric值设置为100 CX与ATN之间和ATN与ATN之间metric值设置为10 IPRAN接入层采用新增CX设备终结L2VPN入L3VPN方式 新增CX设备针对每一个ATN接入环启用一个ISIS实例 每个ATN接入环之间路由相互隔离 L2VPN域之间路由相互隔离 L2VPN和L3VPN之间路由相互隔离 网络路由规划清晰明了 便于后续网络扩容 Page17 第四章FE业务部署第1节总体规划第2节MPLSL2VPN部署第3节MPLSOAM部署第4节BTS侧业务部署第5节BSC侧接入技术第6节保护技术第7节DHCPRELAY技术第8节QOS部署 内容介绍 Page18 MPLSTE部署示意图 黄家河CX600 主 曹家桥CX600 备 BTS 朝阳村ATN910 曹家桥ATN910 黄家河ATN910 图中双向箭头表示一对tunnel同种颜色为一对tunnel保护组 Page19 MPLSTE部署详述 注 上图及以下描述只针对一个基站的FE业务 ATN节点起三条tunnel 一条用作到主CX的主路径 红 一条用作到主CX的备路径 红 一条用作到备CX的路径 黄 其中前两条tunnel构成保护组 主CX节点起四条tunnel 一条用作到目标ATN的主路径 红 一条用作到目标ATN的备路径 红 一条用作到备CX节点的主路径 绿 一条用作到备CX节点的备路径 绿 其中前两条tunnel构成一个保护组 后两条tunnel构成一个保护组 备CX节点起三条tunnel 一条用作到目标ATN的路径 黄 一条用作到主CX的主路径 绿 一条用作到主CX的备路径 绿 其中后两条tunnel构成一个保护组 所有的tunnel均使用松散显示路径规定下一条指向规定方向 Page20 L2VPN部署示意图 黄家河CX600 主 曹家桥CX600 备 BTS 朝阳村ATN910 曹家桥ATN910 黄家河ATN910 图中PW的颜色对应为上图中TUNNEL的颜色 业务主PW 业务备PW 业务vrrp心跳PW 管理vrrp心跳PW Page21 L2VPN部署详述 CX上起vpls ATN上起vll 专线 通过相同的PWID号进行对接 CX之间通过vpls的vsi实例进行对接 CX上起两个vsi实例 一个用作跑业务 CX和ATN间 CX与CX间 一个仅用作跑管理vrrp心跳 CX与CX间 这里面涉及了四条PW 1 业务主PW 绑定了两条LSP 有两条路径2 业务备PW 只绑定了一条LSP 只有一条路径3 业务vrrp心跳PW 绑定了两条LSP 有两条路径4 管理vrrp心跳PW 与业务vrrp使用相同的tunnel策略 和业务vrrp公用两条LSP Page22 第四章FE业务部署第1节总体规划第2节MPLSL2VPN部署第3节MPLSOAM部署第4节BTS侧业务部署第5节BSC侧接入技术第6节保护技术第7节DHCPRELAY技术第8节QOS部署 内容介绍 Page23 MPLEOAM部署示意图 主节点到ATN 黄家河CX600 主 曹家桥CX600 备 BTS 朝阳村ATN910 曹家桥ATN910 黄家河ATN910 正向通道 正向通道 反向通道 Page24 主节点到ATNMPLSOAM部署详述 CX主节点上配置了三条mplsoam 1 一条ingress 用于检测主用lsp中CX到ATN的tunnel 指定了备用lsp中ATN到CX的tunnel为反向通道 红色 2 一条egress 用于检测主用lsp中ATN到CX的tunnel 指定了备用lsp中CX到ATN的tunnel为反向通道 绿色 3 一条ingress 配置的正向通道为备用lsp中ATN到CX的tunnel 未指定反向通道 黄色 ATN上配置全了主用备用lsp的四条mplsoam 并都指定的反向通道注 原则上CX和ATN之间只要前两条oam就可以满足整网的检测需求了 具体现网的配置为什么这么做还有待考证 关于CX上的第三条配置 研发给出的解释是为了让ATN的备用lsp上oam检测保持正常而起的 Page25 MPLSOAM部署示意图 主备CX间 黄家河CX600 主 曹家桥CX600 备 BTS 朝阳村ATN910 曹家桥ATN910 黄家河ATN910 正向通道 反向通道 Page26 CX之间MPLSOAM部署详述 CX间配置了两条mplsoam用于检测CX间心跳PW的tunnel状态以下以主CX上的配置为例来介绍 1 一条ingress 用于检测主用lsp中主CX到备CX的tunnel 指定了备用lsp中备CX到主CX的tunnel为反向通道 绿色 2 一条egress 用于检测主用lsp中备CX到主CX的tunnel 指定了备用lsp中主CX到备CX的tunnel为反向通道 红色 Page27 第四章FE业务部署第1节总体规划第2节MPLSL2VPN部署第3节MPLSOAM部署第4节BTS侧业务部署第5节BSC侧接入技术第6节保护技术第7节DHCPRELAY技术第8节QOS部署 内容介绍 Page28 业务部署示意图 VSI admin12 ATN 黄家河 ATN 曹家桥 ATN 朝阳村 CX 黄家河 CX 曹家桥 ID 48 ID 49 ID 57 VRF IPRAN VRF IPRANMAN VSI ring12VSI ID 12 VE1 0 0 VE1 0 1 VE1 0 0 VE1 0 1 VRRP 112 VE1 1 0 Group12 VSI admin12 VSI ring12VSI ID 2012 Group1012 VE1 1 1 VE1 1 0 Group1012 VE1 1 1 Group12 m VRRP 12 VRF IPRAN G1 1 0 12bindingadmin12 G1 1 0 52 G1 1 1 52 G1 1 1 12bindingadmin12 VRF IPRANMAN VEGroup12 1 0 1 l31 0 0 l2 VE1 0 1承载IPRAN 业务VRRP 112VE1 0 1绑定业务VSI ring12 VEGroup1012 1 1 1 l31 1 0 l2 VE1 1 1承载IPRAN mVRRP 12VE1 0 1绑定管理VSI admin12 BFD单跳链路检测 为了管理ATN环下面的设备 G1 1 0 52子接口绑定管理VPN 并加入到VLAN52中 业务VSItrackmVRRP 两个vsi互通 ATN CX配置VLLVll的VCID需要和VSI ID一致 通道方可建立 BFD单跳链路检测 当备节点掉电的时候 不配这条命令会有问题 流程如下 备节点掉电 管理vsi的pw置down 管理vsidown 主节点的二层VE口down 主节点的ve group会不可用 主节点m vrrpdown 业务vsi感知后通知ATN主节点的pw不可用 业务中断 Page29 所用技术简介 VPLS接入L3VPNVRRPovervplsL2VPNoverMPLSTE业务VSItrack管理VRRPVRRPtrackBFDPW RedundancyMPLSOAM Page30 技术详述 CX上起两个VEgroup 一组用用来跑业务 业务vsi和业务vrrp使用 一组用来监控设备状态 管理vsi和管理vrrp使用 业务组VEgroup的二层VE口绑定业务vsi 三层VE口绑定L3VPN起业务vrrp 用作基站的网关 用作基站业务通过PW接入城域网的vpn实例管理组VEgroup的二层VE口绑定管理vsi 三层VE口绑定L3VPN起管理vrrp 用来监控CX对的主备状态其中管理vsi的建立纯粹是为了跑管理vrrp的心跳 管理和业务vrrp状态都trackCX之间起的BFDpeer的状态 业务vsi的主备PWtrack管理vrrp的状态 Page31 第四章FE业务部署第1节总体规划第2节MPLSL2VPN部署第3节MPLSOAM部署第4节BTS侧业务部署第5节BSC侧接入技术第6节保护技术第7节DHCPRELAY技术第8节QOS部署 内容介绍 Page32 BSC侧接入示意图 武林EVDO NE40E 1 武林EVDO NE40E 2 GE Eth tru2GE 武林BSC GE BFD VRRPoverVlanif Page33 BSC侧接入技术介绍 BSC通过两条电口GE链路双归到武林NE40E上PE下挂BSC的接口绑定vlan 在vlanif接口下配置ip地址与BSC单板接口地址对接两个PE之间起VRRP协议 PE之间的互联端口起ETH TRUNK绑定2GE链路二三层混跑 主接口为二层端口 透传VRRP的心跳报文BSC主备单板配置一个单板接口ip地址 与CE的vlanif口对接CE上配置BFDforVRRP保护整体的由VRRPoverVLANIF对BSC业务进行保护BSC的业务流量由该vlanif口进相应的vpn实例与BTS通信 Page34 第四章FE业务部署第1节总体规划第2节MPLSL2VPN部署第3节MPLSOAM部署第4节BTS侧业务部署第5节BSC侧接入技术第6节保护技术第7节DHCPRELAY技术第8节QOS部署 内容介绍 Page35 FE业务保护机制示意图 杭州城域网 武林EVDO NE40E 1 武林EVDO NE40E 2 武林BSC12 黄家河CX600 主 曹家桥CX600 备 BTS 朝阳村ATN910 曹家桥ATN910 黄家河ATN910 主PW 备PW BFD VRRPoverVlanif 主PW主LSP 主PW备LSP Page36 BTS侧保护机制介绍 FE业务在ATN910上启用两条VLL分别到达两个CX设备 建立主备两条PWBTS侧上行业务的保护通过在CX上部署MVRRPoverVPLS 确定CX设备主备和ATN的PW主备对于主PW的外层LSP隧道 建立1 1主备LSP 采用MPLSOAM进行检测 当LSP中间链路或者节点出现故障后 MPLSOAM会上报故障通知ATN设备进行LSP隧道切换对于备PW的外层LSP隧道 未建立保护组 只有唯一路径为避免CX间VRRPAdvertisement报文 心跳 链路中断造成双主 对心跳链路部署1 1主备LSP 备用链路从ATN910环穿通 同时采用MPLSOAM进行检测 Page37 BSC侧保护机制介绍 当武林EVDONE40E和BSC间的GE链路发生故障时 由于两台NE40E间心跳报文可达 VRRP设备主备不进行切换 BSC设备进行链路主备切换 从BSC发出的流量从VRRP备设备转发至VRRP主设备 回程流量到达VRRP主设备后至VRRP备设备 然后到达BSC设备 当主用武林EVDONE40E设备故障时 VRRP心跳报文不可达 VRRP主备状态进行切换 同时BSC设备也进行主备链路切换 流量全部切换至新主用设备 当BSC主用单板故障时 由于两台NE40E间心跳报文可达 VRRP设备主备不进行切换 BSC设备进行链路主备切换 从BSC发出的流量从VRRP备设备转发至VRRP主设备 回程流量到达VRRP主设备后至VRRP备设备 然后到达BSC设备 Page38 第四章FE业务部署第1节总体规划第2节MPLSL2VPN部署第3节MPLSOAM部署第4节BTS侧业务部署第5节BSC侧接入技术第6节保护技术第7节DHCPRELAY技术第8节QOS部署 内容介绍 Page39 FE业务模型 ATN910 CX600 NE40E LABEL LABEL ETH PHY VLAN ETH IP BTS BSC ETH PHY VLAN IP LABEL LABEL ETH PHY IP ETH PHY IP L2VPN L3VPN DHCPRELAYBSC的接口地址 添加到BSC单板的静态路由 添加到BTS单板的静态路由 FE GE电 Page40 DHCPRELAY原理 空基站接上来后就会不断发出DHCPDISCOVER请求广播报文 基站收到从直连ATN设备tag端口过来的含有有效VLAN的任何MAC报文 都会学习VLAN 基站学习到VLAN后 发出的DHCPDISCOVER请求报文就会含有此VLAN 从而可以穿越ATN设备的tag端口 DHCPDISCOVER请求报文由基站广播至二层终结设备CX600后 由CX600将此报文单播RELAY到BSC的端口 BSC跟踪到基站ESN后 下发命令MODBTSBOOTP修改BOOTP信息 BSC匹配基站ESN后会回复DHCPOFFER应答消息 单播至三层终结BTS网关设备 之后经ATN广播至BTS BTS收到DHCPOFFER后核对ESN号 若与自身ESN号不符则丢弃 如果是自己的则接受报文并解析信息获得IP 开始通信交互 Page41 第四章FE业务部署第1节总体规划第2节MPLSL2VPN部署第3节MPLSOAM部署第4节BTS侧业务部署第5节BSC侧接入技术第6节保护技术第7节DHCPRELAY技术第8节QOS部署 内容介绍 Page42 QOS部署规划 Page43 设备上应用的QOS模板 ATN910应用的QOS模板 ATN910只让报文入相应的队列 不改变报文的dscp值 ethn cfg create cosprimap 2 杭州电信 ethn cfg set incosprimap 2 ip dscp 50 cs6 ethn cfg set incosprimap 2 ip dscp 54 cs6 ethn cfg set incosprimap 2 ip dscp 49 af41 ethn cfg set incosprimap 2 ip dscp 24 be ethn cfg set incosprimap 2 ip dscp 40 be ethn cfg set incosprimap 2 ip dscp 47 be ethn cfg set outcosprimap 2 ip dscp af41 34 ATNAF41默认的dscp优先级不是34 所以要修改CX600 NE40E使用的QOS模板 CX上报文入口进相应的队列 出口修改报文的dscp值diffservdomainIPRANip dscp inbound24phbbegreenip dscp inbound40phbbegreenip dscp inbound49phbaf4greenip dscp inbound50phbcs6greenip dscp inbound54phbcs6green Page44 QOS配置 ATN910上所有的接口应用 杭州电信 QOS模板CX600的业务三层VE口上信任 IPRAN 域武林的NE40E绑vlanif的物理口上信任 IPRAN 域其他物理主接口信任默认域 配置 port queueaf4pqoutbound 把AF4设置成PQ调度 保证语音的带宽 Page45 QOS实现机制 BTS的流量通过FE接口接入ATN 在ATN入口对业务的DSCP优先级部署简单流分类 按照配置的模板进行优先级调度 保证拥塞的时候高优先级的业务得到优先调度 ATN的出口不修改流量的dscp值 流量在ATN接入CX时 在CX的流量入口 L3VE口 对业务的DSCP优先级部署简单流分类 按照配置的模板进行优先级调度 保证拥塞的时候高优先级的业务得到优先调度 CX设备的出口处根据默认模板修改流量的DSCP值 并对AF4队列进行PQ调度 保证语音的带宽 城域网内部 按照城域网的默认配置部署简单流分类 提取DSCP优先级映射到网络侧MPLSEXP 保证高优先级业务都能得到优先的调度 BSC侧 流量通过vlanif口接入NE40E 在NE40E绑定vlanif的物理口上对业务的DSCP优先级部署简单流分类 按照配置的模板进行优先级调度 保证拥塞的时候高优先级的业务得到优先调度 NE40E的出口处根据默认模板修改流量的DSCP值 并对AF4队列进行PQ调度 保证语音的带宽 Page46 第一章 IPRAN简介第二章 项目背景及组网结构第三章 基础规划第四章 FE业务部署第五章 CES业务部署第六章 时钟部署第七章 技术案例总结第八章 工程交付总结 目录 Page47 第五章CES业务部署第1节总体规划第2节OVERLAY技术第3节MPLSL2VPN部署第4节MPLSOAM部署第5节BSC侧接入技术第6节保护技术第7节CES业务实现第8节QOS部署 内容介绍 Page48 CES业务总体规划 梅花楼M320 体育路M320 体育路新增SR 梅花楼新增SR 杭州原城域网 武林EVDO NE40E 1 武林EVDO NE40E 2 汽车东站ATN910 农技学校ATN910 金盛酒店ATN910 武林BSC12 BTS 曾家桥ATN910 吕才庄ATN910 良种场ATN910 BITS主时钟 BITS备时钟 核心网BSC侧 城域骨干网 IPRAN接入层 BTS侧 武林新增NE40E 1 武林新增NE40E 2 TDMPW MPLSL2VPN E1 cSTM 1 仿真E1 Page49 第五章CES业务部署第1节总体规划第2节OVERLAY技术第3节MPLSL2VPN部署第4节MPLSOAM部署第5节BSC侧接入技术第6节保护技术第7节CES业务实现第8节QOS部署 内容介绍 Page50 OVERLAY技术示意图 体育路新增SR 梅花楼新增SR 杭州城域网 武林EVDO NE40E 1 武林EVDO NE40E 2 汽车东站ATN910 农技学校ATN910 金盛酒店ATN910 武林BSC12 BTS 曾家桥ATN910 吕才庄ATN910 良种场ATN910 武林新增NE40E 1 武林新增NE40E 2 VLL VLL 图例 为ISIS路径为外层隧道为内层隧道 ISIS 主PW 备PW Page51 OVERLAY技术详述 所谓OVERLAY技术就是隧道套隧道 城域网部分的设备的IGP协议为OSPF COST规划见 第11页胶片 分别在梅花楼NE40E和武林EVDONE40 1 体育路NE40E和武林EVDONE40 2之间建立L2VPN 通过VLL建立点到点的隧道 将BTS侧和BSC侧打通 此时的城域网就像个交换机 二层透传两侧的IGP协议 武林新增的两台NE40E和ATN之间跑ISIS协议 1 全网ISIS路由采用多进程设计 新增路由器针对每一个接入的ATN环采用一个独立的ISIS进程 共同组成Level2区域 2 NE40E之间metric值设置为100 NE40E与ATN之间和ATN与ATN之间metric值设置为10ATN与NE40E之间再通过IGP协议起L2VPNoverMPLSTE 建立PW穿越城域网 就构成了隧道套隧道的OVERLAY技术 Page52 第五章CES业务部署第1节总体规划第2节OVERLAY技术第3节MPLSL2VPN部署第4节MPLSOAM部署第5节BSC侧接入技术第6节保护技术第7节CES业务实现第8节QOS部署 内容介绍 Page53 MPLSTE部署示意图 体育路新增SR 梅花楼新增SR 杭州城域网 武林EVDO NE40E 1 武林EVDO NE40E 2 汽车东站ATN910 农技学校ATN910 金盛酒店ATN910 武林BSC12 BTS 曾家桥ATN910 吕才庄ATN910 良种场ATN910 武林新增NE40E 1 武林新增NE40E 2 VLL VLL 图中双向箭头表示一对tunnel同种颜色为一对tunnel保护组 Page54 MPLSTE部署详述 注 上图及以下描述只针对一个基站的CES业务 ATN节点起三条tunnel 一条用作到主NE的主路径 红 一条用作到主NE的备路径 红 一条用作到备NE的路径 黄 其中前两条tunnel构成保护组 主NE节点起两条tunnel 一条用作到目标ATN的主路径 红 一条用作到目标ATN的备路径 红 这两条tunnel构成一个保护组 备NE节点起一条tunnel 用作到目标ATN的路径 黄 所有的tunnel均使用松散显示路径规定下一条指向规定方向 注意 tunnel路径中要排除FE业务中的不相关网段 防止tunnel路径绕行 Page55 L2VPN部署示意图 体育路新增SR 梅花楼新增SR 杭州城域网 武林EVDO NE40E 1 武林EVDO NE40E 2 汽车东站ATN910 农技学校ATN910 金盛酒店ATN910 武林BSC12 BTS 曾家桥ATN910 吕才庄ATN910 良种场ATN910 武林新增NE40E 1 武林新增NE40E 2 VLL VLL 主PW 备PW 图中PW的颜色对应为上图中TUNNEL的颜色 Page56 L2VPN部署详述 NE上起vll ATN上起vll 专线 通过相同的PWID号进行对接 这里面涉及了两条PW 1 业务主PW 绑定了两条LSP 有两条路径2 业务备PW 只绑定了一条LSP 只有一条路径 Page57 第五章CES业务部署第1节总体规划第2节OVERLAY技术第3节MPLSL2VPN部署第4节MPLSOAM部署第5节BSC侧接入技术第6节保护技术第7节CES业务实现第8节QOS部署 内容介绍 Page58 MPLSOAM部署示意图 体育路新增SR 梅花楼新增SR 杭州城域网 武林EVDO NE40E 1 武林EVDO NE40E 2 汽车东站ATN910 农技学校ATN910 金盛酒店ATN910 武林BSC12 BTS 曾家桥ATN910 吕才庄ATN910 良种场ATN910 武林新增NE40E 1 武林新增NE40E 2 VLL VLL 正向通道 反向通道 正向通道 Page59 MPLSOAM部署详述 NE主节点上配置了三条mplsoam 1 一条ingress 用于检测主用lsp中NE到ATN的tunnel 指定了备用lsp中ATN到CX的tunnel为反向通道 红色 2 一条egress 用于检测主用lsp中ATN到NE的tunnel 指定了备用lsp中NE到ATN的tunnel为反向通道 绿色 3 一条ingress 配置的正向通道为备用lsp中ATN到NE的tunnel 未指定反向通道 黄色 ATN上配置全了主用备用lsp的四条mplsoam 并都指定的反向通道注 原则上NE和ATN之间只要前两条oam就可以满足整网的检测需求了 具体现网的配置为什么这么做还有待考证 关于NE上的第三条配置 研发给出的解释是为了让ATN的备用lsp上oam检测保持正常而起的 Page60 第五章CES业务部署第1节总体规划第2节OVERLAY技术第3节MPLSL2VPN部署第4节MPLSOAM部署第5节BSC侧接入技术第6节保护技术第7节CES业务实现第8节QOS部署 内容介绍 Page61 BSC侧接入示意图 武林新增 NE40E 1 武林新增 NE40E 2 CPOS GE 武林BSC CPOS PGP workport protectport MC APS K1 K2 K1 K2 MC APS Muti chassisAutoProtectionSwitchingPGP ProtectGroupProtocol Page62 BSC接入技术介绍 BSC通过CPOS口两条STM 1的链路双归到武林侧新增的两台NE40E上 两台NE40E和BSC上起MC APS协议 配置1 1的MC APS保护进行协商对接 NE40E之间通过PGP协议报文协商APS状态 NE40E和BSC之间的CPOS链路跑K1 K2报文检测链路及设备的状态一旦主链路上有链路故障 节点故障或BSC单板故障 发送K1 K2告警 进行主备链路的切换 Page63 第五章CES业务部署第1节总体规划第2节OVERLAY技术第3节MPLSL2VPN部署第4节MPLSOAM部署第5节BSC侧接入技术第6节保护技术第7节CES业务实现第8节QOS部署 内容介绍 Page64 CES业务保护机制示意图 体育路新增SR 梅花楼新增SR 杭州城域网 武林EVDO NE40E 1 武林EVDO NE40E 2 汽车东站ATN910 农技学校ATN910 金盛酒店ATN910 武林BSC12 BTS 曾家桥ATN910 吕才庄ATN910 良种场ATN910 武林新增NE40E 1 武林新增NE40E 2 VLL VLL 主PW 备PW MC APS 图例 为主PW为备PW为主PW的主lsp路径为主PW的备lsp路径 Page65 CES业务保护机制介绍 从ATN启用vll分别到达两台武林新增NE40E设备 建立两条端到端的PW作PW冗余主备保护 BSC侧两台武林新增NE40E启用vll到ATN 同时在两台设备上配置MC APS 在BSC设备上配置1 1APS 由MC APS确定武林新增NE40E的主备 同时确定PW的主备 对于主PW的外层LSP隧道 建立1 1主备LSP 采用MPLSOAM进行检测 当LSP中间链路或者节点出现故障后 MPLSOAM会上报故障通知ATN设备进行LSP隧道切换 当武林新增NE40E和BSC间的cPOS链路发生故障时 通过MC APS进行NE40E设备的主备切换 同时BSC通过1 1APS协议在主备单板间切换 然后武林新增NE40E设备通知ATN进行主备PW切换 当主用武林新增NE40E故障时 通过MC APS进行武林新增NE40E设备的主备切换 同时BSC通过1 1APS协议在主备单板间切换 然后武林新增NE40E设备通知ATN进行PW切换 当BSC主用单板故障时 BSC通过1 1APS协议在主备单板间切换 同时武林新增NE40E设备通过MC APS进行主备切换 然后武林新增NE40E设备通知ATN进行PW切换 Page66 第五章CES业务部署第1节总体规划第2节OVERLAY技术第3节MPLSL2VPN部署第4节MPLSOAM部署第5节BSC侧接入技术第6节保护技术第7节CES业务实现第8节QOS部署 内容介绍 Page67 ATN910 梅花楼NE40E 武林EVDO NE40E 武林新增NE40E LABEL LABEL ETH PHY PPP MLPPP Ctrlbyte IP BTS BSC PPP MLPPP E1 IP LABEL LABEL ETH PHY PPP MLPPP IP Ctrlbyte OverlayLABEL OverlayLABEL LABEL LABEL ETH PHY PPP MLPPP Ctrlbyte IP PPP MLPPP E1 IP CES业务模型 Page68 CES业务实现 BTS出一至四对E1与ATN对接需要将CES业务帧为配置为非结构化 用于透传E1 BSC侧NE40ECPOS口起cpos trunk 绑定MC APS 在cpos trunk下起Trunk SerialE1通道 E1通道号要与直连BSC上的配置一一对应 ATN与武林新增NE40E的E1业务端口绑定vll 网络侧透传无线侧的CES业务 注意基站和BSC侧E1通道号的一一对应关系 注 因为这种情况下无线侧的操作维护走在E1下 纯二层透传 所以无需DHCPRELAY功能的支持 Page69 第五章CES业务部署第1节总体规划第2节OVERLAY技术第3节MPLSL2VPN部署第4节MPLSOAM部署第5节BSC侧接入技术第6节保护技术第7节CES业务实现第8节QOS部署 内容介绍 Page70 QOS部署 基站包含数据 语音和控制信息三种业务 语音和控制信息均为高优先级业务 通过E1接入ATN 数据业务为低优先级业务 通过FE接入ATN 在ATN上面将E1接入的语音和控制信息业务强制指定为EF 默认 通过端到端的VLL管道直接透传到对端武林新增NE40E 在ATN网络侧部署简单流分类 按照指定的业务优先级进行优先级调度 在城域网的核心overlay区域使用公网L2VPN承载业务PW 在新增SR上行公网l2vpn入接口 部署简单流分类进行优先级映射 从8021p提取优先级映射到MPLSEXP 在城域网IGP区域部署简单流分类 对流量按照映射优先级进行转发 在城域网overlay的BTS入口处 CES业务流量的8021P的优先级为5 BSC的入口处 CES业务流量的8021P的优先级为7 无线侧默认 所以在NE40E上配置如下模板 1 diffservdomainTDM 梅花楼NE40E的QOS模板8021p inbound5phbaf4green2 diffservdomainCES 武林EVDONE40E的QOS模板8021p inbound7phbaf4green让CES业务的流量能按照AF4队列进行PQ调度 保证控制信息和语音的带宽 Page71 第一章 IPRAN简介第二章 项目背景及组网结构第三章 基础规划第四章 FE业务部署第五章 CES业务部署第六章 时钟部署第七章 技术案例总结第八章 工程交付总结 目录 Page72 1588v2时钟部署示意图 主路径 绿色备路径 红色 Page73 BITS的时钟接入方式 Page74 1588v2时钟部署详述 整网部署1588v2传时钟 让所有的基站的时钟跟BITS 取代了传统每基站每GPS的模式 时钟频率同步的方式可以是同步以太方式或者1588V2同步方式 传统频率同步方式具有很高的精准度 可达1ppb左右 相位的同步方式目前可用1588v2逐跳部署的方式 主备两台BITS设备分别挂在梅花楼与体育路两台SR设备上 梅花楼SR为Master接入 体育路SR为Slaver接入 各SR设备和ATN均设置为BC模式 各接口之间启用BMC算法 若梅花楼SR设备硬件故障 则所有ATN设备都跟体育路SR设备时钟 若梅花楼SR设备与东门农贸之间链路故障 梅花楼时钟为BITS接入 所有ATN设备时钟都跟体育路SR设备时钟 若东门农贸与国际酒店之间的链路故障或设备故障 断点西向所有ATN设备时钟跟梅花楼SR设备 断点东向所有ATN设备跟体育路SR设备 Page75 1588V2时间精度测试方法 测试配置 选取测试用空基站 BBU与ATN910共机房 通过FE口传递1588时间信息 BBU拨码跳线 可免BSC启动 BBU通过1PPS输出时钟 时间测试仪 示波器或TimeAcc 参考源接机房的GPS 输入源接BBU的1PPS接口 测试方案 配置SR路由器 基站接入路由器 BTS通过1588V2获取时间和频率 配置SR路由器 基站接入路由器 BTS全网BC模式 各端口启动BMC算法 时钟锁定后通过时间分析仪测量接入BBU的时间输出的精度 1PPS BBU输出的1PPS与同步参考源之间的最大相差在 1 0us以内 Page76 第一章 IPRAN简介第二章 项目背景及组网结构第三章 基础规划第四章 FE业务部署第五章 CES业务部署第六章 时钟部署第七章 技术案例总结第八章 工程交付总结 目录 Page77 案例一 DCNvlan导致基站学习不到正确的VLAN 现象描述 割接某基站时 BSC和BTS版本均为V3R6C08 传输链路OK BSC侧跟踪不到基站的ESN信息 导致基站无法完成DHCP自动侦听 原因分析 由于ATN配置了管理VLAN VLAN52 用于设备间的管理通信 BTS直连的ATN端口也允许VLAN52通过 VLAN52的报文广播到BTS后 BTS学习到了VLAN52 因此发出的报文为VLAN52 此报文发送至另外的接口 无法到达BSC 因此BSC侧无法跟踪到基站ESN 从而无法完成自动侦听 解决方法 将BTS直连的ATN端口设置为禁止VLAN52的报文通过后 复位基站 BSC可以跟踪到基站ESN 基站自动侦听成功 Page78 案例二 ATN910设备单站调测时 PC连不上设备 现象描述 ATN910单站调测时 PC用网线直连ATN910的OAM口 PC的ip地址设为129 9 0 100 16 用Navigator登陆不了设备 原因分析 存在两种可能性 1 PC的ip地址与ATN910不在同一个网段 2 设备的硬件问题 解决方法 PC用抓包工具获得ATN的管理ip 修改IP为相同网段后 再重新尝试设备 如果仍然连接不上设备则采取拨码的方式 重启ATN910设备后再重新登陆 Page79 案例三 ATN910设备时钟无法跟踪1588v2 现象描述 主备BITS的GE接口的优先级相同 ATN910设备无法跟踪1588v2 原因分析 ATN910设备跟踪1588v2必须为不同优先级 主备BITS的GE接口的优先级相同 ATN910设备无法跟踪1588v2 解决方法 1 更改主备BITS的优先级为不同 设置备节点BITS的优先级为3 4 SYNLOCKT6020GE接口的默认优先级为1 2 2 在ATN910上进行相关的设置 让时钟跟优先级1 Page80 案例四 IPRAN网络全网IGP收敛 业务中断时间长达一分钟 现象描述 中断CX600或NE40E间的互联10G链路 全网IGP收敛 业务中断时间长达一分多钟 原因分析 现网存在VPNV4RR CISCO设备 所有的VPNV4路由通过RR优选反射 由于全网CX600和NE40E的RD值都相同 在RR上只能保留一条最优的路由 在该路由失效时 需要RR先选出当前最优路由再反射给所有Client才能恢复业务 解决方法 全网CX600和NE40E部署不同的RD值 这样所有的VPNV4路由在RR上都能被保留且反射 Page81 案例五 中断一对CX600间互联的物理链路 业务中断 现象描述 中断CX600间心跳物理链路 业务中断 正常状况下 业务是不会中断的 原因分析 经查 CX600间的BFD检测时间设置为10ms CX600间互联的物理链路断开时 由于BFD的故障检测时间大概率比mplsoam检测恢复时间快 导致BFDsessiondown 误报给VRRP 导致业务中断 解决方法 把BFD的发包检测时间由原来的10ms改成50ms CX600间互联的物理链路断开时 mplsoam先检测到物理链路的故障 通知tunnel进行切换 切换后 BFD检测报文跑在备份tunnel上 BFD不down 业务无中断 Page82 案例六 CES业务倒换的回切过程出现2ms的时延 现象描述 主节点CX600重启后 业务倒换的回切过程会出现2ms的时延原因分析 ATN910设备时钟和频率都跟1588v2 1588v2的频率同步性能较差引起CES的时延解决方法 ATN910设备时钟跟1588v2 频率跟同步以太 问题解决 Page83 案例七 CX600 NE40E部署1588v2后 光模块出现闪断 现象描述 CX600 NE40E相关单板部署1588V2后 接口概率出现光模块被拔出告警 业务间歇性闪断 原因分析 CX600 NE40E的BFD OAM及1588v2都是基于硬件实现的 共用底层硬件资源 导致光模块闪断 解决方法 当前版本规避方法全网去使能1588V2 后续 跟踪解决问题的版本 在需要1588v2部署时 需要升级 Page84 案例八 武林城域设备NE40E做为OverLay的PE节点 MPLSOAMFFD报文无法按照802 1p进队列 现象描述 在途经链路拥塞时 新建BSC SR与CX600之间MPLSOAMtunnel保护组出现状态振荡 原因分析 城域老设备作为Overlay的PE节点 使用VLL技术进行透传 因此QoS优先级只能通过802 1p映射进外层MPLSEXP的方式进行优先级保证 MPLSOAMFFD报文携带了802 1p 7的优先级 但由于硬件原因并不能映射成相应的MPLSEXP 7 而是缺省的值0 并且 由于该PE是老设备 当前软件版本不支持在VLL业务下配置pipe 所以在软件层面也无法解决 解决方法 升级城域老设备PE到支持VLLpipe方式的版本 并配置pipe到相应的队列 Page85 案例九 ATN910设备软狗复位导致整环业务中断 现象描述 2月9日15 26 15 31 杭州电信IPRAN网络的ATN梅BBU1 梅8楼 育才农贸 体2楼BBU1 邮电宾馆站点接入的基站业务中断 组网图示如下 Page86 过程描述0秒 梅BBU1软狗复位 通过梅BBU1转发的LDP RSVP报文开始丢失 40秒 梅BBU1 梅8楼等5个站点LDPSession超时 PWDOWN 业务中断 2分30秒 梅8楼 育才农贸 体2楼BBU1 邮电宾馆