ECC通信及巨网分割专题.ppt

1,光网络业务支持支持部 2005-02,ecc通信及巨网分割专题,2,课程目标,掌握hwecc的分层结构并灵活应用 了解ecc巨网可能导致的隐患及原因 掌握ecc巨网分割的方法,3,hwecc协议栈及维护应用 ecc巨网导致的网络隐患 巨网分割方案,4,optix 网元外部通信概述,该模型是在增加ip over dcc和osi特性之前的模型，在增加了这两个大特性之后网元支持的外部通信方式更加多样化。,在sdh建议中把再生段dcc（d1-d3）称为ecc，早期设备默认使用这三个字节作为网元间通信通道，同时运行在上面的协议栈也称为ecc协议栈。我们在这里沿用的是ecc协议栈的含义。,ecc协议栈基于dcc通道或扩展通道提供网元间通信功能。,5,optix 网元外部通信典型模型,典型模式：网管通过以太网连接到网关网元，通过ecc管理远端网元.,6,hwecc协议分层结构,物理层,链路层,网络层,传输层,应用层,会话层,表示层,物理层,mac层,net层,l4层,itu-t建议g.784按照osi七层参考模型定义了ecc协议栈，optix 参照g.784建议，采用较为简化的方法，实现ecc通信的需求。,hwecc协议栈,osi参考模型,参照g.784建议，hwecc协议栈包含物理层、mac层、net层和l4层，分别对应osi模型的物理层、链路层、网络层、和传送层。,7,网元id在ecc通信中的应用,hwecc协议栈使用网元id唯一标识一个网元。网元id的总长度为32bit，其中高8位保留作为应用层地址，必需填0，低24位有效，全1表示广播地址。,网元地址应用于如下场合： ecc协议栈mac层 ecc协议栈net层 ecc协议栈l4层 应用层地址,8,ecc物理层功能,物理层功能 完成对物理通道的控制。包括：对物理通道的数据收发处理，接收物理通道的数据，并将数据传递到上层；将上层传递来的数据帧发送到物理通道。,物理层通道 ecc物理层可以是dcc通道或扩展通道（以太网、485总线）。 dcc通道是最主要的网元间通信通道，也是ecc协议栈设计的物理依赖（ecc协议栈的一些设计基于它运行在dcc通道上的假设）。 dcc通道是利用sdh帧中的d字节（d1-d12）进行网元间通信。,9,物理层dcc通道的实现,线路板fpga负责提取d字节开销，送给主控板上的开销交叉芯片处理；并把从开销交叉芯片出来的数据发送到线路上。 开销交叉芯片把d字节内容交叉到对应的cpu通道。 cpu通道利用cpu硬件提供的处理能力对接收数据进行定帧并送给上层处理，把上层发送的数据送到开销总线。 标准hdlc帧格式，由cpu的cpm模块自动完成封装。,重点：以上各个处理环节都需要准确的时钟，因此时钟模块/全网时钟必须 工作正常。,10,dcc通道的管理,主机与线路板dcc通道的管理简述 scc板上的驱动模块根据配置情况与dcc资源（cpu的资源），划分好各种3字节、9字节等的cpu通道。 驱动模块检测线路板上线与离线状态，同时识别其光口个数。 ecc模块定时轮询各个板位的线路板上线与离线状态，并为上线的线路板分配对应的cpu通道，对离线的线路板释放其cpu通道。 分配和释放cpu通道的动作都是由scc板上交叉芯片完成。,说明：单板上线，包括单板处于未配置、未开工的状态。即只要插在子框上 的单板，即使其端口未使用，也可能占用了dcc通道资源。,各产品支持的dcc通道数量、通道的分配模式可能不同，具体参考相关产品资料.,11,物理层dcc通道状态查询命令,物理层状态查询命令,子架上所有的线路板，包括未开工的板，都可以查询到状态. 部分情况下，rx_ns恢复到正常要35分钟.,12,ecc mac（媒体接入）层,mac层功能介绍 媒体接入层主要是在物理层和网络层之间提供激活和关闭物理dcc通道的服务。mac层负责相邻网元之间的连接发现和维护，目的就在于屏蔽物理网络的多样性，向上提供一致的服务（点到点的物理信道）。,mac层协议实现 mac层连接 表示本网元和相邻网元之间的一条直接的通信通路，指明本网元与哪个网元通过哪个dcc通道连接（这里的连接指不通过其它网元直接相连）； 每条mac连接主要包含对端地址、dcc通道号、以及连接定时器等信息。,13,ecc mac（媒体接入）层,mac层连接的建立和维护 mac层通过连接请求（mac_req）和连接响应帧（mac_rsp）来建立和维护mac层连接。 通过定时的mac连接请求帧和连接响应帧来发现相邻网元和维护连接。,mac层的数据服务 mac数据分为信息帧（mac_i）和命令帧（mac_req、mac_rsp）。 对于物理层来的ecc帧：目的地址为本站的信息帧继续往上传递给net层； 对于net层来的ecc帧：mac看连接表中有无到目的mac地址站点的连接，若有则将ecc帧通过此连接的dcc通道发送到物理层，否则丢弃该数据包。,重点：查看mac层信息，可以看到本网元与相邻网元的连接情况，包括对端网元 的id，本网元与对端网元相连的光口通道等信息。,14,mac层通道状态查询命令,mac层状态查询命令,mac连接表查询结果举例：,mac连接表查询说明：,ecc互通的相邻网元之间，都有mac连接； 两个相邻网元之间，查询结果里面有且只有一个mac连接，即使这两个网元之间有很多支持dcc的端口互连。 当前mac连接的端口，也是当前的ecc路由。,推荐：在两个网元之间只有一对光缆时，可以用此命令检查光缆连接情况。,15,ecc net（网络）层,net层功能 网络层主要是实现数据帧的路由寻址和dcc通信网络的路由管理，包括路由的建立和维护。包括：向上层提供数据通讯服务；数据转发；路由维护。,ecc路由 网络层建立和维护“net层路由表“，每个路由表项主要包含目的站点地址、转发站点地址、转发距离和该路由表项的定时器等。,路由的建立和维护 每个网元周期性通过寻径响应报文向相邻的站点广播自己的路由表，目前采用最短路由寻径方式；相邻网元收到该报文之后，据此对本地路由表进行刷新。,16,net层数据转发,ecc协议栈对于网络层目的地址不是本网元的数据包在net层进行转发。,17,net层状态查询命令,net层状态查询命令,重点：一般可以通过cm-get-eccroute命令查询网元路由表，看是否有正常连接 并正确配置的网元在ecc路由表中找不到到达该站点的路由项来判断 ecc通信是否正常。,该命令查询一个ecc子网内所有互通ecc的网元. 检查是否符合最短路由的原则. 例行检查子网内ecc互通的网元数是否合理. 例行检查各子网内有没有本不允许互通ecc的网元被错误接入，如有应关闭.,查询某网元的ecc路由表：该网元到相邻网元之间的ecc路由距离，为0。,18,ecc l4（传输）层功能简述,传输层提供端到端无连接的通信服务，即透明的数据传递服务。之所以采用无连接的方式，主要是因为optix设备网元与网管的通信应用层有面向连接的端到端控制。 传输层目前只支持面向无连接的透明的数据传输服务，传输层使用l4cmd协议字段来区分不同的上层服务，目前仅使用l4_ui表示为上层用户信息帧，其他服务类型保留以后作为扩展时使用。 l4层向上层模块提供数据收发接口； l4层目前只支持无连接的透明数据传送服务。,只要了解,19,hwecc 帧结构,了解了解,20,应用层协议帧结构简述,应用层报文头用于实现应用层转发功能，它出现在网管-网元间通信应用信息的头部，在数据被网关网元转发时被添加在ecc协议字段之后。acc模块就是根据应用层报文头中的信息来确定是把数据包转发给其他网元、网管，或者送到特定的上层模块。,以太网通信中的应用层报文头部,ecc通信中的应用层报文头部,了解了解,从网管角度看应用层报文头最经常被加在以太网的tcp/ip帧头之后，在应用层报文头中还定义了一些专门用于网管、网元间通信的命令字，因此习惯称为以太网报文头。,ethernet通信数据报头格式,21,ecc之上的应用和通信层,主应用为qx层，处理具体的业务命令。处理的数据为qx包，每个qx包内含多条qx命令、消息或响应； 在qx和dcn之间是pad模块，主要功能是将qx报文分拆为小的分组包以便通过dcn传送，并在目的地重新组装起来； dcn中的4个层次都不再对分组包进行进一步处理，加上开销之后直接传送这些小报文； mml由于都为单条命令，数据量小，因此无需经过pad层处理，直接走dcn。,图中： 红色为网关网元和网管直接交互；蓝色为非网关网元和网管交互。,了解了解,22,qx和pad通信机制,应用层通信机制：qx 主机和网管间的应用模块均以qx接口进行交互，而qx接口的封装和传送、分发由qx模块统一处理； qx接口是以qx包为单位进行传送的，每个qx包内的接口命令数有上限（各产品为8001500不等），对于大量数据则分解为多个包进行传送；qx包之间没有关联关系，若一次操作产生大量命令，则分解为多个qx包。,分组报文机制及pad模块 网管通信层会把qx包拆分成较小的分组包，然后发送给网关网元；网关主机根据分组包的目的地决定接收或者转发出去，中间ecc层不再做分组包的分解和组合处理（除了增减ecc通信开销之外）。,23,第1部分小结,熟悉hwecc的物理层、mac层、net层功能，了解l4层功能； 了解各层协议的处理的处理过程； 掌握低3层命令的使用方法； 掌握分层分析和处理问题的方法。,24,hwecc协议栈及维护应用 ecc巨网导致的网络隐患 巨网分割方案,25,巨网ecc产生的背景,产生背景分析 传输网络规模越来越大，尤其是盒式产品的大量应用，一个网络内ecc互通的网元数有的已达300400个。以后还会更多 optix 设备支持的dcc路数越来越多，已经达到6080路（如:10g和9500），即将达到200路（7500）；同时scc上的转发缓存很小 客户集中化管理越来越普遍，也导致更多网元的ecc能够互通 最主要的是对ecc网络缺少规划,不少人认为既然不管网络多大，ecc都能互通，就应该 通过ecc可以支持对更多网元的管理！既然产品支持这 么多路dcc，就应该通过ecc可以支持对更多网元的管 理。,不规划ecc组网会导致问题吗？,26,巨网ecc导致的问题和隐患,巨网ecc导致的问题和隐患 导致网管脱管 导致通道堵塞致使告警丢失或延迟上报，严重时影响业务配置/下载 导致主机频繁复位，会严重影响业务 网络管理层次不清晰，导致安全隐患 对软件加载效率和成功性的影响,27,巨网ecc问题原因分析,当前ecc组网情况分析 管理dcn本质上是个星形网络，更重要的是其带内带宽始终不变：最大768kbps，即使在星形的管理dcn的骨干上也是如此； 在最短路径寻径方式下，无论网元可以接入多少dcc，无论网元的转发能力有多么强大，网元管理信息的出口始终只有一条：最短路径dcc，在这个最短路径上导致了数据拥塞。 dcc链路多的网元，信息量就越为集中，而dcn带宽始终不变。 在dcn网络规模过大的情况下，在网络拓扑因为故障或扩容出现变化时，会导致网络路由信息需要较长时间才能收敛，会加剧dcn拥塞。更严重的情况下由于信令的拥塞，可能出现路由振荡。,28,巨网ecc导致主机异常复位,ecc导致主机异常复位原因 巨网ecc路由表刷新、接收到的数据包流量过大导致内存不够，产生的中断过于频繁，可能会导致主机产生异常复位： 影响复用段保护倒换； 影响sncp保护倒换； 影响tps倒换； 影响配置下发或网元数据下载,29,巨网导致ecc收敛时间长,ecc收敛时间说明 ecc收敛时间：在断纤或光缆恢复等情况下，ecc路由需要刷新，在这个刷新调整周期内，部分网元会不可达。路由开始刷新，到最终稳定所花的时间，为ecc收敛时间。 ecc收敛时间测试（hwecc）结果：,注意：在网元数目较多时网络拓扑收敛较慢，可能会导致大量的管理信息丢失。,30,巨网导致ecc路由稳定性差,ecc大网的路由稳定性差 会使路由计算速度下降： ecc网络过大，会使路由计算速度下降；网络变化时，路由广播信息在网络中不断广播，造成路由不断重算，导致ecc路由长期得不到稳定。 容易导致ecc不停振荡： 大的网络，中间有一个网元脱网的概率大大增加。而当该网元不可达时，路由信息会广播到整个网络，让所有其它网元都知道该网元已经不可达。这一路由信息的扩散是需要一定的时间的。有可能在此期间，该网元又变为可达的，或者有其它网元又脱网了。这样就会导致整个网络不停的振荡。路由信息在网络上不停的传播、扩散，这无形中也增加了网络的通信量。,31,dcc通道告警流量 只使用d1d3时，实测单dcc链路的转发能力为20k byte/s左右； 每个告警的开始、结束信息都要包含30个左右的字节；模拟计算： t2000限定每秒最多处理600条告警；应答机制也会使处理速度变慢； 告警上报后网管未及时应答时，则会重复上报告警，加剧网络拥塞。,巨网可能导致dcc通道堵塞,注意：一旦打开性能监控和上报，管理dcn上的流量将更不堪设想。,32,dcc通道堵塞情况分析,dcc通道瓶颈 下面的红色非网关网元由于入路最多，当各dcc通道趋向于满流量的时候，在红色的非网关网元处最容易出现流量拥塞，从而提前丢包； 实际网络中，外接光纤最多的网元最可能出现拥塞，而不是网关网元。,每个数字代表了这个网元在dcn中承担了n条dcc通道以及它自身的流量转发,33,缓冲溢出的问题,缓冲溢出原因 目前无缓冲溢出处理：ecc各层在发生缓冲区满后，对溢出报文都是直接丢弃，无任何反馈和通报，上层软件毫不知悉。 由于所有告警在同一时间上报，而目前设备的dcc转发缓冲有限，所以在管理dcn的瓶颈链路上会出现dcc转发缓冲溢出而导致报文丢失。,说明：综合网管处理能力、缓冲溢出、路由刷新等问题，导致使用dcc通道扩展对解决目前ecc问题改进有限，无法解决大网ecc的问题，,34,巨网ecc对远程加载的影响,远程加载速度慢，原因主要是 目前采用了每包确认的机制，加载速度随着单个数据包的传输延时线性下降。这样，通过的中间网元越多，单个数据包传输延时越长，加载速度就越慢。 n1emr典型的加载时间：,35,网管上网元脱管的问题,ecc规模过大时，可能出现网元脱网现象（在网管界面上变灰），持续时间有长有短，频度不一。网管判断网元连接状态的机制如下： 网管以1分钟为周期与设备尝试通信；连续2次连接不上（2分钟超时）则判定通信连接中断。 假设第一次连接报文丢失，那么若第二次报文出现些许延时，就可能造成瞬间脱网的错误判断。,大网情况下容易出现dcc堵塞，因此造成脱网，无较好的解决办法，除非实施管理dcn改造。,36,qx及pad处理机制可能导致数据包丢失,qx可能导致数据包不完整的几个原因 部分qx包丢失主机不知道，导致数据的丢失； 目前对qx包的数据完整性不做crc等检查，直接解开后获取qx命令； qx报文内部有一个双字节序号，但为网管内统一编号，分配到各个网元的序号是可以不连续的；而且，对网元的操作中产生的大量相关命令若分解在多个qx包中，这些qx包也不一定是连续的。,pad的几个原因 ecc缺省未打开crc校验机制； ecc 发现报文错误后简单丢弃，不进行任何其他处理； 分组包内部数据结构的校验机制，只对网管使用串口有效； 分组包设计了序列号机制，单个分组包的丢失能够被目的地发现；但出现乱序到达则丢弃整个qx包，且不通知主机和网管的qx模块； qx包拼装成功后，主机pad不校验拼装完的整个qx包，交qx模块处理。,37,第2部分小结,应认识到巨网ecc对网络的稳定运行和日常维护造成的危害； 了解hwecc组网需要优化的基本原因； 巨网ecc对网络运行安全和日常维护影响大，应及时优化。 传输网络建设和维护时，应同时做好ecc网络的规划，避免由于ecc影 响到日常维护工作和网络的稳定运行。,提示：针对导致网上ecc问题的部分原因，在后续的版本中将进行改进。,38,hwecc协议栈及维护应用 ecc巨网导致的网络隐患 巨网分割方案,39,巨网ecc问题解决方案,目前方案：将ecc网络分层分域地进行管理 即将一个大的网络划分为多个小的ecc子网，并将各个ecc子网之间互通的stm-n光/电接口的ecc关闭，以确保路由信息和数据只在小网内传播，不会扩散到其它网络。 该方案需要增加网关网元的数量，每个子网通过网关网元与网管实现通信；网关通过dcn数据通信网直接和中心网管通信。 该方案能够大大提高ecc通信网络的稳定性，减少网络维护的开销，便于对整个网络的管理； 该方案需要额外增加dcn数据通信网。 优点：无需进行大规模的技术改造，即可有效控制问题； 缺点：需要额外地布置带外dcn设备，用户工程复杂度和成本增加；国内客户均为中大型网络，且习惯于单平面组网和单一网管，对此建议可能存在反弹。,40,各ecc子网建议的网元数量,各子网建议和要求的网元数量 ecc的组网能力限制是指在网络中通过dcc（或扩展ecc）互相连接的网元的个数的限制。即ecc的组网限制是一个网关网元所辖的网元数。 为了避免因ecc网络过大影响到网络的正常维护和运行安全，考虑各种因素、结合网上经验、参考业界做法，optix网络也应该、也必须合理地规划ecc组网。 对于optix网络，一个ecc子网内允许的网元数量说明如下：,说明：国外运营商的建议和惯例，一般是32或者64个网元作为一个小的管理 子网；一个ecc子网中网元的最大数目控制在64个之内，符合美国belcore 运营商标准 。,网关网元ecc互连网元数超过以上建议的子网，就可以称为ecc巨网。,41,巨网ecc问题解决原则,ecc巨网分割原则 可靠性原则：分割后，应能够确保网络在出现异常情况（断纤、dcn异常、换板）时，网管能够和分割前一样仍可达各网元，避免影响维护； 保证性能的原则：各个ecc子网内的网元数控制在建议的数量范围内； 按分层、分域的管理原则：分层（骨干网、省干、本地网；或主节点与下挂的网元之间）、分域（如不同节点之间）进行分割。 实施完ecc分割优化方案后，网络上任何一处断纤或其它异常情况，应确保能够达到分割前的ecc路由恢复（保护）能力。,42,ecc巨网划分操作步骤,ecc巨网划分操作步骤 划分ecc子网，选择网关网元 确定dcn路由，确保路由的可靠性 建立和调测dcn路由 各子网之间ecc路由（包括扩展ecc路由）的关闭 验证和测试,43,ecc子网划分的方法,ecc子网内网元的划分和选择 按分层、分域的管理原则，将相邻网络划分为同一个子网；当子网中仍具有多个环路和链路时，网关网元取其中处于最多环路和链路的设备之上。 需要注意的是：方案实施后，对于环网，ecc分割方案应确保环上断纤后各个网元仍能实现正常监管。,ecc子网网关网元选择建议 选择设定在子网中星形业务的中心节点上，以避免大量的管理信息需要通过基于dcc这种窄带宽信道传送，减少dcn再发生拥塞的可能性。 或设置在子网中入路光纤最多的设备。以减少子网中基于dcc的管理dcn再发生拥塞的可能性。,考虑dcn通道的安全性，ecc分割时采用主、备网关的方式，避免一个网关的 dcn路由失效时，失去对整个网络的监控。,44,带外dcn通道的建立,带外dcn通道的建立 要求dcn带宽不低于optix网络使用的dcc带宽；使用256kbps的链路已满足需求。 选择的2m通道由其它网络提供（非监控网络）提供，并且2m通道具有环网保护功能。 建议使用带外dcn通道，应提供主备的dcn路由，或使用主备网关。 建议选择2m通道传送dcn路由，常用的路由器型号有quidway 2501、cisco 2501、cisco 2522。,带外dcn通道的实现基本同集中网管的实现方案。,45,数据单板提供的dcn通道,mstp数据单板提高的dcn通道 利用mstp自带的数据单板，提供dcn传送通道。该方案适用于已有数据单板的网络，如果额外配置需要考虑费用的问题。 该方案如果使用了被监控网络提供的业务通道，即使在网络业务有自愈保护的情况，也需要考虑dcn风险。,从稳定性和安全性出发，建议尽量不采用局域网（公网或办公网）来传递ecc数据。,46,带内dcn通道的调测,使用dcc扩展和透传功能 关于dcc扩展功能的使用： 目前optix设备，缺省使用d1d3字节，使用dcc扩展功能可以使用d4d12或d1d12字节。 dcc透传功能的使用说明 dcc新特性，支持d字节的透传和调配（交叉）。使用此功能，可以解决子网ecc分割后不能成环的问题。,说明： 两个子网的划分如左图。因ne-3不在area1子网内，导致该子网的ecc不具有环保护的功能。 在ne-3网元，使用dcc透传的功能，可以实现该子网具有成