51cto下载-xx电信iptv业务平台交换机cpu防护方案v1.0

江苏电信 IPTV 业务平台 交换机 CPU 防护方案 xxxx 资讯科技有限公司 二零一零年十月 Confidential xx 电信 IPTV 业务平台交换机 CPU 防护方案 案 第 1 页 共 23 页 目 录 一总体概述 3 二数据包的类型及其对 7600 的影响 .3 三 7600 的 CPU 处理能力 5 四 7600 的 CPU 保护方法 7 4.1 Hardware rate-limit 和 CoPP 的关系 8 4.2 使用 Hardware rate-limit 保护 CPU 8 4.2.1. Hardware Rate-limit 介绍 .8 4.2.2. Hardware Rate-limit 的推荐配置 9 4.2.3. Hardware Rate-limit 的查看 11 4.3 使用 CoPP 保护 CPU.12 4.3.1. CoPP 介绍12 4.3.2. CoPP 的配置步骤.13 4.3.3. 配置步骤一 CoPP 的流量分类定义.13 4.3.4. 配置步骤二 CoPP 的流量分类.18 4.3.5. 配置步骤三 定义策略 18 4.3.6. 应用策略 19 4.3.7. 调整策略.19 4.4 使用 Hardware Rate-limit 和 CoPP 保护 CPU 的部署建议 .21 版本更新说明 版本 V1.0 为文档初稿版，后期的版本为修订版，版本的序号为xxxx 电 信 IPTV 业务平台交换机 CPU 防护方案 V1.0-2010XXXX 初稿版/V1.X2010xxxx 修订版 ，修订说明填写在 “版本更新说明”中。 项目编项目编 号号 文档编文档编 号号 版本号版本号 编制人编制人 /时间时间 审核人审核人 /时间时间 主要更新内容主要更新内容 V1.0 文档初稿文档初稿 后续版本预计修改内容：根据会议讨论及测试结果对方案做相应修改后续版本预计修改内容：根据会议讨论及测试结果对方案做相应修改 xx 电信 IPTV 业务平台交换机 CPU 防护方案 案 第 3 页 共 23 页 一总体概述 随着 xxx 电信 IPTV 业务的迅速普及，以及网络上攻击流量的无处不在，导 致作为汇聚层交换机的 7609、6509 和 45071 等设备的 CPU 使用率往往居高不下， 为了防止持续的 CPU 使用率过高可能造成的应用中断，特制定此方案，利用 Cisco 的 Hardware rate-limit 和 Control Plane Policing（CoPP）来对交换 机的 CPU 进行相应保护，进一步提高业务的可用性和用户体验。 此方案将着重解决以下三个问题： 1）为什么目的地址不是 7600 的攻击包也会导致 7600 的 CPU 利用率过高？ 2）为什么攻击包的流量不大，有时只有几十兆 bps 也可以导致 CPU 上升 到 100%？ 3）针对这种情况，有什么解决方法？ 二数据包的类型及其对 7600 的影响 经过 7600 的数据包分为如下几种: 1、 Transit Packets： 遵循协议、格式良好的 IP 包，基于目的地址进行转发，因为这些包的 目的地址已经从下游设备得知，所以它们不需要做任何额外的处理，就 可以通过 CEF 等专用的转发硬件直接转发； 1 因 Hardware rate-limit 和 CoPP 的配置在三种交换机上均大体一致，所以如无特殊说明，下文均以 7600 来代替 7609，6509 和 4507 三种交换机。 2、 Receive Packets： 路由器自身端口的地址在 cef 表中被标记为“receive” ，如果数据包的目 的 地址在 cef 表中被标记为“receive”条目时，这类数据包需利用路由器的 CPU 来转发，如果存在大量这样的数据包，会导致 CPU 利用率上升； 3、 Exceptions IP Packets： 例外型的 IP 包，这是相对于第一种数据包而言的，这种包通常在 IP 头部 含有一些特殊选项，诸如快要到期的 TTL 值，或者一些其他的在特定条件 下生成的包，如组播会话的第一个包或者一个新的 NAT 会话开始时的第一 个包等，所有这一类型的数据包，都是要经过交换机的 CPU 来处理的； xx 电信 IPTV 业务平台交换机 CPU 防护方案 案 第 5 页 共 23 页 4、 Non-IP Packets： 二层的 Keepalive，IS-IS 协议的数据包，CDP 的数据包以及 PPP 的 LCP 包 等等都不属于 IP 包，这些包也都要经过 CPU 的处理。 在以上四种类型的数据包中，transit packets 是城域网的主要业务包， 7600 的硬件处理能力可以达到 720Gbps，指的就是对 transit packets 的 处理能力。其它的数据在正常通讯时应该很小，它们通过 CPU 去处理，在 这一点上各厂商高端路由器是一样的。 三7600 的 CPU 处理能力 在清楚了 7600 的硬件处理能力和 CPU 处理能力（也称为软件处理能力） 的区别后，就可以有的放矢，采取措施来保护 CPU. 但在此之前，必须清楚 7600 的 CPU 处理能力的极限值(同理用于 6509 和 4507)，才可以采取相应 手段去限制送往 CPU 的流量不达到这个极限值。 首先，看下面的说明： 在上图中可以看到，在极限情况下，如果全部都是 process switching, 那 么 7600 的 CPU 处理能力大约为 20K pps，换算过来大约为： 20K*64*8=10M bps 在实际测试中可发现： xx 电信 IPTV 业务平台交换机 CPU 防护方案 案 第 7 页 共 23 页 在使用 ARP 对 7600 进行 CPU 攻击，发现 ARP 的流量达到 7M bps, CPU 利用 率达到 80%，8.5M bps 的 arp 攻击可以使 CPU 利用率接近 100%，10M bps 流量时 CPU 利用率达到 100%，和理论计算接近，因此在保护配置中可以将 10M bps 当作 cpu 处理能力的极限。 四7600 的 CPU 保护方法 在受到攻击时，最根本的解决方法是使用 Cisco 的防 DDoS 攻击设备 guard，使用 guard 既可以保护 7600 不受攻击，还可以保护用户的设备和 带宽不受影响。在目前 Guard 没有广泛部署的情况下，可以考虑使用 hardware rate-limit 和 copp 对 7600 的 CPU 进行保护。 4.1 Hardware rate-limit 和 CoPP 的关系 Hardware 和硬件 CoPP 通过硬件处理（板卡的 DFC 或引擎的 PFC） 。软件 CoPP 在 CPU 上处理。在同时存在 Hardware Rate-limit 和 CoPP 的情况，如果 流量匹配了 hardware Rate-limit, 则不会再进行硬件 CoPP 处理，硬件 CoPP 和 Hardware Rate-limit 处理后的结果统一送给 CPU 进行软件的 CoPP 保护。 4.2 使用 Hardware rate-limit 保护 CPU 4.2.1. Hardware Rate-limit 介绍 Hardware Rate-limit 能对以下的数据包进行硬件限速： SUP720 支持 8 个 Layer3 的 hardware-limit 计数器，2 个 Layer2 的 hardware-limit 计数器，上述表格的 hardware-limit 中， L2TP、PDU、Multicast IGMP 的限速使用 layer2 的计数器，其他的使用 layer3 的计数器。 另外，IP Errors, ICMP No Route, ICMP Acl drop, RPF failure 共用一个 Layer3 计数器，ACL input 和 ACL output 共用一个 Layer3 计数器， xx 电信 IPTV 业务平台交换机 CPU 防护方案 案 第 9 页 共 23 页 partial shortcut 使用特殊的计数器，不在 8 个计数器的限制范围之内。 4.2.2. Hardware Rate-limit 的推荐配置 在 Hardware Rate-limit 的配置中，根据 Cisco 官方文档，建议按如下配 置： mls rate-limit all ttl-failure 100 10 mls rate-limit unicast acl input 1000 10 mls rate-limit unicast acl output 1000 10 mls rate-limit multicast ipv4 igmp 1000 10 mls rate-limit multicast ipv4 fib-miss 10000 250 mls rate-limit multicast ipv4 partial 500 250 mls rate-limit multicast ipv4 connected 2500 250 no mls rate-limit unicast acl vacl-log mls rate-limit unicast ip options 1000 10 mls rate-limit multicast ipv4 ip-options 1000 10 mls rate-limit unicast ip icmp unreachable no-route 100 10 mls rate-limit unicast ip icmp unreachable acl-drop 100 10 mls rate-limit unicast ip errors 100 10 mls rate-limit unicast ip rpf-failure 100 10 mls rate-limit unicast cef glean 1000 10 在上面的配置中，每行配置最后的两个数据，前面的表示允许该流量允许 通过的速率，后面的数据表示允许突发的数值，单位为 pps。在部署之后，需 要经常观察 rate-limit 的统计数据，根据统计结果去调整 hardware rate- limit 的数值。 xx 电信 IPTV 业务平台交换机 CPU 防护方案 案 第 11 页 共 23 页 4.2.3. Hardware Rate-limit 的查看 使用如下命令可以查看 Hardware Rate-limit 的配置情况： 通过如下命令可以查看 hardware rate-limit 的使用情况： 通过如下命令查看单个模块上 hardware ratelimit 的使用情况： 通过如下命令可以查看 TTL 和 MTU failure 的情况： 4.3.使用 CoPP 保护 CPU 4.3.1CoPP 介绍 为了保护路由器的控制平面不被 DoS 攻击破坏，并且提供数据包级别的 QoS，COPP 特性将控制平面看成一个逻辑上的独立实体，它就像其他的路由器 和交换机一样，有自己的入接口和出接口，正因为如此，COPP 特性就可以分别 针对控制平面的入和出接口建立和关联一系列的规则；只有当一个数据包被转 发进入或者离开控制平面的时候，这些规则才会被应用，因此，当达到一个指 xx 电信 IPTV 业务平台交换机 CPU 防护方案 案 第 13 页 共 23 页 定的速率限制的时候，你可以制定一个策略来阻止不需要去往控制平面的数据 包进一步前进，例如，一个系统管理员可以将所有的去往控制平面的 TCP/SYN 数据包限制一个最大 1M/秒的速率。 当路由器对一个入向接口上的数据包做出路由决定以后，入向的控制平面 服务才会执行。如图所示，控制平面的安全和包 QoS 被应用在汇聚平面和分布 平面。 4.3.2CoPP 的配置步骤 CoPP 的配置分如下步骤： 4.3.3. 配置步骤一 CoPP 的流量分类定义： CoPP 的流量分类建议分为 undersirable, critical, important, normal, Reactive Undersirable, catch-all, default，各个分类的定义如下： xx 电信 IPTV 业务平台交换机 CPU 防护方案 案 第 15 页 共 23 页 其中 undersirable 流量是不希望或尽量少在 CPU 处理的任何流量，比如 1434 端口的流量(有些攻击会利用这个端口)，比如一些带 Fragment 标志的包 （这种包进入 CPU 需要进行重组，这种包应该由应用服务器去处理） ，另外还 可以是任何认为不应该是 7600 CPU 处理的包，定义的样板如下： Critical 的包是路由协议需要的包，包括 bgp 和 igp,如果存在 HSRP 的话， 还 应该包括 HSRP 的包，定义的例子如下： Important 的包是管理包，定义的例子如下： xx 电信 IPTV 业务平台交换机 CPU 防护方案 案 第 17 页 共 23 页 Normal 包主要为日常监测使用的包，包括： Reactive Undersirable 为非指定终端的管理包，定义例子如下： Catch ALL 的包为其他的 IP 包，定义例子如下： 另外，缺省还有 class-default 的包，用来传送非 ip 的包。 xx 电信 IPTV 业务平台交换机 CPU 防护方案 案 第 19 页 共 23 页 4.3.4. 配置步骤二 CoPP 的流量分类： 此