网络系统项目建设方案

1、网络系统项目建设方案网络系统作为数据中心的基础设施，应采用市场主流产品和业界成熟技术， 并充分考虑系统的扩展能力、容错能力和纠错能力，确保整个网络基础设施运行稳定、可靠。1.1.1 设计原则网络系统的建设，应遵循标准性，高性能，可靠性，扩展性，易管理性，安全性等基本设计原则。1.1.2 网络虚拟化技术 网络虚拟化技术简介网络虚拟化的核心思想是将多台物理设备虚拟化成一台“虚拟设备”，实现N：1 的横向虚拟化整合。使用这种虚拟化技术可以实现多台设备的协同工作、统一管理和不间断维护。 网络虚拟化的优点传统的数据中心网络部署方式会带来网络环路和复杂度的增加。通过网络设备虚拟

2、化可以实现高可靠性、简化管理及高网络扩展能力。网络虚拟化组网应用实际组网中，在通过网络虚拟化技术整合之后，对上、下层设备来说，它们就是一台设备，如下图所示：1.1.3组网详细设计图 6-1 虚拟化技术演变图网络系统从功能上划分为接入区、应用服务区、数据核心区、运维管理区和测试区。结合上述的业务分区，按照结构化、模块化、虚拟化的设计原则，实现网络系统的高性能、高可用、易扩展、易管理的建设目标。总体拓扑图如下：图 5-5-1 总体网络拓扑示意图核心区1、功能描述核心区的主要功能是完成各系统功能区域之间数据流量的高速交换及转发， 是广域/局域纵向流量与功能区域间横向流量的

3、交汇点。核心交换机采用虚拟化进行横向整合。2、 设计要点采用高端交换机进行冗余配置，并通过虚拟化技术进行横向整合，将两台物理设备虚拟化为一台逻辑设备，并实现跨设备的链路捆绑，缩短链路故障与设备故障的倒换时间(毫秒级)，保证出现单点故障时不中断业务。 数据核心区1、功能描述数据核心区用于服务器虚拟化、中间件集群、数据库集群及存储虚拟化。为保证网络的一致性，便于后续运维管理及备品备件，这些区域采用满足相同要求和技术的交换机组网。2、拓扑设计图 6-4 数据核心区网络拓扑图接入交换机下行与服务器互连链路为千兆，上行与核心交换机可为万兆捆绑或者千兆捆绑，配合核心交换机进行跨设备捆绑，消除

4、环路，避免 STP 协议的部署。3、 应用负载均衡器设计采用 F5 LTM 设备进行对应用平台的负载均衡，拓扑图如下：F5 设备配置方法说明一、 概述F5 设备的作用主要是负载均衡。工作方式为使用虚拟服务器（Virtual Server）的 IP 地址统一接收用户访问请求，通过一种负载均衡方式，将请求分发到几台实际的服务器上。二、 概念解释1、 Virtual Server：虚拟服务器，简写为VS。VS 的 IP 地址是实际服务器地址经 F5 转换后的、向用户提供服务的 IP 地址。公网地址经防火墙转换后的内网地址对应该地址，如果使用此 IP 地址访问网站正常，则证明 F5 正常工作。2、 P

5、ool：服务器池。由实际提供应用的几台服务器组成，每一个 IP 地址加端口称为该池的一个 member，member 的格式为“IP 地址:端口”。服务器池隶属于虚拟服务器（VS），VS 将用户请求转发到自己拥有的服务器池中。3、 iRule：转发规则。使用类似编程语言编写的一段文本，用于规定复杂情况下 VS 转发请求的规则。iRule 隶属于 VS，但不是VS 必需的，一个简单的VS 可能没有 iRule。4、 Default Persistence Profile：默认会话保持方式，是VS 的一个属性，指明该VS 默认情况下使用什么方式进行会话保持。我们常用的是cookie 方式。5、 F

6、allback Persistence Profile：默认会话保持方式失效时的会话保持方式。常见的情形是客户端浏览器不支持 cookie 或禁用了 cookie，则用该方式保持会话。我们常用的是 source_addr（源地址会话保持）。6、 Load Balancing Method：负载均衡方法，是 pool 的一个属性，指明将请求转发到哪一个 pool 成员的方法。常见的有 Round Robin（轮询）， Least Connections(member)（最少连接数法）。三、 配置方法1、 Virtual Server：（1） 登录后，点击“Local Traffic”“Virtu

7、al Servers”，点击界面右上角的“Create”，弹出新建 Virtual Server 界面。如下图：上图中，在“name”栏中填写 VS 名称；“Destination”栏中填写 IP 地址； “Server Port”栏中填写端口；如果需要使用 iRule，则在“HTTP Profile” 栏中选择 my_http 项，否则不用填写；其余项保持默认。（2） 拖动上图页面的滚动条，翻到最后，如下图所示：在 iRules 栏中，选择用于该 VS 的 iRule；在 Default Pool 中选择用于该VS 的默认池；在“Default Persistence Profile”中选择

8、用于该 VS 的默认会话保持方式；在“Fallback Persistence Profile”中选择用于该 VS 的默认失效后会话保持方式。完成后，点击“Finished”完成 VS 创建。2、 Pool：（1） 登录后，点击“Local Traffic”“Pools”，点击界面右上角的“Create”，弹出新建 Pool 界面。如下图：上图中，“name”栏填写 pool 的名称，其余各项保持默认。（2） 拖动上图页面的滚动条，翻到最后，如下图所示：在“Load Balancing Method”中选择负载均衡的方式；在“Address”中填写地址，“Service Port”中填写端口，

9、然后点击“Add”，即会在“New Members”中添加一个成员；添加完所有成员后，点击“Finished”完成 pool 创建。四、 应用技巧1、 配置切换前进行测试：（1） 由于 F5 的配置更改风险较大，所以在正式更改前，需要进行新配置的测试工作。（2） 方法是仿照实际的 VS，新建一个测试 VS，只有 IP 地址不同，其余配置与原 VS 一致。在新的VS 上，应用新的irule、pool 等，测试正常后，再进行正式切换。2、 检测有故障的 pool 成员：（1） 如果应用访问有时正常，有时不正常，原因很可能是某一个 pool 成员不能正常提供服务，并且这个问题是 F5 的 pool

10、状态检测功能检测不到的， 直接访问实际地址也检测不到，这就需要手动进行检测。（2） 方法是首先按照第 1 条中的方法新建一个测试 VS，其次为排除会话保持的影响，将测试 VS 的“Default Persistence Profile”和“Fallback Persistence Profile”全部设为 None，然后只保留要测试成员的状态为enabled，将 pool 中其它成员状态设为 disabled。1.1.4网络管理区域设计网络管理是保证一个大型网络系统正常运行的重要环节，需要有全局的网络配置工具，及时地发现网络问题，监控网络流量，及时调整参数，分析预测未来。因此需要配备一套专业、

11、完善的网络管理系统，来保证网络系统的正常运行。这套系统要有全局性的网络配置工具，具备快速、方便地配置与监控网络设备的能力，能够监控网络流量，尽早发现网络状态的变化，能够及时调整参数，随时提供连接和服务，并能及时排除潜在故障。网络管理区域的总体设计基于对本系统的了解以及分析用户对管理系统的需求，本系统项目的管理系统应具有：1. 主机和网络管理系统应以业务为导向，保证系统运行的高稳定性。2. 管理系统必须易于使用。3. 管理系统应提供丰富的管理特性。4. 管理系统应具有很好的开放性，支持业界标准，并能通过开放的接口与第三方网络及主机设备管理软件集成。本系统项目中的所有主机和网络资源均

12、可通过直观的人机界面进行监控、管理。网络管理区域设计方案对于网络管理区域设计如图：核心监控区通过 SNMP、telnet、ssh 等协议进行对网络设备、安全设备的管理，通过防火墙来限制对应用服务区和核心区的访问权限。同时只有在网络管理区的 IP 地址才能允许访问到每个网络设备及安全设备管理 IP。网络管理是对多个系统进行层次化管理，对若干台 UNIX小型机和Linux、Windows，以及服务器、中间件、数据库及有关的应用软件，通过管理软件进行统一、集成的监控管理，更好地控制和管理平台的UNIX系统及应用资源，变更传统的被动应答故障成为前瞻式监测的管理方式，及时了解出现的问题，在

13、条件允许的情况下，还能够实现自我修复。网络管理是对整个项目的网络设备进行管理。对网络管理软件的要求是：使用灵活的组件技术，支持多种操作平台，并能够与多种通用网管平台集成，实现从设备级到网络级全方位的网络管理，对网络、主机、操作系统、数据库和应用的状态及其相应的日志文件的监控。1.2安全系统建设方案网络设备自身安全包括设备本身对病毒和蠕虫的防御以及网络协议本身的防范措施。有以下是本项目所涉及的网络设备和协议环境面临的威胁和相应的解决方案：1.2.1防蠕虫病毒的攻击数据中心虽然没有直接连接 Internet，但内部专网中很多计算机并无法保证在整个使用周期内不会接触互联网和各种移动存储介质，仍然会较

14、多的面临大量网络蠕虫病毒的威胁，比如 Red Code，SQL Slammer 等等，由于它们经常变换特征，防火墙也不能完全对其进行过滤，它们一般发作的机理如下：利用Microdsoft OS 或应用的缓冲区溢出的漏洞获得此主机的控制权获得此主机的控制权后，安装病毒软件，病毒软件随机生成大量的IP 地址，并向这些 IP 地址发送大量的 IP 包。有此安全漏洞的 MS OS 会受到感染，也随机生成大量 IP 地址，并向这些 IP 地址发送大量的 IP 包。导致阻塞网络带宽，CPU 利用率升高等直接对网络设备发出错包，让网络设备 CPU 占用率升高直至引发协议错误甚至宕机因此需要在设备一级保证受到

15、攻击时本身的健壮性。1.2.2防VLAN 的脆弱性配置在数据中心的不同安全域进行防火墙访问控制隔离时，存在多个 VLAN，虽然广泛采用端口捆绑、vPC 等技术使正常工作中拓扑简化甚至完全避免环路， 但由于网络 VLAN 多且关系复杂，无法在工程上完全杜绝诸如网络故障切换、误操作造成的临时环路，因此有必要运行生成树协议作为二层网络中增加稳定性的措施。但是，当前有许多软件都具有STP 功能，恶意用户在它的PC 上安装 STP 软件与一个 Switch 相连，引起STP 重新计算，它有可能成为STP Root， 因此所有流量都会流向恶意软件主机，恶意用户可做包分析。局域网交换机应具有Root gua

16、rd（根桥监控）功能，可以有效防止其它Switch 成为 STP Root。本项目我们在所有允许二层生成树协议的设备上，特别是接入层中都将启动 Root Guard 特性，另外 Nexus5000/2000 还支持 BPDU filters, Bridge Assurance 等生成树特性以保证生成树的安全和稳定。还有一些恶意用户编制特定的 STP 软件向各个 Vlan 加入，会引起大量的STP 的重新计算，引起网络抖动，CPU 占用升高。本期所有接入层交换机的所有端口都将设置 BPDU Guard 功能，一旦从某端口接收到恶意用户发来的STP BPDU,则禁止此端口。防止 ARP 表的攻击的

17、有效手段本项目大量使用了三层交换机，在发送数据前其工作方式同路由器一样先查找 ARP，找到目的端的 MAC 地址，再把信息发往目的。很多病毒可以向三层交换机发一个冒充的 ARP,将目的端的 IP 地址和恶意用户主机的MAC 对应，因此发往目的端的包就会发往恶意用户，以此实现包窃听。在 Host 上配置静态 ARP 是一种防止方式，但是有管理负担加重，维护困难，并当通信双方经常更换时，几乎不能及时更新。本期所使用的所有三层交换机都支持动态 ARP Inspection 功能，可动态识别 DHCP，记忆 MAC 地址和 IP 地址的正确对应关系，有效防止 ARP 的欺骗。实际配置中，主要配置对 S

18、erver 和网络设备实施的 ARP 欺骗，也可静态人为设定，由于数量不多，管理也较简单。1.2.3防止 DHCP 相关攻击本项目中的楼层网段会采用 DHCPServer 服务器提供用户端地址，但是却面临着几种与 DHCP 服务相关的攻击方式，它们是：l DHCP Server 冒用：当某一个恶意用户再同一网段内也放一个 DHCP 服务器时，PC 很容易得到这个 DHCP server 的分配的 IP 地址而导致不能上网。l 恶意客户端发起大量 DHCP 请求的 DDos 攻击：恶意客户端发起大量DHCP 请求的 DDos 攻击，则会使 DHCP Server 性能耗尽、CPU 利用率升高。l

19、 恶意客户端伪造大量的 MAC 地址恶意耗尽 IP 地址池应采用如下技术应对以上常见攻击： 防 DHCP Server 冒用：此次新采购的用户端接入交换机应当支持DHCP Snooping VACL, 只允许指定 DHCP Server 的服务通过，其它的 DHCP Server 的服务不能通过 Switch。 防止恶意客户端发起大量 DHCP 请求的 DDos 攻击：此次新采购的用户端接入交换机应当支持对 DHCP 请求作流量限速，防止恶意客户端发起大量 DHCP 请求的 DDos 攻击，防止 DHCP Server 的 CPU 利用率升高。恶意客户端伪造大量的 MAC 地址恶意耗尽 IP

20、地址池：此次新采购的用户端接入交换机应当支持 DHCP option 82 字段插入，可以截断客户端 DHCP 的请求，插入交换机的标识、接口的标识等发送给DHCP Server；另外 DHCP 服务软件应支持针对此标识来的请求进行限量的 IP 地址分配，或者其它附加的安全分配策略和条件。1.3 网络级安全网络级安全是网络基础设施在提供连通性服务的基础上所增值的安全服务， 在网络平台上直接实现这些安全功能比采用独立的物理主机实现具有更为强的 灵活性、更好的性能和更方便的管理。在本次数据中心的设计范围内主要是访问控制和隔离（防火墙技术）。1.3.1安全域的划分数据中心安全域的划分需要建立在对数据

21、中心应用业务的分析基础之上，因而与前述的虚拟服务区的划分原则一致。实际上按 SODC 的虚拟化设计原则， 每一个虚拟服务区应当对应唯一的虚拟防火墙，也即对应唯一的一个安全域。具体原则如下：l同一业务一定要在一个安全域内l有必要进行安全审计和访问控制的区域必须使用安全域划分l需要进行虚拟机迁移的虚拟主机要在一个安全域中l划分不宜过细，安全等级一致的业务可以在安全域上进行归并，建议一期不超过 5 个安全域一般可以划分为：OA 区，应用服务区，数据库区，开发测试区等。1.3.2防火墙部署设计各个安全域的流量既需要互访、又必须经过严格的访问控制和隔离，如果按照传统的网络设计，需要在每个网络应用和交换平

22、台之间的边缘部署防火墙设备来进行安全保护，这样需要大量的防火墙，性能也受限于外部连接接口的带宽， 还增加了网络管理的复杂度，未来也难以扩展。因此我们应当使用内置于交换机的高性能防火墙模块，可以不考虑复杂的连线而方便的进行安全域划分，容易扩展和管理，也提高了整体性能。如果每个安全域有自己的防火墙，那么每一个安全域就只用考虑自己的一套 出入策略即可，安全域复杂的相互关系变成了每个安全域各自的一出一进的关系， 这样整个防火墙的策略就变得模块化、清晰化和简单化了。我们在诊断策略的问题时，只要到相关的安全域去看其专用的防火墙所使用的策略，就容易找到问题所在。我们在本次防火墙设计中将充分使用虚拟防火墙技术

23、。这里的虚拟防火墙功能是指物理的防火墙可以被虚拟的划分为多个独立的 防火墙。每个虚拟防火墙有完全独立的配置界面、策略执行、策略显示等等，所有操作就象在一个单独的防火墙那样。而且虚拟防火墙还应当具有独立的可由管理员分配的资源，比如连接数、内存数、策略数、带宽等等，防止一个虚拟防火墙由于病毒或其它意外而过多占用资源。仅仅用 VLAN 一类的技术划分防火墙 是无法起到策略独立性和资源独立性的目的的，不属于这里所指的虚拟防火墙。虚拟防火墙还应当配合虚拟三层交换机来使用。每一个安全域可能内部存在多个 IP 子网，它们之间需要有三层交换机进行路由。但不同安全域之间这样的路由不应当被混同在一个路由表中，而应

24、当每个安全域有自己的路由表，可以配置自己的静态和动态路由协议，就好像有自己独立使用的一个路由器一样。不同安全域相互之间仅通过虚拟防火墙互相连接。因此各个安全域的互连逻辑结构如下图所示：最终应当达到虚拟化数据交换中心的使用效果。即交换机的任何物理端口或VLAN 端口都能够充当防火墙端口，同时每个安全域有自己独立虚拟路由器，自己独立的路由表和独立的动态路由协议。每个安全域对应有一个自己专用的虚拟防火墙，每个虚拟防火墙拥有独立的管理员权限定义安全策略和使用资源。不同安全域的管理员只负责本区域虚拟防火墙的策略控制管理，而不用关心其它虚拟防火墙的配置工作，避免了单一区域安全策略配置错误而对其它区域可能造

25、成的影响，从根本上简化大型数据中心管理维护的难度。1.3.3防火墙策略设计不同安全域之间的访问控制策略由于虚拟化设计而只需考虑各个安全域内出方向策略和入方向策略即可。建议初始策略依据如下原则设定，然后根据业务需求不断调整：l出方向上不进行策略限制，全部打开l入方向上按“最小授权原则”打开必要的服务l允许发自内部地址的双方向的ICMP，但对 ICMP 进行应用检查（Inspect）l允许发自内部地址的 Trace Route，便于网络诊断l关闭双方向的 TCP Seq Randomization，在数据中心内的防火墙可以去除该功能以提高转发效率l减少或者不进行 NAT，保证数据中心内的地址透明性

26、，便于 ACE 提供服务l关闭 nat-control（此为默认），关闭 xlate 记录，以保证并发连接数l对每个虚拟防火墙的资源进行最大限定：总连接数，策略数，吞吐量l基于每个虚拟防火墙设定最大未完成连接数（Embryonic Connection）， 将来升级到定义每客户端的最大未完成连接数1.4 网络的智能主动防御传统的不停的打补丁和进行特征码升级的被动防御手段已经无法适应安全防御的要求，必须由网络主动的智能的感知网络中的行为和事件，在发生严重后果之前及时通知安全网络管理人员，甚至直接联动相关的安全设备，进行提早措施，才能有效减缓危害。要实现这种智能的主动防御系统，需要网络中进行如下部署：对桌面用户的接入进行感知和相应措施对桌面用户的行为进行分析和感知对全网安全事件、流量和拓扑进行智能的分析、关联和感知对各种信息进行综合分析然后进行准确的报告在报告的同时进行网络的联动以提早抑制威胁以上整个过程需要多个产品进行部署才能实现。以下对这些产品的部署进行简述。1.4.1网络准入控制网络准入控制技术Network Access C