数据中心网络建设方案模版

数据中心数据中心数据中心数据中心 网络建设方案网络建设方案网络建设方案 目目 录录 第一章 数据中心现状分析 4 第二章 数据中心网络技术分析 4 2 1 路由与交换 4 2 2 EOR 与 TOR 5 2 3 网络虚拟化 5 2 3 1 网络多虚一技术 5 2 3 2 网络一虚多技术 7 2 4 VM 互访技术 VEPA 7 2 5 虚拟机迁移网络技术 11 第三章 方案设计 13 3 1 网络总体规划 13 3 2 省级数据中心网络设计 15 3 3 市级数据中心网络设计 16 3 4 区县级数据中心网络设计 17 3 5 省 市 区 县数据中心互联设计 18 3 5 1 省 市数据中心互联 18 3 5 2 市 区 县数据中心互联 19 3 5 3 数据中心安全解决方案 19 第四章 方案的新技术特点 21 4 1 量身定制的数据中心网络平台 21 4 1 1 最先进的万兆以太网技术 21 4 1 2 硬件全线速处理技术 22 4 1 3 Extreme Direct Attach 技术 24 4 1 5 帮助虚机无缝迁移的 XNV 技术 29 4 1 5 环保节能的网络建设 33 4 2 最稳定可靠的网络平台 34 4 2 1 独有的模块化操作系统设计 34 4 2 2 超强的 QOS 服务质量保证 35 4 3 先进的网络安全设计 37 4 3 1 设备安全特性 38 4 3 2 用户的安全接入 39 4 3 3 智能化的安全防御措施 40 4 3 4 常用安全策略建议 41 附录 方案产品资料 45 1 核心交换机 BD 8800 45 2 SummitX670 系列产品 49 3 三层千兆交换机 Summit X460 61 4 核心路由器 MP7500 69 5 汇聚路由器 MP7200 75 6 接入路由器 MP3840 81 7 接入路由器 MP2824 85 8 MSG4000 综合安全网关 90 第一章第一章 数据中心现状分析数据中心现状分析 云计算数据中心相比较传统数据中心对网络的要求有以下变化 1 Server Server 流量成为主流 而且要求二层流量为主 2 站点内部物理服务器和虚拟机数量增大 导致二层拓扑变大 3 扩容 灾备和 VM 迁移要求数据中心多站点间大二层互通 4 数据中心多站点的选路问题受大二层互通影响更加复杂 5 iSCSI FCoE 是数据中心以网络为核心演进的需求 也是不可或缺的一 部分 第二章第二章 数据中心网络技术分析数据中心网络技术分析 2 1 路由与交换路由与交换 数据中心网络方面 关注的重点是数据中心内部服务器前后端网络 对于 广泛意义上的数据中心 如园区网 广域网和接入网等内容 不做过多扩散 数据中心的网络以交换以太网为主 只有传统意义的汇聚层往上才是 IP 的 天下 数据中心的以太网络会逐步扩大 IP 转发的层次也会被越推越高 数据中心网络从设计伊始 主要着眼点就是转发性能 因此基于 CPU NP 转发的路由器自然会被基于 ASIC 转发的三层交换机所淘汰 传统的 Ethernet 交换技术中 只有 MAC 一张表要维护 地址学习靠广播 没有什么太复杂的 网络变化需要关注 所以速率可以很快 而在 IP 路由转发时 路由表 FIB 表 ARP 表一个都不能少 效率自然也低了很多 云计算数据中心对转发带宽的需求更是永无止境 因此会以部署核心 接入 二层网络结构为主 层次越多 故障点越多 延迟越高 转发瓶颈也会越多 目前在一些 ISP InternetService Provider 的二层结构大型数据中心里 由于传 统的 STP 需要阻塞链路浪费带宽 而新的二层多路径 L2MP 技术还不够成熟 因此会采用全三层 IP 转发来暂时作为过渡技术 如接入层与核心层之间跑 OSPF 动态路由协议的方式 这样做的缺点显而易见 组网复杂 路由计算繁 多 以后势必会被 Ethernet L2MP 技术所取代 新的二层多路径技术 不管是 TRILL 还是 SPB 都引入了二层 ISIS 控制平 面协议来作为转发路径计算依据 这样虽然可以避免当前以太网单路径转发和 广播环路的问题 但毕竟是增加了控制平面拓扑选路计算的工作 能否使其依 然如以往 Ethernet 般高效还有待观察 MPLS 就是一个的前车之鉴 本想着帮 IP 提高转发效率 没想到却在 VPN 路由隔离方面获得真正应用 2 2 EOR 与与 TOR 数据中心网络设备就是交换机 而交换机就分为机箱式与机架式两种 当 前云计算以大量 X86 架构服务器替代小型机和大型机 导致单独机架 Rack 上 的服务器数量增多 受工程布线的困扰 在大型数据中心内 EOR End Of Row 结构已经逐步被 TOR Top Of Rack 结构所取代 机架式交换机作为数 据中心服务器第一接入设备的地位变得愈发不可动摇 而为了确保大量机架式 设备的接入 汇聚和核心层次的设备首要解决的问题就是高密度接口数量 由 此机箱式交换机也就占据了数据中心转发核心的位置 综合来说 一般情况下数据中心以大型机箱式设备为核心 机架式设备为 各个机柜的接入 2 3 网络虚拟化网络虚拟化 云计算就是计算虚拟化 而存储虚拟化已经在 SAN 上实现得很好了 剩下 网络虚拟化了 云计算环境中 所有的服务资源都成为了一个对外的虚拟资源 那么网络不管是从路径提供还是管理维护的角度来说 都得跟着把一堆的机框 盒子进行多虚一统一规划 而云计算一虚多的时候 物理服务器都变成了很多 的 VM 网络层面则需要对一虚多对通路建立和管理更精细化 2 3 1 网络多虚一技术网络多虚一技术 网络多虚一技术 最早的网络多虚一技术代表是交换机集群 Cluster 技术 多以盒式小交换机为主 较为古老 当前数据中心里面已经很少见了 而新的 技术则主要分为两个方向 控制平面虚拟化与数据平面虚拟化 控制平面虚拟化控制平面虚拟化 顾名思义 控制平面虚拟化是将所有设备的控制平面合而为一 只有一个 主体去处理整个虚拟交换机的协议处理 表项同步等工作 从结构上来说 控 制平面虚拟化又可以分为纵向与横向虚拟化两种方向 纵向虚拟化指不同层次设备之间通过虚拟化合多为一 相当于将下游交换 机设备作为上游设备的接口扩展而存在 虚拟化后的交换机控制平面和转发平 面都在上游设备上 下游设备只有一些简单的同步处理特性 报文转发也都需 要上送到上游设备进行 可以理解为集中式转发的虚拟交换机横向虚拟化多是 将同一层次上的同类型交换机设备虚拟合一 控制平面工作如纵向一般 都由 一个主体去完成 但转发平面上所有的机框和盒子都可以对流量进行本地转发 和处理 是典型分布式转发结构的虚拟交换机 控制平面虚拟化从一定意义上来说是真正的虚拟交换机 能够同时解决统 一管理与接口扩展的需求 但是有一个很严重的问题制约了其技术的发展 服 务器多虚一技术目前无法做到所有资源的灵活虚拟调配 而只能基于主机级别 当多机运行时 协调者的角色 等同于框式交换机的主控板控制平面 对同一 应用来说 只能主备 无法做到负载均衡 网络设备虚拟化也同样如此 以框 式设备举例 不管以后能够支持多少台设备虚拟合一 只要不能解决上述问题 从控制平面处理整个虚拟交换机运行的物理控制节点主控板都只能有一块为主 其他都是备份角色 类似于服务器多虚一中的 HA Cluster 结构 总而言之 虚 拟交换机支持的物理节点规模永远会受限于此控制节点的处理能力 数据平面虚拟化数据平面虚拟化 数据平面的虚拟化 目前主要是 TRILL 和 SPB 他们都是用 L2 ISIS 作为 控制协议在所有设备上进行拓扑路径计算 转发的时候会对原始报文进行外层 封装 以不同的目的 Tag 在 TRILL SPB 区域内部进行转发 对外界来说 可以 认为 TRILL SPB 区域网络就是一个大的虚拟交换机 Ethernet 报文从入口进去 后 完整的从出口吐出来 内部的转发过程对外是不可见且无意义的 这种数据平面虚拟化多合一已经是广泛意义上的多虚一了 此方式在二层 Ethernet 转发时可以有效的扩展规模范围 作为网络节点的 N 虚一来说 控制 平面虚拟化目前 N 还在个位到十位数上晃悠 数据平面虚拟化的 N 已经可以轻 松达到百位的范畴 但其缺点也很明显 引入了控制协议报文处理 增加了网 络的复杂度 同时由于转发时对数据报文多了外层头的封包解包动作 降低了 Ethernet 的转发效率 从数据中心当前发展来看 规模扩充是首位的 带宽增长也是不可动摇的 因此在网络多虚一方面 控制平面多虚一的各种技术除非能够突破控制层多机 协调工作的技术枷锁 否则只有在中小型数据中心里面应用 后期真正的大型 云计算数据中心势必是属于 TRILL SPB 此类数据平面多虚一技术的天地 2 3 2 网络一虚多技术网络一虚多技术 网络一虚多技术 已经根源久远 从 Ethernet 的 VLAN 到 IP 的 VPN 都是 已经成熟技术 FC 里面则有对应的 VSAN 技术 此类技术特点就是给转发报 文里面多插入一个 Tag 供不同设备统一进行识别 然后对报文进行分类转发 代表如只能手工配置的 VLAN ID 和可以自协商的 MPLS Label 传统技术都是 基于转发层面的 虽然在管理上也可以根据 VPN 进行区分 但是 CPU 转发芯 片 内存这些基础部件都是只能共享的 目前最新的一虚多技术是类似 Extreme Networks 在交换机系统中实现的 Virtual Router 和 VM 一样可以建立多个虚拟交换机并将物理资源独立分配 目前的实现是最多可建立 64 个 VR 其中有一个用做管理 2 4 VM 互访技术 互访技术 VEPA 随着虚拟化技术的成熟和 x86 CPU 性能的发展 越来越多的数据中心开始 向虚拟化转型 虚拟化架构能够在以下几方面对传统数据中心进行优化 提高物理服务器 CPU 利用率 提高数据中心能耗效率 提高数据中心高可用性 加快业务的部署速度 正是由于这些不可替代的优点 虚拟化技术正成为数据中心未来发展的方 向 然而一个问题的解决 往往伴随着另一些问题的诞生 数据网络便是其中 之一 随着越来越多的服务器被改造成虚拟化平台 数据中心内部的物理网口 越来越少 以往十台数据库系统就需要十个以太网口 而现在 这十个系统可 能是驻留在一台物理服务器内的十个虚拟机 共享一条上联网线 这种模式显然是不合适的 多个虚拟机收发的数据全部挤在一个出口上 单个操作系统和网络端口之间不再是一一对应的关系 从网管人员的角度来说 原来针对端口的策略都无法部署 增加了管理的复杂程度 其次 目前的主流虚拟平台上 都没有独立网管界面 一旦出现问题网管 人员与服务器维护人员又要陷入无止尽的扯皮中 当初虚拟化技术推行的一大 障碍就是责任界定不清晰 现在这个问题再次阻碍了虚拟化的进一步普及 接入层的概念不再仅仅针对物理端口 而是延伸到服务器内部 为不同虚 拟机之间的流量交换提供服务 将虚拟机同网络端口重新关联起来 做为 X86 平台虚拟化的领导厂商 VMWare 早已经在其 vsphere 平台内 置了虚拟交换机 vswitch 甚至更进一步 实现了分布式虚拟交互机 VDS vnetwork distributed switch 为一个数据中心内提供一个统一的 网络接入平台 当虚拟机发生 vmotion 时 所有端口上的策略都将随着虚拟机 移动 虚拟以太网端口汇聚器 VEPA 是最新 IEEE 802 1Qbg 标准化工作的一 个组成部分 其设计目标是降低与高度虚拟化部署有关的复杂性 如果我们研 究一下使用虚拟交换机的传统方法就会发现 它与 VEPA 方法存在很大的不同 VEPA 使用户可以深入了解虚拟化及联网中的各项部署挑战和需要考虑的因素 当您的物理主机上的监视程序上有多台虚拟机 每台虚拟机都包含一套操 作系统和多种应用 时 这些虚拟机在相互通信和与外部世界通信时都要使用 虚拟交换机 事实上 虚拟交换机是一种第 2 层交换机 通常以软件的形式在 监视程序内运行 每种监视程序通常都有一个内建的虚拟交换机 不同的监视 程序所含的虚拟交换机在能力方面也是千差万别的 当虚拟交换机从联网领域转移到服务器领域时 就有必要针对虚拟环境对 传统的基于网络的工具和解决方案进行重新测试 重新定性和重新部署 从某 些方面来说 这种变化会对虚拟化的快速扩展和普及造成阻碍 例如 传统的网络和服务器运营团队是截然分开的 每个团队都有自己的 流程 工具和控制范围 由于虚拟交换机的原因 联网进入了服务器的范畴 因此像供应虚拟机这样的简单任务也需要这些团队之间开展额外的协调工作 从而确保虚拟交换机的配置与物理网络配置保持一致 由于缺乏网络中虚拟机之间流量的可视性 因此涉及到虚拟机之间通信的 故障查找和监视也变成了一项极具挑战性的工作 而且随着虚拟机数量的增长 单个服务器中的虚拟机目前已经达到 8 至 12 台 并且会在不久的将来达到 32 至 64 台 因此 保护虚拟机彼此不受干扰 以及不受外界威胁的侵害都变成 了一项需要认真考虑的问题 从防火墙到 IDS IPS 基于网络的传统设备和工具都需要针对这些高度虚 拟化的环境重新开发 重新认证和重新部署 从而确保虚拟机之间通过虚拟交 换机的通信能够满足法规一致性和安全方面的要求 由于在虚拟交换机方面缺乏标准 因此会增加涉及不同监视技术的培训 互用性和管理开销 进入使这些挑战变得更加复杂 事实上 物理服务器正在 变成一种全面的网络环境 拥有自身的互用性 部署 认证和测试要求 有趣的是 这种趋势与虚拟化最基本的优势之一是背道而驰的 即虚拟化 能够将服务器中过剩的容量以更高的效率来运行各类应用 目前 这种 服务器 中的网络 很有可能演变成这些过剩容量的消费方 将 CPU 和内存资源吞噬殆 尽 VEPAVEPA 的方法的方法 为应用这些挑战 各方已经提出了多种不同的解决方案 其中就包括 VEPA VEPA 是一种虚拟交换机替代产品 它不仅进入了标准化进程 而且成 为业界众多厂商的一致选择 事实上 VEPA 会将服务器上虚拟机生成的所有流量转移到外部的网络交换 机上 外部网络交换机接下来会为同一台物理服务器上的虚拟机和基础设施的 其它部分提供连接 实现这一功能的方法是将一种新型转发模式融入物理交换机中 使流量能 够从来时的端口 原路返回 从而简化同一服务器上虚拟机之间的通信 原路返回 模式 或称 反射中继 可以在需要时将包的单一副本反向发送 至同一台服务器上的目的地或目标虚拟机 对于广播或组播流量 VEPA 能够以 本地方式向服务器上的虚拟机提供包复制能力 传统上 多数网络交换机都不支持这种 原路返回 模式行为 因为它可能会 在非虚拟世界中造成环路和广播风暴 然而 许多网络厂商都开始支持这种行 为 目的就是解决虚拟机交换的问题 而且使用简单的软件或固件升级即可实 现 IEEE 的 802 1Qbg 工作组还努力将这种行为变成了标准 VEPA 能够以软 件的方式 作为监视程序中的瘦层在服务器中实施 也可以作为网卡中的硬件 来实施 在后一种情况下还可以与 SR IOV 等 PCIe I O 虚拟化技术结合使用 其中一个典型的例子就是 Linux KVM 监视程序中提供的基于软件的 VEPA 实 施 事实上 VEPA 将交换功能移出了服务器 并且将其放回物理网络中 而且 让外部网络交换机能够看到所有的虚拟机流量 通过将虚拟机交换移回物理网 络 基于 VEPA 的方法使现有的网络工具和流程可以在虚拟化和非虚拟化环境 以及监视程序技术中以相同的方式自由使用 防火墙和 IDS IPS 等基于网络的设备 以及访问控制列表 ACL 服务 质量 QoS 和端口监视等成熟的网络交换机功能都可以直接用于虚拟机流量 和虚拟机之间的交换 因此减少和消除了对虚拟网络设备重新进行昂贵的质量 判定 测试和部署的需求 此外 VEPA 将网络管理控制层重新交给了网络管理员 为所有与虚拟机相 关联网功能的供应 监视和故障查找提供了一个单一控制点 将网络功能从服务器卸载至网络交换机能够带来诸多的优势 例如释放服 务器资源并将其用于更多的应用 同时还可在虚拟和非虚拟服务器之间提供线 速交换 从 1Gbps 至 10Gbps 甚至可以达到 40Gbps 和更高的 100Gbps 因此 基于 VEPA 的方法有助于扩大虚拟化部署 降低复杂性和成本 并 且加快虚拟化的普及 尽管基于 VEPA 的方法能够带来许多好处 但在某些环境下 虚拟机间流 量的交换最好还是留在服务器内部 例如 在有些环境下物理服务器要承担虚 拟机的巨大负荷 而且这些虚拟机之间的通信非常频繁 因此为了将延迟降至 最低程度 最好的方法是将虚拟机之间的流量留在服务器内部 在此类场景中 可能的方法之一是绕过基于监视程序的软件虚拟交换机 利用新型网卡提供的交换硬件能力 即 SR IOV 等基于入向 I O 虚拟化的能力 同样 在使用这种方法时 也需要权衡考虑完全使用 服务器中的网络 模型时 的安全和成本问题 随着服务器虚拟化的广泛普及 服务器内和服务器间虚拟机交换流量的复 杂性都在不断提高 基于 VEPA 的虚拟机间流量交换方法能够为基于虚拟交换 机的传统方法提供一种非常有趣且极具吸引力的替代方案 为了向网络和服务 器基础设施提供支持 VEPA 的能力 此类技术的标准化工作正在紧锣密鼓地进 行当中 2 5 虚拟机迁移网络技术虚拟机迁移网络技术 虚拟服务器能够大幅度提升服务器计算资源利用率 但是仍然只发挥了虚 拟化优势的很小一部分 虚拟化向网络的延伸使虚拟机能够在应用程序运行的 同时实现在物理服务器之间的漂移 并按需提供容量 无需增加昂贵且未尽其 用的平台 更重要的是 动态虚拟机的创建和移动让管理员能够迅速响应新的 请求 从而提高用户的生产效率和客户满意度 但是目前传统的网络设备并不 能满足这种动态迁移的需求 这成为虚拟化进程中的瓶颈 而解决这一瓶颈就 意味着虚拟化时代的真正到来 将虚拟化优势延伸至网络 如何动态并经济有效地分配资源 来满足高峰 和低谷时的业务需求显得至关重要 通常在一个工作日中 对计算资源的需求 会从最小量开始增长 虚拟机可以立刻迁移至其它新启动的服务器上去 以满 足需求 在工作日结束时 对计算资源的需求会降低 那时虚拟机可以迁回原 来的服务器 并关闭不需要的服务器资源 以简化管理并降低供电成本 在这 个过程中 网络的虚拟化至关重要 网络可以使得虚拟机的动态迁移成为可能 还可以保证在任何情况下对于应用的保护 甚至可以使得用户感觉不到虚拟资 源的扩展或缩小 日常的虚拟机迁移只是虚拟机漂移技术的一种实践应用 当服务器离线进 行维护或发生故障时 虚拟机也可进行漂移以支持业务的连续性 为了利用这 些优势 在硬件平台间漂移虚拟机相关的网络配置虽并不复杂 但却至关重要 且非常耗时 此外 当虚拟机在数据中心内漂移时 与每台虚拟机相关的网络 层策略必须随之漂移 这些策略控制着安全 服务质量 QoS 等因素 并因用户 和应用的具体情况而异 因此 为每个业务应用维持相适应的网络策略对于业 务运营而言至关重要 虚拟机从一台物理服务器漂移至另一台之前 与之相关的网络端口配置以 及安全策略必须针对目标服务器进行正确的设置 以满足安全需求 如果数据 中心存在大量的服务器和虚拟机迁移 那么手动配置会消耗大量的时间和资源 利用网络虚拟化的解决方案可使虚拟机迁移相关的网络管理任务实现自动 化 且无需大量的管理人员 针对虚拟机漂移的自动化网络管理 实现虚拟机漂移的网络自动化最关键的 就是构建一个包含智能软件的网 络交换机 来对单个虚拟机进行配置 传统的网络交换机是通过一个物理端口 来与它连接的服务器进行通信的 而包含智能软件的交换机 则能够实现对单 个虚拟机的感知 以及对每个虚拟机进行网络配置 从而将单个虚拟机属性扩 展到整个网络 当虚拟机在整个网络迁移时 交换机能够追踪这种迁移 并确 保网络设置与虚拟机一起实现迁移 虚拟机感知的一个重要方面是能够与多种架构相兼容 被称为虚拟机监控 器 VMM 是虚拟化软件的重要组成之一 它能够使多种操作系统在单一主机平 台中运行 目前可支持 Citrix 微软 VMwareXen Oracle 等虚拟化平台 由于数据中心通常运行不同的虚拟化架构 因此 具备兼容多个虚拟化架 构的能力至关重要 研究和开发部门或许更青睐某一款架构 因为它使用户能 够更好地管理服务器 而数据管理员为了其他用户也许会统一使用另一款来自指 定厂商的虚拟化架构 或者 数据中心管理员因为价格或其他因素也许会选择 逐步迁移至其它厂商的架构 从而创建一个临时的混合型环境 而网络是承载 这些架构的基础 网络的虚拟化同样也需要对于混合环境提供很好的兼容性 基于交换机的虚拟化产品也包含的有价值的特性 跟踪虚拟机的迁移 无需变更以太网数据包 最大限度提高资源利用率 内置于交换机的智能软件可以缓解网络管理员的负担 该架构能够方便 用户在虚拟层中配置网络设定 从而提高生产效率 同时支持多种虚拟化架构 最大限度提高灵活性 管理平台界面简化管理 针对虚拟化网络的解决方案已成为现实 Extreme Networks 公司的 XNV 技 术 能够搜索虚拟机并使性能和安全设置与虚拟端口 而非物理端口 相联系 使用管理员拥有粒度标准来监测每台虚拟机及其相关的虚拟端口 XNV 还可监 测虚拟机的创建和迁移 并确保网络设置随着虚拟机迁移 这些功能都有助于 降低由网络配置错误引起的应用宕机风险 以及将敏感应用暴露给未受权用户 的安全风险 综上所述 数据中心的虚拟化 即 网络感知 和开放性 是新的数据中 心的必备能力 只有这样 用户才能优化资源利用率 降低手动维护安全策略 所造成的人工错误 因为虚拟化提高了数据中心的可用性 并降低了总体拥有 成本 第三章第三章 方案设计方案设计 3 1 网络总体规划网络总体规划 数据中心网络的建设 需要考虑到以下的一些因素 系统的先进程度 系 统的稳定性 可扩展性 系统的维护成本 应用系统和网络系统的配合度 与 外界互连网络的连通 建设成本的可接受程度 网络整体设计采用国际通行的 TCP IP 协议 并达到以下目标 1 系统可靠性和稳定性 系统可靠性和稳定性 作为高性能园区网络 系统的高可靠性和稳定性是网络应用环境正常运行 的首要条件 在保证系统可靠性的基础上 还要进一步提高系统的可用性 我 们可以从以下几个方面来提供保证 网络设备 主机系统具有很高的平均无故障时间 并且在业界有广泛的用 户基础 关键网络设备冗余工作 其关键部件可实现在线更换 热拔插 故障的恢 复时间在秒级间隔内完成 网络在设备 拓扑以及线路等方面均应具有较高的可靠性 以保证每周 7 24 小时 每年 365 24 小时的正常工作 2 开放性和标准化 开放性和标准化 为了保证在网络时保证不同设备的互通性 所以网络系统在设计时必须采 用开放技术 支持国际标准协议 具有良好的互连互通性 保证支持同一厂家 的不同系列的产品以及与不同厂商的不同网络设备无缝连接和互操作的能力 3 具有高处理能力 可扩展性 具有高处理能力 可扩展性 现支持各种高速网络 快速以太网 千兆以太网 万兆以太网等技术 提 高对数据包的转发能力和速度 提供足够的网络带宽 支持各种协议并存 可 灵活地构成不同系统 并可方便地从拓扑的角度和设备的角度扩展 方便升级 以满足将来业务增长的需要 在网络设计时 为了适应用户快速增长的需要 首先要满足现有规模网络 用户和应用的需求 同时考虑未来业务发展 规模的扩大 应该设计关键网络 设备具备扩展能力以及网络实施新应用的能力 灵活扩充性 灵活的端口扩充能力 模块扩充能力 满足网络规模的扩充 支持新应用的能力 产品具有支持新应用的技术准备 能够符合实际要求 的 方便快捷地实施新应用 4 系统的先进 成熟 实用性及可管理 系统的先进 成熟 实用性及可管理和可维护性和可维护性 当今世界 通信技术和计算机技术的发展日新月异 网络设计既要适应新 技术发展的潮流 保证系统的先进性 也要兼顾技术的成熟性 实用性 选择 最合适的设备和技术 降低由于新技术和新产品不成熟因素给用户带来的风险 在系统设计中 选择先进的系统管理软件是必不可少的 我们在这里采用 我们通过这个统一的管理平台的控制 监控主机系统 网络系统 应用系统状 态 简化管理工作 提高了主机系统和网络系统的利用效率 提供先进而完善 的网络管理工具 监控网络故障 优化网络性能 实现一体化的网络管理 网 络管理基于 SNMP 支持 RMON 和 RMON2 5 系统安全性和保密性 系统安全性和保密性 现在我们网络内接入的用户对网络的好奇心 促使会攻击我们内部网络 我们制订统一的安全策略 整体考虑网络平台的安全性 能够提供不同方式不 同级别的安全策略 保证网络重要用户和数据服务器的安全性 所以说安全性是网络运行的生命线 合理的网络安全控制 可以使应用环 境中的信息资源得到有效的保护 网络可以阻止任何非法的操作 网络设备可 进行基于协议 基于 MAC 地址 基于 IP 地址的包过滤控制功能 不同的业务 划分到不同的虚网中 6 保护用户现有投资及效益性 保护用户现有投资及效益性 在保证网络整体性能的前提下 网络设计充分保护用户投资及效益性 利 用现有的网络设备或做必要的升级 在原设备的基础上 进行网络建设 避免 用户投资的重复浪费 在满足用户需求和未来发展的趋势情况下 采用性价比 高的设备 构筑经济可靠的网络平台 使新系统更有效地承担繁重的任务 能 支持将来系统的维护和平滑升级 所采用的设备应是当今业界的主流产品 采 用主流技术 标准协议 具有良好的互操作性 减少设备互连的问题 网络维 护的费用 使用户的投资得到有效保护 3 2 省级数据中心网络设计省级数据中心网络设计 对于省级数据中心 一般规划为大约五百台高性能服务器 在这种模式下 可以规划 2 3 层网络连接模式 下图为 3 层 如上图所示 一般情况下 大型数据中心采用 2 3 层网络结构 以 3 层结 构为例 采用 2 台高性能 Extreme Networks BD8800 核心交换机 提供 48 个 四万兆 40G 接口 通过 40G 通道下联到汇聚层 Summit X670 系列交换机 每台 Extreme Networks Summit X670 交换机提供 48 60 个万兆万兆接口 并 提供四万兆接口上联 万兆下联 Summit X460 交换机 通过 X460 交换机使用 千兆连接所有服务器 但是对于新型的大型数据中心 万兆网络连接已经成为主流 所以一般使 用万兆连接服务器 则直接将网络简化为如下 2 层 万兆以太网技术目前已成为建设大中型数据中心网络的主流技术 为实现 数据网络平台的功能 并考虑网络在性能 容量 扩展性 先进性和服务质量 等方面的要求 经过对交换以太网 快速以太网 千兆以太网 万兆以太网不 同网络架构在 VLAN 虚拟局域网 技术 第三层或多层交换技术 QoS ACL 等方面的性能表现及成本分析 确定将高密度端口的万兆以太网交 换机作为整个信息网络的接入设备 通过将万兆以太网 千兆以太网 VLAN 技术 三层路由交换 局域网中 的 QoS ACL 技术与投资经济性实现完美的有机结合 建立一个具有成熟的先 进技术 同时又可简便维护和安全使用的网络 在省级网络设计中 我们最终推荐核心到接入交换机 40G 连接 接入到服 务器 10G 连接 3 3 市级数据中心网络设计市级数据中心网络设计 市级数据中心一般采用小于 100 台服务器 根据省级网络的建设设计 我 们同样使用万兆进行连接 这里采用一台Summit X670 系列交换机 每台 Extreme Networks Summit X670 交换机提供 64 个万兆万兆接口 或者采用 X670 交换机堆叠 提供 112 个万兆端口 如下图所示 3 4 区县级数据中心网络设计区县级数据中心网络设计 区县级数据中心 一般采用普通企业级服务器 不进行大规模数据集中 所以一般只适用千兆进行接入 所以采用两台千兆交换机 Extreme Networks Summit X460 进行互联 通过冗余备份设置 千兆连接内部所有服务器 3 5 省 市 区省 市 区 县数据中心互联设计县数据中心互联设计 对于大多数行业客户如医疗 教育或政府等 其数据中心不只为本地市提 供数据交换和处理 同时各级数据中心之间还需要进行数据的远程交换和共享 从而充分发挥多级数据中心架构的优势 使各级数据中心协同工作 远程交换 数据共享和统一管理 因此省 市 区 县数据中心的互联也势在必行 3 5 1 省 市数据中心互联省 市数据中心互联 省数据中心由于数据量较大 需要同时汇聚地市一级数据中心 因此在省 数据中心推荐配置两台 MP7508 作为核心汇聚路由器 并互为备份 MP7508 汇 聚路由器通过 1000M 光接口连接省数据中心核心交换机 BD8800 再通过 1000M MSTP 或 155M SDH ATM 网络分别连接各个地市数据中心上联路由器 MP7204 地 市上联路由器 MP7204 通过 1000M 光接口连接其核心交换机 X670 由于 MP7508 和 MP7204 路由器的高性能 从而实现省 市数据中心的高速互联 其软 硬件 高可靠性设计以及每个节点采用双机备份的方式 实现了数据传输的高可靠性 和稳定性 另外我们可采用 MPLS 等安全技术 进一步保证数据传输的安全性 3 5 2 市 区市 区 县数据中心互联县数据中心互联 根据不同的行业和应用 市数据中心与区 县数据中心之间数据流量不同 在数据流量较大的应用中 市数据中心采用 MP7204 中心汇聚路由器通过 100M 或 1000M MSTP 线路连接各个区 县数据中心 MP3840 汇聚路由器 对于数据流量 较小的行业或应用 市数据中心 MP7204 可采用 155M SDH 线路 采用 2M 复用的 方式连接各个区 县数据中心 MP2824 区 县数据中心可根据实际带宽需求采用 2M 或 N 2M 链路捆绑方式接入市数据中心 同样为了提高互联的可靠性 地市 汇聚路由器和区 县上联路由器均采用双机双线路冗余备份方式 确保数据传输 的高可靠性 3 5 3 数据中心安全解决方案数据中心安全解决方案 虽然数据中心处于一个相对安全的私有网络环境 不同级别的数据中心也 可通过运营商专有线路进行互联互通 其内部数据中心和传输线路上有一定的 安全保障 同时为提高数据中心的开放度和利用率 以及远程管理等 其势必 要与外部网络或 internet 进行数据的互联互通 为外部或互联网用户提供数据 业务和管理 因此在数据中心的边界需要充分考虑其接入和互联互通的安全性 需要有效的的边界隔离 可以实现对非法访问的阻断 其二是有效的身份识别 与访问控制功能 可以实现对源地址的定位 识别和控制 其三是建立有效的 对抗攻击能力 实现对异常流量 恶意代码 有目标的渗透等情况的鉴别和防 护 其四是建立深度应用识别与攻击检测 对应用数据包进行深度检测 防范 欺骗 其五是可以实现业务间隔离与带宽资源控制 保障重要业务访问 其六 是保护数据传输安全 防止数据被窃听和篡改 同时 还必须具有高可靠性的 安全设备来防止由于高并发访问量 系统故障等突发情况而带来的访问不便 此外 由于边界是数据中心正常运行的重要节点 部署安全产品必须具有便于 管理的特点 这就要求设备能够适应不同的网络环境 配置尽量简单方便 特 征库能够自动升级 可以提供丰富的访问审计功能 能够对流量进行有效监控 能够提供丰富的攻击统计 使数据中心系统管理员能够充分掌握数据中心的安 全态势 为不断地优化安全策略提供依据 因此我们建议采用综合的安全网关 作为数据中心边界接入和隔离 为其提供用户安全接入 抗攻击 入侵检测 防病毒 高性能 VPN 带宽管理等综合安全解决方案 避免了采用多厂家多型 号的安全产品而带来的管理和维护上的安全风险 以下为数据中心安全解决方案 在省 市 区 县数据中心边界 我们采用 MSG4000 综合安全网关作为外部 移动用户 远程管理以及第三方平台等用户和平台的接入 MSG4000 作为一款 综合安全产品 可根据用户需求提供从 100M 到 10G 不同性能需求 省 市 区 县数据中心可根据实际需要选用不同性能层次的 MSG4000 同时 MSG4000 在功 能上可为客户提供安全防护 病毒过滤 入侵检测 应用识别 流量管理 WEB 访问控制 上网行为管理以及 IPSEC SSL VPN 等功能 满足客户整个安全防护 的需求 从而避免了由于设备数量 种类较多带来的维护和管理上的不安全因 素 第四章第四章 方案的新技术特点方案的新技术特点 4 1 量身定制的数据中心网络平台量身定制的数据中心网络平台 4 1 1 最先进的万兆以太网技术最先进的万兆以太网技术 Extreme 公司作为以太网技术的先驱 一直致力于生产严格遵循业界标准的 以及可与其他厂商兼容的产品 Extreme Networks 是由 100 家国际知名网络公 司组成的千兆以太网联盟和万兆以太网联盟的领导者 Extreme 交换机的 10GB 以太网模块在世界上第一个实现单跳网络传输 1 TB 数据流量 Extreme 公司一 直走在 10GB 以太网交换技术开发的前沿 公司的发起人及首席技术官 Steve Haddock 现任 IEEE 802 3ae 任务小组副主席 该小组已经为 10 GB 以太网开发 了行业标准 Extreme Networks 的 Tony Lee 自 2000 年 3 月起 在两年任期内 担任万兆以太网联盟主席 另一名 Extreme Networks 技术专家 Ameet Dhillon 目前则担任万兆以太网联盟理事 Extreme 交换机的扩充能力和高端交换性能 标志着基于标准的高性能以太网技术的重大进步 万兆以太网市场的全球市场占有率 万兆以太网市场的全球市场占有率 Extreme 在万兆网络应用从初期就一直保持着市场领先地位 4 1 2 硬件全线速处理技术硬件全线速处理技术 网络业务的不断增多 各种应用的流行 对网络也提出了新的要求 传统 的以太网交换机由于基于共享的设计理念 对于音频 视频以及数据的各种业 务的传输是无法识别区分的 对于多媒体业务的开展需要更智能的设备来支撑 高速的网络数据传输应用已经不是一个高级网络唯一的重要指标 网络的发展 方向是支持线速无阻塞地传输各种多媒体等高级应用 在开启各种网络应用和 功能的情况下 保证网络畅通 这也是 Extreme 公司的强大技术优势所在 Extreme 的智能网方案采用先进的组播技术和 Qos 保证机制 实现全线速 的高质量的业务运行 核心设备的大密度的高速端口使得网络设备具有大容量 的交换处理能力 以避免拥塞和延迟 Extreme 采用无阻塞交换结构 基于先 进路由交换机制 能够提供线速处理能力 以此为基础 通过合理的网络设计 实现高性能的网络 Extreme 的全线三层产品交换产品均可实现满载情况下的二层线速帧交换 和三层线速包转发 应该强调的是 实际运行的网络需要配置很多控制功能 如 QoS 处理 ACL 策略路由等 此时需要交换机耗费更多的资源以实现相应 的网络控制处理功能 Extreme 产品能够保证性能和功能的一致实现 即在打 开诸多控制处理功能的前提下 依然保证数据包的真正线速处理和转发 Extreme 的共享内存式的交换背板结构大大提高了组播转发的效率 节省 了交换矩阵的带宽 其他网络厂家的交换机支持的组播 ACL Qos 等都是基 于软件技术和 CPU 运算的 由于占用大量处理器和内存资源 经常会导致丢失 数据包 在性能上能上都达不到无丢包的限速传输 不得不以添加昂贵的内存 条为代价 Extreme 主推的真正的线速网络是性能和功能的全面线速 包括线 速路由 线速 ACL 线速 Qos 线速组播 Extreme 的网络设备的 Qos 组播 ACL 都是通过专门的集成芯片来完成 不占运行用系统资源 这也是目前业界 唯一能够同时实现四种线速的全线速核心交换设备 国防大学在新网络未来要 承载各种多媒体为基础的新应用 影像方面需要应用到组播 Qos 技术都会在 本方案的设计中得到卓越的性能表现 优异的全线速网络设计能够为科研和业 务的效率提高作出巨大的贡献 组播结构 传统的组播结构 可以看到在传统组播结构上 要实现组播组的发送需要组播发送端通过传统的 交换矩阵多次发送 这样造成了组播数据在整个转发过程中速度慢 同时对端 口带宽占用资源过大 占用时间过长 容易造成端口拥塞 4 1 3 Extreme Direct Attach 技术技术 今天的虚拟机管理程序利用一个内部的 虚拟交换机 为在一个服务器内部的虚拟机 VM 之间以及它们与外部网路之间提供网络连接 这个虚拟交换机给数据中心网络增加 了第四个层级 今天的许多刀片服务器利用一个内部的 刀片交换机 来汇聚刀片服务器机箱内的每 个物理服务器的数据流量 这些交换机给网络增加了第五个层级 虚拟交换机和刀片交换机的组合把交换层级从 3 层提高到 5 五层 显著提高了网络延迟并 增加了数据中心内的网络元素 这也增加了数据中心管理的复杂性 Extreme Networks 的 Direct Attached 技术消除了虚拟交换机层 简化网络并提高网 络性能 Extreme Networks 的 BlackDiamond 8800 交换机中的 8900 系列交换模块通过 利用高密度板卡和布线系统 消除刀片交换机并使数据中心得到简化 从而使数据中心的 层级数量从 5 层简化为 3 层 今天的数据中心网络可以通过结构化分 层 定义 通常情况下 有一个 网络核心 它是所有数据中心设备的中心连接点 这是数据中心网络的 第一层级 这个核心可能是 一个交换机 或者更通常是由冗余交换机组成的集群来连接所有设备 网络设备 安全设 备和服务器 而网络的 第二层级 是汇聚交换机 它连接接入交换机和核心 这层常用 于大型数据中心 一般没有必要用在中型数据中心 第三层级 的交换机 通常被称为接 入层交换机 它直接连接服务器 这些接入交换机通常被称为 架顶式交换机 或 行末 式交换机 这种无论是两个或三个层级的模式是已经被多年使用 且广为熟悉的 目前数据中心有两个重要的趋势 它们正在改变数据中心网络的实现方式 一个在物 理方面 而另一个在虚拟化方面 这些趋势给数据中心网络增加了额外的层级 趋势一 虚拟化趋势一 虚拟化 在过去几年的数据中心最重要的发展趋势是虚拟化的应用 虚拟化是一种技术 使一 台物理服务器允许安装多个虚拟服务器 虚拟机 这样可以提高服务器利用率和有助于服务 器的整合 对于灾难恢复和容量管理等有诸多好处 虚拟化在企业数据中心和主机托管数 据中心中非常流行 而由于高性能计算集群或大型互联网消费网站的自身性质 虚拟化不 太可能应用在这些领域 虚拟交换机虚拟交换机 虚拟化引入了虚拟化引入了 虚拟交换机虚拟交换机 的概念 的概念 在非虚拟化数据中心 每个服务器运行一个操作系统 该操作系统管理的物理网络连 接到与其它用户和服务器 在虚拟化环境中 有多个虚拟机运行在物理服务器上 这些虚 拟机必须共享一个物理网络连接 并且需要互相通信 这给虚拟交换机或 vSwitch 的 概念带来了用武之地 虚拟交换机是一个运行在服务器上的模拟 2 层网络设备的软件 虚 拟交换机的功能是使一个服务器内的虚拟机可以互相通讯并且可以与外界通讯 虚拟交换 机仿造了二 三层交换机的一部分功能以实现上述通讯功能 虚拟机运行在虚拟化管理软件 中 所以它不是通用的 目前 VMware Microsoft 和 Citrix 在自己的虚拟化管理软件中都 含有虚拟交换机 另外其它一些网络厂商也推出了额外收费的虚拟交换机 例如 Cisco 的 Nexus 1000 一个需要注意的关键点是每个物理服务器都需要一个虚拟交换机 例如一个有 40 台服务 器的机柜需要 40 个虚拟交换机 一个有 16 个刀片的刀片服务器需要 16 个虚拟交换机 网络中虚拟交换机的数量与网络中运行虚拟化的服务器的数量是一一对应的 这些虚拟机 每一台都需要管理和配置 虚拟交换机的优点 虚拟交换机是由虚拟化管理软件厂商发明的 用于虚拟机与网络间进行通讯 直到现 在 虚拟交换机还是虚拟机之间 虚拟机与其它服务器和用户之间通讯的唯一手段 虚拟交换机带来的问题 安全性 虚拟交换机的主要功能是满足同一服务器内部的虚拟机之间的通讯 因为虚 拟交换机存在于服务器内部 虚拟机和虚拟机之间的数据流量对于外界网络是不可见的 这样一些由非法虚拟机引发的安全问题很难被发现 网络与系统管理软件的可见性 同样由于虚拟机和虚拟机之间的数据流量对于外界网 络是不可见的 对于虚拟机和虚拟机之间的流量的管理和监控非常困难 传统的基于端口 镜像的网络工具无法在这样的环境中使用 性能的不可预见性 虚拟交换机使用软件而非线速的交换机硬件来进行数据的转发 虚拟交换机的转发性能 以至于服务器的网络性能都取决于 CPU 的可用资源 而该资源又 取决于虚拟机上的应用程序 这与服务器的优化是矛盾的 当服务器通过虚拟化增加利用 率时 服务器的网络性能实际会下降 这与使用虚拟化优化服务器的设想是相违背的 额外的网络层级 虚拟交换机为传统的网络增加了第四个层级 这样增加了网络的跳 数从而增加了端到端的网络延迟 虚拟交换机与服务器一一对应引起的扩展性问题 每个服务器都需要一个虚拟交换机 整个数据中心的网络设备数量大大增加 一个有 40 个服务器的机柜需要 40 个虚拟交换机 而只要一台网络交换机 这样大大增加了数据中心内需要管理和配置的网络元素 增加了 数据中心的运维成本 管理的复杂性 每一个虚拟化管理软件厂家都有一个和自己软件配合的虚拟交换机 在一个使用多种虚拟化软件的数据中心 需要对多种虚拟机管理进行人员培训和制定管理 流程 增加了数据中心管理成本 问责的冲突 到底由哪个部门来管理虚拟交换机呢 是因为虚拟交换机运行在服务器 内部而由服务器部门负责呢 还是因为它是网络元素而由网络部门负责呢 这些问题会带 来潜在的冲突 增加管理和实施解决方案的复杂度 趋势二 刀片服务器 刀片服务器为机架内容纳高密度服务器提供了解决方案 一个刀片服务器机箱可以容 纳 16 个服务器 一个标准机柜可以容纳 3 个或 4 个刀片服务器机箱 这样一个机柜可以 容纳 48 或 64 个高密度服务器 并且可以简化管理 刀片服务器带来的挑战是它在一个机柜内制造了很高的布线密度 使为每台服务器提 供布线成为挑战 正是这个原因 各个刀片服务器的厂商都制造一种插入刀片服务器机箱 的 刀片交换机 刀片交换机的优点 刀片交换机的主要优点是简化了布线 刀片交换机连接所有的服务器 并上连到网络 的第三个层级 如果没有刀片交换机 每个服务器需要一个以太网连接到第三级网络 这 样每个刀片服务器机箱就需要 16 根跳线 有了刀片交换机跳线数量减少为 1 到 8 根 刀片交换机的问题 刀片交换机给网络带来高复用比 这样可能造成网络拥塞并限制服务器的性能 一个 典型的刀片交换机包含 24 个以上的端