教育城域网云数据中心方案及货物需求参数1512

市教育城域网云数据中心市教育城域网云数据中心 技术建议书技术建议书 2015 年 12 月 2 目 录 第第 1 章章项目背景项目背景 6 第第 2 章章需求分析需求分析 7 第第 3 章章方案总体架构方案总体架构 8 3 1设计目标 8 3 2总体架构设计 8 第第 4 章章网络解决方案网络解决方案 11 4 14 1网络平台架构设计网络平台架构设计 11 4 1 1网络虚拟化和二层结构 11 4 1 2三个独立的网络平面 13 4 1 3业务功能分区 13 4 1 4网络平台架构特点 13 4 24 2边界接入区设计边界接入区设计 14 4 34 3核心网络区设计核心网络区设计 15 4 44 4县区路由连接设计县区路由连接设计 15 4 4 1区县教体局出口路由器选型建议 16 4 4 2学校出口路由器选型建议 17 4 54 5IPIP 地址规划地址规划 18 4 5 1IP地址规划原则 18 4 5 2本期工程地址规划 18 4 64 6VLANVLAN 设计设计 21 4 74 7QOSQOS 规划规划 22 第第 5 章章计算存储解决方案计算存储解决方案 25 3 5 15 1计算存储平台架构设计计算存储平台架构设计 25 5 25 2虚拟化平台解决方案虚拟化平台解决方案 26 5 2 1虚拟化平台结构 26 5 2 2虚拟化管理平台 27 5 2 3VDC服务 31 5 35 3物理服务器部署方案物理服务器部署方案 31 5 45 4存储虚拟化部署方案存储虚拟化部署方案 33 5 4 1方案设计原则 33 5 4 2拓扑结构 35 5 4 3方案特点 36 5 55 5一体化备份系统一体化备份系统 36 5 5 1传统的数据保护方式 36 5 5 2一体化备份系统 37 5 5 3全面的备份保护 37 5 5 4方便灵活的数据恢复 38 第第 6 章章安全解决方案安全解决方案 39 6 16 1总体安全框架总体安全框架 39 6 26 2安全域的划分安全域的划分 40 6 36 3边界安全设计边界安全设计 41 6 46 4核心交换区安全设计核心交换区安全设计 43 6 4 1WEB防火墙设计 43 6 4 2应用负载均衡设计 43 6 4 3入侵检测防御设计 43 4 6 4 4数据库 日志审计设计 44 6 4 5漏洞扫描设计 44 第第 7 章章运维管理解决方案运维管理解决方案 45 7 17 1监控运维系统概述监控运维系统概述 45 7 27 2统一监控管理平台统一监控管理平台 46 7 2 1拓扑管理 46 7 2 2告警管理 47 7 2 3性能管理 48 7 2 4分级网管 48 7 2 5系统监控 49 7 2 6高可用性系统管理 49 7 37 3服务器管理服务器管理 49 7 47 4存储管理存储管理 50 7 57 5网络管理网络管理 52 7 5 1基本信息管理 52 7 5 2SLA管理 53 7 5 3MPLS VPN管理 54 7 5 4网流分析 57 7 5 5日志管理 59 7 67 6安全管理安全管理 60 7 6 1安全管理 61 7 6 2策略冗余分析 61 7 6 3策略命中分析 62 7 6 4策略风险分析 62 7 6 5策略综合分析 63 5 第第 8 章章方案优势方案优势 64 第第 9 章章设备货物需求一览表设备货物需求一览表 65 6 第第 1 1 章章 项目背景项目背景 教育信息化是国家信息技术发展的重要组成部分 而作为教育网络的延伸 区域教育城域网连接区域范围内的中小型教育机构 为区域内国民中小学教育 提供信息网络服务 对包括教务信息的管理 教学资源的分享传播 教学业务 以及教学安全的管理控制等各个教学信息化方面提供基础保障 随着教育信息化的进一步发展 为了更好承载教育业务 市教体局项目将 依托公共网络 以县级教育专网为基础 市级教育专网连接各县专网组成市基 础教育专网 使全市中小学 幼儿园全部接入教育专网 县骨干带宽达千兆 市骨干带宽达千兆及以上 实现各县统一出口 出口带宽达 1G 或以上 建设市 基础教育虚拟化平台 重点建设市教体局中心机房及市教育虚拟化平台 为全 市电子教育 视频会议 远程培训 视频教学点播 远程双向视频教学和网络 教研等教育应用服务 7 第第 2 2 章章 需求分析需求分析 市教体局建设的首要原则应该是一张全业务承载网络 能承载教育信息化的所有 业务 包括信息化业务数据 视频 远程教学 VOD 教学视频点播 视频会议 语音 宽带上网 以及校园专线等多业务 这些业务对网络的需求主要体现在流量模型 带宽和 QoS 需求上 上述业务可以 归纳为如下几种 以下涉及数据的部分为经验估算 仅作对业务理解参考使用 业务业务流量特点流量特点带宽需求带宽需求QoSQoS需求需求 办公自动化办公自动化 OAOA 系统 系统 各区县所有教 育事业单位的校园 内网络接入教育城 域网 各接入节点 之间业务共享 每个校园出口 需要约10M带宽 由于全部流量需要 上核心层 每个核 心节点约需600M带 宽 此类办公对 QoS要求较高 需 要较高的优先级和 较低的时延 教与学支持服教与学支持服 务系统务系统 各院校提供本 校师生上网业务 包括教师的备课 教学 学生的视频 点播等 通过城域 网接入到互联网出 口设备 各院校根据上 网人数和业务需求 确定业务带宽 平 均每院校约需10M 带宽 每个核心节 点约需3G带宽 此类业务需要 更高的优先级 需 要优先转发 教育公共服务教育公共服务 业务系统业务系统 包括家校互联 通讯平台等应用 各院校与互联网联 接 各院校和机构 平均约需20M流量 每个核心节点约需 1 2G带宽 此类业务对 QoS要求最低 采 用尽力而为服务 8 第第 3 3 章章 方案总体架构方案总体架构 3 13 1设计目标设计目标 1 高效性 为了满足云平台 教育的业务应用系统的高并发 快速的虚拟 机迁移 视频文件以及大文件的上传下载等要求 设计一个高带宽 低延时 快速收敛并避免环路出现的网络平台是一个基本的设计目标 2 高可靠性 教育云数据中心今后要支持全市电子教育的业务系统 教育 云数据中心的网络的稳定性直接关系到全市电子教育服务的可用性 因此高可 用性是数据中心网络平台的设计目标之一 关键和核心部分不能出现单点故障 3 可扩展性 本项目只是教育云数据中心建设的一期工程 随着后续越来 越多的业务应用系统迁入教育云数据中心 教育云数据中心的规模需要根据业 务应用需求逐步扩大 因此具备良好的扩展能力也是数据中心网络的设计目标 之一 在核心 骨干网络设备上要留有余量 充分考虑今后业务应用增加的网 络需求 4 灵活性 易维护性 教育云数据中心今后所承载的各类业务系统的不确 定性 这就要求网络平台能够灵活简便的对网络资源进行调配 因此 网络管 理的灵活性和易维护性也是网络平台的设计目标之一 通过减少网络配置节点 简化网络配置 降低网络管理的人力开销 从而易于网络资源的调整和分配 5 先进性 教育云数据中心承载市教育系统不同种类的电子教育应用系统 整体架构应当保持稳定而不应当频繁调整 作为教育云数据中心的重要组成部 分 网络平台的架构调整会影响教育云数据中心的整体架构 因此在设计网络 平台的架构的时候 设计目标之一应该是保证网络架构和采用技术的先进性 3 年内只做规模扩充 而不做架构调整 6 安全性 保证各业务系统的信息安全是建设教育云数据中心的一个基本 前提 因此安全性也是网络平台需要考虑的设计目标之一 由于网络安全域的 划分与隔离很大程度上依赖网络结构的合理性 因此在设计网络架构的时候需 要考虑整体网络安全性 便于安全方案进行安全域的划分和安全域间访问控制 3 23 2总体架构设计总体架构设计 数据中心总体架构设计遵循面向业务需求的设计思路 基于模块化的设计 方法 实现数据中心 IT 基础架构模块与业务模块松耦合 保证数据中心业务动 9 态扩展和新业务快速上线 使用特定规格产品设计 包括硬件 软件和应用规格化来提供简单可靠 易于部署和管理 便于扩展和升级的 IT 基础架构 为用户提供更好的投资保护 满足企业数据中心新建 升级扩容 以及数据中心的可视化统一管控的需求 可实现被集成的场景 根据功能分层逻辑分区的原则 数据中心的功能层次由边界接入区 网络 核心区 计算区和存储区共 4 个区域组成 这 4 个区域又可以逻辑上细分为 8 个子区域 详细情况如下示意图和表格所示 10 序号序号区域区域子区域子区域部署产品部署产品 1 外联区 接入路由器与Internet和教育专网连 接 2 边界接入 区 区县终端接入区 汇聚交换机 边界防火墙等 与区县 教育广域网互联 3 网络核心 区 网络服务区 核心交换机 服务器交换机 入侵检 测 数据库审计等 4 云计算区虚拟化服务器资源池 5 物理资源区 物理服务器资源池 承载技术上不适 合部署在虚拟化平台上应用 软件 例如 高IO数据库 6 开发测试区 应用系统开发平台 测试平台和培训 平台 7 计算区 运行管理区监控和运维管理平台 8 存储区SAN存储SAN存储设备 基于上述总体架构设计 既要考虑支撑当前台应用系统的计算 存储和数 据传输能力 又要考虑当前项目经费的约束 详细设计教育云数据中心的软硬 件的解决方案 具体详细的网络 计算存储 安全和运维管理方案在下面的章 节分别详细介绍 11 第第 4 4 章章 网络解决方案网络解决方案 4 14 1网络平台架构设计网络平台架构设计 市教体局网络建设根据不同位置及信息点的数量和未来覆盖面扩充等多方 面原因 将网络为划分若干个区域 划分区域主要考虑以下几个方面 可以减 轻中央核心交换机的负担 管理上方便 便于未来的连接扩充 市教体局网络方案如下图所示 依据项目目标 设计原则和教育云数据中心的总体架构 网络平台的架构 设计采用如下几项关键技术 4 1 14 1 1 网络虚拟化和二层结构网络虚拟化和二层结构 传统的数据网络平台架构一般采用核心 汇聚 接入的三层网络架构模型 采用这种传统的网络架构存在以下几个方面的问题 网络的层次较多 处理效率低 多增加了一个汇聚的层面 就会额外增 12 加汇聚设备的处理时延 线路时延等 同时由于网络节点数量增多 也增加了部署成本和设备故障的几率 由于汇聚层面设备一定存在处理性能和上行带宽的收敛比 在数据中心 规模不断扩大的情况下 汇聚设备会成为整个网络的瓶颈 出现拥塞 丢包等问题 在网络扩容时 不仅仅需要增加接入层的设备 同时也必须考虑到汇聚 设备的性能和端口密度能否满足要求 也需要进行相应的扩容 带来 投资成本的增加 网络设备之间的 STP LAG 路由处理 安全等相互之间的交互信息 随着设备数量的增加 会成几何级数激增 随着云计算平台虚拟化的技术的大规模应用 新的网络平台流量模型中 大多数的流量是在内部服务器之间进行通信 甚至能够达到整体流量 的 75 这种部署架构会导致服务器之间流量需要通过汇聚层甚至核心 层设备转发 效率低下 且性能很差 为了解决上述存在的问题 本方案数据中心网络架构采用扁平化二层网络 架构 核心层 接入层 使用网络虚拟化技术 核心交换机承担着核心层和汇 聚层的双重任务 扁平化方式降低了网络复杂度 简化了网络拓扑 提高了转发效率 二层 网络架构中 采用网络虚拟化技术 解决链路环路问题 提高了网络可靠性 核心交换机设置 VLAN 的 IP 地址 接入交换机划分 VLAN 做二层转发 核心层 采用网络虚拟化技术 将两台核心交换机虚拟为一台设备 设 备背板共享 交换能力提高 接入层 采用网络虚拟化技术 将两台或多台接入交换机虚拟为一台设 备 设备背板共享 交换能力提高 核心交换机和接入交换机之间的四条跨框链路捆绑为一个 Eth Trunk 组 网络架构变成树型模式 不需要启用 STP 协议 从根本上解决环路和 spanning tree 收敛问题 扁平化二层网络架构设计的主要优势在于 简化网络管理 降低维护管理成本 能够减少网络中的交换机和链路数量 从而降低前期购置成本和后 期维护成本 网络性能提高 支撑高性能的服务器流量 13 通过减少交换层数量 流量需要穿越的交换机数量也会减少 从而 可以缩短延迟 提高应用性能 网络利用率提高 支撑云计算的资源池动态调度 云计算要求对于计算资源池和存储资源池任意按需调配 要求网络 能够适应这种大范围的调度 网络可靠性提高 减化的网络通过虚拟集群和堆叠技术 可以消除网络中的可靠性隐 患 无需运行 spanning tree 协议 消除网络的故障收敛时间 从而 提高网络可靠性 4 1 24 1 2 三个独立的网络平面三个独立的网络平面 网络平台可以分为业务平面 管理平面和存储平面三个网络平面 三个网 络平面相互独立 业务平面主要服务对象是为租户的业务应用软件的通讯 管 理平台主要为设备自身 安全系统 运维系统所使用 存储平面完全是一个封 闭的私有网络 服务器和存储设备在该平面上进行存储数据的传送 4 1 34 1 3 业务功能分区业务功能分区 网络总体规划应遵循区域化 层次化 模块化的设计理念 使网络层次更 加清楚 功能更加明确 这样在每个区域内部调整时不会影响其他区域 而且 区域内部资源调度也更加方便和灵活 依据这样的设计理念和设计原则 网络 平台应根据业务性质或网络设备的作用进行区域划分 通常需要考虑以下几个 方面内容 按照网络架构中设备作用的不同 网络可以划分为核心层 接入层 层 次化结构也有利于网络的扩展和维护 综合考虑网络服务中应用业务的独立性 各业务的互访关系 以及业务 的安全隔离要求 在逻辑上还划分为外联区 包括 Internet 外联区 电子教育外联区 网络核心区 包括网络服务区 计算区域 包括 运云计算区 物理服务器区 数据服务区 运维管理区 开发测试区 存储区域 包括 SAN 区和 NAS 区 等 4 1 44 1 4 网络平台架构特点网络平台架构特点 教育云数据中心网络平台的架构有如下特点 14 1 整体可扩展性强 分为四大区域 接入区 网络核心区 计算区 存储区 各个区 域独立扩展 以核心节点为 根 的星型拓扑 2 核心区域 流量的枢纽 采用大容量 高性能的核心交换机 采用高密度的万兆接口 3 计算区域 存储区域 多个业务区独立扩展 以服务器为中心的数据 管理 存储网络独立扩展 4 外联区域 分为两个独立的互联区域 各区域独立扩展 4 24 2边界接入区设计边界接入区设计 本次在市教体局外网出口处部署 2 台出口路由器 基于分布式硬件转发和无 阻塞交换技术 具有良好的线速转发性能 电信级的可靠性 优异的扩展能力 完善的 QoS 机制 为保障路由器的高可靠性和高性能设备的选择上 本次所设计 的路由器能够提供高速数据交换和路由快速收敛 全面的虚拟化特性支持全面的虚拟化特性支持 路由器能够一虚多 多虚一虚拟化特性 一虚多特性将一台路由器虚拟成多 个逻辑路由器 不同的业务在不同的逻辑路由器之间资源隔离 保证业务占用资 源可靠 多虚一特性将多台路由器虚拟成逻辑上的一台路由器 各物理路由器之 间相互进行备份 提升设备可靠性 全方位的可靠性解决方案全方位的可靠性解决方案 路由器从多个层面提供可靠性保护 包括设备级 网络级 业务级可靠性 形成了面向整个网络的解决方案 完全满足企业对各种业务的可靠性需求 99 999 的系统可用性是构筑企业业务可靠互联的基石 设备级可靠 设备级可靠 15 提供关键部件的冗余备份 关键组件支持热插拔与热备份 NSR Non Stop Routing NSF Non Stop Forwarding 和 ISSU 等技术一起保障无中断业务运 行 网络级可靠 网络级可靠 提供 IP LDP VPN TE 快速重路由 Hot Standby IGP BGP 以及组播路由快 速收敛 虚拟路由冗余协议 VRRP Virtual Router Redundancy Protocol 快 速环网保护协议 RRPP Rapid Ring Protection Protocol TRUNK 链路分担备 份 BFD 链路快速检测 MPLS Ethernet OAM 路由协议 端口 VLAN Damping 等技 术 保证整网稳定性 可以提供端到端 200ms 保护倒换 业务无中断 业务级可靠 业务级可靠 提供的 VPN FRR 和 E VRRP 技术 VLL FRR 和 Ethernet OAM 技术以及 PW Redundancy 和 E Trunk 或 E APS 技术 可以应用于 L3VPN 和 L2VPN 组网方案中 保证业务层面的冗余备份 使业务稳定可靠 不中断 4 34 3核心网络区设计核心网络区设计 核心设备担负着连接汇聚层 服务器群和教育网的工作 同时通过核心设备的互 联 形成一套完整的网络 由于核心层设备担负着整个网络的流量 在网络核心层的 流量是非常巨大的 对网络核心层的压力非常巨大 同时网络对安全性 稳定性的要 求极高 由于网络也基本是一个金字塔的形状 那么最需要稳定的就是金字塔的顶端 即网络的核心层 网络核心层同时需要对网络的接入层提供不同的网络层的路由规划和信息转发的 功能 同时还需要保证不同级别的网络 QoS 对于服务器的关键业务通过链路级和网络 级的协议实现严格的控制和优先级的保证 对于网络级的保护通常时间是非常长的 那么对一些关键业务 通过结合二层快速收敛的协议一起来完成对网络安全性的提升 和网络的自愈能力 设备须支持对不同部门的规划 如实现全网统一 VLAN 的规划等 对每个系统分配不同的 VLAN 并且针对不同 VLAN 实现不同的安全和控制的策略等 但是在自身的网络核心层需要通过完全的三层策略来进行 VLAN 的终结和三层数据 的交换工作 不建议全网全部采用统一网络协议进行规划 建议采用二层和三层协议 相结合的方式共同实现网络的规划工作 在核心层的规划中 主要应该采用结构稳定并且能够进行详细路由查找的三层路 由协议来进行规划 4 44 4县区路由连接设计县区路由连接设计 16 在市教育城域专网出口处部署出口路由器用于连接区县路由 出口路由器用来转发本区域用户到其他区域用户的横向流量 同时发送本区 域用户流量到核心层 汇聚层将大量用户接入到互联的网络中 模块化扩展接入 核心层设备的用户数量 采用路由器而不是采用交换机和防火墙做为出口组网的模式具有以下优势 采用路由器而不是采用交换机和防火墙做为出口组网的模式具有以下优势 1 1 采用路由器做为教育城域专网骨干设备是由大量最佳实践表明 如运营商采用路由器做为教育城域专网骨干设备是由大量最佳实践表明 如运营商 所构建的骨干网均采用路由器 而不是交换机和防火墙 这是路由器的所构建的骨干网均采用路由器 而不是交换机和防火墙 这是路由器的 自身平台稳定性比交换机更好 自身平台稳定性比交换机更好 2 2 教育城域专网中存在大量的不同的业务 如何保证不同业务的优先级和带教育城域专网中存在大量的不同的业务 如何保证不同业务的优先级和带 宽 是城域专网建设者和维护者不得不考虑的问题 采用路由器可实现宽 是城域专网建设者和维护者不得不考虑的问题 采用路由器可实现 面向接入侧的面向接入侧的 H QoSH QoS 五级调度机制 多样化 差异化满足接入侧不同层五级调度机制 多样化 差异化满足接入侧不同层 次用户的业务需求先进的队列调度算法 拥塞控制算法 能够对数据流次用户的业务需求先进的队列调度算法 拥塞控制算法 能够对数据流 实现多级的精确调度 从而满足不同用户 不同业务等级的服务质量要实现多级的精确调度 从而满足不同用户 不同业务等级的服务质量要 求 这是交换机和防火墙等其他设备所不能实现的功能 求 这是交换机和防火墙等其他设备所不能实现的功能 3 3 教育城域专网中若采用交换机组网 在很大的程度上引起地址冲突 不能教育城域专网中若采用交换机组网 在很大的程度上引起地址冲突 不能 正常办公使使用者体验感下降 因为现在市教体局及区县教体局均采用正常办公使使用者体验感下降 因为现在市教体局及区县教体局均采用 私有地址组网 在各个局域网中私有地址允许重复分配 而且用若不采私有地址组网 在各个局域网中私有地址允许重复分配 而且用若不采 用路由器做为每个局域网出口实现私有地址对私有地址的转换 容易引用路由器做为每个局域网出口实现私有地址对私有地址的转换 容易引 起广播风暴 当广播数据充斥网络无法处理 并占用大量起广播风暴 当广播数据充斥网络无法处理 并占用大量网络带宽网络带宽 导 导 致正常业务不能运行 甚至彻底导致教育城域专网瘫痪 致正常业务不能运行 甚至彻底导致教育城域专网瘫痪 4 4 14 4 1 区县教体局出口路由器选型建议区县教体局出口路由器选型建议 1 产品性能 背板带宽 3 9Tbps 整机包转发能力 480Mpps 千兆接口线速 转发 业务槽位 4 主控和电源支持 1 1 冗余 独立转发引擎 2 端口数要求 主控板及母板上的端口数不作为业务端口计算 3 接口类型 支持 E1 GE 155M POS 155M CPOS 要求本次配置的所有以太 网口全部为 WAN 口 即在物理接口上直接配置 IP 地址 17 4 路由协议 支持 RIP OSPF BGP 4 IS IS 等路由协议 路由表容量 500K 5 QoS 支持完善的 QoS 机制每线路板可提供先进调度和拥塞避免技术 提供精 确的流量监管和流量整形功能和定义复杂规则的功能 支持流细粒度鉴别 支持 MPLS QoS 全面保证 MPLS VPN VLL 和 PWE3 的 QoS 6 IP FPM 技术 可以直接对业务报文进行测量 真实反映 IP 网络的性能 在线 监控 IP 网络承载业务的变化 准确实时地反映出业务运行情况 能够快速精确地进行 故障定位 7 IPV6 支持 IPv6 静态路由 支持 BGP4 BGP4 RIPng OSPFv3 ISISv6 等动 态路由协议 支持 IPv6 邻居发现 PMTU 发现 TCP6 ping IPv6 traceroute IPv6 socket IPv6 IPv6 策略路由 支持 Telnet SSH 等协议 支持的 IPv6 组播协 议包括 PIM IPv6 SM 和 PIM IPv6 SSM 支持 IPv6 VPN 支持 IPv4 和 IPv6 双协议 栈 8 可靠性 提供软件热补丁技术 实现设备软件完全平滑升级 支持单板及子 卡热插拔 为确保快速倒换 BFD 发包间隔 5ms 9 配置 提供完整主机 软件 双主控 独立交换网板和双电源 提供 8 端口 千兆电口和 8 端口千兆光口 4 4 24 4 2 学校出口路由器选型建议学校出口路由器选型建议 1 硬件架构 多核 CPU 和无阻塞交换架构 整机扩展插槽数 8 2 业务性能 整机包转发能力 6Mpps 交换容量 80Gbps 3 接口扩展 广域网接口需支持 xDSL E1 T1 CE1 CT1 同异步串口 ISDN ATM POS CPOS 等 4 3G 支持 CDMA 2000 EV DO Rev A 制式 WCDMA 制式 TD SCDMA 制式 3G 链 路独立上行 作为备份链路 5 IPv4 路由 路由策略 静态路由 RIP OSPF IS IS BGP 6 VPN 具备 L2TP GRE IPSec SSL MPLS VPN 能力 7 QoS 支持基于硬件的 QOS 能力 MPLS QoS 优先级映射 流量监管 CAR 18 流量整形 拥塞避免 基于 IP 优先级 DSCP WRED 拥塞管理 8 安全与认证 支持 ACL 状态防火墙 802 1x 认证 MAC 地址认证 Web 认证 AAA 认证 RADIUS 认证等 9 配置 提供完整主机 软件 主控和冗余电源 提供 3 个 GE WAN 口其中 2 个 光电互斥口 4 54 5IPIP 地址规划地址规划 4 5 14 5 1 IPIP 地址规划原则地址规划原则 IP 地址的合理规划是网络设计中的重要一环 市教体局必须对 IP 地址进行统一规 划并得到实施 IP 地址规划的好坏 影响到网络路由协议算法的效率 影响到网络的 性能 影响到网络的扩展 影响到网络的管理 也必将直接影响到网络应用的进一步 发展 IP 地址空间分配 要与网络拓扑层次结构相适应 既要有效地利用地址空间 又 要体现出网络的可扩展性和灵活性 同时能满足路由协议的要求 以便于网络中的路 由聚类 减少路由器中路由表的长度 减少对路由器 CPU 内存的消耗 提高路由算法 的效率 加快路由变化的收敛速度 同时还要考虑到网络地址的可管理性 具体分配 时要遵循以下原则 唯一性 一个 IP 网络中不能有两个主机采用相同的 IP 地址 简单性 地址分配应简单易于管理 降低网络扩展的复杂性 简化路由表的款项 灵活性 地址分配应具有灵活性 以满足多种路由策略的优化 充分利用地址空 间 IP 地址分配既要考虑到扩充 又要能做到连续 尽量分配连续的 IP 地址空间 并 为将来的网络扩展预留一定的地址空间 在每个骨干网络中 相同的业务和功能尽量 分配连续的 IP 地址空间 有利于路由聚合以及安全控制 IP 地址的分配必须采用 VLSM 技术 保证 IP 地址的利用率 采用 CIDR 技术 可减 小路由器路由表的大小 加快路由器路由的收敛速度 也可以减小网络中广播的路由 信息的大小 4 5 24 5 2 本期工程地址规划本期工程地址规划 19 目前 各个学校地址规划相对较乱没有经过统一规划 若继续采用已有地址规划 难度较大 建议重新整体规划地址段作为规划地址段 全市做到统一出口 内部采用私有地址段 所有网络设备本身使用的 IP 地址 loopback 地址 链路地址 应该尽量连续 便 于标识和管理 为了便于管理和审计 全网采用静态地址分配 每个学校分配一个 VLAN 并且配 置固定的最小网络地址段 还要注意避免地址重叠 将网络地址冲突控制在本学校内 IP 地址分配方案建议如下 项目项目地址段地址段说明说明 一 总段一 总段 10 0 0 0 8 172 16 31 0 0 16 192 168 0 255 0 24 内网系统私有 IP 地址 采用 RFC1918 标准私有地 址 总段 98 0 0 0 8 IP 共享地址和互联地址 采用伪合法 IP 地址 二 设备地址二 设备地址 设备互联 98 0 xxx nnn 30 xxx 标识设备互联类型 可用范围为 0 59 xxx 为 0 时 表示为核心互联 P P xxx 为 1 16 时 表示为核心汇聚互联 P PE xxx 为 30 45 时 表示为汇聚接入互联 PE CE nnn 划分互联链路地址对 使用 30 位掩码 一个地址对占用一个网段 可用范围为 1 254 可 用数为 64 对 128 个 同一互联链路的一对地址 中 上联设备的接口地址 nnn 为奇数 下联设备的 接口地址 nnn 为偶数 20 设备管理 98 0 xxx nnn 24 xxx 标识 MPLS 网络的核心和汇聚设备 可用 范围为 200 251 xxx 为 200 201 时 表示为核心 P 设备 保留 202 209 给未来可能增加的核心设备 xxx 为 210 225 时 表示并分别对应汇聚 PE 设 备 保留 226 251 给未来可能增加的汇聚设备 nnn 标识同一 PE 管理网段内的不同设备 可 用范围为 1 254 在全交换的 MPLS 网络中 PE 设备的网管地址 与下联所有 CE 设备的网管地址处于同一 VLAN 网 段 中 回环地址 LOOPBACK 98 0 255 xxx 32 xxx 标识 MPLS 网络的核心和汇聚设备 可用 范围为 1 254 Loopback 接口地址仅用于保证网络设备正常建 立和维护 BGP 邻居关系 所以只有 P PE 设备需要 配置 CE 等设备不做配置 xxx 为 1 2 时 表示为核心 P 设备 保留 3 9 给未来可能增加的核心设备 xxx 为 10 25 时 表示为汇聚 PE 设备 保留 26 254 给未来可能增加的汇聚设备或某些有需要配 置 Loopback 地址的 CE 设备 4 64 6VLANVLAN 设计设计 VLAN 技术可以将交换机划分成多个逻辑组 VLAN 每个 VLAN 具有单独的 MAC ARP 地址表 某一个 VLAN 内的用户是相互可访问的 但一个 VLAN 的数据包在二层 交换机上不会发送到另一个 VLAN 这样 其他 VLAN 的用户的网络上收不到任何该 VLAN 的数据包 确保了该 VLAN 的信息不会 被其他 VLAN 的人所窃听 从而实现了信息 的保密 本次市教体局在接入交换机划分二层 VLAN 实现不同学校隔离 在核心交换机上划 分三层 VLAN 实现不同 VLAN 之间互通和跨楼层 VLAN 同一学校同一 VLAN 互通 即把分 布在不同楼层的信息点划分到同一子网中 本次建议采用建议采用基于端口或协议的划 分 VLAN 的方法 基于端口的划分思路如下 这种划分 VLAN 的方法是根据以太网交换机的交换端口 来划分的 它是将 VLAN 交换机上的物理端口和 VLAN 交换机内部的 PVC 永久虚电路 21 端口分成若干个组 每个组构成一个虚拟网 相当于一个独立的 VLAN 交换机 对于不同部门需要互访时 可通过核心交换机转发 并配合基于 MAC 地址的端口 过滤 对某站点的访问路径上最靠近该站点的交换机相应端口上 设定可通过的 MAC 地址集 这样就可以防止非法入侵者从内部盗用 IP 地址从其他可接入点入侵的可能 基于协议划分 VLAN 的思路如下 VLAN 按网络层协议来划分 可分为 IP IPX DECnet AppleTalk Banyan 等 VLAN 网络 这种按网络层协议来组成的 VLAN 可使广播域跨越多个 VLAN 交换机 而且 用户可以在网络内部自由移动 但其 VLAN 成员身份仍然保留不变 这种方法的优点是用户的物理位置改变了 不需要重新配置所属的 VLAN 而且可 以根据协议类型来划分 VLAN 这对网络管理者来说很重要 这种方法不需要附加的帧 标签来识别 VLAN 这样可以减少网络的通信量 市教体局每个学校采用一个 VLAN ID 考虑到各学校内部部门划分 以及某些需要 访问共同资源的部门 例如财务等 预留几个 VLAN ID 外网还有智能化系统 广播 门禁 监控 报警等 需要 VLAN 各部门数据通过接 入交换机打 VLAN tag 二层到 汇聚交换机终结 通过三层 MPLS VPN 转发 智能化系统数据从接入 到汇聚 到核心 整网二层转发 初步规划如下 部部门门VLAN ID 部门一 部门二 部门三 部门四 部门五 财务 3001 IT3002 其他预留 3003 3006 广播 4001 门禁 4002 监控 4003 报警 4004 22 弱点预留 4 74 7QOSQOS 规划规划 市教体局是一个以 IP 为传输平台的网络 在这个网络上 将承载市所有学校多种 业务 多种应用 这些业务对可靠性 时延 时延抖动等服务质量有不同需求 为了 保证关键业务的应用 需要在网络中实施 QoS 技术以保证关键业务在网络上传输的带 宽和时延 QoS 策略业务划分入下表 业务类型业务优先级 IPv4 配置 标记 QoS 保证类型说明 网络管理业务 7 考务系统 6 学籍系统 5 OA 业务 5 EF 绝对保证 对其流量进行绝对保护 即在发 生拥塞时仍然尽量保证其流量 视频系统 4 VPN 业务1 2 3 4 AF 普通保证 对一定范围内的流量进行绝对保 护 在网络拥塞时 超出额定范围的 流量将被丢弃 一般网络应用 0BE 无保证当网络拥塞时将被丢弃 市教体局中将主要实现对不同数据流的分类和标记 其他 QoS 技术将主要应用于 广域网 采用如下方式 对于普通业务不限制接入的流量 对于业务也不进行保证 采用尽力转发 策略 对于高优先级业务接入限制流量 限制为 2M 或着 4M 之类 这个流量不宜 过高 对于高优先级业务确保转发 在各功能区的接入层 可以根据不同 Input 端口 MAC 地址 源 目的 IP 地址 IP 协议或应用端口号 对不同应用数据流进行分类 并采用 DSCP 对数据 包进行标记 在连接广域网的路由器上设置相应的业务队列 如 EF AF4 AF3 以及 AF2 队列 采用 CBQ CBWFQ WRED 等技术 控制打了不同优先级标记的数据流 能占用的网络带宽及其被丢弃的次序 采用 CBQ CBWFQ LLQ 的方式 根据已经定义的 DSCP 标记 对不同的数 23 据流分配不同的带宽 采用 Tail Dropping 或 WRED 机制 实现网络拥塞时的数据包丢弃 QoS 配置策略示意图如下图 配置策略示意图如下图 24 第第 5 5 章章 计算存储解决方案计算存储解决方案 5 15 1计算存储平台架构设计计算存储平台架构设计 传统的数据中心计算资源表现为一台台独立的物理服务器 基于传统物理 服务器的部署方式会导致计算资源利用率严重不足 增加了运营与运维的成本 引入云计算的的架构以后 数据中心的计算资源被统一管理和分配 以资源池 的形式展现 打破了传统的 IT 架构中各物理设备间的隔离 提升了计算资源的 利用率 简化了管理和运维手段 降低了运营成本 数据中心需要支持根据业务应用的不同特点 大计算量应用系统 高 I O 访问应用系统 高并发访问应用系统以及对资源要求一般的应用系统 采用合 理的物理服务器 2 路 4 路 X86 服务器 或虚拟机 能根据业务应用的特点对 服务器进行配置满足应用对计算的需要 CPU 内存 网络 I O 存储 I O 云 计算平台需要和 IT 管理平台联动实现对虚拟计算资源的自动部署和分配 根据数据中心解决方案的总体架构以及网络架构设计中对功能区的划分原 则 将计算平台总体架构划分为三个层面 分别对应业务层 计算平台层和存 储平台层 业务层中 功能区域的划分一般都是根据安全和管理需求进行划分 各个 单位可能有所不同 数据中心中一般有 DMZ 区 运行管理区 业务生产区 OA 区 开发测试区等功能区域 实际划分可以根据业务情况进行调整 总的原则 是在满足安全的前提下尽量统一管理 计算平台层主要考虑三层架构部署 即表现层 WEB 服务器群 应用层 应用服务器群 和数据层 数据库服务器群 同时考虑物理和虚拟部署 即 针对业务应用的不同特点 在表现层和应用层可以同时部署物理服务器和虚拟 机服务器 在数据层一般高 IO 的数据库需要部署物理服务器 普通的数据库也 可以部署在物理服务器中 存储平台层主要考虑 SAN NAS 和备份三种架构部署 其中 SAN 架构的存储 还可以通过存储虚拟化网关进行虚拟化 形成不同品牌 不同型号的存储设备 的虚拟化成统一的存储资源池对外提供服务 本项目的架构中 SAN 存储采用 FC SAN 进行连接 备份系统可以分为 LAN BASE 和 LAN FREE 两种 LAN BASE 采用 IP 网络连接服务器 LAN FREE 采用 FC 网络连接服务器和存储 计算存储平台架构如下图所示 25 5 25 2虚拟化平台解决方案虚拟化平台解决方案 5 2 15 2 1 虚拟化平台虚拟化平台结构结构 本项目采用虚拟化平台对计算 存储 网络进行虚拟化管理 虚拟化平台操作系 统由虚拟基础设施套件和基础服务套件组成 26 虚拟化平台主要有虚拟化基础引擎 虚拟化管理两大部件组成 一套虚拟化平台 部署一对虚拟化管理主备节点 虚拟化管理通过自动发现功能发现其管辖下的物理设 备资源 包括机框 服务器 刀片 存储设备 交互机 以及他们的组网关系 提供 虚拟资源与物理资源管理功能 统一拓扑 统一告警 统一监控 容量管理 用量计 费 性能报表 关联分析 生命周期 并且对外提供统一的管理Portal 虚拟化管理还包括统一硬件管理UHM组件 UHM提供对硬件自动发现 硬件自动配 置 统一监控 带内和带外 硬件统一告警 硬件拓扑 异构硬件支持 虚拟化管 理可以管理多个物理集群 每个物理集群由一对主备VRM管理 虚拟化引擎提供基础的虚拟化功能 提供服务器 存储 网络的虚拟化功能 并 向上对虚拟化管理提供接口 每套虚拟化引擎主要由一对主备管理节点VRM组成 一对 VRM管理一个物理集群 一个物理集群中可以把多台服务器划分成一个逻辑集群 又叫 HA资源池 一个计算资源池有相同的调度策略 为了使用热迁移相关的调度策略要 求资源池主机CPU同制 计算资源池不包括网络资源与存储资源 一个物理集群中可以 包含多个逻辑集群 虚拟化平台支持服务器 存储的平滑扩容 服务器 存储设备均可根据业务根据 需求 在线平滑增加服务器 服务器虚拟集群 在线扩展磁盘 磁盘框 控制框 5 2 25 2 2 虚拟化管理平台虚拟化管理平台 虚拟化管理平台聚焦于数据中心虚拟化资源管理 自动化运维发放 并对企业IT 管理提供开放的管理接口 虚拟化管理系统将整个数据中心云化 并对系统中用户可 见的资源抽取出来纳入统一的资源池管理 为用户提供一体化的资源管理 自动资源 发放 为用户提供了方便的获取资源的途径 用户可以通过在服务目录自动化的获取 资源并在资源上部署用户需要的应用 虚拟化管理平台系统架构如下图 27 上图是虚拟化管理虚拟化管理平台的功能模块 虚拟化管理 可以采用的虚拟 化管理软件虚拟化引擎 也可以采用其他厂家的 如VMware的VCenter Vsphere等 虚拟化管理软件从软件层面拉通统一各资源管理 虚拟化管理虚拟化管理平台负 责全系统硬件和软件资源的操作维护管理 用户业务的自动化运维 主要模块包括 5 2 2 15 2 2 1统一资源管理统一资源管理 虚拟化管理虚拟化管理平台 通过对各种物理资源 虚拟化资源数据统一建模 将资源以用户可见的资源池形式提供给上层应用 统一资源管理可以屏蔽不同硬件和虚拟化的差异 资源的更换升级对用户零感知 实现对所有硬件资源进行统一管理 包括设备自动发现 自动配置和故障监控等 实 现资源快速发放 缩短业务上线时间 虚拟化管理平台支持对资源分集群管理 集群的创建 删除 扩容 减容 对集 群进行性能监控 配置集群的资源调度策略 调度策略可以设置为手动和自动 实现 虚拟机根据系统负荷在不同服务器上迁移 虚拟化管理平台支持对虚拟机生命周期管理 业务管理员通过应用对虚拟机进行 创建 销毁操作 对虚拟机的日常维护包括 启动 重启 迁移 关闭 修复 快照 虚拟机资源调整和监控 虚拟化管理平台支持虚拟化网络管理 对子网 WLAN 端口组 分布式交换机进 28 行管理 虚拟化管理平台支持虚拟化存储管理 可以管理IPSAN FusionStorage FC SAN NAS的存储资源 向存储资源池中增加 删除数据存储 对已经存在的数据存储 可以进行扩容 5 2 2 25 2 2 2自动运维自动运维 自动化运维是虚拟化管理平台提供的主要功能 管理员可以实现物理设备的自动 发现 虚拟机 操作系统和应用软件自动化部署 提高管理平台的部署效率 管理员 通过配置不同的调度策略 同时实现智能调度管理 提升设备利用率和弹性伸缩 运维管理系统集中维护系统的调度策略 保证资源的合理分配 实现资源最大化 利用或实现节能目标等 根据应用场景 可以分为三种策略类型 组内自动伸缩策略 组间资源回收策略和时间计划策略 组内自动伸缩策略 针对单独的应用而言 应用根据应用的当前负载动态的调整应用实际使用的资源 当一个应用资源负载较高时 自动启动虚拟机或添加虚拟机并安装应用软件 当应用 的资源负载很低时 自动关闭或删除虚拟机 释放相应的资源 组间资源回收策略 当系统资源不足的情况下 系统可以根据组间设置的资源复用策略 优先使优先 级高的应用使用资源 使优先级低的应用释放资源 以供优先级高的应用使用 时间计划策略 时间计划策略允许用户对于不同的应用实现资源的分时复用 用户可以设置计划 策略 使得不同的应用分时段的使用系统资源 比如说白天让办公用户的虚拟机使用 系统资源 到了晚间可以让一些公共的虚拟机占用资源 智能负载调度 根据就应用系统的 CPU 内存负荷 的策略 实现轻载合并下电 实现节能降耗 重载分离上电 迁移 VM 到新物理机 保证用户感受 29 5 2 2 35 2 2 3权限管理权限管理 运维系统提供全系统基于角色的权限控制功能 包括用户管理 角色管理 角色 授权 登陆认证 鉴权等功能 实现全系统的安全功能 运维系统可以为不同的管理 员进行分权分域管理 分配不同管理范围和业务访问权限 方便管理员的业务分工 运维管理可以接入外部 AD 等认证服务 5 2 2 45 2 2 4开放的接口开放的接口 虚拟化平台对外屏蔽了各种资源的来源 对外提供开放 API 接口 外部系统可以 获取到虚拟化计算各种资源信息 比如集群信息 服务器资源 虚拟机信息 虚拟网 络信息 时 历史告警数据 对象实时 历史监控数据 拓扑数据等 外部系统可以通过 API 对系统资源进行操作维护 比如支持对虚拟机进行启动 停止 重启 迁移操作 支持对服务器的上电 下电 重启操作 5 2 2 55 2 2 5监控管理监控管理 运维管理系统监控主要针对虚拟化平台 计算集群 计算服务器 虚拟机 网络 存储等进行监控 支持多维度分类监控 方便用户管理使用 主要有对于计算集群 服 务器 虚拟机的 CPU 占有率 内存占有率 网络流入流出 磁盘 IO 告警 物理机的电 源 风扇 交换机的流量 存储设备总容量 可用容量 剩余流量 挂载数据 告警 统计进行监控 5 2 2 65 2 2 6告警管理告警管理 告警管理在物理资源与虚拟资源出现故障时 及时通知管理员 系统设计时 考 虑到部件故障时的系统自动处理 确保故障不影响系统正常运行和业务正常使用 降 低了故障危害 系统支持对物理设备 虚拟化设备和虚拟机的故障检测 如服务器的 RAID 配件检测 交换机 存储设备的检测 虚拟机 HA 虚拟机快照 虚拟机迁移 存储迁移的故障检测 故障检测后进行分级上报 分为紧急 重要 次要和提示四种告警级别 标识不 同严重程度的告警 告警的声光显示 虚拟化管理可通过不同的声音 颜色标识不同级别的告警 呈 现给维护人员 管理员可管理 Email 和短信通知告警功能 告警产生和恢复时 系统 会自动给运维人员发 Email 和短信 及时告知 通过订阅重要的告警 实现在无人值 守的环境下 仍能实时掌握全网节点的运行状态 5 2 2 75 2 2 7拓扑管理拓扑管理 拓扑管理提供一个可视化界面 呈现全系统的所有资源信息 无需管理员手动干 预 通过拓扑视图可以查看物理硬件资源视图 应用部署以及虚拟机资源视图 获取 30 硬件资源 计算硬件 存储硬件 网络硬件 应用部署情况 例如 数据库服务器部 署在哪台虚拟机上 虚拟机位于哪台主机上 虚拟机属性 拓扑节点会和告警中心关联 即使呈现对象当前的监控状态 拓扑管理呈现选中 的集群资源占用和监控状态 5 2 2 85 2 2 8日志管理日志管理 虚拟化管理平台的日志管理记录管理员的操作日志 系统的运行日志 业务和系 统异常故障的黑匣子日志 日志不允许删除