XX数据中心网络及安全方案建议书

XXXX数据中心数据中心 网络及安全方案建议书网络及安全方案建议书 修订记录 修订记录 目录目录 一 一 建设背景建设背景 3 1 1 数据中心背景介绍 3 1 2 XX集团数据中心建设 3 二 二 需求分析需求分析 5 2 1 应用系统分析 5 2 2 流量模型分析 8 2 3 带宽分析 9 三 三 方案规划与设计方案规划与设计 11 3 1 数据中心网络建设目标 11 3 2 总体设计思路及原则 12 3 3 业务分区 14 3 4 网络设计 16 3 4 1 核心交换区 17 3 4 2 服务器接入区 19 3 4 3 互联网区 20 3 4 4 外联网区 21 3 4 5 广域网接入区 22 3 4 6 灾备接入区 22 3 5 安全设计 24 3 5 1 安全设计原则 24 3 5 2 SecBlade FW插卡部署 25 3 5 3 SecBlade FW IPS LB组合部署 27 3 6 QoS设计 31 3 6 1 QoS设计原则 31 3 6 2 QoS服务模型选择 31 3 6 3 QoS规划 32 XX集团数据中心网络及安全方案建议书 1 3 6 4 QoS部署 34 3 7 数据中心互联 37 3 8 新技术应用 39 3 8 1 FCoE 39 3 8 2 虚拟机 VM 部署与迁移 41 3 9 数据中心管理 44 3 9 1 数据中心管理设计原则 44 3 9 2 网络管理 44 3 9 3 网络监控 47 四 四 方案实施方案实施 50 4 1 网络布线建议 50 4 1 1 走线方式的选择 50 4 1 2 网络配线方式 52 4 1 3 服务器接入方式 53 4 1 4 机房布线建议 56 4 2 VLAN规划 56 4 3 IP地址规划 57 4 4 路由规划 58 4 5 业务迁移 60 五 五 设备介绍设备介绍 61 5 1 设备清单 61 5 2 H3C特色技术介绍 65 5 2 1 IRF虚拟化 65 5 2 2 网络安全融合 67 5 3 产品介绍 69 XX集团数据中心网络及安全方案建议书 2 一 一 建设背景建设背景 1 1 数据中心背景介绍数据中心背景介绍 数据中心 英文拼写Data Center 简写DC 是数据大集中而形成的集成IT应用环境 它是各种IT应用服务的提供中 心 是数据计算 网络 存储的中心 数据中心实现了安全策略的统一部署 IT基础设施 业务应用和数据的统一运维管理 数据中心是当前各行业的IT建设重点 运营商 电力 能源 金融证券 大型企业 政府 交通 教育 制造业 网站和电子商务公司等正在进行或已完成数据中心建设 通 过数据中心的建设 实现对IT信息系统的整合和集中管理 提升内部的运营和管理效率以 及对外的服务水平 同时降低IT建设的TCO 数据中心的发展可分为四个层面 数据中心基础网络整合 根据业务需求 基于开放标准的IP协议 完成对企业现有异 构业务系统 网络资源和IT资源的整合 解决如何建设数据中心的问题 数据中心应用智能 基于TCP IP的开放架构 保证各种新业务和应用在数据中心的基 础体系架构上平滑部署和升级 满足用户的多变需求 保证数据中心的持续服务和业 务连续性 各种应用的安全 优化与集成可以无缝的部署在数据中心之上 数据中心虚拟化 传统的应用孤岛式的数据中心模型扩展性差 核心资源的分配与业 务应用发展出现不匹配 使得资源利用不均匀 导致运行成本提高 现有投资无法达 到最优化的利用 新业务部署难度增大 现有业务持续性得不到保证 安全面临威胁 虚拟化通过构建共享的资源池 实现对网络资源 计算计算和存储资源的几种管理 规划和控制 简化管理维护 提高设备资源利用率 优化业务流程部署 降低维护 成本 数据中心资源智能 通过智能化管理平台实现对资源的智能化管理 资源智能分配调 度 构建高度智能 自动化数据中心 1 2 XX集团数据中心建设集团数据中心建设 XX集团的商业用户分布在全国各大城市 目前业务系统的部署主要集中在和大连 近 年来随着XX集团业务的规模及多样化发展 企业对信息化的依赖程度越来越高 数据集中 XX集团数据中心网络及安全方案建议书 3 业务7 24小时高可靠支撑对数据中心的要求越来越高 经综合考虑 拟在新建数据中心 未来数据中心将成为XX集团的主中心 承载所有生产业务系统 数据中心是集团广域网 汇聚中心 机房内原则上将不放置服务器 大连数据中心是灾备中心 主要功能是数据异 地备份 此方案主要涉及数据中心的网络及安全的设计与部署 并实现与 大连的互连 XX集团数据中心网络及安全方案建议书 4 二 二 需求分析需求分析 应用系统分析应用系统分析 XX集团目前的应用系统主要包括生产应用 办公应用和基础支撑三大类 这三大类的 服务器的数量占比如下图所示 在三大类应用系统中 每一类又可以细分为多个子类 不同的子类应用在流量特征 规模和用户访问类型上存在较大的差别 这些将会影响到网络及安全的方案设计 下面将 进行进一步的分析 1 1 生产应用类生产应用类 ERP 百货 KTV 院线 酒店 商管 地产 网站 流量特征分析 流量特征分析 不同类的应用 其业务负载繁忙特征也有显著区别 其中百货 KTV 网站应用周末繁忙 院线应用周二 周六和周日繁忙 繁忙时段网络流量明显上升 而且 受外界因素 如新片上映 节假日促销等 影响 存在不确定的突发流量 XX集团数据中心网络及安全方案建议书 5 规模分析 规模分析 从服务器的数量上统计 上述各类应用的服务器数量占比如下图所示 总体来看 院线类服务器的数量最多 其次为网站 百货和KTV 用户访问分析 用户访问分析 上述应用的访问用户相对多样化 包括集团内部员工 如ERP 集团 外部用户 如百货 KTV 和互联网公众用户 网站 院线 2 2 办公应用类办公应用类 OA 视频会议 图档 文件 其它 流量特征分析 流量特征分析 办公应用类服务器业务负载繁忙特征比较单一 繁忙时段集中在工作 日的8小时内 流量相对较稳定 视频会议对网络的质量要求最高 服务质量 QoS 要充 分考虑 规模分析 规模分析 从服务器的数量上统计 办公各类应用的服务器数量占比如下图所示 XX集团数据中心网络及安全方案建议书 6 总体来看 OA服务器的数量最多 其次为视频会议 用户访问分析 用户访问分析 办公应用的访问用户单一 均为集团内部用户 3 3 基础支撑类基础支撑类 域和身份认证 DNS 防病毒 网管 桌面管理 流量特征分析 流量特征分析 基础支撑类服务器业务负载繁忙特征比较单一 繁忙时段集中在工作 日的8小时内 部分服务器 如防病毒 的流量特征取决于网络管理员的策略 规模分析 规模分析 基础支撑类物理服务器数量不会很多 未来可能会部署很多的虚拟服务器 因此此类服务器对网络的扩展要求要对相低 在此不再做进一步的规模分析 用户访问分析 用户访问分析 办公应用的访问用户单一 均为集团内部用户 分析总结 分析总结 1 生产应用类服务器的数量最多 而且此类服务器未来随XX业务的发展 规模会越 来越多 因此生产应用类服务器的接入要充分考虑可扩展性 2 生产应用类服务器的用户访问类型最复杂 因此要充分考虑安全访问策略的设计 3 生产应用类服务器的流量特征最复杂 流量最大 而且突发性最强 因此要充分 考虑网络的缓冲能力 XX集团数据中心网络及安全方案建议书 7 4 办公应用类业务中 视频会议对网络的传输质量最为敏感 方案设计要给予充分 的QoS和带宽保证 5 三大类应用系统中 所有业务均为7 24小时运行 因此在网络的设计中要保证高 可靠 设备和链路均采用冗余设计 对于生产类关键业务 要保证设备和链路故 障恢复时间在毫秒 ms 级 避免设备和链路故障导致业务服务中断 2 2 流量模型分析流量模型分析 XX集团数据中心建设完成后 集团的数据访问流量模型如下图所示 1 未来三中心的定位 中心 中心 XX集团广域网络汇聚中心 各地XX集团均与中心互连 但中心原则上不 部署业务系统服务器 仅做网络汇聚 中心 中心 数据中心将做为XX集团的主数据中心 所有业务系统均部署在此数据中心 内 承载XX集团所有生产系统 大连中心 大连中心 做为数据中心内业务系统的数据备份中心 对关键生产系统的数据进 行灾备 原则上不部署业务系统服务器 当主中心内的数据遭到损坏后 可直接 使用大连中心的备份数据 XX集团数据中心网络及安全方案建议书 8 2 对于集团内部用户 含集团各城市分支机构 通过集团广域网络 在中心进行网络汇 聚后 再到数据中心访问业务系统 如上图中红色虚线数据流所示 3 合作单位用户通过专线直接与数据中心连接 实现对业务系统的直接访问 无需经过 中心 如上图中绿色虚线数据流所示 4 公众用户直接通过Internet访问数据中心的WEB系统 无需经过中心 如上图中紫色虚 线数据流所示 5 大连备份中心与主中心直接相连 数据备份流量无需通过中心 提高数据备份的可靠 性与效率 缩短时延 考虑到未来的双活扩展与数据的实时同步 建议大连备份中心 与主中心之后采用裸纤或DWDM互连 避免出现带宽瓶颈 6 大连中心与中心现有的互连线路保持不变 做为数据备份的链路备份 同时未来可将 部分集团内业务部署到大连中心 实现负载分担 2 3 带宽分析带宽分析 数据中心内部的服务器接入及局域网络均采用典型的 千兆接入 万兆到汇聚 方式 部分服务器 如FCoE服务器等 直接采用万兆接入 链路带宽不会成为瓶颈 保证网络 的收敛比即可 在此不做带宽分析 带宽分析主要考虑数据中心的网络出口 对于数据中心而言 网络出口有以下四个 1 集团广域网出口集团广域网出口 与中心互连 满足集团内所有员工对业务系统的访问 考虑到可靠 性 采用双链路 不同运营商 2 Internet出口 出口 满足公众业务系统通过互联网对外提供服务 考虑到可靠性 采用双链 路 不同运营商 3 合作单位专线出口 合作单位专线出口 与合作单位专线互连 此出口的链路和带宽取决与合作单位 在 此不做分析 4 数据备份出口 数据备份出口 与大连数据中心互连 实现关键业务的数据备份与同步 考虑到未来 的双活扩展与数据的实时同步 建议采用裸纤或DWDM互连 若采用裸纤或DWDM 带宽不会成为瓶颈 因此也无需分析 但要保证高可靠 建议采用不同缆的多个光纤 实现冗余 根据XX集团现有业务系统的用户数量分析 对数据中心网络出口带宽估算如下 业务系统业务系统集团广域网出口集团广域网出口Internet出口出口 XX集团数据中心网络及安全方案建议书 9 ERP按1000用户设计 每个用户20K bps带宽 合计20Mbps N A 集团集团 百货百货 院线网站群院线网站群 N A假设 1 单个页面300KB 2 用户等待容忍时间为10秒 3 峰值并发增长率 通常取30 按2000个并发用户计算 带宽需求 2000 300KB 130 10 78MB s 780Mbps OA 图档图档 邮邮 件件 文件共享文件共享 按1000用户设计 每个用户50K bps带宽 合计50Mbps N A 视频会议视频会议平均每路2Mbps 按50个城市 50路 占用100Mbps带宽 N A 基础支撑类基础支撑类忽略N A 合计合计170Mbps780Mbps 按照上述数据的初步估算 对数据中心网络出口链路选择建议如下 1 广域网出口带宽为170Mbps 至少采用两条155M POS链路 满足带宽需求的同时实现链路冗余 2 互联网出口带宽为780Mbps 建议采用两条千兆链路出口 两个运营商 注 上述数据为经验数据 仅供参考 XX集团数据中心网络及安全方案建议书 10 三 三 方案规划与设计方案规划与设计 数据中心网络建设目标数据中心网络建设目标 XX数据中心未来将XX集团承载所有生产环境系统 数据中心网络作为业务网络的一 个重要组成部分 为核心业务系统服务器和存储设备提供安全可靠的接入平台 网络建设 应达成以下目标 高可用高可用 网络作为数据中心的基础设施 网络的高可用直接影响到业务系统的可用 性 网络层的高可用至少包括高可靠 高安全和先进性三个方面 高可靠 高可靠 应采用高可靠的产品和技术 充分考虑系统的应变能力 容错能力和纠 错能力 确保整个网络基础设施运行稳定 可靠 当今 关键业务应用的可用性 与性能要求比任何时候都更为重要 高安全 高安全 网络基础设计的安全性 涉及到XX业务的核心数据安全 应按照端到端 访问安全 网络L2 L7层安全两个维度对安全体系进行设计规划 从局部安全 全局安全到智能安全 将安全理念渗透到整个数据中心网络中 先进性 先进性 数据中心将长期支撑XX集团的业务发展 而网络又是数据中心的基础支 撑平台 因此数据中心网络的建设需要考虑后续的机会成本 采用主流的 先进 的技术和产品 如数据中心级设备 CEE FCoE 虚拟化支持等 保证基础支 撑平台5 10年内不会被淘汰 从而实现投资的保护 易扩展易扩展 XX集团的业务目前已向多元化发展 未来的业务范围会更多更广 业务 系统频繁调整与扩展再所难免 因此数据中心网络平台必须能够适应业务系统的频繁调整 同时在性能上应至少能够满足未来5 10年的业务发展 对于网络设备的选择和协议的部 署 应遵循业界标准 保证良好的互通性和互操作性 支持业务的快速部署 易管理易管理 数据中心是IT技术最为密集的地方 数据中心的设备繁多 各种协议和应 用部署越来越复杂 对运维人员的要求也越来越高 单独依赖运维人员个人的技术能力和 业务能力是无法保证业务运行的持续性的 因此数据中心需要提供完善的运维管理平台 对数据中心IT资源进行全局掌控 减少日常的运维的人为故障 同时一旦出现故障 能够 借助工具直观 快速定位 XX集团数据中心网络及安全方案建议书 11 3 2 总体设计思路及原则总体设计思路及原则 数据中心为XX集团业务网络 日常办公与外联单位提供数据访问 OA和视频等服务 以及各业务的安全隔离控制 数据中心并不是孤立存在的 而是与大连中心 网络汇聚 中心外联单位网络等网络区域相辅相成 数据中心基础网络是业务数据的传输通道 将数 据的计算和数据存储有机的结合在一起 为保证数据中心网络的高可用 易扩展 易管理 数据中心网络架构需按照结构化 模块化和扁平化的原则设计 结构化 结构化的网络设计便于上层协议的部署和网络的管理 提高网络的收敛速度 实现高 可靠 数据中心网络结构化设计体现在适当的冗余性和网络的对称性两个方面 如下图所 示 冗余的引入可以消除设备和链路的单点故障 但是过度的冗余同样会使网络过于复杂 不便于运行和维护 因此一般采用双节点双归属的架构设计网络结构的对称 可以使得 网络设备的配置简化 拓扑直观 有助于协议设计分析 在数据中心网络设计时 由于引入了冗余和对称的设计 这必将引入网络的环路 可 通过如下建设思路消除环路影响 1 1 启用启用STPSTP和和VRRPVRRP协议协议 传统解决方案 标准的协议 设备要求较低 但此种部署方案网络的协议部署复杂 收敛慢 链路带宽利用率低 运维管理工作量大 本方案设计不采用此方法 2 2 IRFIRF网络设备网络设备N 1N 1虚拟化技术虚拟化技术 通过H3C XX集团数据中心网络及安全方案建议书 12 IRF技术对同一层面的设备进行横向整合 将两台或多台设备虚拟为一台设务 统一转发 统一管理 并实现跨设备的链路捆绑 因此不会引入环路 无需部署STP和VRRP等协议 简化网络协议的部署 大大缩短设备和链路收敛时间 毫秒级 链路负载分担方式工 作 利用率大大提升 在本方案的设计中 将采用端到端的IRF部署 满足网络高可靠的同时 简化网络运 维管理 模块化 构建数据中心基础网络时 应采用模块化的设计方法 将数据中心划分为不同的功能 区域 用于实现不同的功能或部署不同的应用 使得整个数据中心的架构具备可伸缩性 灵活性 和高可用性 数据中心中的服务器将会根据服务器上的应用的用户访问特性和应 用的功能不同部署在不同的区域中 如下图所示 XX集团数据中心网络及安全方案建议书 13 数据中心网络分为网络接入区 数据中心核心交换区和服务器接入区三大功能区域 其中网络接入区和服务器接入区依据服务类型的不同 可进行子区的细分 详细参见 业 务分区 章节的描述 数据中心核心区用于承接各区域之间的数据交换 是整个数据中心的核心枢纽 因此 核心交换机设备应选用可靠性高的数据中心级设备部署 在进行模块化设计时 尽量做到各模块之间松耦合 这样可以很好的保证数据中心的 业务扩展性 扩展新的业务系统或模块时不需要对核心或其它模块进行改动 同时模块化 设计也可以很好的分散风险 在某一模块 除核心区外 出现故障时不会影响到其它模块 将数据中心的故障影响降到最小 扁平化 数据中心的网络架构依据接入密度和分为三层架构和二层架构 如下图所示 传统的数据中心网络通常采用三层架构进行组网 三层架构可以保证网络具备很好的 扩展性 同一个分区内服务器接入密度高 但三层架构网络设备较多 不便于网络管理 运维工作量大 同时组网成本相对较高 随着网络交换技术的不断发展 交换机的端口接入密度也越来越高 二层组网的扩展 性和密度已经能够很好的满足企业数据中心服务器接入的要求 同时在服务器虚拟化技术 应用越来越广泛的趋势下 二层架构更容易实现VLAN的大二层互通 满足虚拟机的部署 和迁移 相比三层架构 二层架构可以大大简化网络的运维与管理 综合上述因素 数据中心的网络设计采用二层扁平化架构 满足扩展性的同时 实现 易管理 XX集团数据中心网络及安全方案建议书 14 3 3 业务分区业务分区 按照3 2章节中的 模块化 设计原则 需要对业务系统进行分区 从技术看 业务分 区需要遵循以下原则 分区优先考虑访问控制的安全性 单个应用访问尽量在一个区域内部完成 单个 区域故障仅影响一类应用 尽量减少区域间的业务耦合度 区域总数量的限制 但区域多则运维管理的复杂度和设备投资增加 区域总数量 有运维上限不超过20个 单个区域内服务器数量的限制 受机房空间 二层域大小 接入设备容量限制 单个区域内服务器数量有限 通常不超过200台 接入层设备利用率的限制 受机房布局的影响 如果每个机房都要部署多个安全 区的接入交换机 会导致接入交换机资源浪费 端口利用率低 因此安全区的数 量不宜过多 防火墙性能的限制 区域之间的流量如果超过10G 则需要考虑通过防火墙横向扩容 或区域调整的 方式分担流量 在实际的数据中心分区设计中 通常有以下三种分区方法 1 按照业务功能进行分区 按照业务功能进行分区 根据业务系统的功能 如生产 OA 支撑等 或业务的 实时性 实时业务 非实时业务 或者业务系统的功能 如ERP 营销 财务等 进行分区划分 此分区方法适合大多数企业数据中心 2 按照安全等保级别进行分区 按照安全等保级别进行分区 按照业务系统的安全等级定义进行划分 如 三级 系统独立成域 二级系统统一成域 此分区方法适合政府 电力等行业数据中 心 3 按照服务器类型进行分区 按照服务器类型进行分区 一般分为WEB服务器区 APP 中间件服务器区 DB 服务器区 此分区适合互联网企业等数据中心 按照需求调研时了解的XX集团业务系统分布情况 结合业务系统的用户类型 数据中 心的分区设计按照业务功能进行分区 分区设计如下 XX集团数据中心网络及安全方案建议书 15 各区域业务系统部署描述如下 办公局域网区 办公局域网区 XX数据中心大楼办公网络 包括终端 楼层接入与汇聚 广域网接入区 广域网接入区 与网络汇聚中心广域网络互连 网络出口 外联网接入应用区 外联网接入应用区 与合作单位的专线互连 此区域也包括合作单位的业务前置机服务器 互联网接入应用区 互联网接入应用区 互联网出口 此区域也包括集团网站群WEB服务器 集团邮件系统 DNS服务器等 百货应用区 百货应用区 此区域部署与百货相关的应用服务器 包括百货促销 MIS BI等应用系统 KTV应用区 应用区 此区域部署与KTV相关的应用服务器 包括FTP 管控 WEB DB等应用 系统 院线应用区 院线应用区 此区域部署与院线相关的应用服务器 包括火凤凰 会员等应用系统 OA应用区 应用区 此区域部署集团内部的OA应用服务器 包括OA RTX 泛微 图档 视频会 议 文件 网络教学 网上招投标等应用系统 ERP 财务应用区 财务应用区 部署集团内部的ERP和财务应用服务器 其它应用区 其它应用区 部署商管 地产 酒店等应用服务器 开发测试区 开发测试区 此区域用于集团内部信息系统的开发与测试 或新系统上线前的测试部署 灾备接入应用区 灾备接入应用区 此区域与大连中心互联 实现数据级的异地灾备 同时此区域可以部署 一些本地的重要系统备份应用 支撑管理区 支撑管理区 此区域部署数据中心网络 安全 服务器 存储等IT资源的运维管理系统 XX集团数据中心网络及安全方案建议书 16 此外包括集团内部的域管理和身份认证服务器 数据中心核心区 数据中心核心区 此区域用于实现各分区之间的数据交互 是数据中心网络平台的核心枢 纽 无服务器部署 3 4 网络设计网络设计 结合上述的业务分区 按照结构化 模块化 扁平化的设计原则 实现高可用 易扩 展 易管理的建设目标 网络整体拓扑如下图所示 整体网络拓扑采用扁平化两层组网架构 从数据中心核心区直接到服务器接入 省去 了中间的汇聚层 这种扁平化的网络结构有以下优点 简化网络拓扑 降低网络运维的难度 服务器区容易构建大二层网络 更适合未来的虚拟机大量部署及迁移 服务器接入交换机未来的扩展可直接在现有的IRF虚拟组添加成员交换机 扩展 方便 对于数据中心的网络安全部署 在本方案中采用了 分布式安全部署 的策略 防火 墙形态采用了H3C XX集团数据中心网络及安全方案建议书 17 SecBlade安全插卡 实现网络安全的融合 详细的安全设计参加 3 5安全设计 章节 纵观整体方案拓扑 在此方案设计与部署时共采用了IRF虚拟化 网络安全融合 智 能管理三种H3C特有的关键技术 详细参见5 2章节相关介绍 在保证数据中心的高可靠的 同时 简化网络运维管理 同时提供了智能化的管理工具平台 3 4 1 3 4 1 核心交换区核心交换区 功能描述功能描述 核心交换区的主要功能是完成各服务器功能分区 办公局域网 外联网 互联网之间 数据流量的高速交换 是广域 局域纵向流量与服务功能分区间横向流量的交汇点 核心交 换区必须具备高速转发的能力 同时还需要有很强的扩展能力 以便应对未来业务的快速 增长 核心模块是整个平台的枢纽 因此 可靠性是衡量核心交换区设计的关键指标 否则 一 旦核心模块出现异常而不能及时恢复的话 会造成整个平台业务的长时间中断 影响巨大 拓扑设计拓扑设计 设计要点设计要点 1 高可靠 核心交换设备选用数据中心级核心交换机 配置双引擎 双电源 保证网络组件层面 的稳定性 网络架构层面 采用双核心设计 两台设备进行冗余 并通过虚拟化技术进行横向整 XX集团数据中心网络及安全方案建议书 18 合 将两台物理设备虚拟化为一台逻辑设备 并实现跨设备的链路捆绑 所各分区的交换 机IRF相配合 实现端到端IRF部署 两台设备工作在双活模式 缩短链路故障与设备故障 的倒换时间 毫秒级 保证出现单点故障时不中断业务 为保证出现单点故障 链路 设备 时另一台设备能够完全接管业务 各功能模块通过 口 字形上行与核心模块互连 2 高速传输 本次网络设计容量应保证未来3 5年内的业务扩展 本设计采用 万兆到核心 千兆 接入 的思路 核心模块对外接口为全万兆接口 3 易于扩展 按照 核心 边缘架构 的设计原则 核心模块应避免部署访问控制策略 如ACL 路 由过滤等 保证核心模块业务的单纯性与松耦合 便于下联功能模块扩展时 不影响核 心业务 同时可以提高核心模块的稳定性 4 智能分析 针对各个区域的业务流量变化趋势 本次在核心交换机上部署网络流量分析模块 可 以实时感知 并作为网络优化及调整的依据 3 4 2 3 4 2 服务器接入区服务器接入区 功能描述功能描述 服务器接入区用于完成服务器的LAN网络接入 依照3 3章节的业务分区设计 涉及到 服务器接入的业务分区包括百货应用区 KTV应用区 院线应用区 ERP 财务应用区 开发 测试区 支撑管理区 其它应用区 这些区域虽然部署的应用服务器类型不一样 设备的 选型要求也不一样 但对于网络拓扑设计来说是一样的 因此在方案设计时 这些区域的 网络拓扑设计将在此统一进行描述 拓扑设计拓扑设计 XX集团数据中心网络及安全方案建议书 19 注 院线应用区若部署院线WEB服务器 则服务器接入交换机上除了部署FW插卡外 还顼要 部署IPS和SLB插卡 设计要点设计要点 1 服务器接入交换机部署双机 并采用IRF虚拟化 将两台物理设备虚拟化为一台逻辑设 备 实现跨设务链路捆绑 与核心交换机配合实现端到端IRF 此外服务器双网关配置 成双活模式 Active Active 2 各服务器接入交换机上部署SecBlade FW插卡 用于本区域与其它区域的访问控制策略部署 院线应用区部署FW IPS LB插卡 3 服务器网关部署在接入交换机上 防火墙插卡与接入交换机以及核心交换机之间运行O SPF动态路由 实现FW的双机热备 3 4 3 3 4 3 互联网区互联网区 功能描述功能描述 互联网区用于部署集团WEB服务器 院线WEB服务器 若需要 以及集团的DNS FTP E mail等需要通过互联网对公众用户提供服务器的应用系统 拓扑设计拓扑设计 XX集团数据中心网络及安全方案建议书 20 设计要点设计要点 1 Internet出口采用双运营商链路 保证用户访问效率的同时 实现链路的冗余 2 服务器接入交换机部署双机 并采用IRF虚拟化 将两台物理设备虚拟化为一台逻辑设 备 实现跨设务链路捆绑 与服务器双网卡配合实现双活 Active Active 3 采用双层防火墙部署 外层防火墙用于实现Internet与WEB DNS Email FTP等公网 服务器的隔离 实现公网服务器的分域 并配置DMZ区域保证安全 内层防火墙用于实 现公网服务器与数据中心内部其它服务器之间的隔离 部署内部区域间的访问控制策 略 外层防火墙采用独立设备 内层防火墙采用在服务器接入交换机上部署SecBlade FW插卡 4 由于Internet区部署了较多的网站等WEB服务器 因此需要部署LB和IPS设备 来保证 负载分担和L2 L7层安全过滤 3 4 4 3 4 4 外联网区外联网区 功能描述功能描述 外联网区用于实现与合作单位的专线网络进行互联 并部署合作单位的前置机服务器 XX集团数据中心网络及安全方案建议书 21 拓扑设计拓扑设计 设计要点设计要点 1 服务器接入交换机部署双机 并采用IRF虚拟化 将两台物理设备虚拟化为一台逻辑设 备 实现跨设务链路捆绑 与服务器双网卡配合实现双活 Active Active 2 采用双层防火墙部署 外层防火墙用于实现前置机服务器与合作单位网络的隔离 可 部署NAT 内层防火墙用于实现前置机服务器与数据中心内部其它服务器之间的隔离 部署内部区域间的访问控制策略 外层防火墙H3C SecBlade FW插卡 内层防火墙可采用非H3C的第三方FW独立设备进行异构 加强安全性 3 服务器接入交换机上部署SecBlade IPS插卡 实现L2 L7层安全过滤 3 4 5 3 4 5 广域网接入区广域网接入区 功能描述功能描述 广域网接入区用于实现与网络汇聚中心的互连 保证集团内部用户通过广域网访问数 据中心内的业务系统 必要时也可考虑与大连数据中心互联 拓扑设计拓扑设计 XX集团数据中心网络及安全方案建议书 22 设计要点设计要点 1 广域网出口路由器部署双机 出口链路为双链路 保证广域网出口高可靠 2 防火墙采用路由器上部署SecBlade FW插卡 3 4 6 3 4 6 灾备接入区灾备接入区 功能描述功能描述 灾备接入区用于实现数据中心与大连灾备中心的互连 实现SAN和LAN网络双中心的互 通 保证数据同步复制 同时通过将两中心的VLAN二层打通 实现跨数据中心的大二层网 络 便于虚拟机业务迁移和跨地域服务器集群 拓扑设计拓扑设计 XX集团数据中心网络及安全方案建议书 23 设计要点设计要点 1 数据中心与大连灾备中心之间采用双路裸纤做灾备互连链路 并采用DWDM进行复用 2 SAN网络直接通过光纤上DWDM波分设备 实现数据存储备份通道的互通 LAN网络通过 在服务器网关交换机设备上通过VLAN Trunk到汇接交换机 然后再上DWDM设备 实现双中心之间的大二层VLAN互通 3 汇接交换机部署IRF 实现双纤捆绑 保证链路的可靠性 4 跨地域的二层打通后 可以实现网关设备跨地域部署VRRP 保证双中心服务器集群时 网关的切换 XX集团数据中心网络及安全方案建议书 24 3 5 安全设计安全设计 3 5 1 3 5 1 安全设计原则安全设计原则 安全与网络密不可分 本方案中的安全设计部署采用了与网络分区相同的安全域划分 同时采用SecBlade安全插卡实现了网络与安全设备形态的融合 整个方案的安全部署采 用了目前应用广泛的 分布式安全部署 方法 如下图右侧所示 分布式安全部署具有以下优势 分散风险 分散风险 传统的集中式安全部署一般将防火墙旁挂在核心交换机两侧 这样一旦防 火墙出现故障 数据中心内的所有业务区都将不能访问 整个数据中心的所有业务均 会中断 风险和性能压力都集中在防火墙上 而采用分布式部署后 防火墙出现故障 只会影响到本区域的业务 进而实现风险和性能的分散 提高了整个数据中心的可靠 性 灵活扩展 灵活扩展 分部式安全部署 核心交换机原则上不部署任何与业务分区之间的安全策 略 可实现核心区与各业务分区之间的松耦合 在新增模块或业务系统时 无需更改 核心设备的配置 减小核心区出现故障的机率 保证核心区的高可靠与业务分区的灵 活扩展 简化安全策略部署 简化安全策略部署 防火墙下移到各业务分区的出口 防火墙上部署的安全策略可大 大简化 默认仅需要划分两个安全域 受信域与非受信域 采用白名单方式下发策 略 减少了策略的交叉 XX集团数据中心网络及安全方案建议书 25 3 5 2 3 5 2 SecBladeSecBlade FWFW插卡部署插卡部署 防火墙设备在数据中心网络架构中为内部系统提供了安全和可靠性保障 防火墙主要 部署在数据中心的两个常见区域中 数据中心出口区域和服务器区域 在数据中心出口区 域部署防火墙可以保障来自Internet和合作伙伴的用户的安全性 避免未经授权的访问和 网络攻击 在数据中心服务器区域部署防火墙可以避免不同服务器系统之间的相互干扰 通过自定义防火墙策略还可以提供更详细的访问机制 防火墙插卡设备虽然部署在交换机框中 但仍然可以看作是一个独立的设备 它通过 交换机内部的10GE接口与网络设备相连 它可以部署为2层透明设备和三层路由设备 防火 墙与交换机之间的三层部署方式与传统盒式设备类似 如上图FW三层部署所示 防火墙可以与宿主交换机直接建立三层连接 也可以与上游 或下游设备建立三层连接 不同连接方式取决于用户的访问策略 可以通过静态路由和缺 省路由实现三层互通 也可以通过OSPF这样的路由协议提供动态的路由机制 如果防火墙 部署在服务器区域 可以将防火墙设计为服务器网关设备 这样所有访问服务器的三层流 量都将经过防火墙设备 这种部署方式可以提供区域内部服务器之间访问的安全性 XX集团数据中内部 整体安全采用分布式部署设计 已经对不同的业务系统进行了分 区 整体安全边界清晰 为简化SecBlade FW的配置 提高网关性能 将服务器的网关均部署在接入交换机上 SecBlade FW插卡仅部署本分区内与其它分区之间的安全策略 若本分区内各服务器之间有隔离需求 建议在接入交换机上采用ACL方式实现 如下图所示 XX集团数据中心网络及安全方案建议书 26 对于仅部署SecBlade FW插卡的业务区 如百货 KTV ERP 财务 开发测试 支撑管理 外联网区 区域内的 安全部署逻辑拓扑如下图所示 接入交换机双机部署IRF虚拟化 并实现跨设备链路捆绑 两块SecBlade FW插卡逻辑上相当于插在同一台交换机上 每台接入交换机逻辑上均可以看成一台L2交换机与一台L3交换机的叠加 服务器网关 部署在交换机上 SecBlade通过内部的10GE接口与交换机互连 并创建多个L3接口进行引流 让所有流 XX集团数据中心网络及安全方案建议书 27 经服务器的流量均经过FW过滤 两块FW插卡通过带外状态同步线 心跳线 进行状态 同步 FW插卡之间通过OSPF动态路由实现热备或负载分担 ECMP 3 5 3 3 5 3 SecBladeSecBlade FW IPS LBFW IPS LB组合部署组合部署 对于XX数据中心的院线应用区 互联网应用区 需要涉及到FW IPS LB的组合部署 FW 插卡的基本特性3 5 2章节已做描述 下面先介绍IPS和LB插卡的基本组网 SecBladeSecBlade IPSIPS基本组网设计基本组网设计 SecBlade IPS插卡为数据中心内部提供了更坚固的安全保护机制 通过IPS的深度检测功能可以有效 保护内部服务器避免受到病毒 蠕虫 程序漏洞和DDOS等来自应用层的安全威胁 IPS插卡通过OAA 开放的应用架构 技术与宿主交换机配合使用 可以通过传统的流 量重定向方式将需要IPS处理的业务流重定向到IPS插卡上处理 也可以通过OAA方式在IPS 的Web页面上配置重定向策略 这两种方式都可以实现相同的功能 由于不同交换机设备对 OAA的支持程度不同 我们推荐在本方案中采用重定向策略引流 由于IPS插卡在整个网络中属于2层透明转发设备 不会对报文进行任何修改 整个网 络从连通性上看加入IPS后不会产生任何变化影响 因此建议实施的时候将其放在最后进行 上线配置 即其他设备都调试OK 流量转发与HA设计都以正常实现情况下再进行IPS的部署 实施 SecBlade IPS组网结构流量图 SecBlade IPS不会对报文进行任何修改 对于上IPS处理的报文 非OAA方式只能通过VLAN区分流量是 XX集团数据中心网络及安全方案建议书 28 属于外部域还是内部域 所以在组网设计中需注意非OAA方式重定向到IPS插卡的业务流上 下行流量需为不同VLAN 由于IPS插卡不具有双机热备功能 通过组网设计 部分环境可以 做到IPS故障的切换 部分环境中当IPS故障后 重定向功能失效 业务流将不能继续受到I PS的安全保护 流量在短暂中断后仍然可以保证连续性 SecBladeSecBlade LBLB板卡设计部署板卡设计部署 LB插卡具备两大主要功能 服务器负载均衡和链路负载均衡 分别应用于数据中心服 务器区和Internet出口区域 服务器负载均衡为数据中心服务器区性能的扩展和资源利用 的优化提供完美的解决方案 链路负载均衡非常有效的部署在数据中心多出口的组网环境 中 可以同时对多条广域网链路优化资源利用 LB插卡的工作方式与防火墙的类似 仍然作为一个独立的设备运行 通过传统的三层 方式与交换机或下游设备相连 可以通过静态路由和缺省路由实现三层互通 也可以通过O SPF这样的路由协议提供动态的路由机制 SecBlade LB在数据中心出口的部署 如图所示 在数据中心出口区域 LB插卡可以与宿主交换机连接三层连接关系 也可 以直接和下游设备如防火墙等建立三层连接关系 这取决于用户的实际需求 前一种方式 可以提供更灵活的路由控制策略 而后一种方式可以简化组网的复杂结构 例如 如果经L LB下行的流量都要通过防火墙的安全保护 那么可以将防火墙直接作为LLB的下一跳设备 需要注意的是 在双机热备的组网环境中 两块LLB的出口配置必须相同 这样才能保 证业务切换后能正常运行 XX集团数据中心网络及安全方案建议书 29 如图所示 在数据中心服务器区 LB提供了服务器的负载均衡能力 我们可以将LB插 卡作为服务器的网关设备 这样所有的服务器流量都需经过LB设备 也可以将服务器网关 放置在交换机上 LB设备通过路由方式访问服务器群 这样的部署方式可以灵活控制LB对 服务器的访问 组合部署组合部署 在数据中心服务器区IPS FW SLB的部署主要有以下四种方式 IPS如果需要保护所有流量可以部署在前端 如果仅需要保护部分关键区域的业务可以 放置在FW后面 SLB可以作为服务器网关设备部署 如果服务器间还需要更严格的防护策略可以将防火 墙部署在SLB下端作为服务器的隔离设备 通过IRF堆叠技术还可以进一步简化组网结构 提高管理维护和配置成本 是目前的流 行部署方式 本方案的推荐采用组网四方案 组网逻辑拓扑如下图所示 XX集团数据中心网络及安全方案建议书 30 在本案例组网设计中 接入交换机和安全插卡都为双机部署 使用OSPF动态路由协议 交换机通过IRF方式增强可 靠性和管理性 FW插卡与上游设备建立三层连接关系 提供安全保护功能 SLB插卡与接入 交换机建立三层连接关系 同时对下做为服务器网关设备提供服务器负载均衡功能 XX集团数据中心网络及安全方案建议书 31 3 6 QOS设计设计 3 6 1 3 6 1 QoSQoS设计原则设计原则 XX集团网络整网QoS设计遵循以下的原则 正常情况下QOS是通过带宽来保证的 换句话说 即在网络带宽足够高的情况下 不需要QOS机制 当带宽利用率达到60 可考虑扩容 网络设备的容量不能成为瓶颈 网络 链路故障或网络拥塞情况下QOS策略生效 任何时候都优先保证实时业务 3 6 2 3 6 2 QoSQoS服务模型选择服务模型选择 为了更有效的利用带宽 使关键业务得到无阻塞的应用 网络需要进行QoS方案的设计 实施 首先需要考虑选择合适的技术框架 也即服务模型 服务模型指的是一组端到端的Q oS功能 目前有以下三种QoS服务模型 1 Best Effort service 尽力服务 2 Integrated service Intserv 综合服务 3 Differentiated service Diffserv 区分服务 Best EffortBest Effort serviceservice 尽力服务是最简单的服务模型 应用程序可以在任何时候 发出任意数量的 报文 而且不需要事先获得批准 也不需要通知网络 网络则尽最大的可能性来发送 报文 但对时延 可靠性等不提供任何保证 IntegratedIntegrated serviceservice Intserv是一个综合服务模型 它可以满足多种QoS需求 这种服务模型在发 送报文前 需要向网络申请特定的服务 这个请求是通过信令 signal 来完成的 应用程序首先通知网络它自己的流量参数和需要的特定服务质量请求 包括带宽 时 延等 应用程序一般在收到网络的确认信息 即网络已经为这个应用程序的报文预留 了资源后 发送报文 而应用程序发出的报文应该控制在流量参数描述的范围内 XX集团数据中心网络及安全方案建议书 32 DifferentiatedDifferentiated serviceservice Diffserv即区别服务模型 它可以满足不同的QoS需求 与Integrated service不同 它不需要信令 即应用程序在发出报文前 不需要通知路由器 网络不 需要为每个流维护状态 它根据每个报文指定的QoS 来提供特定的服务 可以用不同 的方法来指定报文的QoS 如IP包的优先级位 IP Precedence 报文的源地址和目的地址等 网络通过这些信息来进行报文的分类 流 量整形 流量监管和排队 这三种服务模型中 只有Intserv与Diffserv这两种能提供多服务的QoS保障 从技术 上看 Intserv需要网络对每个流均维持一个软状态 因此会导致设备性能的下降 或实现 相同的功能需要更高性能的设备 另外 还需要全网设备都能提供一致的技术才能实现QoS 而Diffserv则没有这方面的缺陷 且处理效率高 部署及实施可以分布进行 它只是在 构建网络时 需要对网络中的路由器设置相应的规则 对于XX集团广域网的QoS 我们建议采用Diffserv方式进行部署 3 6 3 QoS规划规划 CCITT最初给出定义 QoS是一个综合指标 用于衡量使用一个服务满意程度 QoS性能 特点是用户可见的 使用用户可理解的语言表示为一组参数 如传输延迟 延迟抖动 安 全性 可靠性等 XX集团网络中主要包括数据 视频两种业务应用 而数据又分ERP关键业务和其他业务 因此需要对现有业务系统进行分类 才能更好地保障业务的开展 业务分类和标记业务分类和标记 针对XX集团的要求 对其主要的流量进行划分和标记 具体如下 业务类型业务类型业务特征业务特征 IPIP PrecedencePrecedence IPIP DSCPDSCP802 1p802 1p 网络控制协议 hello SLA 适用于网络维护与管理报文的可 靠传输 要求低丢包率 7 56 CS7 7 视频会议 对时延 抖动较敏感 带宽需求 高 需要可预计的时延和丢包率 534 AF41 5 XX集团数据中心网络及安全方案建议书 33 ERP 适合重要数据业务 低丢包 高 优先级 324 AF31 3 目录同步和策略 下发 适合普通数据业务 低丢包 19 AF11 1 邮件系统及Inter net应用 尽力而为 Best effort 转发 000 流量监管和整形流量监管和整形 在完成区分业务应用类型后 需要对整个广域网进行流量的监管和整形 对于XX集团 广域网络SDH来说 出口带宽是有限的 而入口带宽总是大于出口带宽 需要对入口和出口 进行限制和整形 以保障关键流量的顺利转发 队列管理队列管理 在Diffserv体系的队列管理中 同样按照不同的边界范围采用不同的队列管理技术 局域网主要基于以太网的组网方式 以太网实现的QoS功能主要是能够支持那些对延时 和抖动要求较高的业务流 目前业界在以太网络交换机实现的Qos队列管理技术主要采用严 格优先级SP Strict Priority 队列调度算法 加权轮循WRR Weighted Round Robin 调度算法 SP队列调度算法 是针对关键业务型应用设计的 关键业务有一重要的 特点 即在拥塞发生时要求优先获得服务以减小响应的延迟 WRR队列调度算法在队列之间 进行轮流调度 保证每个队列都得到一定的服务时间 在实际应用中 SP队列调度算法与W RR调度算法可以同时应用一个端口上 既保证关键业务的延时与抖动 同时又保证各业务 具有一定的带宽保证 广域网一般采用路由器组网 目前路由器主要支持的队列管理技术包括PQ CQ WFQ CBQ LLQ 由于PQ CQ WFQ的种种问题 目前通常采用CBQ LLQ做为骨干层的队列管理机制 CBWFQ LLQ 有一个低时延队列 LLQ 用来支撑EF类业务 被绝对优先发送 优先级低于RTP实时队列 另外有63个BQ 用来支撑AF类业务 可以保证每一个队列的带宽及可控的时延 还有一个FIFO WFQ 对应B E业务 使用接口剩余带宽进行发