比亚迪IT信息化建设网络结构设计方案.doc

比亚迪数据中心建设方案比亚迪数据中心建设方案 佳众联科技佳众联科技 Page 1 of 86 比亚迪汽车公司比亚迪汽车公司 ITIT 信息化建设网络结构设计方案信息化建设网络结构设计方案 2015 052015 05 比亚迪数据中心建设方案比亚迪数据中心建设方案 佳众联科技佳众联科技 Page 2 of 86 目目 录录 第第 1 1 章章 总述总述 5 1 1 比亚迪公司数据中心网络建设需求 5 1 1 1 传统架构存在的问题 5 1 1 2 数据中心目标架构设计 6 1 2 数据中心设计目标 7 1 3 数据中心技术需求 8 1 3 1 整合能力 8 1 3 2 虚拟化能力 8 1 3 3 自动化能力 9 1 3 4 绿色数据中心要求 9 第第 2 2 章章 比亚迪网络系统设计与实现比亚迪网络系统设计与实现 10 2 1 比亚迪网络系统概述现状 10 2 2 改造后设计网络系统概述 11 第第 3 3 章章 比亚迪网络系统技术实现方式比亚迪网络系统技术实现方式 14 3 1 绿色数据中心 14 3 2 局域网技术概况 15 3 3 服务器计算中心网络结构 17 3 4 整合能力 18 3 4 1 一体化交换技术 18 3 4 2 无丢弃以太网技术 19 3 4 3 性能支撑能力 20 3 4 4 智能服务的整合能力 20 3 5 虚拟化能力 21 3 5 1 服务器虚拟化 22 3 6 自动化 22 第第 4 4 章章 比亚迪公司无线网络接入网络结构设计 建议 比亚迪公司无线网络接入网络结构设计 建议 24 4 1 概述 24 4 2 无线部分设计 24 4 3 无线网络性能设计 26 4 3 1 无线网络的频点覆盖设计 30 4 3 2 天线的选择 33 4 3 3 无线网络系统的安全防护设计 37 第第 5 5 章章 网络安全设计网络安全设计 40 5 1 网络安全部署思路 40 5 1 1 网络安全整体架构 40 5 1 2 网络平台建设所必须考虑的安全问题 42 5 2 网络设备级安全 42 5 2 1 防蠕虫病毒的等 Dos 攻击 42 5 2 2 防 VLAN 的脆弱性配置 43 比亚迪数据中心建设方案比亚迪数据中心建设方案 佳众联科技佳众联科技 Page 3 of 86 5 2 3 防止 DHCP 相关攻击 44 5 3 网络级安全 45 5 3 1 安全域的划分 45 5 3 2 防火墙部署设计 46 5 3 3 防火墙策略设计 47 5 3 4 防火墙性能和扩展性设计 48 5 4 网络的智能主动防御 50 5 4 1 网络准入控制 50 5 4 2 桌面安全管理 51 5 4 3 智能的监控 分析和威胁响应系统 53 第第 6 6 章章 服务质量保证设计服务质量保证设计 57 6 1 服务质量保证设计分类 57 6 2 数据中心服务质量设计 57 6 2 1 带宽及设备吞吐量设计 57 6 2 2 低延迟设计 59 6 2 3 无丢弃设计 60 6 3 非数据中心网络的服务质量设计 61 6 3 1 QoS 实施方案 62 6 3 2 分析业务需求 63 6 3 3 QoS 策略的制定和部署 65 6 3 4 评测和调整 70 6 4 QOS 策略管理 71 6 4 1 QoS 自动配置 71 6 4 2 QoS 策略管理器解决方案 71 第第 7 7 章章 佳众联科技介绍佳众联科技介绍 74 7 1 技术支持服务原则 74 7 1 1 技术支持服务特色 74 7 2 技术支持服务目标 75 7 3 技术支持维护服务 75 7 3 1 技术服务工作流程 75 7 3 2 技术服务进度管理 76 7 3 3 技术服务文档提交 77 7 4 设备保修维护服务 77 7 4 1 设备保修工作流程 77 7 4 2 设备保修进度管理 78 7 4 3 设备保修文档提交 78 7 5 定期网络巡检服务 78 7 5 1 定期巡检工作流程 78 7 5 2 定期巡检进度管理 79 7 5 3 定期巡检文档提交 80 7 6 现场支持维护服务 80 7 6 1 现场服务工作流程 80 7 6 2 现场服务进度管理 81 比亚迪数据中心建设方案比亚迪数据中心建设方案 佳众联科技佳众联科技 Page 4 of 86 7 6 3 现场服务文档提交 81 7 7 软件升级维护服务 82 7 7 1 软件升级工作流程 82 7 7 2 软件升级进度管理 82 7 7 3 软件升级文档提交 83 7 8 售前技术支持服务 83 7 8 1 售前服务工作流程 83 7 8 2 售前服务进度管理 83 7 8 3 售前服务文档提交 84 7 9 专业技术培训服务 84 7 9 1 培训服务工作流程 84 7 9 2 培训服务进度管理 85 比亚迪数据中心建设方案比亚迪数据中心建设方案 佳众联科技佳众联科技 Page 5 of 86 第第 1 1 章章 总述总述 1 11 1 比亚迪公司数据中心网络建设需求比亚迪公司数据中心网络建设需求 1 1 11 1 1 传统架构存在的问题传统架构存在的问题 比亚迪公司现有数据中心网络采用传统以太网技术构建 随着各类业务应用对 IT 需求的深入 发展 业务部门对资源的需求正以几何级数增长 传统的 IT 基础架构方式给管理员和未来业务的 扩展带来巨大挑战 具体而言存在如下问题 维护管理难 维护管理难 在传统构架的网络中进行业务扩容 迁移或增加新的服务功能越来越困难 每一次变更都将牵涉相互关联的 不同时期按不同初衷建设的多种物理设施 涉及多个 不同领域 不同服务方向 工作繁琐 维护困难 而且容易出现漏洞和差错 比如数据 中心新增加一个业务类型 需要调整新的应用访问控制需求 此时管理员不仅要了解新 业务的逻辑访问策略 还要精通物理的防火墙实体的部署 连接 安装 要考虑是增加 新的防火墙端口 还是需要添置新的防火墙设备 要考虑如何以及何处接入 有没有相 应的接口 如何跳线 以及随之而来的 VLAN 路由等等 如果网络中还有诸如地址转换 7 层交换等等服务与之相关联 那将是非常繁杂的任务 当这样的 IT 资源需求在短期内 累积 将极易在使得系统维护的质量和稳定性下降 同时反过来减慢新业务的部署 进 而阻碍公司业务的推进和发展 资源利用率低 资源利用率低 传统架构方式对底层资源的投入与在上层业务所收到的效果很难得到同 比发展 最普遍的现象就是忙的设备不堪重负 闲的设备资源储备过多 二者相互之间 又无法借用和共用 这是由于对底层网络建设是以功能单元为中心进行建设的 并不考 虑上层业务对底层资源调用的优化 这使得对网络的投入往往无法取得同样的业务应用 效果的改善 反而浪费了较多的资源和维护成本 服务策略不一致 服务策略不一致 传统架构最严重的问题是这种以孤立的设备功能为中心的设计思路无 法真正从整个系统角度制订统一的服务策略 比如安全策略 高可用性策略 业务优化 策略等等 造成跨平台策略的不一致性 从而难以将所投入的产品能力形成合力为上层 业务提供强大的服务支撑 因此 按传统底层基础设施所提供的服务能力已无法适应当前业务急剧扩展所需的资源要求 本次数据中心建设必须从根本上改变传统思路 遵照一种崭新的体系结构思路来构造新的数据中 心 IT 基础架构 比亚迪数据中心建设方案比亚迪数据中心建设方案 佳众联科技佳众联科技 Page 6 of 86 1 1 21 1 2 数据中心目标架构设计数据中心目标架构设计 面向服务的设计思想已经成为 Web2 0 下解决来自业务变更 业务急剧发展所带来的资源和成 本压力的最佳途径 从业务层面上主流的 IT 厂商如 IBM BEA 等就提出了摒弃传统的 面向组件 Component 的开发方式 而转向 面向服务 的开发方式 即应用软件应当看起来是由相互 独立 松耦合的服务构成 而不是对接口要求严格 变更复杂 复用性差的紧耦合组件构成 这 样可以以最小的变动 最佳的需求沟通方式来适应不断变化的业务需求增长 鉴于此 比亚迪公 司数据中心业务应用正在朝 面向服务的架构 Service Oriented Architecture SOA 转型 与业务的 SOA 相适应 比亚迪公司提出支撑业务运行的底层基础设施也应当向 面向服务 的设 计思想转变 构造 面向服务的数据中心 Service Oriented Data Center SODC 传统组网观念是根据功能需求的变化实现对应的硬件功能盒子堆砌而构建企业网络的 这非 常类似于传统软件开发的组件堆砌 被已经证明为是一种较低效率的资源调用方式 而如果能够 将整个网络的构建看成是由封装完好 相互耦合松散 但能够被标准化和统一调度的 服务 组 成 那么业务层面的变更 物理资源的复用都将是轻而易举的事情 SODC 就是要求当 SOA 架构下 业务的变更 导致软件部分的服务模块的组合变化时 松耦合的网络服务也能根据应用的变化自 动实现重组以适配业务变更所带来的资源要求的变化 而尽可能少的减少复杂硬件的相关性 从 运行维护 资源复用效率和策略一致性上彻底解决传统设计带来的顽疾 具体而言 SODC 应形成这样的资源调用方式 底层资源对于上层应用就象由服务构成的 资源 池 需要什么服务就自动的会由网络调用相关物理资源来实现 管理员和业务用户不需要或几 乎可以看不见物理设备的相互架构关系以及具体存在方式 SODC 的框架原型应如下所示 比亚迪数据中心建设方案比亚迪数据中心建设方案 佳众联科技佳众联科技 Page 7 of 86 在图中 隔在物理架构和用户之间的 交互服务层 实现了向上提供服务 向下屏蔽复杂的 物理结构的作用 使得网络使用者看到的网络不是由复杂的基础物理功能实体构成的 而是一个 个智能服务 安全服务 移动服务 计算服务 存储服务 等等 至于这些服务是由哪些实 际存在的物理资源所提供 管理员和上层业务都无需关心 交互服务层解决了一切资源的调度和 高效复用问题 SODC 和 SOA 构成的数据中心 IT 架构必将是整个数据中心未来发展的趋势 虽然实现真正理想 的 SODC 和 SOA 融合的架构将是一个长期的历程 但在向该融合框架迈进的每一步实际上都将会形 成对网络灵活性 网络维护 资源利用效率 投资效益等等方面的巨大改善 因此比亚迪公司本 次数据中心的网络建设 要求尽可能的遵循如上所述的新一代面向服务的数据中心设计框架 1 21 2 数据中心设计目标数据中心设计目标 在基于 SODC 的设计框架下 比亚迪公司新一代数据中心应实现如下设计目标 简化管理 简化管理 使上层业务的变更作用于物理设施的复杂度降低 能够最低限度的减少了物 理资源的直接调度 使维护管理的难度和成本大大降低 高效复用 高效复用 使得物理资源可以按需调度 物理资源得以最大限度的重用 减少建设成本 提高使用效率 即能够实现总硬件资源占用量降低了 而每个业务得到的服务反而更有 充分的资源保证了 比亚迪数据中心建设方案比亚迪数据中心建设方案 佳众联科技佳众联科技 Page 8 of 86 策略一致 策略一致 降低具体设备个体的策略复杂性 最大程度的在设备层面以上建立统一 抽 象的服务 每一个被充分抽象的服务都按找上层调用的目标进行统一的规范和策略化 这样整个 IT 将可以达到理想的服务规则和策略的一致性 1 31 3 数据中心技术需求数据中心技术需求 SODC 架构是一种资源调度的全新方式 资源被调用方式是面向服务而非象以前一样面向复杂 的物理底层设施进行设计的 而其中交互服务层是基于服务调用的关键环节 交互服务层的形成 是由网络智能化进一步发展而实现的 它是底层的物理网络通过其内在的智能服务功能 使得其 上的业务层面看不到底层复杂的结构 不用关心资源的物理调度 从而最大化的实现资源的共享 和复用 要形成 SODC 要求的交互服务层 必须对网络提出以下要求 1 3 11 3 1 整合能力整合能力 SODC 要求将数据中心所需的各种资源实现基于网络的整合 这是后续上层业务能看到底层网 络提供各类 SODC 服务的基础 整合的概念不是简单的功能增多 虽然整合化的一个体现是很多独 立设备的功能被以特殊硬件的方式整合到网络设备中 但其真正的核心思想是将资源尽可能集中 化以便于跨平台的调用 而物理存在方式则可自由的根据需要而定 数据中心网络所必须提供的资源包括 智能业务网络所必须的智能功能 比如服务质量保证 安全访问控制 设备智能管理等 等 数据中心的三大资源网络 高性能计算网络 存储交换网络 数据应用网络 这两类资源的整合将是检验新一代数据中心网络 SODC 能力的重要标准 1 3 21 3 2 虚拟化能力虚拟化能力 虚拟化其实就是把已整合的资源以一种与物理位置 物理存在 物理状态等无关的方式进行 调用 是从物理资源到服务形态的质变过程 虚拟化是实现物理资源复用 降低管理维护复杂度 提高设备利用率的关键 同时也是为未来自动实现资源协调和配置打下基础 比亚迪数据中心建设方案比亚迪数据中心建设方案 佳众联科技佳众联科技 Page 9 of 86 新一代数据中心网络要求能够提供多种方式的虚拟化能力 不仅仅是传统的网络虚拟化 比 如 VLAN VPN 等 还必须做到 交换虚拟化 智能服务虚拟化 服务器虚拟化 1 3 31 3 3 自动化能力自动化能力 自动化是 SODC 架构中上层自动优化的实现服务调用必须条件 在高度整合化和虚拟化的基础 上 服务的部署完全不需要物理上的动作 资源在虚拟化平台上可以与物理设施无关的进行分配 和整合 这样我们只需要将一定的业务策略输入给智能网络的策略服务器 一切的工作都可以按 系统自身最优化的方式进行计算 评估 决策和调配实现 这部分需要做到两方面的自动化 网络管理的自动化 业务部署的自动化 1 3 41 3 4 绿色数据中心要求绿色数据中心要求 当前的能源日趋紧张 能源的价格也飞扬直上 绿地 绿地 GreenGreen FieldField 是我们每个人都关心的 议题 如何最大限度的利用能源 降低功耗 以最有效率方式实现高性能 高稳定性的服务是新 一代的数据中心必须考虑的问题 比亚迪数据中心建设方案比亚迪数据中心建设方案 佳众联科技佳众联科技 Page 10 of 86 第第 2 2 章章比亚迪网络系统设计与实现比亚迪网络系统设计与实现 2 12 1 比亚迪网络系统概述现状比亚迪网络系统概述现状 如下图所示 分析过后不难发现 网络系统分散的比较开 每个业务系统都有自己独立 的区域 几乎可以成为每个业务系统都有自己独立的环境 这种方式在系统维护上造成了很大的 成本浪费和人工浪费 按照第二章程描述的一些网络系统架构设计的理念来看 可以先将业务系统做一次大整合 将所有系统都部署在同一个区域内 此区域独立出来专门提供业务服务的接入 再以后的业务发 展规划上考虑 以后新业务也可以部署在本区域内 网络的外联也是比较多的 和服务器一样的情况是分散的比较开 也可以考虑将需要外联的 业务及链路整合到一起 独立出来一个区域 将其专门的接入外联链路业务 在接入外联业务后 经过一道或多道防火墙后才能进去其他区域访问服务器或终端 经过对网络系统拓扑分析 首先推荐的网络优化方案是将现有网络系统上的业务整合 然 后分区 每个区域都有自己不同的功能 每个区域负责自己的功能 在管理及维护系统时 判断 问题故障有一个直观的判断及故障目标锁定的好处 数据集中的需求 满足全行数据集中的需要 网络骨干需要具有高速交换效率 高稳定性 高可靠性和可伸缩 比亚迪数据中心建设方案比亚迪数据中心建设方案 佳众联科技佳众联科技 Page 11 of 86 性 适应拓扑结构的变化 业务隔离的需求 根据业务特点和重要级别 不同业务之间要求相互安全隔离 可以为不同的业务或应用系统 分配不同的 IP 网段 并在各网段之间实现业务的隔离 如业务系统可划分业务网段 办公自动 化网段 外接业务网段 语音网段 视频网段等 明确各类业务的优先级 从而在逻辑上将各类 业务分开 并保证其可靠传输 网络分区的需求 为简化网络中各部分的相关性 便于网络的实施及运维管理 在网络的构建中 通过定义不 同的功能模块 将整体网络分为多个不同的功能区域 通过清晰定义不同功能区域的应用 来实 现整体网络结构的可靠性 可扩展性 高可用性等 可管理性的需求 网络的安全稳定运行离不开有效的管理 在设计时要求充分考虑网络的可管理性 要求能实 现对包含网络设备 应用程序 服务器 数据库 存储 SAN 交换机等所有设备的管理 采用两 级网管模式 集中监控 分权管理 即在数据中心建立网管中心 统一调度网络资源 各责任人 管理所属机构网络 形成覆盖全行的分布式网络管理系统 2 22 2 改造后设计网络系统概述改造后设计网络系统概述 根据现有网络系统现有业务 可以将网络系统分布成为一下几个区域 互联网互联网 VPN VPN 接入区接入区 负责外联分支结构接入 vpn 拨入 互联网访问 以现有网络系统 中心业务服务器区中心业务服务器区 一线生产业务服务器合并到一个区域接入 VMs 和小机接入工作 如果业务不同分工的访 问需求可以使用 vlan 技术将部分不同访问级别的业务隔离 配合 acl 的控制来进行业务 级别隔离 存储区存储区 提供系统服务器的存储工作 负责数据灾备工作 如果部署服务器虚拟化或桌面虚拟化 本区域是必不可少的一个区域 比亚迪数据中心建设方案比亚迪数据中心建设方案 佳众联科技佳众联科技 Page 12 of 86 无线控制区 推荐 无线控制区 推荐 负责厂区 办公楼 等等地区的 AP 接入控制工作 统一的管理 AP 工作 网络管理区 推荐 网络管理区 推荐 负责数据中心网络管理工作 厂区接入区厂区接入区 厂区和办公楼的终端 手持扫描器 手机等等终端的接入工作 不同的区域根据业务的不同都有不同的访问需求 将各个区域互联起来 最方便管理及高 可靠性考虑 使用防火墙是最为妥当的设备 如今业界称之为 下一代防火墙的性能及处理能力以 及是上一代防火墙的好几十倍 在网络转发 会话联立 会话半开 会话全开等等性能上也提升 了好多 所以核心位置部署两台核心防火墙 在现有网络系统中是有很多防火墙接入到了 25M 的电信互联网线路上 当经过分析发现其 实都是有同一根电信的链路分支出来来的不同 IP 地址来提供服务 其实是可以将此部分整合成为 2 个防火墙 A S 结构 来提供互联网访问 发布服务 整合后通过技术策略保持原有的安全服务可 以保持原样不变 整合所有部署的服务器都归纳为服务区去 或许此部分是工作量最大的一个动作 但是规划 比亚迪数据中心建设方案比亚迪数据中心建设方案 佳众联科技佳众联科技 Page 13 of 86 的执行起来也没有那么复杂 通过 vlan 及 ACL route map 等策略可以保证到原有服务器享有的 安全及被访问策略 在服务区如果考虑高可靠性的时候 建议采购新服务器核心交换机 对于服 务器现对出一种 DCE 无丢包 交换机 可以对服务器连接交换机可靠性 根据以上新一代数据中心网络的技术要求 必须对传统数据中心所使用的常规以太网技术进 行革新 数据中心级以太网 Data Center Ethernet 简称 DCE 技术由此诞生 DCE 之前也被一些厂商称为汇聚型增强以太网技术 Converged Enhanced Ethernet 简称 CEE 是兼容传统以太网协议并按新一代数据中心的传输要求 对其进行全面革新的一系列标准 和技术的总称 因此 为达到比亚迪公司的新一代数据中心的建设目标 必须摒弃传统以太网技 术 而采用新一代的 DCE CEE 技术进行组网 比亚迪数据中心建设方案比亚迪数据中心建设方案 佳众联科技佳众联科技 Page 14 of 86 第第 3 3 章章比亚迪网络系统技术实现方式比亚迪网络系统技术实现方式 分布汇聚层和接入层之间使用交换端口 实现二层交换 如前所述 当前的主流虚拟机软件 如 VMware Virtual Server 等都需要在二层交换下实现虚拟机迁移 因此在数据中心接入层使用 二层交换将方便虚拟机的迁移和调度 当前由于 Cisco 独特的 VSS 虚拟交换机技术和 vPC 跨设备 端口捆绑技术的使用 可以实现在二层结构下完全没有环路 从根本上解决了生成树算法收敛慢 不稳定 故障多的问题 也使得在一个数据中心内二层结构下的可扩展性与三层结构没有根本的 区别 如下图所示 只要经过适当设计 本项目接入层的二层部分将没有环路 快速生成树算法 将只用于在误操作等极端情况下的防范手段 当 IEEE 的改进生成树协议或者 IETF 的二层路由协议技术成熟 或者直接使用思科当前就可 以提供的 OTV 技术 二层结构还可以扩展到城域和广域网中去 扩大服务器虚拟化的调度范围 向云计算的理想迈进 分布汇聚层的智能服务机箱相关的地址和逻辑设计将在后面专项的智能服务介绍中详细阐述 比亚迪数据中心建设方案比亚迪数据中心建设方案 佳众联科技佳众联科技 Page 15 of 86 3 13 1 绿色数据中心绿色数据中心 DCE 技术的整合化 虚拟化和自动化本身就是在达到同样业务能力的要求下实现高效率利用硬 件资源 减少总硬件投入 节约维护管理成本等方面的最佳途径 这本身也是绿色数据中心的必 要条件 另外 DCE 产品必须在硬件实现上实现低功耗 高效率 包括 利用最新半导体工艺 越小纳米的芯片要比大纳米的芯片省电 降低逻辑电路的复杂度 在接入层使用二层设备往往要比三层设备省电 减少通用集成电路的空转 使用定制化的专业设计的芯片往往比通用芯片省电 等等 由此可见 对于一台网络设备 在业务能力相当的前提条件下 越小的功耗就代表越先进的 技术 在 DCE 设备一般可以做到维持三层的全业务万兆吞吐功耗小于 25W 二层的万兆吞吐功耗小 于 13W 综上所述 在本次比亚迪公司新一代数据中心网络的建设中 将采用不同于传统以太网技术 的 DCE 以太网技术 构建面向服务的高效能数据中心网络平台 3 23 2 局域网技术概况局域网技术概况 通过高速以太网技术为核心 清晰的层次化设计和虚拟网络的划分 是网络系统网络建 设的关键 因此我们在网络系统设计中采用了成熟的万兆以太网万兆以太网作为系统骨干设计 目前 网络中最常用的媒体访问技术和交换技术主要包括 一 IEEE 802 3 以太网 IEEE 802 3 以太网是目前世界上运用最广泛的媒体访问技术 现有的局域网大多利用 IEEE 802 3 以太网进行组网 IEEE 802 3 以太网是 NOVELL 网 Windows NT HP LAN Server UNIX 网络 DECnet 等 低层所用的主要媒体访问技术 其组网方式灵活 方便 且支持的软硬件产品众多 IEEE 802 3 以太网支持的速率为共享型 10Mbps 在目前和今后 IEEE 802 3 以太网仍然是组建用 户端系统尤其是小型局域网系统最合适的组网方式 IEEE 802 3 以太网在组网时 根据不同的媒体可分为 10Base 2 以同轴粗缆为传输媒体 比亚迪数据中心建设方案比亚迪数据中心建设方案 佳众联科技佳众联科技 Page 16 of 86 10Base 5 同轴细缆 10Base T 双绞线 及 10Base FL 光纤 其中 10Base 2 10Base 5 物理上以总线结构组网 而 10Base T 和 10Base FL 利用 HUB 物理上以星型结 构组网 二 交换以太网 严格地说 交换以太网是一种技术 而并没有规定新的网络协议 它除了提供多个单独 的 10Mbps 端口外 其支持协议仍然是 IEEE 802 3 以太网 交换以太网作为今后最有前途的一种技术 其最大的优点在于 与原有IEEE 802 3 以太网完全兼容 提供多个独占的10Mbps端口 其速率总和为n 10Mbps 克服了IEEE 802 3共享 10Mbps带宽所带来的问题 如站点数增加 业务量扩大及多媒体应用造成网络效 率下降的问题 价格适宜 利用交换可取代桥和部分本地路由器 但价格更为便宜 因此 将交换以太网与普通以太网及高速网如 FDDI 高速以太网或 ATM 相结合 是今后组建用户端系统的最佳方案 它对于站点数多 业务量大及多媒体的应用具有 极大的优越性 当然 交换技术也可用于其它高速局域网 以提供更高的独占的高速端口 三 100Base T 快速以太网 100Base T 是由 10Base T 发展而来 它们的主要区别在于网络的带宽提高了 10 倍 即 100Mbps 从协议而言 它采用了 FDDI 的 PMD 协议 但其价格却比 FDDI 便宜 100Base T 的标准也由 IEEE 802 3 制定 目前只要是支持 10Base T 的网络操作系统 均可支持 100Base T 而且 100Base T 和 10Base T 的报文可不加修改地互相交换 由于 采用与 10Base T 集成 是一种既便宜又实用的适合于多站点 高业务量应用的媒体访 问技术 四 千兆以太网 千兆以太网既是以千兆位的速度运行的以太网 它是得到开发并被广泛应用的基于快 速以太网 100BASE T 技术的网络产品的自然进化 它提供了 1000Mb s 的网络带宽 使 得各种机构具有能力迎接已经超负荷并仍在快速增长的网络基础结构的挑战 千兆以太网 保留了 IEEE802 3 和以太网标准的帧格式 以及 IEEE802 3 的网络管理功能 对千兆以太 网的管理对象 属性以及活动的定义方式也和 10Mb s 与 100Mb s 网络相同 比亚迪数据中心建设方案比亚迪数据中心建设方案 佳众联科技佳众联科技 Page 17 of 86 五 万兆以太网 在这 20 年中 以太网由最初 10M 粗缆总线发展为 10Base5 10M 细缆 其后是一个短暂 的后退 1Base5 的 1 兆以太网 随后以太网技术发展成为大家熟悉的星形的双绞线 10BaseT 随着对带宽要求的提高以及器件能力的增强出现了快速以太网 五类线传输的 100BaseTX 三类线传输的 100BaseT4 和光纤传输的 100BaseFX 随着带宽的进一步提高 千兆以太网接口粉墨登场 包括短波长光传输 1000Base SX 长波长光传输 1000Base LX 以及五类线传输 1000BaseT 2002 年 7 月 18 日 IEEE 通过了 802 3ae 10Gbit s 以太网又 称万兆以太网 3 33 3 服务器计算中心网络结构服务器计算中心网络结构 根据业界企业网络最佳设计实践参考 在边缘节点端口较少的小型网络中 可以考虑将核心 层与分布层合并 小型网络的网络规模主要由接入层交换机决定 但对于比亚迪公司而言 结合 比亚迪公司的业务现状及发展趋势 我们可以看到未来几年内业务处于一个高速成长期 必须在 本期网络架构中充分考虑未来的可扩展性 所以比亚迪公司企业内部核心网络层次结构必须具有 以上严格清晰的划分 即具有清晰的核心层 会聚分布层 接入层等分层结构 才能保证网络的 稳定性 健壮性和可扩展性 以适应业务的发展 比亚迪公司的业务应用特点又决定了核心层将相对接入的网络模块较少 只有楼层汇聚接入 数据中心汇聚接入 广域网接入等三块 如果采用单独的大容量物理核心设备将造成浪费 而如 果采用低端核心设备则会对业务相对繁忙的数据中心汇聚形成瓶颈 也影响网络整体的稳定性 鉴于此 我们采用超大规模核心层设备 DCE 交换机作为核心 但虚拟化为两套交换机 一套用于 全网核心 一套用于数据中心汇聚 这样做的优势如下 逻辑上仍然是清晰的两套设备 完全保持了前述网络分层结构的优势 在性能上实现了网络核心和数据中心汇聚交换机资源的共享和复用 非常好的解决了核 心层数据量和数据中心数据量可能存在较大差异的问题 以较低的投入升级了数据中心汇聚交换机的能力 相当于可以与核心层复用 4Tbps 以上 的交换能力 适于下一阶段要进行的数据中心双网融合的资源需求 减少了设备数量 降低了设备投入成本 功耗开销和维护管理的复杂度 服务器区虚拟化服务的部署服务器区虚拟化服务的部署 比亚迪数据中心建设方案比亚迪数据中心建设方案 佳众联科技佳众联科技 Page 18 of 86 VMware vCenter Servers 让管理员可以使用标准化的模板快速调配虚拟机和主机 并利用 自动化的补救操作来确保遵从 vSphere 主机配置和主机及虚拟机修补程序级别 集成的物理到虚拟机转换 P2V 可同时管理多个物理机 非 VMware 虚拟机格式以及物理机备份 映像到正在运行的虚拟机的转换 利用 VMware vCenter Update Manager 通过自动扫描和修补在线 VMware ESX 主机和所选 Microsoft 及 Linux 虚拟机 强制实施对修补程序标准的遵从性 通过安全地修补离线虚拟机来 减少环境中的安全风险 并通过在修补和回滚前自动拍摄快照来减少停机 3 43 4 整合能力整合能力 3 4 13 4 1 一体化交换技术一体化交换技术 DCE 技术的重要目标是实现传统数据中心最大程度的资源整合 从而实现面向服务的数据中心 SODC 的最终目标 在传统数据中心中存在三种网络 使用光纤存储交换机的存储交换网络 Fiber Channel SAN 便于实现 CPU 内存资源并行化处理的高性能计算网络 多采用高带宽低延迟的 InfiniBand 技术 以及传统的数据局域网 DCE 技术将这三种网络实现在统一的传输平台上 即 DCE 将使用一种交换技术同时实现远程存储 远程并行计算处理和传统数据网络功能 这样才 能最大化的实现三种资源的整合 从而便于实现跨平台的资源调度和虚拟化服务 提高投资的有 效性 同时还降低了管理成本 比亚迪数据中心建设方案比亚迪数据中心建设方案 佳众联科技佳众联科技 Page 19 of 86 比亚迪公司业务的特点不需要超级计算功能 因此本次项目要实现存储网络和传统数据网络 的双网合一 使用 DCE 技术实现二者的一体化交换 当前在以太网上融合传统局域网和存储网络 唯一成熟技术标准是 Fiber Channel Over Ethernet 技术 FCoE 它已在标准上给出了如何把 存储网 SAN 的数据帧封装在以太网帧内进行转发的相关技术协议 由于该项技术的简单性 高效 率 经济性 目前已经形成相对成熟的包括存储厂商 网络设备厂商 主机厂商 网卡厂商的生 态链 具体的协议发布可参见 FCoE 的相关 Web Sites 本次数据中心建设将做好 FCoE 的基础设施准备 并将在下一阶段完成基于 FCoE 技术的双网 融合 3 4 23 4 2 无丢弃以太网技术无丢弃以太网技术 为保证一体化交换的实现 DCE 改变了传统以太网无连接 无保障的 Best Effort 传输行为 即保证主机在通过以太网进行磁盘读写等操作 高性能计算所要求的远程内存访问 并行处理等 操作 不会发生任何不可预料的传输失败 达到真正的 无丢包 以太网目标 DCE 在网络中以硬 件及软件的形式实现了以下技术 基于优先级类别的流控基于优先级类别的流控 Priority Priority FlowFlow Control Control 通过基于 IEEE 802 1p 类别通道的 PAUSE 功能来提供基于数据流类别的流量控制 带宽管理带宽管理 IEEE 802 1Qaz 标准定义基于 IEEE 802 1p 流量类别的带宽管理以及这些流 量的优先级别定义 拥塞管理拥塞管理 IEEE 802 1Qau 标准定义如何管理网络中 的拥塞 BCN QCN 比亚迪数据中心建设方案比亚迪数据中心建设方案 佳众联科技佳众联科技 Page 20 of 86 基于优先级类别的流控基于优先级类别的流控在 DCE 的理念中是非常重要的一环 通过它和拥塞管理拥塞管理的相互合 作 我们可以构造出 不丢包的以太网不丢包的以太网 架构 这对今天的我们来说 它的诱惑无疑是 不可阻挡的 不丢包的以太网络提供一个安全的平台 它让我们把一些以前无法安心放 置到数据网络上的重要应用能安心的应用到这个 DCE 的数据平台 带宽管理带宽管理在以太网络中提供类似于类似帧中继 Frame Relay 的带宽控制能力 它可以确 保一些重要的业务应用能获得必须的网络带宽 同时保证网络链路带宽利用的最大化 拥塞管理拥塞管理可以提供在以太网络中的各种拥塞发现和定位能力 这在非连接的网络中无疑 是一个巨大的挑战 可以说在目前的所有非连接的网络中 这是一个崭新的应用 目前 的研究方向主要集中在后向拥塞管理 BCN 和量化拥塞管理 QCN 这两个方面 3 4 33 4 3 性能支撑能力性能支撑能力 为保证实现一体化交换和资源整合 DCE 还必须对传统以太网的性能和可扩展性的进行革新 首先为保证三网合一后的带宽资源 万兆以太网技术只是 DCE 核心层带宽的起点 而正在发 展中的 40G 100G 以太网才是 DCE 技术将来的主流带宽 因此 要保证我们今天采购的设备能有 5 年以上的生命周期 就必须考虑硬件的可扩展能力 这也就是说从投资保护和工程维护的角度出 发 我们需要一个我们需要一个 100G100G 平台的硬体设备 即每个设备的槽位至少要支持平台的硬体设备 即每个设备的槽位至少要支持 100G100G 的流量 全双工每的流量 全双工每 槽位槽位 200Gbps200Gbps 只有这样才能维持该设备 5 年的生命周期 同时从经济性的角度来考虑 如果能 达到 400G 的平台是最理想的 另外存储网络和高性能计算所要求的通过网络实现的远程磁盘读写 内存同步的性能需求 DCE 设备必须提供比传统以太网设备低几个数量级的端口间转发延迟 DCE 要求的核心层的三层转 发延迟应可达到 30us 以下 接入层的二层转发延迟应可在 3 4us 以下 这都是传统以太网技术 无法实现的性能指标要求 3 4 43 4 4 智能服务的整合能力智能服务的整合能力 众所周知 应用的复杂度是在不断的提升 同时伴随着网络的融合 应用对网络的交互 可 以预见的是网络的复杂度也将不断的提升 这也印证我们的判断 应用对网络的控制将逐步增强 网络同时也在为应用而优化 比亚迪数据中心建设方案比亚迪数据中心建设方案 佳众联科技佳众联科技 Page 21 of 86 因此构建一个单业务的简单 L2 转发网络并不是网络设备的设计方向 全业务的设备和多业务全业务的设备和多业务 融合的网络融合的网络才是我们所需要的环境 那么我们需要什么样的全业务呢 很明显 Data Center Ethernet 是一个必备的项目 同时我 们至少还需要其它的基本业务属性来保障一个多业务网络的运行 如 服务质量保证QoS 访问列表控制 ACL 虚拟交换机的实现 Virtual Switch 网络流量分析 Netflow CPU 抗攻击保护CoPP 远程无人值守管理CMP 嵌入式事件管理EEM 当然 所有这些业务的实现都是在不影响转发性能的前提条件下的 失去这个大前提 多业 务的实现就变得毫无意义 所以设计一个好的产品就必须顾全多业务 融合网络这个大前提多业务 融合网络这个大前提 如何使这些复杂的业务处 理能够在高达 100G 甚至是 400G 的线路卡上获得线速处理的性能是考验一个硬件平台的重要技术 指标 最终的胜出者无疑就是能够用最小的代价来换取最大业务实现和性能的设备平台 比亚迪数据中心建设方案比亚迪数据中心建设方案 佳众联科技佳众联科技 Page 22 of 86 3 53 5 虚拟化能力虚拟化能力 DCE 对网络虚拟化不仅仅是传统意义上的 VLAN 和 VPN 为实现 SODC 的交互服务层资源调度方 式 DCE 还能够做到以下的虚拟化能力 3 5 13 5 1 服务器虚拟化服务器虚拟化 服务器虚拟化可以使上层业务应用仅仅根据自己所需的计算资源占用要求来对 CPU 内存 I O 和应用资源等实现自由调度 而无须考虑该应用所在的物理关联和位置 当前商用化最为成功 的服务器虚拟化解决方案是 VMWare 的 VMotion 系列 微软的 Virtual Server 和许多其它第三方 厂商 如 Intel AMD 等 也正在加入 使得服务器虚拟化的解决方案将越来越完善和普及 然而人们越来越意识到服务器虚拟化的系统解决方案中除了应用 主机 操作系统的角色外 网络将是一个更为至关重要的角色 网络将把各个自由联系成为一个整体 网络将是实现自由虚 拟化的桥梁 服务器虚拟化需要 DCE 能够提供以下能力 资源的整合 资源的整合 业务应用运行所依赖的物理计算环境都需要网络实现连接 然而在传统网 络中 传输数据的数据网 互连 CPU 和内存的计算网 互连存储的存储网都是孤立的 这就无法真正实现与物理无关的服务器资源调度 因此实现真正意义上彻底的服务器虚 拟化 前面提到的 DCE 三网一体化交换架构是必须的条件 网络的虚拟机意识 网络的虚拟机意识 传统网络是不具备虚拟机意识的 即在网络上传递的信息是无法区 别它是来自于哪个虚拟机 也无法在网络上根据虚拟机来提供相应的网络服务 当虚拟 机迁移 也没有相应的网络跟踪手段保证服务的全局一致性 不过这些都是 DCE 正在解 决的问题 一些 DCE 的领导厂商 比如思科 已经在推出的商用化 DCE 产品中提供了相 应的虚拟机标识机制 并且思科已经联合 VMware 等厂商将这些协议提交 IEEE 实现标准 化 虚拟机迁移的网络环境 虚拟机迁移的网络环境 服务器虚拟化是依靠虚拟机的迁移技术实现与物理资源无关的 资源共享和复用的 虚拟机迁移需要一个二层环境 这导致迁移范围被局限在传统的 VLAN 内 我们知道 Web2 0 云计算等概念都需要无处不在的数据中心 那么如何实现二 层网络的跨地域延展呢 传统的 L2 MPLS 技术太复杂 于是 IEEE 和 IETF 正在制定二层 多路径 即二层延展 的新标准 DCE 的领导厂商思科公司也提出了一种新的协议标准 Cisco Over the Top Virtualization OTV 来解决跨城域或广域网的二层延展性问题 比亚迪数据中心建设方案比亚迪数据中心建设方案 佳众联科技佳众联科技 Page 23 of 86 从而为服务器虚拟化提供可扩展的网络支撑 3 63 6 自动化自动化 自动化是 SODC 架构中上层自动优化的实现服务调用必须条件 在高度整合化和虚拟化的基础 上 服务的部署完全不需要物理上的动作 资源在虚拟化平台上可以与物理设施无关的进行分配 和整合 这样我们只需要将一定的业务策略输入给智能网络的策略服务器 一切的工作都可以按 系统自身最优化的方式进行计算 评估 决策和调配实现 现在商用的 DCE 自动化解决方案包括 管理自动化和业务部署自动化 比亚迪公司数据中心将在后续的建设中逐步完善自动化管理和自动化业务部署 但需要在本 期通过 DCE 技术的实施打下未来自动化部署的坚实基础 比亚迪数据中心建设方案比亚迪数据中心建设方案 佳众联科技佳众联科技 Page 24 of 86 第第 4 4 章章比亚迪公司无线网络接入网络结构设计 建议 比亚迪公司无线网络接入网络结构设计 建议 4 14 1 概述概述 思科无线网络产品系列是为那些希望为本身业务 IP 电话和融合多媒体应用系统广泛部署无 线覆盖的一款完整 802 11 解决方案 这款解决方案将最新的行业标准与一种集中架构和先进功能 结合起来 创建一种安全 经济有效并且极具扩展性的无线局域网 WLAN 基础设施 思科无线网 络产品系列包括规划和实施所需的工具和功能 使首次部署无线局域网 WLAN 能快捷简便的完成 也适合于企业逐步演进事先精确设计的无线移动基础设施 思科无线网络产品系列采用一种由一台或几台中央无线控制器控制和管理 瘦 接入点的集 中式无线局域网部署模式 这套系列的三个主要构件包括一个多频点接入点 AP 无线控制器 WLC 组合和一套无线管理软件系统 WCS 在整个无线移动解决方案中 每个构件均起着 重要作用 4 24 2 无线部分设计无线部分设计 通常 包括 IP 电话 无线接入设备 接入交换机等设备要正常运行的话 至少都需要两个 接口 一个上联上层设备 而另一个连接电源 两者缺一不可 在正常的网络环境 这两个必备 条件很容易满足 但对于一些必须要被安放在特殊位置 如吊顶 办公室墙壁中等 在连接到电 比亚迪数据中心建设方案比亚迪数据中心建设方案 佳众联科技佳众联科技 Page 25 of 86 源时就必须单独布线 给用户带来成本增加以及工作复杂性等问题 而 IEEE 802 3af 标准中所规 范的以太网供电技术 则使用户在网络实施时免去对电源接口的依赖 在该标准中 通过定义包括在非屏蔽的双绞线上传输 48V 的交流电等方法来构建供电设备和 用电设备 可用于已有的线缆设备 包括 3 类 5 类 5e 类或 6 类线缆 垂直和插塞式电缆 接 线板 插座和连接硬件 而不需要对设备进行修改 同时 由于在 802 3af 标准中电源设备还包 含有一种防止向不符合 802 3af 规范的设备传送电源的检测机制 只有具有认证的 Power over LAN 标志终端才能接收电源 从而防止了损坏其他设备 此外 802 3af 技术还支持点到多点的 电力分配设备 用户只需在网络核心部位配备一套 UPS 设备就可以为本地网内多种分散设备提供 电力备份 并且 802 3af 技术还提供了基于 Web 控制的 SNMP 远程访问和管理 如下拓扑图曲线所示 如下拓扑图曲线所示 厂区内部网络的各个 AP 只要 TCP IP 互通 都可用通过 IP 把分布在 厂区各个地域的 AP 注册到 AP 控制器上 无线控制器可以做到在各个厂区漫游的时候不无丢包的 切换 从而保证大厂房内部的无缝漫游 相同的 IP 话机也是需要注册到服务器上 所以也需要 在厂区各个地点的 IP 话机需要与数据中心的 call manger 服务器互通 在做接入点规划时需要考虑用户的移动性需求 一种用户在整个覆盖区域内移动时需要一直 与 WLAN 相连接 另一种用户只需要不时接入 WLAN 比如高级管理人员在不同大楼会议间歇时需 要不时查看电子邮件 第一种需求需要跨越 WLAN 的无缝漫游 此 WLAN 需要大接入点密度 而第 二种需求属于间断性的无线连接 接入点密度可以相对小一些 管理办公楼的应用情况属于第一种情况 因此应部署一定密度的无线接入点 同时通过合理 的频点规划最大程度上避免频率干扰问题 比亚迪数据中心建设方案比亚迪数据中心建设方案 佳众联科技佳众联科技 Page 26 of 86 4 34 3 无线网络性能设计无线网络性能设计 在管理办公楼部署一个能保证性能的 WLAN 并非易事 规划 WLAN 的关键是规划接入点 需要 有足够的蜂窝重叠覆盖以供漫游 并需要足够的带宽以供应用 如果无线接入点不足 最后可能 导致吞吐量出现问题 同时也会使覆盖区域零星散落 对用户的漫游和工作地点造成一定的限制 我们的网络设计均针对以下问题作出 计算吞吐量 在布署 WLAN 之前需要考虑 WLAN 最常使用的是哪种通信 是电子邮件和 Web 通信 或是对速 度要求很高的 ERP