数据中心建设架构设计

1、数据中心架构建设计方案建议书1、数据中心网络功能区分区说明1.1 功能区说明图 1：数据中心网络拓扑图数据中心网络通过防火墙和交换机等网络安全设备分隔为个功能区：互联网区、应 用服务器区、核心数据区、存储数据区、管理区和测试区。可通过在防火墙上设置 策略来灵活控制各功能区之间的访问。各功能区拓扑结构应保持基本一致，并可根 据需要新增功能区。在安全级别的设定上，互联网区最低，应用区次之，测试区等，核心数据区和存储 数据区最高。数据中心网络采用冗余设计， 实现网络设备、 线路的冗余备份以保证较高的可靠性。1.2 互联网区网络外联区位于第一道防火墙之外， 是数据中心网络的 Internet 接口，提

2、供与 Internet 高速、可靠的连接，保证客户通过 Internet 访问支付中心。根据中国南电信、北联通的网络分割现状，数据中心同时申请中国电信、中国联通各 1 条 Internet 线路。 实现自动为来访用户选择最优的网络线路， 保证优质的网络 访问服务。当 1 条线路出现故障时，所有访问自动切换到另 1 条线路，即实现线路 的冗余备份 但随着移动互联网的迅猛发展，将来一定会有中国移动接入的需求，互联区网络为 未来增加中国移动（铁通）链路接入提供了硬件准备，无需增加硬件便可以接入更 多互联网接入链路。外联区网络设备主要有：2台高性能链路负载均衡设备 F5 LC1600,此交换机不断能

3、够支持链路负载，通过DNS智能选择最佳线路给接入用户，同时确保其中一条链路发 生故障后 , 另外一条链路能够迅速接管。 互联网区使用交换机可以利用现有二层交换 机，也可以通过 VLAN方式从核心交换机上借用端口。交换机具有端口镜像功能，并且每台交换机至少保留4 个未使用端口，以便未来网络入侵检测器、网络流量分析仪等设备等接入。建议未来在此处部署应用防火墙产品，以防止黑客在应用层上对应用系统的攻击。1.3 应用服务器区网络应用服务器区位于防火墙内，主要用于放置WEB服务器、应用服务器等。所有应用服务器和 web服务器可以通过F5 BiglP1600实现服务器负载均衡。外网防火墙均应采用千兆高性能

4、防火墙。防火墙采用模块式设计，具有端口扩展能力，以满足未来扩展功能区的需要。在此区部署服务器负载均衡交换机，实现服务器的负载均衡。 也可以采用F5虚拟化版本，即无需硬件，只需要使用软件就可以象一台虚拟服务器一样，运行在vmware ESXi 上。1.4 数据库区 数据库区在物理上和应用服务器在一个位置 ,但可以通过防火墙的通过逻辑隔离 , 将 应用服务器和数据库服务器分离。实际上应用服务器和数据库服务器都是通过VMware服务器虚拟化上创建的虚拟服务器，但可以通过交换机策略将两者逻辑分开。1.5 测试区测试区主要用于软件和硬件上线前的功能和性能测试，本区主要要求网络能够 和运行系统能够有效隔离

5、，保证网络不收到测试系统影响。测试区也是通过防火墙和 VMware逻辑隔离。1.6 存储数据区存储数据区因为不需要外网直接访问， 因此可以通过网络和地址的规划完全与 IP 网 络分离。在本区部署两台IP存储阵列，一台是高性能的SAS硬盘FAS2240-2，配置24块15K600G硬盘，总容量14.4T，经过Raid后还有大约9.6T的实际存储容量。此硬盘可 以分为两部分使用，一部分用于虚拟化软件共享存储，用于存放各类虚拟机的数据 和用户数据库数据，大约分配3.6T。另外一部分用于存储应用软件的存储的用户数据，此类数据主要存放活跃数据，大约6T。另外一台存储使用高容量 SATA存储，配置24块3

6、000G硬盘，总共72T存储容量，经过 Raid 后，实际存储容量为 48T在此处配置一台F5文件虚拟化管理系统 ARX50Q用于调度存储阵列内的文件调度。当目前存储容量不足之后，可以随时增加存储容量，这时的存储可以采用更为便宜的基于 Windows storage 的存储系统。1.7 办公管理区办公区通过VPN与数据中心互联，保证管理人员能够在办公室对数据中心的有效管 理2、服务器虚拟化设计方案2.1 、方案拓扑设计2.3 系统设计描述在整个架构中，我们搭建了两个网络：一个是作为生产网络（根据实际应用可以划分多个VLAN,另外一个作为虚拟中心管理网络和虚拟机动态迁移VMotion网络。另外根

7、据实际的网络环境，结合实际生产环境中的要求，将网卡分别设置在不 同的网段上。使用新购置服务器作为 ESX虚拟服务器，另外可以利用旧的1台服务器作为VMware Virtual Center 管理中心。将数据库服务器和应用服务器部署在三台 ESX 虚拟服务器上，利用 VMWare/Motion功能，使得数据库服务器在 ESX虚拟服务器硬 件环境出现问题的情况下，能够自动的迁移到另一台ESX虚拟服务器上运行，不会因为硬件环境出现的问题而导致应用服务停止运作，保证了业务连续性。再利用VMWare VCB技术，定时针对应用系统做备份，当应用系统出现损坏的情况下，可以 在最短的时间内，恢复到健康的应用系

8、统生产环境。使用 VMware High Availability 功能在整个虚拟化 IT 环境中提供高可用性， 而没有传统群集解决方案的成本或复杂性。VMware HA 可为在虚拟机中运行的任何应用程序提供经济高效的高可用性解决方案，而不需要考虑其应用操作系统设置或 应用系统基础硬件配置。 VMware HA 不需要专门的备用硬件和附加软件支持。同时，VMWare系统提供 VMWare HA VMWare VMotion、VMWare DRS勺系统资源高可用与自动资源调节能力，可自动平衡应用间对CPU内存的资源分配，保证应用系统维持在最佳运行状态。VMWar高可用特性，可彻底保证用户关键性应

9、用系统不间断运行。若实施VMWare高可用架构，要求虚拟化应用系统必须接入 SAN存储区域以作数据存储共享设置利用原有两台服务器，一台作为 VMwareVirtualCenter 服务器，管理整个虚拟 化数据中心系统。在存储方面，采用万兆以太网接入的IPSAN存储，具有保障企业级业务持续性的多种特性，包括热插拔冗余硬件、热备份硬盘、多路经故障切换、快照、克隆、 本地/ 远程镜像和非破坏性固件升级等。3、F5 链路负载均衡问题的提出通常用户系统结构设计图如下：链路单点故障在系统原有系统结构中，采用单条链路接入，一个或多个DNS服务器，这些服务器对于同一个域名均解析为同一个地址。在该种网络结构之中

10、，无论主机系统、网络系统的规划有多么完美 , 完全的排 除了应用瓶颈和单点故障 , 都还存在一个非常明显的单点故障 , 就是国际网络接入 部分的方案不够完整 , 一旦国际网络接入部分出现中断就直接意味着所有应用的中 断。Internet 用户访问快慢差异随着国内最大的 Internet 接入提供商 Chinanet 被拆分为北方 China Netcom 和 南方 China Telecom 之后，两方资源的互访受到了很大程度的影响。其出现的根本原因为南北网络的互通互联接点拥塞，造成用户丢包、延迟较大，从而导致访问缓 慢，甚至对于一些应用根本无法访问。以下是一张在真实环境下的实测数据表:测试项

11、目网通北京用户访问ADSL广东电信用户网通北京ADSL用户访问上海ADSL宽带用户访问访问，:户宽带用DNS Result202.xxx.xxx.2219.xxx.xxx.202.xxx.xxx.219.xxx.xx0911209x.11网通电信网通电信网通电信网通电信Number of hits:726947652471935Requests per1.201.150.071.270.870.780.320.5Second8Socket Conn ects737057753482036Total Bytes14.1913.470.9614.9613.6112.233.877.0Sen t (

12、in KB)3Bytes Sent Rate0.240.220.020.250.230.200.060.1(in KB/s)2Total Bytes4148.24001.256.54388.3019.2703.21.7339.Recv (in KB)490854942683Bytes Recv Rate69.1266.684.2873.1250.3245.050.360.6(in KB/s)6表中可以看出，对于同一个站点，一个用户分别从两条线路进行访问，得出的 访问速度差异是非常大的。最大的差值在广东电信分别访问站点的两条线路，其速 度差异接近20倍。有效解决链路单点故障及为南北不同用户提供相

13、同服务质量的需求与日俱增。对于一个运行关键业务的网站来说，为用户供24*7不间段的业务，并保持用户的访问速度和访问的成功率非常重要。F5提供的最佳解决方案使用F5公司的LinkControl多链路设计结构图：网络出口结构建议我们建议采用一对 F5 Link controller 设备接在两个出口链路处，实现由内向 外和由外向内的出入站流量负载均衡。 由外向内的 inbound 访问的智能性， 通过 Linkcontroller 提供的智能DNS解析功能，实现对两条链路的负载均衡。Link controller 可以通过实时监控两条链路的负载状况及其健康状况，也可以根据当前链路的负载 情况， 用

14、户所处的位置 ip 地址或用户的特殊要求进行相应域名解析， 指引用户从最 快的、最好的、最近的路径访问到企业的站点。 这里我们建议采用静态负载 (Topology ) 和动态负载(RTT相结合的方式，使得方案更能满足客户是实际需求，当用户是来 自国内的用户，在F5设备的Class中能查到它是来自哪家运营商的地址，这时F5的设备将采用静态的算法给用户端一条最快的链路，如果 用户不是来自国内， 是来自国外的用户，F5设备将采用动态算法(RTT,去探测用户的LDNS 然后算出 来一个最佳路径并提供给用户， 这样从用户端， 不论是来自国内还是来自国外的 用户都能得到一条最佳的路径来访问用户企业网站。用

15、户在进行由内向外的 outbound 访问时，由 F5 Link controller 提供智能的 链路选择，实现对两条链路的负载均衡。F5 LC可以通过实时监控两条链路的负载状况及其健康状况来保证链路的高可用性，同时可以根据当前链路的负载情况，用 户想要访问的 IP 地址等信息进行链路选择，指引用户从最快的、最好的、最近的路 径访问INTERNET另外考虑到带宽等，我们可以在F5 LC上通过添加策略来实现指定用户走指定链路，只有当此链路出问题时会自动切换到其他好的链路上。方案特点：1、从整体结构上来看，对入站链路选择进行了优化，解决了服务器互访慢的问题，使得web服务提高了响应速度，由于链路

16、的优化 从而改善了这些服务的的响应速度，国内用户和国外用户通过 F5 设备 的均衡最终能得到一个相对最佳的链路， 保证了内部服务从外网访问能 通过一条最快的链路，大大提升了网络响应速度2、采用F5的LC,同时也解决了出站时的链路优化和当其中某个 链路中断时， 自动切换到其他的链路上去的功能， 另外在 BIGIP 上设 置不同网段的链路选择, 如： 可以将一段地址网络只走某一条链路, 其他的地址走另外的链路, 当此链路中断时, BIGIP 把所有流量切换 到好的链路上。3、另外F5 LC还同时具备服务器负载均衡的能力， 可以解决企业 原有的服务器性能不足的问题。技术实现原理出站连接为了向企业用户

17、访问互联网资源时提供高可性，LC使用default gateway pool和SNAT（安全网络地址转换）将流量动态导向最佳链路。Default gateway pool包含了多个网关，F5 LC将根据负载均衡算法选择一个最优网关，将当前数据发送到 该网关，从而发送到对应ISPo SNAT提供了一个安全机制，可将不能路由内部地址 转换为可路由的地址，并将流量导向合适的上游网关路由器。利用LC的智能流量管理功能，可替代防火墙的 NAT功能，并保证流量可以通过与 WAN或互联网的最佳连 接往返发送。 另外LC可以利用rules功能实现类似策略路由的功能，LC可以根据数据源地址或目的地址来选择路径，

18、从而实现outbound流量的最优链路选择，避免 针对某些链路的站点收费问题。入站连接为了保证用户可以在 24*7并且提高用户的访问速度，LC可以通过智能DNS解 析功能，动态选择最佳链路，将外部用户导向驻留在站点中的资源。LC上可以配置多个 VLAN分别绑定多个ISP服务商的公网地址，解析来自互联 网用户的地址解析请求。后台服务器则由LC做成集群和虚拟化成针对ISP A的虚拟服务器 Virtual Server 1 和ISP B的虚拟服务器 Virtual Server 2，这样对于每个用户到来的请求，LC都会分别检测后台服务器的状态并选择最佳的链路提供服 釦达到用户的就近性访问及服务器的负

19、载均衡。LC在回应客户的DNS解析请求时，可以采用15种动态或者静态的决策方法中的任何一种方法并检测链路的实际状态 将复合客户要求的最佳状态的链路的服务器公网地址返回给客户端，从而达到多链路动态负载均衡的效果。技术实现原理讲解链路的健康检查如何有效地确定链路以及提供对外服务的服务器、应用、内容的状态，是提高系统可靠性的关键。BIGIP link con troller利用其独到的、高效的“健康检测”手多种服务器状态监测手段?服务器(Node) - Pi ng(ICMP)段，识别服务器、应用、内容的状态。它们包括L2L3的icmp检查，L4的tcp/udpport检查，L7的ECV检查和用户可以

20、任意定制的 EAV检查等多种方法。扩展内容查证 (ECV: Extended Content Verification)ECV是一种非常复杂的服务检查，主要用于确认应用程序能否对请求返回对应 的数据。如果一个应用对该服务检查作出响应并返回对应的数据，则 BIGIP 控制器 将该服务器标识为工作良好。如果服务器不能返回相应的数据，则将该服务器标识 为宕机。宕机一旦修复， BIGIP 就会自动查证应用已能对客户请求作出正确响应并 恢复向该服务器传送。该功能使BIGIP可以将保护延伸到后端应用如Web内容及数据库。BIGIP的ECV功能允许您向 Web服务器、防火墙、缓存服务器、代理服务器 和其它透

21、明设备发送查询，然后检查返回的响应。这将有助于确认您为客户提供的 内容正是其所需要的。依据链路健康状态和流量来均衡处理DNS 解析在确定了 ISP 接入链路的连通状态后， linkcontroller 可以根据 ISP 链路的 实际流量，链路品质等因素来进行智能的 DNS解析处理，如果出现某ISP链路中断 的情况， 在确认后及时的改变 DNSS析的内容， 将中断链路的IP地址从DNS解 析列表中删除， 保证解析出的地址都一定是可以访问得到的可用地址。系统切换时间在采用DNS实现链路切换时，系统的切换时间主要取决于每个域名的TTL时间设置。在 LinkControlLocalDNS 得到域名解析

22、纪录后，将在本地在 TTL 设定时间内 将该域名解析对应纪录进行 Cache,在Cache期间所有到该LocalDNS上进行域名解析的用户均将获得该纪录。在TTL时间timeout之后，如果有用户到LocalDNS上请求解析，则此LocalDNS将重新发起一次请求到LinkController上获得相应纪录。因此，当单条线路出现故障时， LinkController 将在系统定义的检查间隔（该 时间可自行定义）内检查到线路的故障，并只解析正常的线路侧地址。但此时在 LocalDNS上可能还有未过时的 Cache纪录。在TTL时间timeout之后，该LocalDNS 重新发起请求的时候就将从

23、LinkController 上获得正确的解析， 从而引导用户通过 正常的线路进行访问。系统检测间隔加上TTL时间之和则为系统切换的最长时间。通常，系统检测间隔设置为 60秒，而TTL时间设置为600秒，所以系统切换的整体 时间为 11 分钟。LinkController替代现有的DNS服务器LinkController在实现双链路时的Inbound流量时，要求将DNS的最终解析权交由 LinkControllerp 完成，建议将站点的所有域名解析均放置到 LinkController 上进行解析， 优点是可以充分利用 LinkController 的动态用户引导和强大的图形化 管理界面。注册

24、多一个NS记录LinkController 取代现在DNS服务器后，需在上一级DNS服务器中添加一个新 的NS记录，即指向新增加链路中的 LinkController 的IP地址。这样，对应一个域 名，将产生两个不同ISP的NS记录。4、F5 服务器负载均衡针对系统中不同的服务器以及不同的应用特点，要选择不同的负载均衡算法以 及其它策略来实现智能的流量分配。服务器负载均衡包括两个方面， 其一是将用户访问流量均衡分配到各台服务器， 使服务器资源得到充分利用，提高服务器群整体的性能；其二是对服务器节点的健 康检查，保证流量被负载均衡到正常工作的服务器。对于本系统中用到的服务器集群， BIGIP 可

25、以运用多种静态或动态的负载均衡算法，来实现智能分配负载，确保客户最大限度发挥其服务器投资价值。同时，BIGIP可以利用EAV/ECV（扩展应用查证/扩展内容查证）等精确的检测方法监视服务器的 可用性和性能，将用户的请求导向到集群中最符合要求的服务器，当某台服务器故 障时，能从集群中被隔离出来，直到故障服务器恢复后自动加入服务器集群，不影 响用胡的正常访问，从而实现服务器的负载均衡及冗余特性。同时，BIGIP 可利用其会话保持功能 cookie insert 方式配合特别的会话同步机制在服务器故障时进行 智能的流量分配和处理，保证用户访问的持续性和完整性。对于系统中用到的 Cache服务器，BI

26、GIP1500同样可以提供多种静态和动态的负 载均衡算法和精确的健康检测方法来实现智能的流量分配，保证系统的高可用性。对于Oracle数据库，BIGIP1600提供专门针对 Oracle数据库的EAV（扩展应用 查证） 健康检测方法， 在这种方式下 BIGIP3400 模拟最终用户发起对 Oracle 数据库 的访问，检测服务提供的内容的实际可用性，从而判断设备及应用运行情况，确保 关键业务资源作出正确响应。5、F5 文件虚拟化系统F5 ARX智能文件存储管理介绍F5 ARX智能文件虚拟化通过执行两个功能，突破文件存储基础架构的限制? 通过文件虚拟化分离从数据物理位置对数据的逻辑访问， 不会中

27、断业务， 并可以简化访问、移动和管理文件数据的方式。? 能够实施功能强大且易于使用的智能数据管理策略，自动完成很多存储管理任务，例如，存储分层、动态容量平衡和无中断的数据迁移等。此外，ARX通过消除厂商锁定， 允许企业自由选择最能满足他们的业务和 IT 需求的文件存储技术， 可以消除基础架构变更的很多固有障碍。通过文件虚拟化简化文件访问ARX的核心是文件虚拟化技术。文件虚拟化可以创建物理存储环境的一个逻辑摘要。这种表示层也被称为全局命名空间，可以实现对物理文件系统的简单逻 辑访问，并隐藏来自客户端的存储变更。因而，企业可以随时移动自己的数据，而 不会对用户或应用产生中断。ARX并不是向存储环境

28、中引入一个新的文件系统，而是用作一个代理来联合底层存储层中已经部署的文件系统。它使用行业标准的文件 访问协议（CIFS和NFS与客户端访问文件和提供这些文件的存储服务器进行通信。编辑本段通过自动管理策略简化数据管理原来需要手动完成的操作可以自动执行，用户和应用对此几乎毫不察觉，且不会对用户和应用造成中断。扩大现有存储投资的价值，并在三个主要方面增强 业务工作流 : 自动完成存储分层、无中断的数据迁移以及动态容量平衡自动完成存储分层F5 的存储分层功能在文件级运行，各企业能够根据特定标准（ 年龄、类型等 ）移动文件或项目而不是整个文件系统。 这样不会留下存根或指针， 从而可以消除 风险和复杂的备

29、份和恢复程序。实时策略实施功能可以自动将文件放置在合适的设 备上。动态容量平衡 实时容量平衡策略能够允许企业从现有的文件存储设备中创建更大规模的 “虚拟文件服务器” ，汇聚这些物理设备的资源 （ 容量、吞吐量和处理能力 ），并优化 应用性能。无中断的数据迁移 管理人员可以使用功能强大的策略完成多种数据迁移任务从移动整个文 件系统到各个文件。在异构存储设备间完成对于面向NFS和CIFS数据的数据迁移，也可以计划错开高峰流量时间或备份窗口，从而消除过去与数据迁移相关的故障或 业务中断。6、NETAP统一存储架构NETAPP N系列一体化网络存储系统，其产品定位涵盖面非常广，从较低端的N系列200直

30、至高端的N系列6000系列，从大型的数据中心到企业部门及远程办公室。N系列系列产品是市场上唯一能够将块数据和文件数据（NASFCoEFCSAN和IP SANMicrosoft合而为一的虚拟化存储解决方案。可以满足不同行业用户对SQL/Exchange、Oracle、SAP VMware等应用的数据存储和管理需求。可以简单的 定义N系列一体化网络存储系统是一款” all in one”的磁盘存储产品。它提供了 各种接口类型(IP和FC SAN,具有丰富的软件功能，软件覆盖了磁盘存储领域几 乎所有现在的重要领域。如快照、灾备、法规遵从存储、备份、数据生命周期存储 等等。NETAPP在业界以NAS和

31、IP SAN(iSCSI)着称，同时为那些对性能和可用性要求 苛刻的环境提供了全面、成熟的光纤通道 (FC) SAN 解决方案。通过将高性能存储 与独特的数据管理软件相结合，NETAPP可以提高关键数据的可用性，简化复杂数据管理环境，提高效率并且降低存储成本。NETAPP N系列一体化网络存储系统通过同一个硬件平台以满足NAS iSCSI和FC SAN等不同类型的存储需求，如果是其他厂商的产品，他们要实现SAN和NAS 2种存储架构一定会采用 2套独立的系统，一套 SAN存储系统，和一套NAS网关控制 器，将一部分的SAN存储空间转换为NAS存储系统，这种架构增加了系统的复杂度， SAN和 N

32、AS的存储空间也不能实现统一的管理，降低了存储空间的利用率。NETAPP络存储系统的最大的一个特点就是唯一一家真真意义上的统一架构存 储，使用单一一个存储系统控制器，就可以同时实现NAS网络存储、SAN存储、以及 iSCSI 网络存储，不需要再添加任何的附加的网关和附加的管理服务器，结构简 便可靠。同时无论是基于文件的NAS网络存储服务还是基于裸数据块的SAN以及IPSAN网络存储服务，NETAPP产品都可以提供通过第三方测试机构和现实生产环境 所证明的业界最优异的性能。这就从根本上改变了用户选择网络存储架构的模式， 用户不必再为选择何种网络存储架构去权衡利弊，可以按照实际的应用系统需求为应用

33、系统配置最适合的网络存储架构。NETAPP所有的存储系统都使用相同的结构，相同的基于NETAPP有的存储控制操作系统 Data ONTAP,具有简便相同的应用界 面和操作界面。用户可以根据应用环境需求自主方便的选择不同的网络存储架构， 在降低用户存储设备总拥有成本的基础上，最大限度地保护用户的投资。从上面的分析也可以看到，NETAPP勺产品，在SAN和NAS的实现上既有集中,也有独立，集中主要是共享一些先进的技术所带来的优势，独立主要是实现各自的 协议和接口，两种架构无所谓谁是谁的基础，或一种架构是从另外一种架构发展而 来。总之，NETAPP提供的SAN IP SAN和NAS不管从功能还是从性能上来说，都 具有明显的优势。7、产品清单服务器主机设备产品描述数量单价合计dell poweredger7102U机架式服务器，2颗4核2.4GHz in tel 至强E5620处理器，64GDDR3内存，4块256GSSD硬盘，2块万兆网卡，支持ISCSI offload和tos，冗余电源，阵列卡支持 Raid 5，双 端口万兆网卡（支持硬件 iSCSI和TOS。3服务器均衡交换设备产品描述数量单价合计F5-BIG-LTM-1600-4G-RF5 BIGIP 3600,8个千兆以太网和 2个千兆端口插槽,含服务器负载许可，三年电话