数据中心建设架构设计

数据中心架构建设计方案建议书1、数据中心网络功效分辨区阐明1.1 功效区阐明图1：数据中心网络拓扑图数据中心网络通过防火墙和交换机等网络安全设备分隔为个功效区：互联网区、应用服务器区、核心数据区、存储数据区、管理区和测试区。可通过在防火墙上设立方略来灵活控制各功效区之间的访问。各功效区拓扑构造应保持基本一致，并可根据需要新增功效区。在安全级别的设定上，互联网区最低，应用区次之，测试区等，核心数据区和存储数据区最高。数据中心网络采用冗余设计，实现网络设备、线路的冗余备份以确保较高的可靠性。1.2 互联网区网络外联区位于第一道防火墙之外，是数据中心网络的Internet接口，提供与Internet高速、可靠的连接，确保客户通过Internet访问支付中心。根据中国南电信、北联通的网络分割现状，数据中心同时申请中国电信、中国联通各1条Internet线路。实现自动为来访顾客选择最优的网络线路，确保优质的网络访问服务。当1条线路出现故障时，全部访问自动切换到另1条线路，即实现线路的冗余备份。但随着移动互联网的迅猛发展，将来一定会有中国移动接入的需求，互联区网络为将来增加中国移动（铁通）链路接入提供了硬件准备，无需增加硬件便能够接入更多互联网接入链路。外联区网络设备重要有：2台高性能链路负载均衡设备F5LC1600，此交换机不停能够支持链路负载,通过DNS智能选择最佳线路给接入顾客,同时确保其中一条链路发生故障后,另外一条链路能够快速接管。互联网区使用交换机能够运用现有二层交换机，也能够通过VLAN方式从核心交换机上借用端口。交换机含有端口镜像功效，并且每台交换机最少保存4个未使用端口，方便将来网络入侵检测器、网络流量分析仪等设备等接入。建议将来在此处布署应用防火墙产品，以避免黑客在应用层上对应用系统的攻击。1.3 应用服务器区网络应用服务器区位于防火墙内，重要用于放置WEB服务器、应用服务器等。全部应用服务器和web服务器能够通过F5BigIP1600实现服务器负载均衡。外网防火墙均应采用千兆高性能防火墙。防火墙采用模块式设计，含有端口扩展能力，以满足将来扩展功效区的需要。在此区布署服务器负载均衡交换机，实现服务器的负载均衡。也能够采用F5虚拟化版本，即无需硬件，只需要使用软件就能够象一台虚拟服务器同样，运行在vmwareESXi上。1.4 数据库区数据库区在物理上和应用服务器在一种位置,但能够通过防火墙的通过逻辑隔离,将应用服务器和数据库服务器分离。事实上应用服务器和数据库服务器都是通过VMware服务器虚拟化上创立的虚拟服务器，但能够通过交换机方略将两者逻辑分开。1.5 测试区测试区重要用于软件和硬件上线前的功效和性能测试，本区重要规定网络能够和运行系统能够有效隔离，确保网络不收到测试系统影响。测试区也是通过防火墙和VMware逻辑隔离。1.6 存储数据区存储数据区由于不需要外网直接访问，因此能够通过网络和地址的规划完全与IP网络分离。在本区布署两台IP存储阵列，一台是高性能的SAS硬盘FAS2240-2，配备24块15K600G硬盘，总容量14.4T，通过Raid后尚有大概9.6T的实际存储容量。此硬盘能够分为两部分使用，一部分用于虚拟化软件共享存储，用于寄存各类虚拟机的数据和顾客数据库数据，大概分派3.6T。另外一部分用于存储应用软件的存储的顾客数据，这类数据重要寄存活跃数据，大概6T。另外一台存储使用高容量SATA存储，配备24块3000G硬盘，总共72T存储容量，通过Raid后，实际存储容量为48T。在此处配备一台F5文献虚拟化管理系统ARX500，用于调度存储阵列内的文献调度。当现在存储容量局限性之后，能够随时增加存储容量，这时的存储能够采用更为便宜的基于Windowsstorage的存储系统。1.7 办公管理区办公区通过VPN与数据中心互联，确保管理人员能够在办公室对数据中心的有效管理2、服务器虚拟化设计方案2.1、方案拓扑设计2.3系统设计描述在整个架构中，我们搭建了两个网络：一种是作为生产网络（根据实际应用能够划分多个VLAN），另外一种作为虚拟中心管理网络和虚拟机动态迁移VMotion网络。另外根据实际的网络环境，结合实际生产环境中的规定，将网卡分别设立在不同的网段上。使用新购置服务器作为ESX虚拟服务器，另外能够运用旧的1台服务器作为VMwareVirtualCenter管理中心。将数据库服务器和应用服务器布署在三台ESX虚拟服务器上，运用VMWareVMotion功效，使得数据库服务器在ESX虚拟服务器硬件环境出现问题的状况下，能够自动的迁移到另一台ESX虚拟服务器上运行，不会由于硬件环境出现的问题而造成应用服务停止运作，确保了业务持续性。再运用VMWareVCB技术，定时针对应用系统做备份，当应用系统出现损坏的状况下，能够在最短的时间内，恢复到健康的应用系统生产环境。使用VMwareHighAvailability功效在整个虚拟化IT环境中提供HYPERLINK高可用性，而没有传统群集解决方案的成本或复杂性。VMwareHA可为在虚拟机中运行的任何应用程序提供经济高效的高可用性解决方案，而不需要考虑其应用操作系统设立或应用系统基础硬件配备。VMwareHA不需要专门的备用硬件和附加软件支持。同时，VMWare系统提供VMWareHA、VMWareVMotion、VMWareDRS的系统资源高可用与自动资源调节能力，可自动平衡应用间对CPU、内存的资源分派，确保应用系统维持在最佳运行状态。VMWare高可用特性，可彻底确保顾客核心性应用系统不间断运行。若实施VMWare高可用架构，规定虚拟化应用系统必须接入SAN存储区域以作数据存储共享设立。运用原有两台服务器，一台作为VMwareVirtualCenter服务器，管理整个虚拟化数据中心系统。在存储方面，采用万兆以太网接入的IPSAN存储，含有保障公司级业务持续性的多个特性，涉及热插拔冗余硬件、热备份硬盘、多路经故障切换、快照、克隆、本地/远程镜像和非破坏性固件升级等。3、F5链路负载均衡问题的提出普通顾客系统构造设计图以下：链路单点故障在系统原有系统构造中，采用单条链路接入，一种或多个DNS服务器，这些服务器对于同一种域名均解析为同一种地址。在该种网络构造之中，无论主机系统、网络系统的规划有多么完美,完全的排除了应用瓶颈和单点故障,都还存在一种非常明显的单点故障,就是国际网络接入部分的方案不够完整,一旦国际网络接入部分出现中断就直接意味着全部应用的中断。Internet顾客访问快慢差别随着国内最大的Internet接入提供商Chinanet被拆分为北方ChinaNetcom和南方ChinaTelecom之后，两方资源的互访受到了很大程度的影响。其出现的根本因素为南北网络的互通互联接点拥塞，造成顾客丢包、延迟较大，从而造成访问缓慢，甚至对于某些应用根本无法访问。下列是一张在真实环境下的实测数据表：测试项目网通北京ADSL顾客访问广东电信顾客访问，宽带顾客网通北京ADSL顾客访问上海ADSL宽带顾客访问DNSResult202.xxx.xxx.209219.xxx.xxx.11202.xxx.xxx.209219.xxx.xxx.11网通电信网通电信网通电信网通电信Numberofhits:726947652471935RequestsperSecond1.201.150.071.270.870.780.320.58SocketConnects737057753482036TotalBytesSent(inKB)14.1913.470.9614.9613.6112.233.877.03BytesSentRate(inKB/s)0.240.220.020.250.230.200.060.12TotalBytesRecv(inKB)4148.244001.90256.584388.543019.942703.2621.7339.83BytesRecvRate(inKB/s)69.1266.684.2873.1250.3245.050.360.66表中能够看出，对于同一种站点，一种顾客分别从两条线路进行访问，得出的访问速度差别是非常大的。最大的差值在广东电信分别访问站点的两条线路，其速度差别靠近20倍。有效解决链路单点故障及为南北不同顾客提供相似服务质量的需求与日俱增。对于一种运行核心业务的网站来说，为顾客供24*7不间段的业务，并保持顾客的访问速度和访问的成功率非常重要。F5提供的最佳解决方案使用F5公司的LinkControl多链路设计构造图：网络出口构造建议我们建议采用一对F5Linkcontroller设备接在两个出口链路处，实现由内向外和由外向内的出入站流量负载均衡。由外向内的inbound访问的智能性，通过Linkcontroller提供的智能DNS解析功效，实现对两条链路的负载均衡。Linkcontroller能够通过实时监控两条链路的负载状况及其健康状况，也能够根据现在链路的负载状况，顾客所处的位置ip地址或顾客的特殊规定进行对应域名解析，指导顾客从最快的、最佳的、近来的途径访问到公司的站点。这里我们建议采用静态负载（Topology）和动态负载（RTT）相结合的方式，使得方案更能满足客户是实际需求，当顾客是来自国内的顾客，在F5设备的Class中能查到它是来自哪家运行商的地址，这时F5的设备将采用静态的算法给顾客端一条最快的链路，如果顾客不是来自国内，是来自国外的顾客，F5设备将采用动态算法（RTT），去探测顾客的LDNS，然后算出来一种最佳途径并提供应顾客，这样从顾客端，不管是来自国内还是来自国外的顾客都能得到一条最佳的途径来访问顾客公司网站。顾客在进行由内向外的outbound访问时，由F5Linkcontroller提供智能的链路选择，实现对两条链路的负载均衡。F5LC能够通过实时监控两条链路的负载状况及其健康状况来确保链路的高可用性，同时能够根据现在链路的负载状况，顾客想要访问的IP地址等信息进行链路选择，指导顾客从最快的、最佳的、近来的途径访问INTERNET，另外考虑到带宽等，我们能够在F5LC上通过添加方略来实现指定顾客走指定链路，只有当此链路出问题时会自动切换到其它好的链路上。方案特点：从整体构造上来看，对入站链路选择进行了优化，解决了服务器互访慢的问题，使得web服务提高了响应速度，由于链路的优化从而改善了这些服务的的响应速度，国内顾客和国外顾客通过F5设备的均衡最后能得到一种相对最佳的链路，确保了内部服务从外网访问能通过一条最快的链路，大大提高了网络响应速度采用F5的LC，同时也解决了出站时的链路优化和当其中某个链路中断时，自动切换到其它的链路上去的功效，另外在BIGIP上设立不同网段的链路选择，如：能够将一段地址网络只走某一条链路，其它的地址走另外的链路，当此链路中断时，BIGIP把全部流量切换到好的链路上。另外F5LC还同时含有服务器负载均衡的能力，能够解决公司原有的服务器性能局限性的问题。技术实现原理出站连接为了向公司顾客访问互联网资源时提供高可性，LC使用defaultgatewaypool和SNAT（安全网络地址转换）将流量动态导向最佳链路。Defaultgatewaypool包含了多个网关，F5LC将根据负载均衡算法选择一种最优网关，将现在数据发送到该网关，从而发送到对应ISP。SNAT提供了一种安全机制，可将不能路由内部地址转换为可路由的地址，并将流量导向适宜的上游网关路由器。运用LC的智能流量管理功效，可替代防火墙的NAT功效，并确保流量能够通过与WAN或互联网的最佳连接来回发送。另外LC能够运用rules功效实现类似方略路由的功效，LC能够根据数据源地址或目的地址来选择途径，从而实现outbound流量的最优链路选择，避免针对某些链路的站点收费问题。入站连接为了确保顾客能够在24*7并且提高顾客的访问速度，LC能够通过智能DNS解析功效，动态选择最佳链路，将外部顾客导向驻留在站点中的资源。LC上能够配备多个VLAN，分别绑定多个ISP服务商的公网地址,解析来自互联网顾客的地址解析请求。后台服务器则由LC做成集群和虚拟化成针对ISPA的虚拟服务器VirtualServer1和ISPB的虚拟服务器VirtualServer2，这样对于每个顾客到来的请求,LC都会分别检测后台服务器的状态并选择最佳的链路提供服务,达成顾客的就近性访问及服务器的负载均衡。LC在回应客户的DNS解析请求时,能够采用15种动态或者静态的决策办法中的任何一种办法并检测链路的实际状态将复合客户规定的最佳状态的链路的服务器公网地址返回给客户端,从而达成多链路动态负载均衡的效果。技术实现原理解说链路的健康检查多个服务器状态监测手段?服务器(Node)-Ping(ICMP)?服务(Port)-Connect?扩展的应用验证多个服务器状态监测手段?服务器(Node)-Ping(ICMP)?服务(Port)-Connect?扩展的应用验证(EAV)?扩展的内容验证(ECV)?频度,e.g.10seconds?响应,e.g.5seconds扩展内容查证(ECV:ExtendedContentVerification)ECV是一种非常复杂的服务检查，重要用于确认应用程序能否对请求返回对应的数据。如果一种应用对该服务检查作出响应并返回对应的数据，则BIGIP控制器将该服务器标记为工作良好。如果服务器不能返回对应的数据，则将该服务器标记为宕机。宕机一旦修复，BIGIP就会自动查证应用已能对客户请求作出对的响应并恢复向该服务器传送。该功效使BIGIP能够将保护延伸到后端应用如Web内容及数据库。BIGIP的ECV功效允许您向Web服务器、防火墙、缓存服务器、代理服务器和其它透明设备发送查询，然后检查返回的响应。这将有助于确认您为客户提供的内容正是其所需要的。根据链路健康状态和流量来均衡解决DNS解析在拟定了ISP接入链路的连通状态后，linkcontroller能够根据ISP链路的实际流量，链路品质等因素来进行智能的DNS解析解决，如果出现某ISP链路中断的状况，在确认后及时的变化DNS解析的内容，将中断链路的IP地址从DNS解析列表中删除，确保解析出的地址都一定是能够访问得到的可用地址。系统切换时间在采用DNS实现链路切换时，系统的切换时间重要取决于每个域名的TTL时间设立。在LinkControlLocalDNS得到域名解析纪录后，将在本地在TTL设定时间内将该域名解析对应纪录进行Cache，在Cache期间全部到该LocalDNS上进行域名解析的顾客均将获得该纪录。在TTL时间timeout之后，如果有顾客到LocalDNS上请求解析，则此LocalDNS将重新发起一次请求到LinkController上获得对应纪录。因此，当单条线路出现故障时，LinkController将在系统定义的检查间隔（该时间可自行定义）内检查到线路的故障，并只解析正常的线路侧地址。但此时在LocalDNS上可能尚有未过时的Cache纪录。在TTL时间timeout之后，该LocalDNS重新发起请求的时候就将从LinkController上获得对的的解析，从而引导顾客通过正常的线路进行访问。系统检测间隔加上TTL时间之和则为系统切换的最长时间。普通，系统检测间隔设立为60秒，而TTL时间设立为600秒，因此系统切换的整体时间为11分钟。LinkController替代现有的DNS服务器LinkController在实现双链路时的Inbound流量时，规定将DNS的最后解析权交由LinkControllerp完毕，建议将站点的全部域名解析均放置到LinkController上进行解析，优点是能够充足运用LinkController的动态顾客引导和强大的图形化管理界面。注册多一种NS统计LinkController取代现在DNS服务器后，需在上一级DNS服务器中添加一种新的NS统计，即指向新增加链路中的LinkController的IP地址。这样，对应一种域名，将产生两个不同ISP的NS统计。4、F5服务器负载均衡针对系统中不同的服务器以及不同的应用特点，要选择不同的负载均衡算法以及其它方略来实现智能的流量分派。服务器负载均衡涉及两个方面，其一是将顾客访问流量均衡分派到各台服务器，使服务器资源得到充足运用，提高服务器群整体的性能；其二是对服务器节点的健康检查，确保流量被负载均衡到正常工作的服务器。对于本系统中用到的服务器集群，BIGIP能够运用多个静态或动态的负载均衡算法，来实现智能分派负载，确保客户最大程度发挥其服务器投资价值。同时，BIGIP能够运用EAV/ECV（扩展应用查证/扩展内容查证）等精确的检测办法监视服务器的可用性和性能，将顾客的请求导向到集群中最符合规定的服务器，当某台服务器故障时，能从集群中被隔离出来，直到故障服务器恢复后自动加入服务器集群，不影响用胡的正常访问，从而实现服务器的负载均衡及冗余特性。同时，BIGIP可运用其会话保持功效cookieinsert方式配合特别的会话同时机制在服务器故障时进行智能的流量分派和解决，确保顾客访问的持续性和完整性。对于系统中用到的Cache服务器，BIGIP1500同样能够提供多个静态和动态的负载均衡算法和精确的健康检测办法来实现智能的流量分派，确保系统的高可用性。对于Oracle数据库，BIGIP1600提供专门针对Oracle数据库的EAV（扩展应用查证）健康检测办法，在这种方式下BIGIP3400模拟最后顾客发起对Oracle数据库的访问，检测服务提供的内容的实际可用性，从而判断设备及应用运行状况，确保核心业务资源作出对的响应。5、F5文献虚拟化系统F5ARX智能文献存储管理介绍F5ARX智能文献虚拟化通过执行两个功效，突破文献存储基础架构的限制:?通过文献虚拟化分离从数据物理位置对数据的逻辑访问，不会中断业务，并能够简化访问、移动和管理文献数据的方式。?能够实施功效强大且易于使用的智能数据管理方略，自动完毕诸多存储管理任务，例如，存储分层、动态容量平衡和无中断的数据迁移等。另外，ARX通过消除厂商锁定，允许公司自由选择最能满足他们的业务和IT需求的文献存储技术，能够消除基础架构变更的诸多固有障碍。通过文献虚拟化简化文献访问ARX的核心是文献虚拟化技术。文献虚拟化能够创立物理存储环境的一种逻辑摘要。这种表达层也被称为全局命名空间，能够实现对物理文献系统的简朴逻辑访问，并隐藏来自客户端的存储变更。因而，公司能够随时移动自己的数据，而不会对顾客或应用产生中断。ARX并不是向存储环境中引入一种新的文献系统，而是用作一种代理来联合底层存储层中已经布署的文献系统。它使用行业原则的文献访问合同(CIFS和NFS)与客户端访问文献和提供这些文献的存储服务器进行通信。编辑本段通过自动管理方略简化数据管理原来需要手动完毕的操作能够自动执行，顾客和应用对此几乎毫不察觉，且不会对顾客和应用造成中断。扩大现有存储投资的价值，并在三个重要方面增强业务工作流:自动完毕存储分层、无中断的数据迁移以及动态容量平衡。自动完毕存储分层F5的存储分层功效在文献级运行，各公司能够根据特定原则(年纪、类型等)移动文献或项目而不是整个文献系统。这样不会留下存根或指针，从而能够消除风险和复杂的备份和恢复程序。实时方略实施功效能够自动将文献放置在适宜的设备上。动态容量平衡实时容量平衡方略能够允许公司从现有的文献存储设备中创立更大规模的“虚拟文献服务器”，汇聚这些物理设备的资源(容量、吞吐量和解决能力)，并优化应用性能。无中断的数据迁移管理人员能够使用功效强大的方略完毕多个数据迁移任务—从移动整个文献系统到各个文献。在异构存储设备间完毕对于面对NFS和CIFS数据的数据迁移，也能够计划错开高峰流量时间或备份窗口，从而消除过去与数据迁移有关的故障或业务中断。6、 NETAPP统一存储架构NETAPPN系列一体化网络存储系统，其产品定位涵盖面非常广，从较低端的N系列200直至高端的N系列6000系列，从大型的数据中心到公司部门及远程办公室。N系列系列产品是市场上唯一能够将块数据和文献数据（NAS、FCoE、FCSAN和IPSAN）合而为一的虚拟化存储解决方案。能够满足不同行业顾客对MicrosoftSQL/Exchange、Oracle、SAP、VMware等应用的数据存储和管理需求。能够简朴的定义N系列一体化网络存储系统是一款”allinone”的磁盘存储产品。它提供了多个接口类型（IP和FCSAN），含有丰富的软件功效，软件覆盖了磁盘存储领域几乎全部现在的重要领域。如快照、灾备、法规遵从存储、备份、数据生命周期存储等等。NETAPP在业界以NAS和IPSAN(iSCSI)着称，同时为那些对性能和可用性规定苛刻的环境提供了全方面、成熟的光纤通道(FC)SAN解决方案。通过将高性能存储与独特的数据管理软件相结合，NETAPP能够提高核心数据的可用性，简化复杂数据管理环境，提高效率并且减少存储成本。NETAPPN系列一体化网络存储系统通过同一种硬件平台以满足NAS，iSCSI和FCSAN等不同类型的存储需求，如果是其它厂商的产品，他们要实现SAN和NAS2种存储架构一定会采用2套独立的系统，一套SAN存储系统，和一套NAS网关控制器，将一部分的SAN存储空间转换为NAS存储系统，这种架构增加了系统的复杂度，SAN和NAS的存储空间也不能实现统一的管理，减少了存储空间的运用率。NETAPP网络存储系统的最大的一种特点就是唯一一家真真意义上的统一架构存储，使用单一一种存储系统控制器，就能够同时实现NAS网络存储、SAN存储、以及iSCSI网络存储，不需要再添加任何的附加的网关和附加的管理服务器，构造简便可靠。同时无论是基于文献的NAS网络存储服务还是基于裸数据块的SAN以及IPSAN网络存储服务，NETAPP的产品都能够提供通过第三方测试机构和现实生产环境所证明的业界最优秀的性能。这就从根本上变化了顾客选择网络存储架构的模式，顾客不必再为选择何种网络存储架构去权衡利弊，能够按照实际的应用系统需求为应用系统配备最适合的网络存储架构。NETAPP的全部的存储系统都使用相似的构造，相似的基于NETAPP专有的存储控制操作系统DataONTAP，含有简便相似的应用界面和操作界面。顾客能够根据应用环境需求自主方便的选择不同的网络存储架构，在减少顾客存储设备总拥有成本的基础上，最大程度地保护顾客的投资。从上面的分析也能够看到，NETAPP的产品，在SAN和NAS的实现上现有集中，也有独立，集中重要是共享某些先进的技术所带来的优势，独立重要是实现各自的合同和接口，两种架构无所谓谁是谁的基础，或一种架构是从另外一种架构发展而来。总之，NETAPP所提供的SAN、IPSAN和NAS不管从功效还是从性能上来说，都含有明显的优势。7、产品清单服务器主机设备产品描述数量单价累计dellpoweredger7102U机架式服务器，2颗4核2.4GHzintel至强E5620解决器，64GDDR3内存，4块256GSSD硬盘，2块万兆网卡，支持ISCSIoffload和tos，冗余电源，阵列卡支持Raid5，双端口万兆网卡（支持硬件iSCSI和TOS）。3服务器均衡交换机设备产品描述数量单价累计F5-BIG-LTM-1600-4G-RF5BIGIP3600,8个千兆以太网和2个千兆端口插槽,含服务器负载许可，三年电话支持和三年免费软件升级21500003