F5-GTM-解决方案建议书.doc

GTM解决方案建议书GTM解决方案建议书目录1.前言22.用户现状23.用户需求24.方案设计35.设计原则36.方案说明37.技术说明：71)GTM分配算法及运行机制7a)RTT算法运行机制：7b)地理分布算法8c)全球可用性算法92)链路健康检查机制93)系统切换时间104)服务器负载均衡105)GTM与现有系统的融合12a)改变上级注册授权域DNS服务器地址12b)不改变上级注册授权域DNS服务器地址136)系统安全性考虑138.方案优势149.成功案例（部分）141. 前言为了保护业务不受站点访问中断影响并且提高应用的性能，部署多个数据中心是一个更有效的做法。但要全面实现这些目标，企业需要以高效的方式来监控基础架构和应用的状态，并且根据业务需求来控制这个分布式基础架构。与在多个数据中心之间进行简单的负载均衡的方式相比，BIG-IP广域流量管理器 (GTM)为响应DNS查询提供了更智能的方式。BIG-IP GTM根据业务策略、数据中心状况、网络状况和应用性能来分配最终用户的应用请求。这样，用户可以全面地控制广域流量，以确保运行在分布于各地的多个数据中心之间的应用具有高可用性和最高性能。这样，您将可以实现更高的应用性能，更短的停机时间以及更简化的管理。2. 用户现状目前数据中心有HP小型机、刀片服务器、存储设备等设备，涉及sybase、sql、 oracle等数据库及基于linux、windows操作系统相关业务上联和下联的应用，这些应用已实现同机房基于存储的数据同步。现在要实现跨机房应用级自动容灾切换系统，要求数据中心所有应用在切换前后对上联和下联单位是透明的。关于小型机，考虑采用的跨机房集群技术；目前要解决的是使用外部存储（windows、linux）和未使用外部存储（windows、linux）的各应用服务器的实时切换问题。3. 用户需求根据上述实际情况，需要实现根据用户网络状况自动选择最优数据中心，提高用户体验；保证其中一个节点不可用时不影响业务正常运行；能够自动检测服务器或链路可用性，保证请求只被发送到可用链路及服务器上；优化现有接入链路使用，合理分配流量。4. 方案设计5. 设计原则本方案设计遵循1. 标准性严格按照F5官方建议部署，所有组件遵循F5官方定义，datacenter就理解为物理数据中心、链路理解为link2. 冗余性所有F5设备均为冗余体系，保证网络高可用性3. 可扩展性 本方案具有很高的可扩展性，不管是新增链路还是新增数据中心，均可方便扩展6. 方案说明1) 描述在原系统接入中，增加一条线路接入相应的路由器，将两台GTM分别接在两条线路上，并分配ip，负责用户的DNS访问请求。引导用户使用最快的线路进行访问站点。同时，GTM负责检查两条线路的健康状态，一旦检测到线路的中断，则停止相应线路的地址解析。2) GTM工作原理1) 访问的用户在发起DNS请求时2) （1）首先向其所在运营商的Local DNS发起域名的DNS请求。步骤23) （2）运营商的Local DNS服务器通过递归算法查找到工行的主、辅DNS服务器。步骤3和4。4) （3）接受到请求的GTM首先查询在本地是否有该LocalDNS的就近性表项，如果存在，则直接给LocalDNS返回速度最快的服务器地址。如果不存在，则通知另外一台GTM发起对该LocalDNS的查询。步骤5。5) （4）两台GTM分别对LocalDNS进行Probe。例如ISP1侧GTM查询该LocalDNS的RTT时间为150ms，而ISP2侧GTM查询同一LocalDNS的RTT时间为300ms，则此时在两台GTM内都形成了该LocalDNS的对应就近性表记录。6) （5）接受到LocalDNS请求得GTM根据系统的就近性表返回相应的DataCenter内的WEB服务器地址。步骤6。7) （6）在用户LocalDNS获得地址后，将该地址返回给用户。步骤78) （7）用户向网站发起访问。步骤8。9)10) 通过以上流程可以看出，通过动态计算方式，可以最为准确的估算出用户LocalDNS与两条线路之间的速度。通过GTM之间的信息交互，在两台GTM上形成就近性表，并根据该表返回用户的最佳访问地址。11) GTM可以选择多种测试方法判断对local DNS的RTT时间, 包括: 12) DNS_Dot: 向local DNS发起一个包含”.”的测试, 也就是向目标LocalDNS请求root清单，该解析一般默认配置的DNS服务器均提供支持。13) DNS_REV: 向local DNS发起LocalDNS本机IP的PTR请求14) UDP:发起一个UDP的包, 看是否回应15) TCP:发起一个TCP的包看是否回应16) ICMP:发起一个ICMP 的ping 包, 看是否回应17) 在以上各检测方式中，无论目标系统返回那种类型的数据包，GTM均可认为是有效数据包而记录数据包往返时间，最终形成就近性表3) GTM网络组件定义物理网络组件:Data Center：定义了一组在相同物理位置的GTM、LTM和主机系统和共享相同子网的Link，每个Data Center至少包含一个Server和一个LinkServer：管理一个或多个Virtual Server的物理设备，Server可以是三种类型，一种是BIG IP系统本身，第二种是第三方load balance系统(支持virtual server)，第三种是第三方主机系统(不支持virtual server)Virtual Servers：定义了一个IP和端口的组合，指向特定的网络资源,可能跨越多个机器，或是一台机器上的一组可用的端口Links：定义了一个到Internet的物理连接，Link和一个或多个Router关联。GTM跟踪Link的性能，轮流指示一个pool，data center，wide ip，或distributed application的全面可用性 逻辑网络组件:Pool：Pool是virtual Server的集合，其代表了一组共享相同规则的Virtual ServerWide IPs：映射一个域名到一组virtual Server，wide ip用pool组织virtual server，load balance选择特定的virtual server4) 系统逻辑结构GTM上采用DataCenter、VS、和WideIP来标识系统中的各元素，系统逻辑结构图如下：其中：GTM配置： VS:表示各线路真实对外提供服务的IP地址，在本系统中，VS为BIGIP上虚拟的后端服务器地址。 WideIP:表示外部用户访问的统一域名，每个WideIP均与相应的两个或多个VS相对应，对于每一个LocalDNS的请求，GTM均会选择一个或多个相应的VS地址返回。WideIP主要负责A记录的解析。 DataCenter:用于标识线路或数据中心，位于同一条线路侧的所有VS、GTM均位于同一个DataCenter。 NameSurfer/BIND:在GTM内部用于解析非动态域名，提供标准DNS服务器的所有功能。包括SOA、NS、MX和A记录的解析。BIGIP配置： VS:表示对应于各线路的服务地址，该地址为虚拟地址 Pool:用于对后端的服务器分组，在同一组内可以是一个或多个服务器组成的负载均衡组。BIGIP将对VS的访问根据预先定义的算法分配到Pool中的每个Node节点上。 Node:标识每一台真实的服务器地址和提供服务的端口。GTM配置逻辑：VS1VS2VS3Link_CTCLink_ CNCDataCPool_ebankPool_ebankVS4VS5VS6BIGIP/LCBIGIP/LC7. 技术说明：1) GTM分配算法及运行机制3-DNS控制器采用了完善的负载平衡算法和业界最先进的流量分配方法： 循环 全球可用性 LDNS持续性 应用可用性 地理分布 虚拟服务器容量 最少连接 Pkt/sec（数据包/每秒） KB/sec（千字节/每秒） 往返时间 中继段（hop） 数据包完整率 用户定义服务质量（QoS） 动态比率 LDNS循环 比率 随机在GTM的每个WideIP中，可以选择三种算法，这三种算法按照预定的优先级进行排列。在通常情况下，选择RTT动态计算方法作为系统的优选算法，即所有的LocalDNS请求均被GTM计算其就近性，以保证绝大部分用户访问的最优化性。而Topology算法则作为RTT动态计算的补充算法，在RTT计算方式没有结果的时候，将用户请求定义到其本网的线路上。Global Availability 算法作为系统的默认算法，将所有无法计算结果并且不在Topology范围之内的LocalDNS请求，定义到系统的默认线路上。a) RTT算法运行机制：通过GTM的RTT就近性算法会自动运算生成一个ldns就近分布表，通过这个动态的表，每个客户上来都会提供一个最快速的链路进行访问，由于站点有ISP1和ISP2的两条广域网线路。在GTM上会针对站点服务器(以为例)解析ISP1和ISP2的两个不同的公网地址。对应于域名，在GTM上配置wideip：，对应两个Virtual Server：VS1：77，VS2：00。分别属于ISP1和ISP2两条线路分配的IP地址段。在GTM内部，同时定义两个DataCenter分别与ISP1和ISP2相对应。通过动态计算方式，可以最为准确的估算出用户LocalDNS与两条线路之间的速度。通过GTM之间的信息交互，在两台GTM上形成就近性表，并根据该表返回用户的最佳访问地址。GTM可以选择多种测试方法判断对local DNS的RTT时间, 包括: l DNS_Dot: 向local DNS发起一个包含”.”的测试, 也就是向目标LocalDNS请求root清单，该解析一般默认配置的DNS服务器均提供支持。l DNS_REV: 向local DNS发起LocalDNS本机IP的PTR请求l UDP:发起一个UDP的包, 看是否回应l TCP:发起一个TCP的包看是否回应l ICMP:发起一个ICMP 的ping 包, 看是否回应在以上各检测方式中，无论目标系统返回那种类型的数据包，GTM均可认为是有效数据包而记录数据包往返时间，最终形成就近性表。针对一个local DNS 的RTT结果:ldns address 29 cur_target_state 419446729 ttl 2419199 probe_protocol tcp path datacenter CNC cur_rtt 189850 cur_hops 0 cur_completion_rate 10000 cur_last_hops 0 path datacenter TEL cur_rtt 57209 cur_hops 0 cur_completion_rate 10000 cur_last_hops 0 通常情况下，我们选择RTT动态算法作为优选算法，只要是GTM能检测到的地址，一律按照动态算法分配，保证系统最大的灵活性。在实际的运行环境中，可能存在某些LocalDNS无法检测的情况，所以我们可以采用地理分布算法作为动态RTT算法的有效补充。b) 地理分布算法在GTM上，可以根据用户的LocalDNS地址来决定给用户返回那个地址。在GTM上可配置多个自定义区域，并将这些区域与链路相对应。当用户的LocalDNS发起请求连接GTM的时候，GTM将根据LocalDNS所位于的区域返回给LocalDNS适当的链路侧服务器地址，引导用户从正确的线路进行访问。在该算法下，需要收集各运营商的IP地址网段表。将网段进行整理后输入到GTM内形成自定义区域表。一个典型的topology表结构如下：topology / 4 Items/ server ldns score dc.CNC /16 100 dc.TEL /16 100 dc.CNC /16 100这样，就将所有从表中ldns网段内的LocalDNS请求有限定一到相应的表中对应的链路上。通常，我们采用地理分布算法作为第二算法。当动态检测机制无法检到LocalDNS就进性的时候，将启动静态算法，将在地址范围列表之内的用户定义到正确的线路上去。如果用户的LocalDNS即不可被动态RTT计算所检测，又不在本机对应的地理分布表中。此时就需要采用全球可用性算法引导用户到默认的线路上。c) 全球可用性算法全球可用性算法主要用于灾难备份系统。通过GTM的健康检查算法，可判断各站点或线路的健康状态。并在配置的时候，将同一域名所对应的IP地址进行排序，在系统正常的时候，仅会有排名第一的服务器对外提供服务。只有在排名第一的服务器无法对外提供服务的时候，由排名第二的服务器接管服务。如果有多线路或者多站点则依次类推。通常，我们采用全球可用性算法作为第三选择算法。在动态计算和地理分布均没有命中的时候，将所有的用户定义到默认的线路上。2) 链路健康检查机制两台GTM分别检查本地端的服务器地址和对端线路的服务器地址。这些服务器地址实际上为BIGIP上配置的内部服务器的对外服务地址。当一条线路出现故障的时候，两台GTM服务器均无法检测到对端线路的地址。所以在每台GTM服务器上均只解析本侧线路对应的服务器地址。但在此时故障线路的GTM服务器无法接受请求，根据DNS的冗余机制。所有的用户请求均会发送到正常线路侧的GTM，所以此时所有的用户均将通过正常的线路进行访问。3) 系统切换时间在采用DNS实现链路切换时，系统的切换时间主要取决于每个域名的TTL时间设置。在GTM系统里，每个域名如均可设置对应的TTL生存时间。在用户的LocalDNS得到域名解析纪录后，将在本地在TTL设定时间内将该域名解析对应纪录进行Cache，在Cache期间所有到该LocalDNS上进行域名解析的用户均将获得该纪录。在TTL时间timeout之后，如果有用户到LocalDNS上请求解析，则此LocalDNS将重新发起一次请求到GTM上获得相应纪录。因此，当单条线路出现故障时，GTM将在系统定义的检查间隔（该时间可自行定义）内检查到线路的故障，并只解析正常的线路侧地址。但此时在LocalDNS上可能还有未过时的Cache纪录。在TTL时间timeout之后，该LocalDNS重新发起请求的时候就将从GTM上获得正确的解析，从而引导用户通过正常的线路进行访问。系统检测间隔加上TTL时间之和则为系统切换的最长时间。通常，系统检测间隔设置为60秒，而TTL时间设置为600秒，所以系统切换的整体时间为11分钟。4) 服务器负载均衡BIG/IP利用虚拟IP地址（VIP由IP地址和TCP/UDP应用的端口组成，它是一个地址）来为用户的一个或多个目标服务器（称为节点：目标服务器的IP地址和TCP/UDP应用的端口组成，它可以是internet的私网地址）提供服务。因此，它能够为大量的基于TCP/IP的网络应用提供服务器负载均衡服务。BIG/IP连续地对目标服务器进行L4到L7合理性检查，当用户通过VIP请求目标服务器服务时，BIG/IP根椐目标服务器之间性能和网络健康情况，选择性能最佳的服务器响应用户的请求。如果能够充分利用所有的服务器资源，将所有流量均衡的分配到各个服务器，我们就可以有效地避免“不平衡”现象的发生。BIGIP是一台对流量和内容进行管理分配的设备。它提供12种灵活的算法将数据流有效地转发到它所连接的服务器群。而面对用户，只是一台虚拟服务器。用户此时只须记住一台服务器，即虚拟服务器。但他们的数据流却被BIGIP灵活地均衡到所有的服务器。这12种算法包括： 轮询（RoundRobin）：顺序循环将请求一次顺序循环地连接每个服务器。当其中某个服务器发生第二到第7层的故障，BIG/IP就把其从顺序循环队列中拿出，不参加下一次的轮询，直到其恢复正常。 比率（Ratio）：给每个服务器分配一个加权值为比例，根椐这个比例，把用户的请求分配到每个服务器。当其中某个服务器发生第二到第7层的故障，BIG/IP就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。 优先权（Priority）：给所有服务器分组，给每个组定义优先权，BIG/IP用户的请求，分配给优先级最高的服务器组（在同一组内，采用轮询或比率算法，分配用户的请求）；当最高优先级中所有服务器出现故障，BIG/IP才将请求送给次优先级的服务器组。这种方式，实际为用户提供一种热备份的方式。 最少的连接方式（LeastConnection）：传递新的连接给那些进行最少连接处理的服务器。当其中某个服务器发生第二到第7层的故障，BIG/IP就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。 最快模式（Fastest）：传递连接给那些响应最快的服务器。当其中某个服务器发生第二到第7层的故障，BIG/IP就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。 观察模式（Observed）：连接数目和响应时间以这两项的最佳平衡为依据为新的请求选择服务器。当其中某个服务器发生第二到第7层的故障，BIG/IP就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。 预测模式（Predictive）：BIG/IP利用收集到的服务器当前的性能指标，进行预测分析，选择一台服务器在下一个时间片内，其性能将达到最佳的服务器相应用户的请求。(被big/ip进行检测) 动态性能分配（DynamicRatio-APM):BIG/IP收集到的应用程序和应用服务器的各项性能参数如CPU、内存和磁盘的占用情况，动态调整流量分配。动态性能分配可通过标准SNMP或服务器端插件完成。 动态服务器补充（DynamicServerAct.):当主服务器群中因故障导致数量减少时，动态地将备份服务器补充至主服务器群。 服务质量(QoS)：按不同的优先级对数据流进行分配。 服务类型(ToS)：按不同的服务类型（在TypeofField中标识）对数据流进行分配。 规则模式：针对不同的数据流设置导向规则，用户可自行编辑流量分配规则，BIG/IP利用这些规则对通过的数据流实施导向控制。当出现流量“峰值”时，如果能调配所有服务器的资源同时提供服务，所谓的“峰值堵塞”压力就会由于系统性能的大大提高而明显减弱。由于BIGIP优秀的负载均衡能力，所有流量会被均衡的转发到各个服务器，即组织所有服务器提供服务。这时，系统性能等于所有服务器性能的总和，远大于流量“峰值”。这样，即缓解了“峰值堵塞”的压力，又降低了为调整系统性能而增加的投资。5) GTM与现有系统的融合考虑到DNS系统变动的复杂性，GTM在与现有系统DNS服务器配合的时候可以采用两种方式。最佳的方式是将站点的所有域名解析均放置到GTM上进行解析，优点是可以充分利用GTM的动态用户引导和强大的图形化管理界面，缺点是需要变动上级注册授权域DNS服务器地址。另外一种方式是将需要进行动态指向的域名分配到GTM上进行解析，优点是对现有系统的变动较小，缺点是系统中存在多级、多台DNS服务器，不利于统一管理。两种方式分别对应不同的配置方式。对于一个域名中的所有记录，我们可以分为动态和静态记录两种，其中静态记录是相对不变的DNS解析记录，如SOA、MX、NS等记录类型；而动态记录则为需要用户通过两条链路进行访问的域名记录，通常情况下为A记录。a) 改变上级注册授权域DNS服务器地址在每个域名注册的时候，均需要提供主辅DNS服务器，通常采用提供域名注册提供商的DNS服务器或者自建DNS服务器。在一个完整的域名解析中，通常包含:SOA记录，如： 86400 IN SOA . ( 2004122932 10800 3600 604800 86400 )A记录，如：INA77MX记录，如：INMX 578在GTM中，可实现所有以上记录的解析。GTM上配置有完整的BIND域名服务器系统，并且支持NameSurfer图形化界面管理。可以更为方便的管理静态记录。而对于需要做动态解析的记录，通常是系统中的A记录，在GTM中则通过WideIP配置方式实现。每个WideIP即是一个域名，并对应多位于不同链路（DataCenter）的Virtual Server IP地址。在用户访问WideIP的时候，则GTM将通过预先定义的算法给用户的LocalDNS返回相应的域名与IP对应记录。b) 不改变上级注册授权域DNS服务器地址当条件限制，无法改变上级域名注册授权域DNS服务器地址的时候，则需要对系统原有授权域服务器配置进行修改，将动态记录委派到GTM上进行解析。以为例，配置方式如下：原DNS服务器系统配置：INA77更改为：wwwINCNAME.wipINNSGTM1..wipINNSGTM2..GTM1.INA25GTM2.INA219.172.65