深圳航空多线路解决方案_BIGIP_LC.doc

F5 深圳航空3DNS多链路接入方案深圳航空多链路接入解决方案陈世超F5 公司广州办事处2005-4目 录1. 前言32. 需求描述33. 深圳航空链路负载系统设计43.1 深圳航空BIGIP+LC多链路设计逻辑结构图：43.2 深圳航空BIGIP+LC多链路设计实际结构图53.3 网络拓扑结构说明63.4 同一组服务器对外多地址服务原理73.4.1 RTT算法运行机制：83.5 链路健康检查机制103.6 系统切换时间123.7 服务器负载均衡124. Link Controller与现有系统的融合154.1 改变上级注册授权域DNS服务器地址154.2 不改变上级注册授权域DNS服务器地址165. 成功案例175.1 招商银行网银系统175.2 工商银行网银系统185.3 光大银行网银系统195.4 农业银行网银系统205.5 深圳发展银行网银系统216. 深航关心问题的回答221. 前言在原Chinanet分为北方China Netcom 和南方China Telecom之后。由于南北网络之间的互联问题。出现了从南方用户访问北方网站或北方用户访问南方用户访问速度较慢的问题。其出现的根本原因为南北网络的互通互联接点拥塞，造成用户丢包、延迟较大，从而导致访问缓慢，甚至对于一些应用根本无法访问。2. 需求描述对于一个运行关键业务的电子商务网站来说，保持用户的访问速度和访问的成功率非常重要。需要一套系统来解决南方和北方用户的访问问题。以下是一张实测数据表测试项目网通北京ADSL用户访问 12月2日凌晨1时广东电信用户访问，宽带用户，带宽未知，12月2日 16:30网通北京ADSL用户访问，12月2日16:00上海ADSL宽带用户访问，12月2日 20:00DNS Result202.xxx.xxx.209219.xxx.xxx.11202.xxx.xxx.209219.xxx.xxx.11网通电信网通电信网通电信网通电信Number of hits:726947652471935Requests per Second71.270.870.780.320.58Socket Connects737057753482036Total Bytes Sent (in KB)14.1913.470.9614.9613.6112.233.877.03Bytes Sent Rate (in KB/s)00.060.12Total Bytes Recv (in KB)4148.244001.90256.584388.543019.942703.2621.7339.83Bytes Recv Rate (in KB/s)69.1266.684.2873.1250.3245.050.360.66表中可以看出，对于同一个站点，一个用户分别从两条线路进行访问，得出的访问速度差异是非常大的。最大的差值在广东电信分别访问站点的两条线路，其速度差异接近20倍。目前深圳航空网站主站在深圳机场，通过中国电信链路连入Internet, 由于上述南北电信问题，导致目前跨运营商用户访问深航网站速度较慢。经过交流和建议，深航准备申请第二条链路连接到网通网络，通过加载F5链路的负载平衡方案，实现用户的就近访问（网通用户通过网通链路进行访问，电信用户通过电信链路进行访问），解决目前跨运营商用户访问深航网站速度较慢问题。3. 深圳航空链路负载系统设计根据假想，目前深圳系统逻辑结构设计图为如下：在目前系统结构中，整体采用单条接入线路（中国电信），一个或多个DNS服务器，这些服务器对于同一个域名均解析为同一个地址。3.1 深圳航空BIGIP+LC多链路设计逻辑结构图：在建议的系统结构下，用两台BIGIP COMBO Link Controller实现了系统的全冗余，同时，在BIGIP下端，可采用防火墙和核心交换机冗余保证系统的进一步可靠性。3.2 深圳航空BIGIP+LC多链路设计实际结构图3.3 网络拓扑结构说明在深圳航空系统接入中，增加一条线路，并采用相应的接入路由器，将两台BIGIP+LC分别接在两台接入路由器上，负责用户的DNS访问请求。引导用户使用最快的链路进行访问站点。同时，BIGIP+LC负责检查两条线路的健康状态，一旦检测到线路的中断，则停止相应线路的地址解析。在接入路由器之后，采用了F5 BIGIP作为多链路接入设备，在BIGIP上配置多个IP对应每条线路分配的IP网段。这些IP同时对应后端DMZ和TRUST区的一台或多台服务器，实现DMZ和TRUST区服务器组的负载平衡并对外统一服务。在本方案中，深航的另外一个需求在于，考虑到防火墙负载的问题，希望内网用户直接对DMZ区服务器通过服务器上的第二片网卡进行访问，而无需经过防火墙。实际上，对于目前系统实际的配置，两台NETSCEERN 500是完全可以满足内网和外网用户的访问，这样，内网和外网用户都通过服务器对外公布公网IP地址进行访问，是访问的逻辑变得很清晰，也有利于今后可能得故障排错，服务器上的连接内网的网卡将继续用来让服务器与内部TRUST区的服务器交流数据。当然，如果用户仍然希望内部用户通过内部网卡地址对服务器进行访问，则保留目前的体系架构，不做任何修改。3.4 同一组服务器对外多地址服务原理由于采用了多条链路接入，则此时必将面临将系统中的一台或多台服务器同时对多条链路提供服务的问题。在系统设计中，我们采用了F5 BIGIP来实现了多出口接入。如图：在BIGIP实现多链路接入的时候，采用了BIGIP上的AutoLastHop技术。对于每条线路，在BIGIP上均配置一个与线路分配网段对应的IP地址，这些IP地址均映射到后端的一台或同一组服务器。当用户访问不同地址的时候，BIGIP上将建立每个请求与来源设备Mac地址的对应关系表。即将每个用户的请求连接和上端的路由器MAC地址进行对应，在服务器数据返回的时候，则根据该对应表将返回的数据包发送到相应的路由器，避免了数据往返通路不同的问题。3.4.1 RTT算法运行机制：通过Link Controller的RTT就近性算法会自动运算生成一个ldns就近分布表，通过这个动态的表，每个客户上来都会提供一个最快速的链路进行访问，由于站点有网通和电信的两条广域网线路。在Link Controller上会针对站点服务器(以为例)解析网通和电信的两个不同的公网地址。对应于域名，在BIGIP+LC上配置wideip：，对应两个Virtual Server：VS1：77，VS2：00。分别属于网通和电信两条线路分配的IP地址段。在Link Controller内部，同时定义两个DataCenter分别与网通和电信相对应。用户的访问流程如下：访问网银的用户在发起DNS请求时（1） 首先向其所在运营商的Local DNS发起域名的DNS请求。步骤2（2） 运营商的Local DNS服务器通过递归算法查找到的主、辅DNS服务器。步骤3和4。（3） 接受到请求的Link Controller首先查询在本地是否有该LocalDNS的就近性表项，如果存在，则直接给LocalDNS返回速度最快的服务器地址。如果不存在，则通知另外一台Link Controller发起对该LocalDNS的查询。步骤5。（4） 两台Link Controller分别对LocalDNS进行Probe。例如网通侧Link Controller查询该LocalDNS的RTT时间为150ms，而电信侧Link Controller查询同一LocalDNS的RTT时间为300ms，则此时在两台Link Controller内都形成了该LocalDNS的对应就近性表记录。（5） 接受到LocalDNS请求得Link Controller根据系统的就近性表返回相应的DataCenter内的WEB服务器地址。步骤6。（6） 在用户LocalDNS获得地址后，将该地址返回给用户。步骤7（7） 用户向网站发起访问。步骤8。通过以上流程可以看出，通过动态计算方式，可以最为准确的估算出用户LocalDNS与两条线路之间的速度。通过Link Controller之间的信息交互，在两台Link Controller上形成就近性表，并根据该表返回用户的最佳访问地址。在Link Controller的各检测方式中，无论目标系统返回那种类型的数据包，Link Controller均可认为是有效数据包而记录数据包往返时间，最终形成就近性表。针对一个local DNS 的RTT结果:ldns address 29 cur_target_state 419446729 ttl 2419199 probe_protocol tcp path datacenter CNC cur_rtt 189850 cur_hops 0 cur_completion_rate 10000 cur_last_hops 0 path datacenter TEL cur_rtt 57209 cur_hops 0 cur_completion_rate 10000 cur_last_hops 0 通常情况下，我们选择RTT动态算法作为优选算法，只要是Link Controller能检测到的地址，一律按照动态算法分配，保证系统最大的灵活性。在实际的运行环境中，可能存在某些LocalDNS无法检测的情况，所以我们可以采用地理分布算法作为动态RTT算法的有效补充。3.5 链路健康检查机制两台3DNS分别检查本地端的服务器地址和对端线路的服务器地址。这些服务器地址实际上为BIGIP上配置的内部服务器的对外服务地址。当一条线路出现故障的时候，两台3DNS服务器均无法检测到对端线路的地址。所以在每台3DNS服务器上均只解析本侧线路对应的服务器地址。但在此时故障线路的3DNS服务器无法接受请求，根据DNS的冗余机制。所有的用户请求均会发送到正常线路侧的3DNS，所以此时所有的用户均将通过正常的线路进行访问。3.6 系统切换时间在采用DNS实现链路切换时，系统的切换时间主要取决于每个域名的TTL时间设置。在Link Controller系统里，每个域名如均可设置对应的TTL生存时间。在用户的LocalDNS得到域名解析纪录后，将在本地在TTL设定时间内将该域名解析对应纪录进行Cache，在Cache期间所有到该LocalDNS上进行域名解析的用户均将获得该纪录。在TTL时间timeout之后，如果有用户到LocalDNS上请求解析，则此LocalDNS将重新发起一次请求到Link Controller上获得相应纪录。因此，当单条线路出现故障时，Link Controller将在系统定义的检查间隔（该时间可自行定义）内检查到线路的故障，并只解析正常的线路侧地址。但此时在LocalDNS上可能还有未过时的Cache纪录。在TTL时间timeout之后，该LocalDNS重新发起请求的时候就将从Link Controller上获得正确的解析，从而引导用户通过正常的线路进行访问。系统检测间隔加上TTL时间之和则为系统切换的最长时间。通常，系统检测间隔设置为60秒，而TTL时间设置为600秒，所以系统切换的整体时间为11分钟。3.7 服务器负载均衡BIG/IP利用虚拟IP地址（VIP由IP地址和TCP/UDP应用的端口组成，它是一个地址）来为用户的一个或多个目标服务器（称为节点：目标服务器的IP地址和TCP/UDP应用的端口组成，它可以是internet的私网地址）提供服务。因此，它能够为大量的基于TCP/IP的网络应用提供服务器负载均衡服务。BIG/IP连续地对目标服务器进行L4到L7合理性检查，当用户通过VIP请求目标服务器服务时，BIG/IP根椐目标服务器之间性能和网络健康情况，选择性能最佳的服务器响应用户的请求。如果能够充分利用所有的服务器资源，将所有流量均衡的分配到各个服务器，我们就可以有效地避免“不平衡”现象的发生。BIGIP是一台对流量和内容进行管理分配的设备。它提供12种灵活的算法将数据流有效地转发到它所连接的服务器群。而面对用户，只是一台虚拟服务器。用户此时只须记住一台服务器，即虚拟服务器。但他们的数据流却被BIGIP灵活地均衡到所有的服务器。这12种算法包括： 轮询（RoundRobin）：顺序循环将请求一次顺序循环地连接每个服务器。当其中某个服务器发生第二到第7层的故障，BIG/IP就把其从顺序循环队列中拿出，不参加下一次的轮询，直到其恢复正常。比率（Ratio）：给每个服务器分配一个加权值为比例，根椐这个比例，把用户的请求分配到每个服务器。当其中某个服务器发生第二到第7层的故障，BIG/IP就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。优先权（Priority）：给所有服务器分组，给每个组定义优先权，BIG/IP用户的请求，分配给优先级最高的服务器组（在同一组内，采用轮询或比率算法，分配用户的请求）；当最高优先级中所有服务器出现故障，BIG/IP才将请求送给次优先级的服务器组。这种方式，实际为用户提供一种热备份的方式。最少的连接方式（LeastConnection）：传递新的连接给那些进行最少连接处理的服务器。当其中某个服务器发生第二到第7层的故障，BIG/IP就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。最快模式（Fastest）：传递连接给那些响应最快的服务器。当其中某个服务器发生第二到第7层的故障，BIG/IP就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。观察模式（Observed）：连接数目和响应时间以这两项的最佳平衡为依据为新的请求选择服务器。当其中某个服务器发生第二到第7层的故障，BIG/IP就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。预测模式（Predictive）：BIG/IP利用收集到的服务器当前的性能指标，进行预测分析，选择一台服务器在下一个时间片内，其性能将达到最佳的服务器相应用户的请求。(被big/ip进行检测)动态性能分配（DynamicRatio-APM):BIG/IP收集到的应用程序和应用服务器的各项性能参数如CPU、内存和磁盘的占用情况，动态调整流量分配。动态性能分配可通过标准SNMP或服务器端插件完成。动态服务器补充（DynamicServerAct.):当主服务器群中因故障导致数量减少时，动态地将备份服务器补充至主服务器群。 服务质量(QoS)：按不同的优先级对数据流进行分配。服务类型(ToS)：按不同的服务类型（在TypeofField中标识）对数据流进行分配。规则模式：针对不同的数据流设置导向规则，用户可自行编辑流量分配规则，BIG/IP利用这些规则对通过的数据流实施导向控制。当出现流量“峰值”时，如果能调配所有服务器的资源同时提供服务，所谓的“峰值堵塞”压力就会由于系统性能的大大提高而明显减弱。由于BIGIP优秀的负载均衡能力，所有流量会被均衡的转发到各个服务器，即组织所有服务器提供服务。这时，系统性能等于所有服务器性能的总和，远大于流量“峰值”。这样，即缓解了“峰值堵塞”的压力，又降低了为调整系统性能而增加的投资。4. Link Controller与现有系统的融合考虑到DNS系统变动的复杂性，Link Controller在与现有系统DNS服务器配合的时候可以采用两种方式。最佳的方式是将站点的所有域名解析均放置到3DNS上进行解析，优点是可以充分利用Link Controller的动态用户引导和强大的图形化管理界面，缺点是需要变动上级注册授权域DNS服务器地址。另外一种方式是将需要进行动态指向的域名分配到Link Controller上进行解析，优点是对现有系统的变动较小，缺点是系统中存在多级、多台DNS服务器，不利于统一管理。两种方式分别对应不同的配置方式。对于一个域名中的所有记录，我们可以分为动态和静态记录两种，其中静态记录是相对不变的DNS解析记录，如SOA、MX、NS等记录类型；而动态记录则为需要用户通过两条链路进行访问的域名记录，通常情况下为A记录。4.1 改变上级注册授权域DNS服务器地址在每个域名注册的时候，均需要提供主辅DNS服务器，通常采用提供域名注册提供商的DNS服务器或者自建DNS服务器。在一个完整的域名解析中，通常包含:SOA记录，如： 86400 IN SOA . ( 2004122932 10800 3600 604800 86400 )A记录，如：INA77MX记录，如：INMX 578而对于需要做动态解析的记录，通常是系统中的A记录，在Link Controller中则通过WideIP配置方式实现。每个WideIP即是一个域名，并对应多位于不同链路（DataCenter）的Virtual Server IP地址。在用户访问WideIP的时候，则Link Controller将通过预先定义的算法给用户的LocalDNS返回相应的域名与IP对应记录。4.2 不改变上级注册授权域DNS服务器地址当条件限制，无法改变上级域名注册授权域DNS服务器地址的时候，则需要对系统原有授权域服务器配置进行修改，将动态记录委派到Link Controller上进行解析。以为例，配置方式如下：原DNS服务器系统配置：INA77更改为：wwwINCNAME.wipINNSLC1..wipINNSLC2..LC1.INA25LC2.INA09同时，在Link Controller上配置WideIP 对应不同的服务器地址。这样，当用户LocalDNS在请求时，则将再次发送一个请求到Link Controller请求对应的地址，在获得对应地址后，将域名与对应的地址进行捆绑，返回给发起DNS请求的用户，从而实现了对用户请求的引导。5. 成功案例5.1 招商银行网银系统招商银行拥有深圳主站和南京灾备中心，南京为一条链路连接到中国电信网内，深圳主站有两条链路，一条中国电信链路和一条中国网通链路，由于同时采用了F5的防火墙负载平衡方案，整体的系统由3台3DNS和4台BIGIP 2400组成。其中深圳主站2台3DNS（每条链路一台）和4台BIGIP（防火墙负载平衡及服务器负载平衡）。通过加载F5的GSLB方案，解决了用户跨运营商访问招行网站速度慢的问题（南北电信问题）、防火墙性能瓶颈以及服务器负载平衡问题，实现了远程灾备系统的可靠性。提高了用户满意度，保持了招行在网银业务上的口碑。下图为招行网银系统F5解决方案略图： 系统上线时间: 2004年12月5.2 工商银行网银系统作为全国最大的网上银行系统，为解决跨运营商访问慢的问题，工商银行网银系统通过两条链路连接到公网，一条链路连接到中国电信网内，一条链路连接到中国网通。由于早期工商银行架构了Alteon的局域网负载平衡设备，F5为工行提供的系统架构里继续采用了Alteon来实现局域网负载平衡的部分，3DNS来实现广域的部分。由于工商银行正在申请中国移动的链路作为第三条连接链路，由此，整体的系统由3台3DNS和2台Alteon组成。其中3台3DNS（每条链路一台）完成广域的流量选择，将连路优选以后的流量指向给由Alteon提供的局域网服务器集群。通过加载F5的GSLB方案，解决了工行网银用户跨运营商访问其网站速度慢的问题（南北电信问题）。提高了用户满意度，使工行网银保持了其在网银业务上的领先地位。下图为工行网银系统F5解决方案略图： 系统上线时间:2004年11月5.3 光大银行网银系统为解决跨运营商访问慢的问题，光大银行网银系统通过两条链路连接到公网，一条链路连接到中国电信网（通过263连接）内，一条链路连接到中国联通。F5 GSLB整体的系统由2台3DNS和2台BIGIP组成。其中2台3DNS（每条链路一台）完成广域的流量选择，将连路优选以后的流量指向给由比BIGIP提供的局域网服务器集群。通过加载F5的GSLB方案，解决了光大银行网银用户跨运营商访问其网站速度慢和单条链路可靠性不高的问题，提高了其用户满意度。系统上线时间: 2002年10月5.4 农业银行网银系统为解决跨运营商访问慢的问题，农业银行网银系统通过三条链路连接到公网，分别连到中国电信网、中国网通和中国联通。由于早期农行银行架构了Alteon的局域网负载平衡设备，F5为农行提供的系统架构里继续采用了Alteon来实现局域网负载平衡的部分，3DNS来实现广域的部分。整体