3DNS多链路解决方案

1、3DNS 多链路解决方案1. 前言在原 Chinanet 分为北方 China Netcom 和南方 ChinaTelecom 之后。由于南北网 络之间的互联问题。 出现了从南方用户访问北方网站或北方用户访问南方用户访问速度较慢 的问题。其出现的根本原因为南北网络的互通互联接点拥塞， 造成用户丢包、延迟较大，从 而导致访问缓慢，甚至对于一些应用根本无法访问。2. 需求描述对于一个运行关键业务的电子商务网站来说，保持用户的访问速度和访问的成功率非 常重要。需要一套系统来解决南方和北方用户的访问问题。以下是一张实测数据表测试项目网通北京 ADSL 用户访问 12 月 2 日凌晨 1 时 广东电信用

2、户访问，宽带用户，带宽未知， 12 月 2 日 16:30 网通北京 ADSL 用户访问， 12 月 2 日 16:00 上海 ADSL 宽带用户访问， 12 月 2 日 20:00DNS Result202.xxx.xxx.209219.xxx.xxx.11202.xxx.xxx.209219.xxx.xxx.11网通电信网通电信网通电信网通电信Number of hits:726947652471935Requests per Second71.270.870.780.320.58Socket Connects737057753482036Total Bytes Se

3、nt (in KB)14.1913.470.9614.9613.6112.233.877.03Bytes Sent Rate (in KB/s)00.060.12Total Bytes Recv (in KB)4148.244001.90256.584388.543019.942703.2621.7339.83Bytes Recv Rate (in KB/s)69.1266.684.2873.1250.3245.050.360.66表中可以看出，对于同一个站点，一个用户分别从两条线路进行访问，得出的访问速度差异是非常大的。最大的差值在广东电信分别访

4、问站点的两条线路，其速度差异接近20倍。3. 系统设计通常用户系统原有结构设计图防火墙厂上川核心交换机DNS服务器 3Lr3 3 3 3 3 3WE B/APP/DBflg 务黯在系统原有系统结构中，采用单条接入线路，一个或多个DNS服务器，这些服务器对于同一个域名均解析为同一个地址。3.1 3DNS 多链路设计结构图：非冗余结构：ISP1ISP2ISP1路接入路曲器Q DN?陪火埴防火壇核心交换机Ca1核心交换机核心交换楓在非冗余结构下，系统中需要增加一侧接入路由器、两台3DNS设备和一台BIGIP设备作为多线路接入设备。冗余结构：ISP1ISP2在冗余结构中，则采用两台3DNS和两台BIG

5、IP实现了系统的全冗余，同时，在BIGIP 下端，可采用防火墙和核心交换机冗余保证系统的进一步可靠性。3.2网络拓扑结构说明在原系统接入中，增加一条线路，并采用相应的接入路由器，将两台3DNS服务器分别接在两台接入路由器上，负责用户的DNS访问请求。引导用户使用最快的链路进行访问站点。同时，3DNS负责检查两条线路的健康状态，一旦检测到线路的中断，则停止相应 线路的地址解析。在接入路由器之后，采用了 F5 BIGIP作为多链路接入设备，在BIGIP上配置多个IP对应每条线路分配的IP网段。这些IP同时对应后端的一台或多台服务器。实现服务器组的对外 统一服务。根据每个系统的需求，可以采用非冗余结

6、构或者冗余结构。3.3系统逻辑结构3DNS上采用DataCenter 、VS、和 WidelP 来标识系统中的各元素，系统逻辑结构 图如下：其中：3DNS配置：VS:表示各线路真实对外提供服务的IP地址，在本系统中，VS为BIGIP上虚拟的后端服务器地址。WidelP:表示外部用户访问的统一域名，每个WidelP均与相应的两个或多个 VS相对应，对于每一个 LocalDNS 的请求，3DNS均会选择一个或多个相应的VS地址返回。WidelP主要负责A记录的解析。DataCenter:用于标识线路或数据中心，位于同一条线路侧的所有VS、3DNS均位于同一个 DataCenter 。NameSur

7、fer/BIND:在3DNS内部用于解析非动态域名，提供标准DNS服务器的所有功能。包括 SOA、NS、MX和A记录的解析。BIGIP配置：VS:表示对应于各线路的服务地址，该地址为虚拟地址Pool:用于对后端的服务器分组，在同一组内可以是一个或多个服务器组成的负载均衡 组。BIGIP将对VS的访问根据预先定义的算法分配到Pool中的每个Node节点上。Node:标识每一台真实的服务器地址和提供服务的端口。3.4同一组服务器对外多地址服务原理由于采用了多条链路接入，则此时必将面临将系统中的一台或多台服务器同时对多条链路提供服务的问题。在系统设计中，我们采用了F5 BIGIP 来实现了多出口接入

8、。如图：MACOQ-50-56-CO-00-01VSmail-1 202.1086177- VSwww-1:202.108 6.178-192 168 01192 168 0,2MAC 00-04-6b78-7B-BijMtiIJR务器Mail. VAV冲服勞器组wml.192 168.0 1拠皿192/16802192 168.03VSmail-2：219 17 19124-192 168 04VSWW-2 21917 19 125-192,168.0 1192 168.0 2192 168 0 3192 168 0 3在BIGIP实现多链路接入的

9、时候，采用了 BIGIP上的AutoLastHop 技术。对于每条线路，在 BIGIP上均配置一个与线路分配网段对应的IP地址，这些IP地址均映射到后端的一台或同一组服务器。当用户访问不同地址的时候，BIGIP上将建立每个请求与来源设备Mac地址的对应关系表。即将每个用户的请求连接和上端的路由器 MAC地址进行对应，在服务器数据返回的时候，则根据该对应表将返回的数据包发送到相应的路由器，避免了数据往返通路不同的问题。3.5 3DNS分配算法及运行机制3-DNS控制器采用了完善的负载平衡算法和业界最先进的流量分配方法：-循环-全球可用性-LDNS持续性-应用可用性-地理分布-虚拟服务器容量-最少

10、连接-Pkt/sec（ 数据包/每秒）-KB/sec（ 千字节/每秒）-往返时间-中继段（hop）- 数据包完整率- 用户定义服务质量 (QoS)- 动态比率- LDNS 循环- 比率- 随机在 3DNS 的每个 WideIP 中，可以选择三种算法，这三种算法按照预定的优先级进行 排列。在通常情况下，选择 RTT 动态计算方法作为系统的优选算法，即所有的 LocalDNS 请求均被 3DNS 计算其就近性，以保证绝大部分用户访问的最优化性。而Topology 算法则作为 RTT 动态计算的补充算法，在 RTT 计算方式没有结果的时候，将用 户请求定义到其本网的线路上。 GlobaAvailab

11、ility算法作为系统的默认算法， 将所有无法计算结果并且不在 Topology 范围之内的 LocalDNS 请求，定义到系统的默认线路上。3.5.1 RTT 算法运行机制：通过 3DNS 的 RTT 就近性算法会自动运算生成一个 ldns 就近分布表，通过这个动态 的表，每个客户上来都会提供一个最快速的链路进行访问，由于站点有 ISP1 和 ISP2 的两 条广域网线路。在 3DNS 上会针对站点服务器 ( 以为例)解析 ISP1 和 ISP2 的两个不同的公网地址。 对应于域名，在 3DNS 上配置 wideip ：

12、.cn，对应两个 Virtua Server ： VS1 ：77 ， VS2 ：00 。分别属 于 ISP1 和 ISP2 两条线路分配的 IP 地址段。在 3DNS 内部，同时定义两个 DataCenter 分别与 ISP1 和 ISP2 相对应。用户的访问流程如下：DN5Et(202.107.e3.12677路上。通常，我们采用地理分布算法作为第二算法。当动态检测机制无法检到LocalDNS进性的时候，将启动静态算法，将在地址范围列表之内的用户定义到正确的线路上去。如果用户的LocalDNS 即不可被动态 RTT计算所检

13、测，又不在本机对应的地理分布表 中。此时就需要采用全球可用性算法引导用户到默认的线路上。3.5.3 全球可用性算法全球可用性算法主要用于灾难备份系统。通过3DNS的健康检查算法，可判断各站点或线路的健康状态。并在配置的时候，将同一域名所对应的IP地址进行排序，在系统正常的时候，仅会有排名第一的服务器对外提供服务。只有在排名第-的服务器无法对外提供服务的时候，由排名第二的服务器接管服务。如果 有多线路或者多站点则依次类推。通常，我们采用全球可用性算法作为第三选择算法。在动态计算和地理分布均没有命中的时候，将所有的用户定义到默认的线路上。3.6链路健康检查机制两台3DNS分别检查本地端的服务器地址

14、和对端线路的服务器地址。这些服务器地址 实际上为BIGIP上配置的内部服务器的对外服务地址。www com cn-219J7i66J00-202.106.83,177当一条线路出现故障的时候，两台3DNS服务器均无法检测到对端线路的地址。所以在每台3DNS服务器上均只解析本侧线路对应的服务器地址。LcxalDhS3t9 172.6 6 100202.106.83J 77www 219,172.86.100但在此时故障线路的 3DNS服务器无法接受请求， 根据DNS的冗余机制。所有的用户 请求均会发送到正常线路侧的

15、3DNS，所以此时所有的用户均将通过正常的线路进行访问。3.7系统切换时间在采用DNS实现链路切换时，系统的切换时间主要取决于每个域名的TTL时间设置。在3DNS系统里，每个域名如.c n均可设置对应的TTL生存时间。在用户的 LocalDNS 得到域名解析纪录后，将在本地在TTL设定时间内将该域名解析对应纪录进行Cache，在Cache期间所有到该 LocalDNS 上进行域名解析的用户均将获得该纪录。在TTL时间timeout 之后，如果有用户到 LocalDNS上请求解析，则此LocalDNS 将重新发起一次请求到 3DNS上获得相应纪录。因此，当单条线路出现故障时，

16、3DNS将在系统定义的检查间隔（该时间可自行定义）内检查到线路的故障，并只解析正常的线路侧地址。但此时在LocalDNS 上可能还有未过时的Cache纪录。在 TTL时间timeout 之后，该 LocalDNS重新发起请求的时候就将从3DNS上获得正确的解析，从而引导用户通过正常的线路进行访问。系统检测间隔加上TTL时间之和则为系统切换的最长时间。通常，系统检测间隔设置为60秒，而TTL时间设置为600秒，所以系统切换的整体时间为11分钟。3.8服务器负载均衡BIG/IP 利用虚拟IP地址（VIP由IP地址和TCP/UDP应用的端口组成，它是一个地址） 来为用户的一个或多个目标服务器（称为节

17、点：目标服务器的IP地址和TCP/UDP应用的端口组成，它可以是in ternet的私网地址）提供服务。因此，它能够为大量的基于TCP/IP的网络应用提供服务器负载均衡服务。BIG/IP连续地对目标服务器进行L4到L7合理性检查，当用户通过VIP请求目标服务器服务时，BIG/IP根据目标服务器之间性能和网络健康情况，选择性能最佳的服务器响应用户的请求。如果能够充分利用所有的服务器资源，将所有流量均衡的分配到各个服务器，我们就可以有效地避免不平衡”现象的发生。二智龍屡蛰軽载均循静态三种昵酶程昨个系删躅定阻扩展性BIGIP是一台对流量和内容进行管理分配的设备。它提供12种灵活的算法将数据流有效地转

18、发到它所连接的服务器群。 而面对用户，只是一台虚拟服务器。 用户此时只须记住一 台服务器，即虚拟服务器。但他们的数据流却被BIGIP灵活地均衡到所有的服务器。这12种算法包括：轮询(RoundRobin):顺序循环将请求一次顺序循环地连接每个服务器。当其中某 个服务器发生第二到第7层的故障，BIG/IP就把其从顺序循环队列中拿出，不参加下一次的轮询，直到其恢复正常。比率(Ratio):给每个服务器分配一个加权值为比例，根据这个比例，把用户的请求 分配到每个服务器。当其中某个服务器发生第二到第7层的故障，BIG/IP就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。优先权(

19、Priority):给所有服务器分组，给每个组定义优先权，BIG/IP用户的请求，分配给优先级最高的服务器组(在同一组内，采用轮询或比率算法，分配用户的请求)；当最高优先级中所有服务器出现故障，BIG/IP才将请求送给次优先级的服务器组。这种方式，实际为用户提供一种热备份的方式。最少的连接方式(LeastConnection):传递新的连接给那些进行最少连接处理的服务器。当其中某个服务器发生第二到第7层的故障，BIG/IP 就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。最快模式(Fastest):传递连接给那些响应最快的服务器。当其中某个服务器发生第 二到第7层的故障

20、，BIG/IP 就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。观察模式(Observed):连接数目和响应时间以这两项的最佳平衡为依据为新的请求 选择服务器。当其中某个服务器发生第二到第7层的故障，BIG/IP就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。预测模式(Predictive) : BIG/IP 利用收集到的服务器当前的性能指标，进行预测分析，选择一台服务器在下一个时间片内，其性能将达到最佳的服务器相应用户的请求。(被big/ip进行检测)动态性能分配(DynamicRatio-APM):BIG/IP收集到的应用程序和应用服务器的各

21、项性能参数如CPU、内存和磁盘的占用情况，动态调整流量分配。动态性能分配可通过标准SNMP或服务器端插件完成。动态服务器补充(DynamicServerAct.):当主服务器群中因故障导致数量减少时，动态地将备份服务器补充至主服务器群。服务质量(QoS):按不同的优先级对数据流进行分配。服务类型(ToS):按不同的服务类型(在TypeofField 中标识)对数据流进行分配。规则模式：针对不同的数据流设置导向规则，用户可自行编辑流量分配规则，BIG/IP利用这些规则对通过的数据流实施导向控制。当出现流量”峰值时，如果能调配所有服务器的资源同时提供服务，所谓的”峰值堵塞”压力就会由于系统性能的大

22、大提高而明显减弱。由于BIGIP优秀的负载均衡能力，所有流量会被均衡的转发到各个服务器，即组织所有服务器 提供服务。这时，系统性能等于所有服务器性能的总和，远大于流量”峰值。这样，即缓解了 ”峰值堵塞”的压力，又降低了为调整系统性能而增加的投资。服务器(Mo 10 - Fin百 aCMFj服务(Fort) - Connect扩隔的应用验证(E炖扩展的内容验证血;心频度g. 10 sec onds响应e gr 5 seconds4. 3DNS 与现有系统的融合考虑到DNS系统变动的复杂性，3DNS在与现有系统 DNS服务器配合的时候可以采 用两种方式。最佳的方式是将站点的所有域名解析均放置到3D

23、NS上进行解析，优点是可以充分利用 3DNS的动态用户引导和强大的图形化管理界面， 缺点是需要变动上级注册授权域DNS服务器地址。另外一种方式是将需要进行动态指向的域名分配到3DNS上进行解析，优点是对现有系统的变动较小，缺点是系统中存在多级、多台DNS服务器，不利于统一管理。两种方式分别对应不同的配置方式。对于一个域名中的所有记录，我们可以分为动态和静态记录两种，其中静态记录是相对不变的DNS解析记录，如 SOA、MX、NS等记录类型；而动态记录则为需要用户通过两 条链路进行访问的域名记录，通常情况下为A记录。4.1改变上级注册授权域 DNS服务器地址在每个域名注册的时候，均需要提供主辅DN

24、S服务器，通常采用提供域名注册提供商的DNS服务器或者自建 DNS服务器。在一个完整的域名解析中，通常包含：SOA记录，如：86400 IN SOA.c n.(2004122932 10800 3600 604800 86400 )A记录，如： .c nIN A 77MX记录，如： IN MX 5 78在 3DNS 中，可实现所有以上记录的解析。 3DNS 上配置有完整的 BIND 域名服务器 系统，并且支持 NameSurfer 图形化界面管理。可以更为方便的管理静态记录。而对于需要做动态解析的记录

25、，通常是系统中的 A 记录，在 3DNS 中则通过 WideIP 配置方式实现。每个 WideIP 即是一个域名，并对应多位 于不同链路 (DataCenter) 的 Virtua ServerIP 地址。在用户访问 WideIP 的时候，则 3DNS 将通过预先定义的算法给用户的 LocalDNS 返回相应的域名与 IP 对应记录。4.2 不改变上级注册授权域 DNS 服务器地址 当条件限制，无法改变上级域名注册授权域 DNS 服务器地址的时候，则需要对系统原 有授权域服务器配置进行修改，将动态记录委派到 3DNS 上进行解析。以 为例，配置方式如下：原 DNS 服务器系统配置：