陕西电信DNS系统优化建议书

1 陕西电信 DNS系统优化 工程 项目 系统规划技术 方案 北京融海恒信咨询有限公司 2008 年 10 月 2 目 录 一、 DNS 系统优化升级设计目标 . 3 二、陕西电信 DNS 平台优化调整方案 . 3 1、 DNS 系统性能优化方案目标 . 3 2、陕西电信 DNS 系统优化调整技术依据 . 6 3、陕西电信 DNS 优化调整部署方案 . 7 4、陕西电信 DNS 优化升级方案预算 . 10 附件 1：陕西电信近期 DNS 流量统计表 . 11 附件 2：基于 DNS 的电信增值业务平台解决方案 Vantio. 12 3 一、 DNS 系统 优化 升级 设计目标 1、 继续加强 DNS 系统稳定性，优化 DNS 平台 ， 降低 DNS 系统的维护量和维护成本 ； 2、 按照客户类型进行 DNS 业务分级，确保重要客户的使用体验 ，针对大客户，部署专门的 DNS 服务器 ，实现对大客户服务质量的提升同时 为实现 对大客户互联网使用习惯的分析 提供数据基础 ； 3、搭建一个可管理及深层分析的 DNS 平台，为后续客户数据挖掘和客户行为分析提供有效数据，基于 DNS 系统数据为业务系统提供有价值的客户分析支撑 ，实现对 互联网用户访问行为习惯等的挖掘和分析 ； 二、 陕西电信 DNS 平台 优化调整 方案 1、 DNS 系统性能优化方案 目标 (1)、 DNS 的 业务 分 级 (建立 VIP 客户专属 DNS 服务器 ) 目前陕西全省宽带用户共用一套 DNS 系统，当系统繁忙后者遭到攻击的时候，所有用户的业务都受到影响。根据用户的业务级别，电信需要在 DNS 层次上提供分级服务，例如，对应 Gold 级别的用户，需要最大限度的保证 DNS 服务的稳定性和低延时，提高用户体验。 目前，用户 DNS 服务的分级控制有以下两种方案： 1、 建立一套 VIP 用户专用的 DNS 服务器，只对 VIP 用 户的 IP 开放服务，服务器设计负载应小于 20%，保证用户查询的相应速度。 2、 在现有 DNS 架构的基础上， 在网络上设置 QOS 优先级，保证 VIP 用户流量的优先级最高。 （ 2） 、 建立可分析的 DNS 业务平台 为了实现数据分析功能，要求 DNS 系统可以提供所有用户请求的原始数据，在原 始数据的基础上，用户可以实现定制的分析功能，例如 ： Top N 数据的采集 、某些域名访问量的统计 、二级域名访问排行、 IP 分类排行、用户兴趣分析 等等。 4 在基于 Bind 的解决方案中，由于 Syslog 功能会消耗大量 CPU 资源，不建议在现网中实施。 Nominum 公司的 CNS/Vantio 支持实时的 syslog，用户也可以直接把 log 记录到文件，文件 log 的方式会带来约 20%的 CPU overhead。用户可以通过配置选项定制 log 的记录内容，包括管理员修改记录，用户请求记录等等。 缺省的数据记录格式如下： 1193996470.512 2#32923 . IN A 另外一种解决方案就是在二层交换机上通过镜像功能把所有 DNS 相关数据传送到第三方服务器上，在第三方服务器上通过包分析和包记录工具实时记录所有原始数据 。 （ 3） 、递归查询和缓存功能的分离 效果试验 陕西电信现有 DNS 服务器 7 台，分布部署在二长以及西华门机房。 硬件平台均为 SUN X4200，节点内部 DNS 服务器连接到二层交换机 Cisco 3650 上。前端为四层交换机 AD3020。 本次调整中将对 递归查询和缓存功能的分离 效果进行实际现网试验。 缓存域名服务器实现的 DNS 功能由以前两部分组成： 1、接受客户发起的 DNS 请求，并将缓存内的 DNS 记录返回给用户 2、当缓存内没有相应记录的时候，服务器到互联网上执行递归查询，获得相应记录放入缓存，并把结果返回给客户 。 相关系统性能研究表明，第二部分功能也就是递归查询的功能消耗了大量的CPU 资源，以下是 SUN X4200 上的测试数据： Hardware Remote ANS Local ANS Cold Cache Hot Cache Cold Cache Hot Cache qps Latency qps latency qps latency qps latency X4100 2.8G cpu 2G Mem Solaris 10 18467 1.6 108892 .3 16586 1.8 108978 .3 18396 1.9 110177 .3 16498 2.1 108738 .3 18743 1.7 111212 .4 16830 3.0 110092 .4 18400 3.0 111572 .5 16838 3.3 110195 .5 17969 3.3 111205 .5 16575 3.6 110658 .5 5 18513 4.0 112255 .6 16596 4.5 110753 .6 18530 4.3 112421 .6 16286 4.9 110387 .7 18929 4.8 112228 .6 16256 5.5 110762 .7 18617 6.2 112449 .6 16195 7.1 111226 .9 18899 7.9 111878 0.0 16513 9.1 110418 .9 18387 10.9 111569 1.1 16525 12.1 111933 1.6 上表中， Hot cache 表示所有测试数据都在缓存内，服务器不需要执行递归查询的时候，服务器能够提供的最大 QPS， Cold Cache 表示数据都不在缓存内，所有 DNS 请求都需要递归查询的情况下，系统可以支持的负载。我们可以清楚的看出，前者的 QPS 峰值是后者的 5 到 6 倍 . 以上是基于 CNS 的测试数据，对于 Bind9.3 以上版本， Hot cache 的测试结果 也 比 Cold Cache 要高出 数 倍 （ 5） 。 6 2、陕西电信 DNS 系统 优化 调整 技术 依据 1、二长 DNS 系统总体业务处理能力及稳定性 优化 调整前，四台 BIND 服务器在峰值时平均每台解析量达到 7000QPS 左右，而实际应用经验表明， BIND 服务器在现网应用中解析量达到 8000QPS 左右时业务响应速度明显放慢，同时稳定性降低。 调整后，一台 CNS承担了西安地区 VIP客户的请求，峰值约为： 16000 QPS左右，而一台 CNS 服务器在线网应用中处理峰值为： 25000 QPS，所以能完全满足业务需要。经过 VIP 客户专属皆系服务器分流后的流量峰值为：12000QPS，剩余的其他三台 BIND 服务器每台只需要负担约 4000 QPS 的业务量。 这样调整后 ，整个二长 DNS 系统的处理能力和稳定性将得到本质的改善。 D N S 峰 值 流 量 q p s 1 2 0 0 0日 均 值 q p s 1 0 0 0 0D N S 峰 值 流 量 2 8 0 0 0日 均 值 1 8 0 0 0D N S 峰 值 流 量 q p s 1 6 0 0 0日 均 值 q p s 1 0 0 0 0D N S 总 体流 量西 安 拨 号 用 户 主 用 D N S 西 安 V I P 用 户 主 用 D N SD N S : 2 1 8 . 3 0 . 1 9 . 4 0 D N S : X X X . X X X . X X X . X X X 图： DNS 流量分配图 2、 VIP 专属 DNS 系统 的冗余性优化 调整后，需要通过两方面工作对 VIP 专属 DNS 系统进行冗余保障： 首先，要求 VIP 客户设定除专属 DNS 服务器地址之外的备用 DNS 服务器地址。 其次，通过对四层交换机进行配置，实现如果 CNS 服务器无法工作，可以将流量分配到原有的三台 BIND 服务器，确保用户的应用。 7 3、 陕西电信 DNS 优化 调整 部署 方案 本期 DNS 优化升级规划主要工作为： 在二长添加一台 CNS 业务平台，作为VIP 客户专属服务器 ，提高 VIP 客户的 DNS 使用质量和提升大客户满意度，同时为 VIP 客户访问习惯分析提供条件 。 具体部署 方案有以下三种： 方案一： 不增加服务器硬件，将原有的一台 BIND 服务器替换为 CNS 服务器，通过四层交换机设置流量等， 拓扑如下图： G S R 1 2 4 1 6 - 1 G S R 1 2 4 1 6 - 27 6 0 9 - 27 6 0 9 - 1四 层 交 换 机A D 3 0 2 0C I S C O 3 6 5 0C N SD N S 服 务 器（ S U N X 4 2 0 0 )B I N DD N S 服 务 器（ S U N X 4 2 0 0 )B I N DD N S 服 务 器（ S U N X 4 2 0 0 )B I N DD N S 服 务 器（ S U N X 4 2 0 0 )图 例 ：1 0 G 电 路G E 电 路F E 电 路D N S : 2 1 8 . 3 0 . 1 9 . 4 0D N S : 2 1 8 . 3 0 . 1 9 . X X（ 面 向 V I P 用 户 , I P 待 定 ） 图： 方案 1 系统拓扑图 此方案的优缺点： 优点，无需增加硬件设备，部署快速，同时调整比较灵活，可随时通过四层交换机的配置进行流量的分配和控制。 缺点，对于 VIP 专用的 DNS 服务器没有专用的容灾备份服务器，需要通过四层交换机进行配置，实现如果 CNS 服务器宕机，另外三台 BIND 服务器自动分流，从而实现应急备份。 8 方案 二 （推荐） ： 增加一台 SUN X4200 服务器，安装 CNS 软件，将原有的BIND 服务器拿出一台 作为 CNS 服务器的备份， 同时为 VIP 用户提供 DNS 解析服务。 G S R 2 4 1 6 - 1D N S : 2 1 8 . 3 0 . 1 9 . 4 0图 例 :C I S C O 3 6 5 0D N S 服 务 器（ S U N X 4 2 0 0 )B I N D1 0 G 电 路G E 电 路F E 电 路D N S 服 务 器（ S U N X 4 2 0 0 )B I N DD N S 服 务 器（ S U N X 4 2 0 0 )B I N DD N S 服 务 器（ S U N X 4 2 0 0 )7 6 0 9 - 1四 层 交 换 机A D 3 0 2 07 6 0 9 - 2G S R 2 4 1 6 - 2西 安 V I P 用 户 专 用 D N S峰 值 Q p s ： 1 6 0 0 0西 安 拨 号 用 户 主 用 D N S峰 值 Q p s ： 1 2 0 0 0D N S 服 务 器（ S U N X 4 2 0 0 )B I N DC N SD N S : X X X . X X X . X X X . X X X 图： 方案 2 系统拓扑图 此方案的优缺点： 优点，增加一台 Bind 服务器，提高了此系统的冗余度，同时 保障 在 任意一台服务器出现异常时 ，整个 DNS 系统不会发生服务中断，提高了系统的可用性 、稳定性和安全性 。 缺点，需要增加一套服务器设备，成本提高 。此外，由于两套 DNS 系统共用一台四层交换机，因此当四层交换机出现故障时，会同时造成两套系统均无法正常运行。 方案 三 ： 9 新增加一台四层交换机 和一台 SUN X4200 服务器， 建立全新独立的 VIP 专用DNS 系统 ，和 原有系统 独立运行。 G S R 2 4 1 6 - 1图 例 :1 0 G 电 路G E 电 路F E 电 路D N S 服 务 器（ S U N X 4 2 0 0 )7 6 0 9 - 1四 层 交 换 机7 6 0 9 - 2G S R 2 4 1 6 - 2西 安 V I P 用 户 专 用 D N S峰 值 Q p s ： 1 6 0 0 0D N S 服 务 器（ S U N X 4 2 0 0 )B I N DC N SD N S : X X X . X X X . X X X . X X X 图： 方案 3 系统拓扑图 此方案的优缺点： 优点，独立采用使用一台四层交换机进行分配流量，与原有 DNS 系统完全独立，降低了由于四层交换机故障造成两套系统均瘫痪的可能性。 缺点，需要增加开支，增加一台四层交换机及服务器。此外，由于新的系统独立于原有系统，会增加日常管理 维护 负担。 10 4、 陕西电信 DNS 优化升级方案预算 DNS 系统优化方案预算 序号 报价项目 产品描述 产品型号 目录单价 折扣率 成交单价 数量 总价 1 CNS 软件 Foundation CNS Server License Version 3.1 ￥ 1,250,000 60% ￥ 500,000 1 套 ￥ 500,000 2 保修和升级服务 1 Years Support and maintenance of CNS Per Instance ￥ 275,000 60% ￥ 110,000 2 年 ￥ 220,000 3 服务器 2*2.8G/8GM /2*146G SUN 4200 1 台 ￥ 80,000 3 系统安装实施及培训费 Nominum 厂家及融海咨询专业工程师现场安装培训 1 年 ￥ 50,000 总 计 ￥ 850,000.00 11 附件 1： 陕西电信 近期 DNS 流量统计表 西华门 节点 近期 DNS 流量数据 时间 峰值 qps 日平均 qps 平均递归 /s 成功率 % vip 用户比例 vip 峰值 qps vip 日平均 qps 2008-9-22 13637 9896 700 91.24 56% 7637 5542 2008-9-23 14239 10702 751 90.82 56% 7974 5993 2008-9-24 15945 9766 712 90.13 56% 8929 5469 2008-9-25 16342 11681 830 89.98 56% 9152 6541 2008-9-26 15234 9975 714 91.17 56% 8531 5586 2008-9-27 16221 13516 831 90.87 56% 9084 7569 2008-9-28 16318 11239 741 91.22 56% 9138 6294 二长节点近期 DNS 流量数据 时间 峰值 qps 日平均 qps 平均递归 /s 成功率 % vip 用户比例 vip 峰值 qps vip 日平均 qps 2008-9-22 20861 14661 700 89.73 56% 11682 8210 2008-9-23 23016 15298 701 90.27 56% 12889 8567 2008-9-24 24901 15146 693 89.91 56% 13945 8481 2008-9-25 26399 15574 712 90.45 56% 14783 8721 2008-9-26 27217 16274 707 90.72 56% 15242 9113 2008-9-27 26379 16184 708 90.95 56% 14772 9063 2008-9-28 28895 17501 698 91.18 56% 16181 9801 12 附件 2： 基于 DNS 的电信增值业务 平台解决方案 Vantio 传统的运营商角色定义为互联网的网路承载平台和网络硬件平台提供者，随着互联网的发展和宽带业务的广泛应用，越来越多的运营商意识到发展互联网上用户业务和用 户流量经营的重要性。通过提供给最终用户更好的业务和服务，运营商可以在更多的层次上细化业务种类和吸引新的客户。 DNS 是互联网上的关键应用，它直接关系到用户的最终体验，因特网的大规模发展对现有 DNS 系统的安全性，可扩展性，稳定性等方面提出了更高的要求。 DNS 在 IP 网上的核心地位也决定了它在作为新的业务增值切入点的角色。例如互联网流量汇聚就是最近在国际国内快速发展的一种新的业务。 Nominum 公司作为世界各地顶级运营商 DNS 架构的软件提供商，可以在第一时间了解到运营商的各种增值业务需求，并把握到互联网上 DNS 未来技术发展的动态；公司最新推出的 Vantio 业务承载平台就是在 IP 域名技术基础之上，根据各大运营商的业务要求开发的的一个通用增值业务平台， Vantio 为网络运营商提供了包括错误域名转发在内的多项增值业务模块，它的基本架构如下图一所示： 图一： Vantio 软件系统结构 13 如上图所示， Nominum 公司的 Vantio 服务器是在 C