服务器负载均衡解决方案V9.0 1600.doc

密 级： 文档编号： 第 版分册名称： 第 册/共 册服务器负载均衡方案建议书北京海量智能数据技术有限公司总页数正文附录生效日期：编制：审核：批准：目 录一 综述1二 用户需求12.1 总体目标12.2 系统功能需求12.3 系统性能需求22.4 系统安全性需求32.5 可管理性需求3三 需求分析33.1 服务器负载均衡33.2 系统高可用性43.3 高度的安全性53.4 SSL加速53.5 系统管理53.6 其它6四 方案设计64.1 方案总体设计64.2 网络拓扑结构64.3设计描述7五 相关技术介绍85.1 负载均衡算法85.2健康检查方法95.3 会话保持技术115.4 UIE+iRules135.5 i-Control13六产品介绍146.1 BIGIP 1600146.2 BIGIP 1600性能参数15 北京海量智能数据技术有限公司 第-16-页 共-19-页一 综述随着访问用户数量的增加，给服务器带来越来越大的压力，实现访问流量在各服务器上均衡分配，充分利用各服务器资源，提高服务器的性能，给以最好的用户体验，是网络改造的重要目标。二 用户需求2.1 总体目标系统建设的总体目标为：1高性能，即根据数据包内的特征数据将流量分配到多组不同的服务器，同时采用丰富的负载均衡算法，使流量得以合理分配，从而保证整体服务器系统的性能得以大幅度提升；2高可靠性，系统运行稳定，单一设备故障不能影响系统的正常运行；3满足目前功能和性能的需求； 4良好的系统扩充能力，随着访问量的增加能够满足系统扩充需求；5系统具有良好的可管理性；6应具有高度的安全机制。7不对现有的系统进行大规模的调整。8丰富的会话保持策略能够满足灵活多样的动态调整。9通过中文的监视平台，方便直观地管理与监视应用的状态及健康状况。2.2 系统功能需求作为服务系统的核心，负载均衡系统必须满足以下业务需求：1冗余的系统实施方案，任何单点故障不影响系统的正常运营在接入系统的设计中，负载均衡设备采用冗余设计和实施，充分考虑到设备和线路的中断或故障情况，在发生故障时系统能迅速切换，保证系统的正常运营。2服务器负载均衡考虑到系统中有多台Web服务器需要实现负载均衡，保证用户访问流量能在各服务器上均衡分配，提高服务器资源的利用率。并且当某台服务器发生故障时能被及时检测到，并且故障服务器将会被自动隔离，直到其恢复正常后自动加入服务器群，实现透明的容错，保证服务器整体性能得到大幅提升。3基于数据包内容的负载均衡方式根据访问请求数据包内特征数据的不同将流量导向到相应的服务器；4升级能力负载均衡产品应当具有良好的系统和软件升级能力。5SSL加速卸载服务器HTTPS流量。6系统的配置管理方便，系统报告的可用性强，能提供完善的访问统计和流量管理7能够提供GUI的良好的维护界面和日常维护方案8能够提供必要的有关防病毒、防DoS攻击等黑客攻击解决方案或其他替代方案9服务器状态监测：动态监测服务器状态。2.3 系统性能需求系统的整体系统响应时间、整体系统性能和故障切换能力应达到或高于以下要求：1能够在一定的访问压力下仍然能够提供正常服务；2单台设备失效后，冗余设备能达到毫秒级切换；3系统稳定性强，系统响应时间（例如服务器故障后负载均衡对故障的反映）短（几秒钟之内）。2.4 系统安全性需求1负载均衡产品本身具有良好的系统安全性，不存在安全漏洞；2产品提供安全的访问管理环境。3具有一定的安全防护能力，协助防火墙和其他IDS设备构建动态防御体系，防御网络常见攻击，提高系统整体的安全防护能力。2.5 可管理性需求在可管理性方面，需要具备以下几点：1机架式机箱，标准19；2客户端管理软件能够方便地安装到流行的操作系统上（如WinXP，Win2K等）；3提供有效的关于用户、流量等的报表、统计工具；4提供有效的备份恢复手段；5提供有效的故障报警手段；6提供有效的系统监控手段并为通用的监控工具（如OpenView，Tivoli）提供接口。7系统的配置管理方便，系统报告的可用性强，能提供完善的访问统计和流量管理；8能够提供GUI的良好的维护界面和日常维护方案；9加密通讯，保证安全的设备管理三 需求分析3.1 服务器负载均衡对于所有的对外服务的服务器，均可以在BIG-IP上配置Virtual Server实现负载均衡，同时BIG-IP可持续检查服务器的健康状态，一旦发现故障服务器，则将其从负载均衡组中摘除。BIG-IP利用虚拟IP地址（VIP由IP地址和TCP/UDP应用的端口组成，它是一个地址）来为用户的一个或多个目标服务器（称为节点：目标服务器的IP地址和TCP/UDP应用的端口组成，它可以是internet的私网地址）提供服务。因此，它能够为大量的基于TCP/IP的网络应用提供服务器负载均衡服务。根据服务类型不同分别定义服务器群组，可以根据不同服务端口将流量导向到相应的服务器。BIG-IP连续地对目标服务器进行L4到L7合理性检查，当用户通过VIP请求目标服务器服务时，BIG-IP根椐目标服务器之间性能和网络健康情况，选择性能最佳的服务器响应用户的请求。如果能够充分利用所有的服务器资源，将所有流量均衡的分配到各个服务器，我们就可以有效地避免“不平衡”现象的发生。利用UIE+iRules可以将TCP/UDP数据包打开，并搜索其中的特征数据，之后根据搜索到的特征数据作相应的规则处理。因此可以根据用户访问内容的不同将流量导向到相应的服务器，例如：根据访问请求数据包的特征字段将流量导向到相应的服务器。3.2 系统高可用性系统高可用性主要可以从以下几个方面考虑：1设备自身的高可用性：F5 BIG-IP专门优化的体系结构和卓越的处理能力保证99.999%的正常运行时间，在双机冗余模式下工作时可以实现毫秒级切换，保证系统稳定运行，另外还有冗余电源模块可选。在采用双机备份方式时，备机切换时间最快会在200ms之内进行切换。BIG-IP 产品是业界唯一的可以达到毫秒级切换的产品, 而且设计极为合理，所有会话通过Active 的BIG-IP 的同时，会把会话信息通过同步数据线同步到Backup的BIG-IP，保证在Backup BIG-IP内也有所有的用户访问会话信息；另外每台设备中的watchdog芯片通过心跳线监控对方设备的电频，当Active BIG-IP故障时，watchdog会首先发现，并通知Backup BIG-IP接管Shared IP，VIP等，完成切换过程，因为Backup BIG-IP中有事先同步好的会话信息，所以可以保证访问的畅通无阻。2服务器冗余，多台服务器同时提供服务，当某一台服务器故障不能提供服务时，用户的访问不会中断。BIG-IP可以在OSI七层模型中的不同层面上对服务器进行健康检查，实时监测服务器健康状况，如果某台服务器出现故障，BIG-IP确定它无法提供服务后，就会将其在服务队列中清除，保证用户正常的访问应用，确保回应内容的正确性。3.3 高度的安全性BIG-IP采用防火墙的设计原理，是缺省拒绝设备，它可以为任何站点增加额外的安全保护，防御普通网络攻击。可以通过支持命令行的SSH或支持浏览器管理的SSL方便、安全的进行远程管理，提高设备自身的安全性；能够拆除空闲连接防止拒绝服务攻击；能够执行源路由跟踪防止IP欺骗；拒绝没有ACK缓冲确认的SYN防止SYN攻击；拒绝teartop和land攻击；保护自己和服务器免受ICMP攻击；不运行SMTP、FTP、TELNET或其它易受攻击的后台程序。BIG-IP的Dynamic Reaping特性可以高效删除各类网络DoS攻击中的空闲连接，这可以保护BIG-IP不会因流量过多而瘫痪。BIG-IP可以随着攻击量的增加而加快连接切断速率，从而提供一种具有极强适应能力、能够防御最大攻击量的解决方案。BIG-IP的Delay Binding技术可以为部署在BIG-IP后面的服务器提供全面地SYN Flood保护。此时，BIG-IP设备作为安全代理来有效保护整个网络。BIG-IP可以和其它安全设备配合，构建动态安全防御体系。BIG-IP可以根据用户单位时间内的连接数生成控制访问列表，将该列表加载到其它安全设备上，有效控制攻击流量。3.4 SSL加速在每台BIG-IP上，都具有SSL硬件加速芯片，并且自带500个TPS的License，用户可以不通过单独付费，就可以拥有500个TPS的SSL加速功能，节约了用户的投资。在将来系统扩展时，可以简单的通过License升级的方式，获得更高的SSL加速性能。3.5 系统管理F5提供HTTPS、SSH、Telnet、SNMP等多种管理方式，用户客户端只需操作系统自带的浏览器软件即可，不需安装其它软件，同时可以监控流量；另外，通过F5 的i-Control 开发包，目前国内已有基于i-Control开发的网管软件，可以定制针对系统服务特点的监控系统,比如服务的流量情况、各种服务连接数、访问情况、节点的健康状况等等，进行可视化显示。告警方式可以提供syslog、snmp trap、mail等方式。3.6 其它BIG-IP内置i-Control SDK二次开发包，可以通过API接口方便的取得各种流量统计信息，作为计费的依据。在Web用户界面上面也可以方便的查看各种流量统计信息，如果需要按照流量计费，可以使用以上两种方式取得流量的统计信息。F5 NETWORKS免费提供安装在服务器端、动态获取服务器信息的agent软件，将其安装在服务器端以后，就可以动态获取服务器当前运行状态。升级能力：F5 所有设备均可通过软件方式升级，在服务有效期内，升级软件包由F5公司提供。F5 NETWORKS已经发布其系统的最新版本BIG-IP V9.0，主要有以下特性：虚拟 IPV4 / IPV6 应用、减少66%甚至更多的基础架构成本、确保高优先级应用的性能、确保更高级别的可用性、大幅提高网络和应用安全性、强大的性能，简单的管理方式、无以匹敌的自适应能力和延展能力和突破的性能表现力。IP地址过滤和带宽控制：BIG-IP可以根据访问控制列表对数据包进行过滤。配置管理及系统报告：F5 BIG-IP提供WEB 界面配置方式和命令行方式进行配置管理，并在其中提供了丰富的系统报告，更可通过i-Control自行开发复杂的配置及报告生成。四 方案设计4.1 方案总体设计互为冗余备份的两台BIG-IP1600上连到核心交换机，后端直接连接多台服务器。在BIG-IP1600上通过虚拟IP的机制实现流量的智能分配和服务器的负载均衡。客户端发起对VIP的访问，BIG-IP接收到访问请求之后，按照预先定义好的负载均衡算法将流量分发到某一台服务器，服务器处理之后返回响应给BIG-IP，BIG-IP接收到服务器返回的响应之后将数据包发送给客户端。4.2 网络拓扑结构网络拓扑结构如图4.1所示：4.3设计描述在图中所示，本方案采用BIGIP LTM设备旁挂在交换机的旁边，这种部署方式的最大优点是，不需要改动用户原有的网络拓扑结构。客户端访问请求到达BIG-IP，BIG-IP将流量进行处理，并按照预先定义的负载均衡算法将连接请求转发到某一台服务器上面，该服务器返回响应到BIG-IP，BIG-IP处理之后返回给客户端。如下图所示数据处理描述：从客户端过了的第一个数据包的源地址为客户端地址，目的地址为F5设备上的虚拟服务器地址；数据包到达F5后，F5会把数据包的目的地址改为实际服务器的地址，F5把这个数据包（源地址为客户端地址，目的地址为实际服务器地址）发给实际服务器；实际服务器受到这个数据包后并处理完毕后，会产生一个目的地址是客户端地址，源地址为实际服务器地址的数据包，根据实际服务器的网关（F5的设备地址），这个数据包会到达F5设备；F5收到这个数据包后，根据记录把此数据包的源地址修改为F5设备上的虚拟服务器的地址，再把这个数据包发给客户端；客户端收到数据包后，整个数据流程结束。其中Web加速的功能是在应用层，主要通过浏览器行为控制和内容加速来实现对Web应用的加速，浏览器行为控制主要是保证用户在再次访问时不会重复下载不需要的内容，去掉刷新检测（HTTP 304 content not modified），保证内容的始终新鲜；内容加速主要是加速动态内容、优化文件传输、线性化PDF文档、浏览器多线程访问。五 相关技术介绍5.1 负载均衡算法BIG-IP可以提供12种灵活的算法将数据流有效地转发到它所连接的服务器群，这12种局域负载均衡算法包括：轮询（Round Robin）：顺序循环将请求一次顺序循环地连接每个服务器。当其中某个服务器发生第二到第7层的故障，BIG-IP就把其从顺序循环队列中拿出，不参加下一次的轮询，直到其恢复正常。比率（Ratio）：给每个服务器分配一个加权值为比例，根椐这个比例，把用户的请求分配到每个服务器。当其中某个服务器发生第二到第7层的故障，BIG-IP就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。优先权（Priority）：给所有服务器分组，给每个组定义优先权，BIG-IP用户的请求，分配给优先级最高的服务器组（在同一组内，采用轮询或比率算法，分配用户的请求）；当最高优先级中所有服务器出现故障，BIG-IP才将请求送给次优先级的服务器组。这种方式，实际为用户提供一种热备份的方式。最少的连接方式（Least Connection）：传递新的连接给那些进行最少连接处理的服务器。当其中某个服务器发生第二到第7层的故障，BIG-IP就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。最快模式（Fastest）：传递连接给那些响应最快的服务器。当其中某个服务器发生第二到第7层的故障，BIG-IP就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。观察模式（Observed）：连接数目和响应时间以这两项的最佳平衡为依据为新的请求选择服务器。当其中某个服务器发生第二到第7层的故障，BIG-IP就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。预测模式（Predictive）：BIG-IP利用收集到的服务器当前的性能指标，进行预测分析，选择一台服务器在下一个时间片内，其性能将达到最佳的服务器相应用户的请求。(被BIG-IP进行检测)动态性能分配（Dynamic Ratio-APM):BIG-IP收集到的应用程序和应用服务器的各项性能参数，动态调整流量分配。动态服务器补充（Dynamic Server Act.):当主服务器群中因故障导致数量减少时，动态地将备份服务器补充至主服务器群。服务质量(QoS)：按不同的优先级对数据流进行分配。服务类型(ToS)：按不同的服务类型（在Type of Field中标识）对数据流进行分配。规则模式：针对不同的数据流设置导向规则，用户可自行编辑流量分配规则，BIG-IP利用这些规则对通过的数据流实施导向控制。5.2健康检查方法BIG-IP除了能够进行不同OSI层面的健康检查之外，还具有扩展内容验证和扩展应用查证两种健康检查方法。基本的健康检查方法有以下几种： 在Layer 2 健康检查涉及到用来对给定的IP地址寻找MAC地址的地址分辨协议 (ARP) 请求。因为BIG-IP设置了真实服务器的IP地址，它会发送针对每一个真实服务器的IP地址的ARP请求以找到相应的MAC地址，服务器会响应这个ARP请求，除非它已经停机。在Layer 3 健康检查涉及到对真实服务器发送”ping”命令。“ping”是常用的程序来确认一个IP地址是否在网络中存在，或者用来确认主机是否正常工作。在Layer 4，BIG-IP会试图联接到一个特定应用在运行的TCP或UDP端口。举例来说，如果VIP是被绑定在端口80做Web应用的话，BIG-IP试图建立一个联接到真实服务器的80端口。BIG-IP发送一个TCP SYN 请求包到每个真实服务器的80端口，并检查回应的TCP SYN ACK数据包是否收到，如果哪一个没有收到，BIG-IP就确认那台服务器不能正常提供服务，BIG-IP单独针对服务器的每个应用端口做健康检查并单独做关于其服务器的诊断结果是非常重要的。这样一来真实服务器的80服务可能停机，但是端口21可能正常工作，BIG-IP可以继续利用这个服务器的21端口提供FTP服务，同时确认这个服务器的Web应用已经停机，这样一来就提供了一个高效率的负载均衡解决方案，细分健康检查的做法有效地提高了服务器的处理能力。扩展内容查证(ECV：Extended Content Verification)：ECV是一种非常复杂的服务检查，主要用于确认应用程序能否对请求返回对应的数据。如果一个应用对该服务检查做出响应并返回对应的数据，则BIG-IP控制器将该服务器标识为工作良好。如果服务器不能返回相应的数据，则将该服务器标识为宕机。宕机一旦修复，BIG-IP就会自动查证应用已能对客户请求做出正确响应并恢复向该服务器传送。该功能使BIG-IP可以将保护延伸到后端应用如Web内容及数据库。BIG-IP的ECV功能允许您向Web服务器、防火墙、缓存服务器、代理服务器和其它透明设备发送查询，然后检查返回的响应。这将有助于确认您为客户提供的内容正是其所需要的。用户可以定义发送和接收的字串，发送字串是指发送到一个服务器的请求命令，例如：“GET /” 字串发送到一个HTTP 服务器。服务器回应得字串必须与接收到的字串相匹配，例如“”。ECV 可以工作在正常和透明节点模式。扩展应用查证(EAV: Extended Application Verification)：EAV是另一种服务检查，用于确认运行在某个服务器上的应用能否对客户请求做出响应。为完成这种检查，BIG-IP控制器使用一个被称作外部服务检查者的客户程序，该程序为BIG-IP提供完全客户化的服务检查功能，但它位于BIG-IP控制器的外部。例如，该外部服务检查者可以查证一个从后台数据库中取出数据的应用能否正常工作。EAV是BIG-IP提供的非常独特的功能，它提供管理者将BIG-IP客户化后访问各种各样应用的能力，该功能使BIG-IP在提供标准的可用性查证之外能获得服务器、应用及内容可用性等最重要的反馈。该功能对于提高系统可靠性至关重要，它用于从客户的角度测试您的站点。例如，您可以模拟客户完成交易所需的所有步骤连接到前置服务器或中间件服务器、从目录中选择项目以及验证交易使用的信用卡。一旦BIG-IP掌握了该“可用性”信息，即可利用负载平衡使资源达到最高的可用性。BIG-IP已经为测试多种服务的健康情况和状态，预定义了扩展应用验证(EAV)，如：FTP、NNTP、SMTP、POP3和MSSQL等，用户还可依据实际应用，自行编辑EAV脚本。F5产品健康检查的频度和间隔是可以根据用户的要求而设置.通过F5灵活自定义方式的ECV健康检查方式，用户可以检查常见的应用如HTTP、SMTP、POP3等。而通过EAV健康检查方式，更可自行编写脚本，实现更加复杂的健康检查方式，全面的检测后台服务器的运行状态，保证系统运行的高效、可靠。5.3 会话保持技术当使用BIG-IP对服务器进行负载均衡时，就需要会话保持。如果某位用户连接到了一台服务器上，那么我们肯定希望该用户在将来再次连接时将仍可连接到该台服务器上。当该服务器存有用户相关数据，并且这些数据并不与其它服务器动态共享时，持续性就显得十分有必要了。BIG-IP提供以下几种会话保持方法：Simple Persistence，SSL Session ID Persistence，SIP Persistence，Cookie Persistence，iMode Persistence，目的地址归类。Simple Persistence：根据源地址做会话保持，即相同源地址的访问请求定位在同一台服务器上面。SSL Session ID Persistence：根据SSL会话ID做会话保持。SIP Persistence：SIP协议会话保持技术。HTTP Cookie Persistence：BIG-IP支持四种Cookie会话保持技术，即：改写模式，插入模式，被动的cookie，Cookie散列。在Cookie改写模式下，服务器将插入一个cookie，然后BIG-IP应用交换机将对其进行重写，访问流程如下：首次命中，HTTP请求（不带有cookie）进入BIG-IP应用交换机，BIG-IP应用交换机任选一台服务器，将请求发送至该服务器，来自该服务器的HTTP回复此时包括一个空白的cookie，BIG-IP应用交换机重写cookie，并在粘贴一个特殊的cookie后将HTTP回复发送回去。再次命中，HTTP请求（带有与上面同样的cookie）进入BIG-IP应用交换机，BIG-IP应用交换机借助cookie信息确定合适的服务器，HTTP请求（带有与上面同样的cookie）进入服务器，HTTP回复（带有空白cookie）返回BIG-IP应用交换机，后者将向客户机提供更新后的cookie。如图所示： Cookie会话保持改写模式在Cookie插入模式下，BIG-IP插入一个cookie，服务器无需作出任何修改，访问流程如下：首次命中，HTTP请求（不带cookie）进入BIG-IP应用交换机，BIG-IP应用交换机任选一台服务器，将请求发送至该服务器，HTTP回复（不带cookie）被发回BIG-IP应用交换机BIG-IP应用交换机插入cookie，将HTTP回复返回到客户机。再次命中，HTTP请求（带有与上面同样的cookie）进入BIG-IP应用交换机，Cookie指定合适的服务器，HTTP请求（带有与上面同样的cookie）进入服务器，HTTP回复（不带有cookie）进入BIG-IP应用交换机，后者将为客户机提供更新后的cookie。在被动模式下，服务器使用特定信息来设置cookie，访问流程如下：首次命中，HTTP请求（不带有cookie）进入BIG-IP应用交换机，BIG-IP应用交换机任选一台服务器，将请求发送至该服务器，HTTP回复（带有特定cookie）返回至BIG-IP应用交换机，BIG-IP应用交换机将HTTP回复（带有特定cookie）发回客户机。再次命中，发送HTTP请求（带有与上面同样的cookie），Cookie指定合适的服务器，HTTP请求（带有与上面同样的cookie）进入服务器，HTTP回复（带有特定cookie）返回至BIG-IP应用交换机，后者将HTTP回复（带有特定cookie）发送回客户机。BIG-IP应用交换机Cookie持续性模式与SSL持续性模式之间的主要区别在于：对于Cookie持续性而言，数据存储在客户机上，而不是BIG-IP应用交换机上，因此可充分使用客户机上的无限资源。即Cookie持续性体现在HTTP Cookie上，而信息则存储于客户机的磁盘驱动器上。Cookie会话保持散列模式该模式只能在BIGIP HA控制器和企业上使用。散列模式使您可以通过设定cookie中一定字节数的信息来确定连接的目的地。该模式用于将cookie值映射到节点上，之后该值这将用于连接含该cookie的客户机，从而实现了节点的持续性。5.4 UIE+iRules在BIG-IP上，我们还可以同过BIG-IP的UIE和iRules来实现七层的流量检测和灵活的负载均衡策略定义。通过UIE，我们可以对网络流量的任何规则进行判断，如源、目的IP地址，源、目的端口，数据包内容等。通过iRules，可以将UIE判断的结果进行操作，如送往Cache Server群组、特殊的服务器群组或者简单的丢弃或者通过。5.5 i-Control为了确保电子商务取得成功，应用和网络必须能够紧密结合。网络通知应用；应用指导网络，这就是F5新型体系结构的基础。i-Control提供了业界最紧密集成的产品套件，利用统一的设备活动协作来对互联网流量和内容部署/提供进行端到端的控制。它提供了端到端集成所需要的产品间的安全通信，而且还可以通过开放式XML API对F5产品进行编程，以支持客户与合作伙伴应用间的集成（F5的i-Control内部通信协