F5服务器负载均衡解决方案要点

F5 服务器负载均衡解决方案服务器负载均衡解决方案 目录目录 一 大量数据处理所面临的问题 3 1 目前存在隐患 4 2 应用系统问题综述 4 1 峰值 问题 4 2 多米诺 现象 5 3 N 1 方式 5 4 扩展 不便 5 5 免疫力 差 5 6 容灾 5 7 应用与网络脱节 6 二 F5 解决方案 6 2 1 网络结构 6 2 2 方案优势 6 2 2 1 避免 不平衡 现象 6 2 2 2 解决因 峰值堵塞 带来的性能调整 不平衡 7 2 2 3 避免 多米诺 现象 8 2 2 4 更好的提供系统容错 提高系统可靠性 8 2 2 5 扩展 灵活 9 2 2 6 免疫力 强 9 2 2 7 容灾 10 2 2 8 网络感知应用 应用控制网络 10 三 相关技术资料 12 BIG IP 提供支持 99 999 的正常运行 12 四 成功案例 13 F5 为中国某税务机关提供高可用性解决方案 13 一 大量数据处理所面临的问题一 大量数据处理所面临的问题 在现今的企业中 不论是否提供关键性任务的服务 都需要一个持续运行不断的 高可用性网络计算环境以维持不间断的高品质服务 所谓高可用性的环境 也是信息 管理人员所必须考虑的四件事 1 使数据有一个安全的存储和运作方式 即使在设备故障时仍能保持数据的完整 一致 2 使服务器系统持续运行 即使发生故障仍然让服务持续下去 3 使整个计算环境能更好的管理 如何容错 容灾 集群共享 4 如何使投资有最好的效益 使系统有最佳的扩充能力 有最低的整体拥有成本 也就是在任何情况之下均能确保数据的完整一致 系统持续运行 使服务不间 断 同时有最好的投资回报率 高可用性被定义为计算系统的连续运行 根据故障停机的业务影响 应用系统需 要不同的可用性水平 要想实现一个应用系统的高可用性 所有组件 包括应用和数据 库服务器 存储设备以及端到端网络 都需要提供连续的服务 企业和机构对网络化应用及 Internet 的日益依赖 加上语音和数据的集成 创造 了对高可用性应用的增加需求 任何类型的系统故障停机都可能意味着收入 信誉和 客户满意的巨大损失 高度网络可用性的利用 企业实施高可用性网络来 高度网络可用性的利用 企业实施高可用性网络来 防止财务损失 防止生产力损失 改进用户满意度 改进客户满意 信任 降低反应性 IT 支持成本 提高 IT 生产力 部署关键任务应用支持新业务实践的好处 典型的业务要求 为了实现高度的网络可用性 需要部署下列组件 为了实现高度的网络可用性 需要部署下列组件 可靠的网络设备 H W 和 S W 冗余及软件可靠性 弹性网络技术 确保任何设备或链路故障快速恢复的功能性 网络设计 定义良好的网络拓扑和配置 旨在以一种优化和计划良好的方式利用网络 弹性功能 最佳实践 定义良好的网络部署和维护过程 以及简化这些政策实施所必需的事件和 变化管理工具 全球性支持 全球性积极的支持和纠错支持 可以实现抢先的快速反应维护支持 行业伙伴关系 确保端到端应用可用性的技术 支持服务及最佳实践的集成 1 1 目前存在隐患目前存在隐患 1 1由于采用双机备份方式成本太高 如果不能建立有效的冗余技术 服务器不能保 障得到 24 7 持续服务质量 1 2 在广泛开展业务时 在流量的非线性变化或不平衡动态中 有可能需要根据具体 情况增加或删除业务服务器 而增加与减少业务服务器材必须更改系统的 IP 地址指向 造成业务服务器的扩展达不到新业务的需求 1 3 大量开展业务使服务器数量急剧增加 而如何管理监控服务器的流量 以便随时 掌握服务器的负载情况和趋势是一个较大的难题 1 4 服务器需要与许多异种架构系统配合 联网环境复杂 黑客攻击与病毒 蠕虫等侵入的 可能性相对核心网络系统大 因为服务器的 IP 地址裸露在网络中使得服务器的安全性得不 到保障 2 2 应用系统问题综述 应用系统问题综述 1 1 峰值峰值 问题问题 应用服务器的业务一般多为联机业务 联机业务的处理多存在 波峰 和 波谷 的变化 而且 波峰 时 业务量大小的变化又不规律 这就使应用服务器不得不面 对 峰值堵塞 问题 原有解决方法为增加应用服务器或主机数量 提高处理能力 但仍存在性能不平衡 问题 且这样做 投资成本大 2 2 多米诺多米诺 现象现象 单台服务器的设置 不可避免会出现 单点故障 需要进行服务器 容错 为实现容错 往往在主服务器旁安置一台或多台备份服务器 但这样做 平时只有 一台服务器工作 其它服务器处于空闲状态 无法完全利用所有服务器的处理资源 投资得不到充分利用 且当出现 峰值堵塞 时 所得到的往往是 多米诺 效应 即 所有服务器连续被 堵 至 死 并且 当所有服务器都损坏时 无法动态地 合理 地利用其它资源提供服务或备份 3 3 N 1 N 1 方式方式 这种方式也是在应对服务器 容错 时 提出的应用方式 N 即业务处理集 群 1 即一台备份机 我们注意到 虽然存在一台备份机 随时准备对业务处理集群中的任意一台 服务器进行备份 但是 如果又有服务器或更多服务器 软硬件 出现故障呢 所 以 N 1 也不能很好地完成系统 容错 4 4 扩展扩展 不便不便 随着物理和应用的集中 应用服务器上所要处理的数据量 traffic 增大 客户 交易产生的同时连接 concurrentconnection 数量会越来越多 若处理资源不够 在未超出系统容量时 往往是客户的请求回应越来越慢 可容纳的同时连接数量逐渐减小 系统性能严重下降 当超出系统容量后 系统 死机 业务中断 为应对日益增多的业务量 系统的扩展性尤为重要 当前所采用的扩展方式多 为利用 CLUSTER 的方式 但这时 需要配置 CLUSTER 卡和 CLUSTER 集线器 这些硬件设备成本高 投资大 CLUSTER 对硬件系统存在限制 CLUSTER 的容量有限 所有这些都会使系统 扩展 不便 5 5 免疫力免疫力 差差 由于系统服务器 裸露 于网络连接中 而防火墙的安置又多在网络总入口处 所 以服务器很容易受到来自各方面的 恶意性 或 无意 地攻击 为每台或每组服务器单独设置防火墙 又会使系统投资加大 维护量大幅提高 6 6 应用与网络脱节应用与网络脱节 系统的变化随时随地都会发生 完全靠人工的方式去调整网络与之适应 已 经显出了其 非时时地 不灵活的 缺陷 如何使应用的变化动态地反映到网络的 调整 已经成为现代化应用系统的一个新的课题 二 二 F5 解决方案解决方案 2 12 1 网络结构网络结构 如前所述应用系统出现的问题 经过认真的分析 结合 F5 在业界多年的经验 利 用 F5 的流量管理设备提供良好的 备而不闲备而不闲 的解决方案 在这种结构下 F5 BIGIP 与上联的防火墙和下联的交换机都采用交叉全冗余线路连接 因此需要在防火墙 BIGIP 和 siwtch 上都开启 spanning tree 协议 从而避免环路的产生 在 F5 上会添加一个 virtual server 映射到后台 server 上 只需要将 dns 记录指到 F5 上的 virtual server 即可把用户导向到 F5 上 当用户访问这个 virtual server 时 流量会被均匀 的负载均衡到后台 server 上 如果某台 server 设备发生故障 F5 将自动发现并不再把流量 发送到这台故障的 server 上 从而实现 server 的高可用 在需要扩展时 只需将新的服务 器设备连接到网络中 在 F5 上做一些设置即可 不会对现有网络产生任何影响的情况 下就可以实现无缝扩展 2 22 2 方案优势方案优势 2 2 1 避免避免 不平衡不平衡 现象现象 如果能够充分利用所有的服务器资源 将所有流量均衡的分配到各个服务器 我们就可以有效地避免 不平衡 现象的发生 BIGIP 是一台对流量和内容进行管理分配的设备 它提供 12 种灵活的算法将 数据流有效地转发到它所连接的服务器群 而面对用户 只是一台虚拟服务器 用 户此时只须记住一台服务器 即虚拟服务器 但他们的数据流却被 BIGIP 灵活地 均衡到所有的服务器 这 12 种算法包括 轮询 Round Robin 顺序循环将请求一次顺序循环地连接每个服务器 当 其中某个服务器发生第二到第 7 层的故障 BIGIP 就把其从顺序循环队列中拿 出 不参加下一次的轮询 直到其恢复正常 比率 Ratio 给每个服务器分配一个加权值为比例 根椐这个比例 把用户 的请求分配到每个服务器 当其中某个服务器发生第二到第 7 层的故障 BIGIP 就把其从服务器队列中拿出 不参加下一次的用户请求的分配 直到其 恢复正常 优先权 Priority 给所有服务器分组 给每个组定义优先权 BIGIP 用户的 请求 分配给优先级最高的服务器组 在同一组内 采用轮询或比率算法 分 配用户的请求 当最高优先级中所有服务器出现故障 BIGIP 才将请求送给次 优先级的服务器组 这种方式 实际为用户提供一种热备份的方式 最少的连接方式 Least Connection 传递新的连接给那些进行最少连接处 理的服务器 当其中某个服务器发生第二到第 7 层的故障 BIGIP 就把其从服 务器队列中拿出 不参加下一次的用户请求的分配 直到其恢复正常 最快模式 Fastest 传递连接给那些响应最快的服务器 当其中某个服务器 发生第二到第 7 层的故障 BIGIP 就把其从服务器队列中拿出 不参加下一次 的用户请求的分配 直到其恢复正常 观察模式 Observed 连接数目和响应时间以这两项的最佳平衡为依据为新 的请求选择服务器 当其中某个服务器发生第二到第 7 层的故障 BIGIP 就把 其从服务器队列中拿出 不参加下一次的用户请求的分配 直到其恢复正常 预测模式 Predictive BIGIP 利用收集到的服务器当前的性能指标 进行预 测分析 选择一台服务器在下一个时间片内 其性能将达到最佳的服务器相应 用户的请求 被 BIGIP 进行检测 动态性能分配 Dynamic Ratio APM BIGIP 收集到的应用程序和应用服务器 的各项性能参数 动态调整流量分配 动态服务器补充 Dynamic Server Act 当主服务器群中因故障导致数量减少 时 动态地将备份服务器补充至主服务器群 服务质量 QoS 按不同的优先级对数据流进行分配 服务类型 ToS 按不同的服务类型 在 Type of Field 中标识 对数据流进行 分配 规则模式 针对不同的数据流设置导向规则 用户可自行编辑流量分配规则 BIGIP 利用这些规则对通过的数据流实施导向控制 2 2 2 解决因解决因 峰值堵塞峰值堵塞 带来的性能调整带来的性能调整 不平衡不平衡 当出现流量 峰值 时 如果能调配所有服务器的资源同时提供服务 所谓的 峰值堵塞 压力就会由于系统性能的大大提高而明显减弱 由于 BIGIP 优秀的负载均衡能力 所有流量会被均衡的转发到各个服务器 即 组织所有服务器提供服务 这时 系统性能等于所有服务器性能的总和 远大于流 量 峰值 这样 即缓解了 峰值堵塞 的压力 又降低了为调整系统性能而增加的 投资 2 2 3 避免避免 多米诺多米诺 现象现象 BIGIP 将所有的服务器组织在一起提供服务 流量压力合理地分担到各个服务 器 不会使服务器如同单台设备工作时出现 多米诺 现象 当本地服务器群中的服 务器数量不能满足系统要求时 BIGIP 会利用 动态服务器补充 功能自动调入服务 器补充系统性能 并且即使当所有服务器都不能提供服务时 Redirect 功能会把用 户数据请求转发到 备份 点 满足系统的可靠性要求 2 2 4 更好的提供系统容错 提高系统可靠性更好的提供系统容错 提高系统可靠性 N 1 方式因备份服务器的数量少而不能有效的提供系统容错能力 BIGIP 将用户的服务请求均衡到所有的服务器 服务器群中的任何一台或多台 设备发生故障后 用户的服务请求被均衡到其它服务器 而且 当本地服务器群中 的服务器数量不能满足系统要求时 BIGIP 会利用 动态服务器补充 功能自动调入 服务器补充系统性能 如何有效地确定服务器 应用 内容的状态 使提高系统可靠性的关键 BIGIP 利用其独到的 高效的 健康检测 手段 识别服务器 应用 内容的状态 它们包括 服务器逻辑连接状态检测 应用类型状态检测 扩展内容查证 ECV Extended Content Verification ECV 是一种非常复杂 的服务检查 主要用于确认应用程序能否对请求返回对应的数据 如果一 个应用对该服务检查作出响应并返回对应的数据 则 BIGIP 控制器将该服 务器标识为工作良好 如果服务器不能返回相应的数据 则将该服务器标 识为宕机 宕机一旦修复 BIGIP 就会自动查证应用已能对客户请求作出 正确响应并恢复向该服务器传送 该功能使 BIGIP 可以将保护延伸到后端 应用如 Web 内容及数据库 BIGIP 的 ECV 功能允许您向 Web 服务器 防 火墙 缓存服务器 代理服务器和其它透明设备发送查询 然后检查返回 的响应 这将有助于确认您为客户提供的内容正是其所需要的 扩展应用查证 EAV Extended Application Verification EAV 是另一种服务 检查 用于确认运行在某个服务器上的应用能否对客户请求作出响应 为 完成这种检查 BIGIP 控制器使用一个被称作外部服务检查者的客户程序 该程序为 BIGIP 提供完全客户化的服务检查功能 但它位于 BIGIP 控制器 的外部 例如 该外部服务检查者可以查证一个从后台数据库中取出数据 的应用能否正常工作 EAV 是 BIGIP 提供的非常独特的功能 它提供管理 者将 BIGIP 客户化后访问各种各样应用的能力 该功能使 BIGIP 在提供标 准的可用性查证之外能获得服务器 应用及内容可用性等最重要的反馈 该功能对于提高系统可靠性至关重要 它用于从客户的角度测试您的站点 例如 您可以模拟客户完成交易所需的所有步骤 连接到应用服务器或中 间件服务器 从目录中选择项目以及验证交易使用的信用卡 一旦 BIGIP 掌握了该 可用性 信息 即可利用负载平衡使资源达到最高的可用性 BIGIP 已经为测试多种服务的健康情况和状态 预定义了扩展应用验证 EAV 如 FTP NNTP SMTP POP3 和 MSSQL 等 用户还可依据 实际应用 自行编辑 EAV 脚本 2 2 5 扩展扩展 灵活灵活 根据系统的发展 业务的增长 进行灵活的扩充 是不可避免的 这不仅要顾 及到数量的增长 同时也要考虑到软硬件类型的区别 BIGIP 对系统的扩充是非常灵活的 BIGIP 对所连接的服务器群的数量没有限制 同时对服务器的软 硬件类 型也没有任何限制 BIGIP 可最大同时容纳多达 4 百万个会话业务 在需要扩展时 只需将新的服务器设备连接到网络中 在 F5 上做一些设置即可 不会 对现有网络产生任何影响的情况下就可以实现无缝扩展 2 2 6 免疫力免疫力 强强 在图中我们可以看到 应用 web 服务器群或中间件服务器群在逻辑上位于 BIGIP 之后 所有的数据流 包括 攻击性 数据流都要经过 BIGIP 才能够流至服务 器 BIGIP 具有以下优秀的安全特性 对系统进行保护 访问控制列表 IP 包过滤 加密 SSL 的管理信息传递 口令保护 拒绝 DoS 攻击 免疫 Ping of Death 攻击 不用 Ack 缓冲应答未确认的 SYN 防止 SYN 风暴 通过对无效连接的管理来防止使用没有开放的服务进行攻击 源路由检查 防止 IP 欺骗 NAT SNAT 通过设置 BIGIP 可以将一个端口映射到多个端口上 许多 知名的端口是 如 80 443 20 21 可以被映射到服务器上的任何一个端 口上 此外 BIGIP 可以将位于它后面的服务器的地址翻译为那些对外公 布的地址 这个安全特性为网络带来了以下几种好处 入侵者无法确定哪些服务运行在哪些端口上 因而增加了攻击的难 度 使用非公开的路由地址 BIGIP 可以节省客户的 IP 地址 降低客 户的成本 可以隐藏 BIGIP 背后的服务器地址 避免这些服务器暴露到外部 世界 从而减少了黑客攻击这些服务器的机会 利用虚拟 IP 地址隐藏服务器实际地址 同时 在 BIGIP BIGIP 的安全管理报告中通过监视下列参数 BIGIP BIGIP 可以在安全报 告中列出那些服务和端口受到了非法的访问尝试 IP 地址 攻击者的源 IP 地址 频率 攻击者尝试攻击的数量 端口 哪个端口受到攻击 这些信息可以帮助管理员发现他们网络中存在的安全漏洞 并且可以判定哪些 人是潜在的攻击者 2 2 7 容灾容灾 数据中心的冗余设置常被用来提供数据中心的 容灾 BIGIP 与 3DNS 的结合 可以灵活的提供 容灾 保障 BIGIP 可以通过设置 备份中心 保证在主数据中心负载过重或发生故障 无 法正常提供服务时 自动启用 备份中心 继续为客户提供服务 3DNS 可以帮助客户在系统寻找过程中 智能地找寻到合适的数据中心 并且 3DNS 还可以动态监测数据中心的状态 一旦主数据中心发生故障 无法正常提供 服务 3DNS 可以自动将流量立即传送到备份 备份中心 BIGIP 与 3DNS 的结合应用 可以保证在局域和广域连接中为系统提供灵活的 容灾 策略 2 2 8 网络感知应用 应用控制网络网络感知应用 应用控制网络 以下图为例 应用 web 服务器或中间件服务器会定制完成与后台服务器进行数 据记录的备份 这时 这台服务器会集中于备份数据 而影响正常的客户服务 若 此时的客户请求再转向它 势必会对客户服务带来影响 如响应延迟太大 或服务 中断 但是 F5 利用 iControl 技术可以帮助服务器通知网络 此时忙 暂停服务 然后 网络将停止再向它转发客户请求 而将客户请求继续转发至其它服务器 继 续对客户应用请求提供服务 并且 服务器会同时通知 3DNS 这个中心可用服务 器数量减少一台 应相应减少对这个中心的客户服务请求量 当这台服务器完成所 有数据记录的备份后 服务器又会通知 BIGIP 和 3DNS 此时它已恢复正常 可以 提供服务 这时 系统又恢复原有的正常状态 在系统的运行过程中 各种各样的变化是不可避免的 靠人工的方法毕竟不是 一个灵活的 智能的方式 iControl 可帮助系统成为一个 自适应 的系统 使 网络 真正感知应用 应用控制网络 另外 利用 BIGIP 3DNS 和 iControl 还可以帮助系统提供增值应用 配置灵活 BIGIP 的放置非常灵活 即可放置在服务器群与网络的中间 也可 与服务器群以平行的方式接入网络 BIGIP 可根据服务器的运行状态 如 CPU 性能 内存利用率 磁盘空间利用 率 等服务器软 硬件状态 自动调整流量的分配 BIGIP 的高可靠性连接 提高了系统的可靠度 BIGIP 之间可互相备份 并且 提供 客户连接状态 的备份 提供 冗余 操作 它们可工作与两种状态 Active Standby Active Active 可基于所有 TCP IP 协议进行流量分发 管理和控制 可对所有基于 IP 的设备提供流量的分发 管理和控制 包括防火墙 路由器 VPN 路由器等网络设备 Npath 性能 BIGIP 包括称作 nPath 的可选模式 该模式允许服务器绕过 BIGIP 直接将信息返回给客户 例如 涉及下载流式媒体的企业可以选择采用 该功能 BIGIP 仅对用户的请求 即进入的流量 进行管理 SSL 加速加密套接字 Secure Socket 层交易的广泛采用和总体网络负载减缓了 服务器的执行速度 SSL Gateway 为 SSL 交易加速 3DNS 和 BIGIP 结合提供 14 种的全球流量分配策略 轮询算法 比率 最少连接数 随机 用户定义的服务质量 往返时间 RTT 完成率 数据包丢失 BIG IP 吞吐量 PPS 全球可用性 HOPS 分布式拓扑 访问控制 LDNS 轮询算法 动态比率 三 相关技术资料三 相关技术资料 BIG IPBIG IP 提