F5服务器负载均衡测试方案.doc

负载均衡设备测试方案负载均衡设备测试方案 第一版 第一版 2007 年年 7 月月 目目 录录 1 测试方案说明 测试方案说明 3 2 测试拓扑 测试拓扑 5 3 性能测试 性能测试 6 3 1TPS 每秒新建连接数 测试 6 3 2并发连接数测试 8 4 负载均衡功能测试 负载均衡功能测试 11 4 1负载均衡方式测试 11 4 2主机健康检查功能测试 12 4 3主机维护功能 12 5 HA 测试 可选 测试 可选 13 5 1负载均衡设备故障切换测试 13 5 2局域网交换机故障切换测试 14 6 安全性测试 安全性测试 15 6 1HTTP 访问源地址限制测试 15 6 2SSH HTTPS 访问控制 15 7 附加功能测试 可选 附加功能测试 可选 16 7 1应用优化 连接复用 ONECONNECTION测试 16 7 2应用优化 内存缓存 RAMCACHE测试 16 7 3应用优化 HTTP 压缩测试 16 7 4应用优化 SSL 流量卸载和加速测试 16 7 5应用优化 带宽管理 RATESHAPING QOS 测试 16 7 6安全 DOS 防护测试 16 1 测试方案说明 测试方案说明 项目概况 项目概况 XXXX 四台服务器需要做服务器负载均衡 未来可能更多的应用需要做服务器负载均衡 测试周期 X 月 X 日 X 月 X 日 测试设备 F5 LTM 3400 or LTM6400 大致访问量 客户需求 客户需求 采用负载均衡设备对四台 XXXX 系统应用服务器进行负载均衡 通过健康检查机制 ECV 对 web service 进行可用性检查 保证能够及时发现应用 故障 快速切换用户访问到健康的应用服务器上 采用 HTTP Cookie Insert 会话保持方式 将同一用户的第二次访问请求定向到先 前的应用服务器上 从而保证应用的粘连性 采用单臂路由的系统连接方式 启用 F5 SNAT 机制 从而保证原先应用系统的 IP 地址和网关地址变动最小 采用负载均衡设备双机热备方式 确认整个系统的高可用性 可选 Why F5 系统架构方面 F5 系统连接方式可以串联 可以旁路 可以 做端口汇聚 非常灵活 对原有系统的平滑升级影响最小 软件功能 完善的服务器负载均衡能力 特别是在应用健康检 查和会话保持方面是业界最完整和最完善的 经常得到 BEA Oracle SAP 技术人员的推荐 硬件性能 通过 LoadRunner 压力测试 设备运行稳定 系统资源还留有余量 为 今后的访问量提供了支持 iRules 业界唯一的可编程控制流量 可以更加精细地管理和控制流量 包括第 七层应用流量管理 应用优化支持 目前使用到 F5 OneConnection 连接复用和优化功能 能够大大提 高服务器的工作效率 今后还可以升级 HTTP 压缩和内存 Cache 等优化功能 F5 的解决方案 的解决方案 采用单臂路由方式将 1 台 LTM3400 割接到原先的生产网中 通过 SNAT 机制 改变 客户端的源地址 从而在服务器 IP 地址和网关不变的情况下 使得服务器的 http response 经过 LTM3400 回到客户端 保证了整个数据包流程的正确性 竞争友商竞争友商 2 台 LTM3400 双机热备 同时采用硬件级串口心跳切换和网络级故障切换两种冗余 切换机制 保证了整个系统的高可用性 可选 LTM 上定义了一个 VS 虚拟服务器 调用了离校系统应用服务器群 满足用户负 载均衡的需求 保证 7 24 应用服务能力 对应用服务器进行 HTTP ECV 内容检查 实时监测应用的可用性 在对应用服务器负载均衡的过程中 启用 HTTP Cookie Insert 会话保持机制 将 同一用户的第二次以后的访问请求定向到先前的应用服务器上 从而保证应用的 粘连性 通过对 TCP 三次握手的 SynCheck 机制 扫描和阻断 Synflood 等 DOS 攻击行为 激活 OneConnect 连接复用和优化功能 大大减少了服务器的连接数 增加了服务 器的处理能力 关键技术阐述 关键技术阐述 灵活地组网方式 高效的双机切换机制 基于 HTTP Cookie 的会话保持机制 iRule 可编程的高级流量控制和管理接口 丰富的应用优化机制 OneConection SSL Offload HTTP Compression RamCache TCP Express WebAccelerator RateShaping 等 2 测试拓扑 测试拓扑 测试图一 测试环境 单臂路由连接方式 测试图二 生产环境 建议单臂路由 端口汇聚连接方式 3 性能测试 性能测试 3 1TPS 每秒新建连接数 测试 每秒新建连接数 测试 衡量负载均衡设备的关键性指标为每秒新建连接数 最大并发连接数 XXXXXXXX 系统 应用服务器面对全校进行 HTTP 服务 负载均衡设备的选择必须要能满足超过 100K request second 新建会话数的要求 因此该项测试必须模拟出真实的 HTTP 环境 要满足 以下几个要求 1 背景流量必须真实加载在负载均衡设备 即负载均衡设备必须完成 TCP HTTP 背景流量 的负载均衡 2 满足 XXXXXXXX 系统的真实业务要求 负载均衡设备对于 TCP HTTP timeout 时间不得 短于 10 秒 3 在加载背景流量的同时下 Client 可访问正常的 web Server 项 目1 真实流量下的TPS性能压力测试 要求有大量客户端 可以是生产网运行 测试目的 衡量负载均衡设备的关键指标为每秒新建连接数 最大并发连接数 测试使用多 台Client模拟大量IP地址进行HTTP连接请求 生产网环境 以验证四层交换在大量源IP地 址 大量新增HTTP请求下的性能 测试要求 1 必须打开待测试备的四层交换功能 2 HTTP TCP timeout时间为10秒 3 流量必须真实加载在负载均衡设备上 即该设备必须完成对HTTP TCP真实流量 的负载均衡 测试配置 参见测试拓扑1 测试过程 1 检查负载均衡设备是否打开四层交换能力 2 确认负载均衡设备对 TCP timeout 时间为 10 秒 3 在负载均衡设备上配置 2 个 Virtual IP 地址 一个用于加载背景流量 一个用于正常 真 实 HTTP 访问 4 在真实流量逐步增大的情况下 使用 Client 对用于正常访问的 Virtual IP 进行 HTTP 请 求 查看 HTTP 请求响应情况 5 使用命令行或 Web 界面管理界面动态观察实时的并发会话数和每秒新进会话数 6 查看负载均衡设备的 CPU Memory 情况 以验证负载均衡设备在大量 IP 地址 大量新增 连接请求下的性能 预期结果 1 真实流量能够通过负载分担到内部的服务器上 2 Client可访问到正常的HTTP服务器 Virtual IP 3 负载均衡设备的CPU利用率较低 测试说明 判定原则 测试结果必须与预期结果相符 否则不符合要求 对每秒新增会话数 HTTP请求情况和CPU的对应关系做记录 测试结果 项 目2 模拟背景流量下的TPS性能压力测试 测试目的 衡量负载均衡设备的关键指标为每秒新建连接数 最大并发连接数 测试使用 LoadRunner进行HTTP连接请求 以验证四层交换在相同或有限多个源IP地址 大量新增HTTP 请求下的性能 测试要求 1 必须打开待测试备的四层交换功能 2 HTTP TCP timeout时间为10秒 3 LoadRunner发出的背景流量必须真实加载在负载均衡设备上 即该设备必须完 成对HTTP TCP背景流量的负载均衡 测试配置 参见测试拓扑1 测试过程 1 检查负载均衡设备是否打开四层交换能力 2 确认负载均衡设备对 TCP timeout 时间为 10 秒 3 在负载均衡设备上配置 2 个 Virtual IP 地址 一个用于加载背景流量 一个用于正常 真 实 HTTP 访问 4 打开负载均衡设备上针对背景流量的逐包负载均衡机制 确保背景流量的每个报文均为一 个新建会话 以测试负载均衡设备性能 5 配置负载均衡设备前端 LoadRunner 发送测试流量 并逐步提高 LoadRunner 每秒发送的 HTTP 请求量 直至设备标称值 6 查看在此阶段中负载均衡设备发出和返回的流量 分析背景流量报文在负载均衡过程中是 否有丢失 7 在背景流量逐步增大的情况下 使用 Client 对用于正常访问的 Virtual IP 进行 HTTP 请求 查看 HTTP 请求响应情况 8 使用命令行或 Web 界面管理界面动态观察实时的并发会话数和每秒新进会话数 9 查看负载均衡设备的 CPU Memory 情况 以验证负载均衡设备在大量 IP 地址 大量新 增连接请求下的性能 预期结果 1 背景流量能够通过负载分担到内部的服务器上 2 Client可访问到正常的HTTP服务器 Virtual IP 3 负载均衡设备的CPU利用率较低 测试说明 判定原则 测试结果必须与预期结果相符 否则不符合要求 对每秒新增会话数 HTTP请求解析情况和CPU的对应关系做记录 测试结果 3 2并发连接数测试并发连接数测试 项 目1 真实流量下的并发连接数性能压力测试 要求有大量客户端 可以是生产网运行 测试目的 衡量负载均衡设备的关键指标为每秒新建连接数 最大并发连接数 因此此次测 试使用多台Client模拟大量IP地址进行HTTP连接请求 生产网环境 以验证四层交换在大 量源IP地址 大量新增HTTP请求下的并发连接数 测试要求 1 必须打开待测试备的四层交换功能 2 HTTP TCP timeout时间设为60秒 3 流量必须真实加载在负载均衡设备上 即该设备必须完成对HTTP TCP真实流量 的负载均衡 测试配置 参见测试拓扑1 测试过程 1 检查负载均衡设备是否打开四层交换能力 2 确认负载均衡设备对 TCP timeout 设置为 60 秒 3 在负载均衡设备上配置 2 个 Virtual IP 地址 一个用于加载背景流量 一个用于正常 真 实 HTTP 访问 4 在真实流量逐步增大的情况下 使用命令行或 Web 界面管理界面动态观察实时的并发会 话数和每秒新建会话数 直至到达标称的最大连结数指标 5 查看负载均衡设备的 CPU Memory 情况 以验证负载均衡设备在大量 IP 地址 大量新 增连接请求下的性能 预期结果 1 真实流量能够通过负载分担到内部的服务器上 2 Client可访问到正常的HTTP服务器 Virtual IP 3 负载均衡设备的CPU利用率较低 测试说明 判定原则 测试结果必须与预期结果相符 否则不符合要求 对每秒新增会话数 会话连接数 HTTP请求解析情况和CPU的对应关系做记录 测试结果 项 目2 背景流量下的并发连接数性能压力测试 满负荷测试 测试目的 衡量负载均衡设备的关键指标为每秒新建连接数 最大并发连接数 因此此次测 试使用LoadRunner进行HTTP连接请求 以验证四层交换在相同或有限多个源IP地址 大量新 增HTTP请求下的并发连接数 测试要求 1 必须打开待测试备的四层交换功能 2 HTTP TCP timeout时间设为60秒 3 背景流量必须真实加载在负载均衡设备上 即该设备必须完成对HTTP TCP背景 流量的负载均衡 测试配置 参见测试拓扑1 测试过程 1 检查负载均衡设备是否打开四层交换能力 2 确认负载均衡设备对 TCP timeout 设置为 60 秒 3 在负载均衡设备上配置 2 个 Virtual IP 地址 一个用于加载背景流量 一个用于正常 真 实 HTTP 访问 4 配置负载均衡设备前端多台 Client 上的压力测试工具 LoadRunner 并逐步提高每秒发送的 HTTP 请求量 5 在背景流量逐步增大的情况下 使用命令行或 Web 界面管理界面动态观察实时的并发会 话数和每秒新建会话数 直至到达标称的最大连结数指标 6 在背景流量逐步增大 设备最大连结数逐步增大的情况下 使用 Client 对用于正常访问的 Virtual IP 进行 HTTP 请求 查看 HTTP 请求响应情况 7 查看负载均衡设备的 CPU Memory 情况 以验证负载均衡设备在大量 IP 地址 大量新 增连接请求下的性能 预期结果 1 背景流量能够通过负载分担到内部的服务器上 2 Client可访问到正常的DNS服务器 Virtual IP 3 负载均衡设备的CPU利用率较低 测试说明 判定原则 测试结果必须与预期结果相符 否则不符合要求 对每秒新增会话数 会话连接数 DNS请求解析情况和CPU的对应关系做记录 测试结果 4 负载均衡功能测试 负载均衡功能测试 4 1负载均衡方式测试负载均衡方式测试 项 目 负载均衡方式的测试 测试目的 负载均衡设备支持基于轮询和比例等方式的负载均衡功能 测试要求 1 必须打开待测试备的四层交换功能 2 HTTP TCP timeout时间为10秒 测试配置 参见测试拓扑1 测试过程 1 检查负载均衡设备是否打开四层交换能力 2 确认负载均衡设备对 TCP timeout 时间为 10 秒 3 配置负载均衡设备前端多台 Client 上发布测试流量 使用从目前 HTTP 节点采集的真实 HTTP 请求流量对背景流量的 Virtual IP 进行 HTTP 请求 4 设置负载均衡设备的负载均衡策略为轮询方式 使用命令行或 Web 界面管理界面动态观 察各台服务器上实时的会话数 判断是否满足轮询策略 5 设置负载均衡设备的负载均衡策略为比例方式 使用命令行或 Web 界面管理界面动态观 察各台服务器上实时的会话数 判断是否满足比例策略 预期结果 1 负载均衡设备的负载均衡策略满足设定要求 测试说明 判定原则 测试结果必须与预期结果相符 否则不符合要求 对不同负载均衡策略设定下的负载均衡情况做记录 测试结果 4 2主机健康检查功能测试主机健康检查功能测试 项 目 主机健康检查功能的测试 测试目的 负载均衡设备支持基于主机HTTP进程的健康检查功能 测试要求 1 必须打开待测试备的健康检查功能 测试配置 参见测试拓扑1 测试过程 1 检查负载均衡设备是否打开主机健康检查功能 2 配置负载均衡设备对后台 HTTP 服务器的 HTTP 内容健康检查功能 3 查看负载均衡设备中针对后台 HTTP 主机的健康检查状态 4 人为中止某台 HTTP 主机的 tomcat 进程 查看负载均衡设备中针对该 HTTP 主机的健康检 查状态 并确认在此情况下负载均衡的流量状况 预期结果 1 负载均衡设备能够实现基于业务的主机健康检查 2 主机进程故障的情况下 能够通过健康检查发现主机的故障 并停止向该主机 发布负载均衡的流量 测试说明 判定原则 测试结果必须与预期结果相符 否则不符合要求 测试结果 4 3主机维护功能主机维护功能 项 目 负载均衡设备对内部主机维护功能测试 测试目的 负载均衡设备支持内部HTTP主机的维护功能 测试要求 测试配置 参见测试拓扑1 测试过程 1 负载均衡设备可以将内部 Pool 中的某台服务器状态设置为立即停用状态或逐步停用状态 2 在立即停用状态下 该服务器将立即停止服务 原有用户连接中断 3 在逐步停用状态下 负载均衡设备将不再给该服务器发送新的请求 服务器继续处理原有 用户的连接 直至用户请求为 0 预期结果 1 负载均衡设备能够实现两种方式的主机维护功能 测试说明 判定原则 测试结果必须与预期结果相符 否则不符合要求 测试结果 5 HA 测试 可选 测试 可选 5 1负载均衡设备故障切换测试负载均衡设备故障切换测试 项 目 负载均衡设备切换测试 测试目的 测试负载均衡设备在出现故障的情况下网络切换能力 测试配置 测试过程 1 配置测试环境 以及四层交换设备 2 从 Client 上发送 HTTP 请求 目的地为 HTTP 的 VIP 地址 3 中断主用的负载均衡设备 记录 HTTP 请求响应数据包丢包情况 并计算收敛时间 预期结果 测试说明 测试结果 5 2局域网交换机故障切换测试局域网交换机故障切换测试 项 目 局域网交换机切换测试 测试目的 测试局域网交换机在出现故障的情况下网络切换能力 测试配置 测试过程 4 配置测试环境 以及四层交换设备 5 从 Client 上发送 HTTP 请求 目的地为 HTTP 的 VIP 地址 6 中断一台局域网交换机 记录 HTTP 请求响应数据包丢包情况 并计算收敛时