应用交付与负载均衡.ppt

应用交付 负载均衡 介绍 魏言华 负载均衡分类 服务器负载均衡技术点 目前存在的问题负载均衡原理负载均衡分发算法负载均衡会话保持机制负载均衡部署方式负载均衡调度流程服务器健康检查服务器平滑上下线服务器性能优化 服务器负载均衡 目前存在的问题 服务器负载均衡 目前存在的问题 服务器负载均衡 基本原理 服务器负载均衡 基本原理 服务器负载均衡 基本原理 服务器负载均衡 分发算法 服务器负载均衡 分发算法 服务器负载均衡 分发算法 服务器负载均衡 会话保持 服务器负载均衡 会话保持 服务器负载均衡 会话保持 基于原IP地址 负载均衡时根据访问请求的源地址作为判断关联会话的依据 对来自同一IP地址的所有访问请求在做负载均时都会被保持到一台服务器上去 另外为每一个进行会话保持的会话设定一个时间值 从一个会话上一次完成到这个会话下次再来之前的间隔如果小于这个超时值 将新的连接进行会话保持 但如果这个间隔大于该超时值 则会将新来的连接认为是新的会话然后进行负载均衡调度 服务器负载均衡 会话保持 插入cookie 也被称为插入式Cookie会话保持 其原理是利用Cookie持续性 通过在客户端存储的Cookie信息来作为访问请求的调度依据 对于用户发起的HTTP请求 设备会在转发服务器回复时插入用于识别的特殊Cookie 待用户下次访问时便可将带有相同Cookie信息的请求始终调度到同一台服务器 以实现会话保持的效果 服务器负载均衡 会话保持 CookiePassive的会话保持机制 被动式Cookie会话保持 实现机制与CookieInsert类似 都是通过客户端存储Cookie信息来作为访问请求的调度依据 不同的地方在于 对用户发起的HTTP请求 会由后台服务器在回复时就写入相应的Cookie 而深信服AD设备在转发回复时则记录该Cookie信息 待用户下次访问时便可将带有相同Cookie信息的请求始终调度到同一台服务器 以实现会话保持的效果 服务器负载均衡 会话保持 Cookierewrite的会话保持机制 称为改写式Cookie会话保持 常被用于认证系统与应用系统交互的业务场景中 用户在首次访问应用服务器的时候 会被重定向到认证服务器进行登录认证 负载均衡在对多台认证服务器做负载均衡的同时 会在认证返回信息的Cookie中写入标识信息 以便于区分不同的认证服务器 应用服务器随后发起用户验证的时候 负载均衡设备先根据标识信息辨认出用户先前登录的同一台认证服务器 并从Cookie中删除标识信息后对其转发验证请求 以实现会话保持的效果 服务器负载均衡 会话保持 HTTP报文头的会话保持机制 某些HTTP应用不支持或者不完全支持Cookie会话保持 但是用户的会话信息是可以带在HTTPHeader里面的 例如移动用户进行WAP浏览时 使用Call ID来代表用户的手机号码 在此种情况下 可以记录HTTPHeader的会话信息 待用户下次访问时便可将带有相同会话信息的请求始终调度到同一台服务器 以实现会话保持的效果 服务器负载均衡 会话保持 Radius报文的会话保持机制 宽带用户的RADIUS请求通过BRAS 宽带接入服务器 发送到RADIUS服务器 负载均衡设备在对RADIUS服务器实现负载均衡的同时 也会通过RADIUS属性来维护会话的一致性 同一用户的认证会话使用相同的RADIUS服务器 以确保RADIUS认证 计费的统一 服务器负载均衡 NAT组网方式 路由部署方式中 通常服务器的网关需要指向负载均衡设备 这种情况下的流量处理最简单 负载均衡只做一次目标地址NAT 选择服务器时 和一次源地址NAT 响应客户端报文时 服务器负载均衡 NAT组网方式 通常服务器网关指向核心交换 负载均衡设备需要同时做源地址和目标地址NAT转换 这种情况下服务器无法记录真实访问客户端的源地址 如果是http流量时 可以通过在报头中插入真实源地址 同时调整服务器日志记录的方式弥补 服务器负载均衡 DR组网方式 通过在服务器上的配置修改 负载均衡设备其实仅处理客户请求流量 所有服务器响应的流量直接返还给客户 早期在负载均衡性能较低时常用来作为一个避免性能瓶颈的手段 由于此种方式只能使用一些基本的4层负载 服务器负载均衡 透明组网方式 透明模式中 服务器和负载均衡设备同一网段 通过二层透传 服务器的流量需要经过负载均衡设备 NAT方式L4服务器负载均衡的工作流程图 NAT方式L4服务器负载均衡的工作流程描述 DR方式L4服务器负载均衡的工作流程图 DR方式L4服务器负载均衡的工作流程描述 L7层服务器负载均衡的工作流程图 L7层服务器负载均衡的工作流程描述 服务器负载均衡 健康检查 服务器负载均衡 健康检查 服务器负载均衡 健康检查 服务器负载均衡 温暖上线 服务器负载均衡 温暖下线 服务器性能优化 服务器性能优化 TCP连接复用 负载均衡设备保持先前用户访问时与后台服务器之间建立的TCP连接 以供后续访问使用 如此便显著减少了后台服务器需要处理的用户端连接数 减少量最高可以达到90 加快了客户端与后台服务器之间的连接处理速度 提高应用系统的处理能力 节省组织的硬件投资成本 服务器性能优化 内容缓存 设备基于内存的反向代理Cache功能 在内存中缓存网站等相关资源的页面内容缓存功能可降低用户访问对后台服务器的负载压力 在减少了后台服务器投资成本的同时 提高了系统的处理能力和用户的访问体验 服务器性能优化 SSL卸载 SSL卸载技术是通过将应用访问过程中SSL的加解密过程转到深负载均衡设备之上 从而减少服务器端的性能压力 提升客户端的访问响应速度 链路负载均衡 链路负载均衡根据业务流量方向可以分为Outbound链路负载均衡和Inbound链路负载均衡两种情况 出方向 Outbound 链路负载均衡入方向 Inbound 链路负载均衡 链路负载均衡原理链路负载均衡调度算法链路负载均衡会话保持链路负载均衡健康检查链路负载均衡过载保护链路负载均衡就近性链路负载均衡智能应用路由链路负载均衡智能DNS 链路负载均衡技术点 出方向链路负载均衡 存在的问题 出方向链路负载均衡 解决方案 出方向链路负载均衡 工作流程 负载均衡设备接收到内网用户访问的流量以后 根据预先设定负载策略将访问电信的资源的出站流量分配到电信的链路之上 并做SNAT 指定某一合法IP地址进行源地址的NAT 或者用设备的接口地址自动映射 保证数据包返回时能够正确接收 同理 其它的访问的流量会通过相应策略会被分配到其它的运营商链路之上 入方向链路负载均衡 存在的问题 入方向链路负载均衡 解决方案 入方向链路负载均衡 工作流程 通过在域名注册提供商处修改域名NS记录 设备获得域名解析权 深信服实现一个域名绑定多个运营商的公网地址 负责解析来自多个运营商用户的域名解析请求 根据设定的负载策略可以实现 电信的用户通过电信的线路访问内部资源 联通的用户通过联通的线路访问内部资源 还可以通过两条链路做反向查询 根据RTT时间判断链路的好坏 并且综合以上两个参数返回相应的IP地址 链路负载均衡调度算法 链路负载均衡调度算法 链路负载均衡 会话保持 链路负载均衡 链路健康检查 健康性检查算法的目的 通过某种探针机制 检查服务器群中真实服务器的健康情况 避免把客户端的请求分发给出现故障的服务器 以提高业务的HA能力 目前常用的健康性检查算法 Ping ICMP TCPHTTPFTPDNS inbound链路负载均衡 链路负载均衡 链路健康检查 链路负载均衡 链路健康检查 链路负载均衡 链路过载保护 电信已满 改走联通 想访问电信 当链路负载超过设置阀值 默认90 后续流量自动切换到其他链路 LB 链路负载均衡调度算法 就近性 静态就近性 指负载设备中内置电信 移动 联通等运营商的网段 通过网段匹配使访问电信地址的流量走电信链路 访问移动地址的流量走移动链路动态就近性 指设备主动通过多条链路探测某个目的地址的时延 丢包率等多项参数并通链路质量评定算法 在多条链路中选择一条该目的地址的最佳出口链路 去往该目的地址的流量都会被引向这条链路 链路负载均衡调度算法 出方向动态就近性 链路负载均衡调度算法 入方向动态就近性 链路负载均衡 智能应用路由 基于 应用 的路由 首先 要把 应用 识别出来目前应用的识别无外乎 DPI DFI 等但DPI识别是通过7层特征识别 需要等流的连接建立完毕 7层协议开始传输后才能识别 简单说 DPI的识别是稍落后于连接的建立 当DPI识别出该应用的时候 连接已经建立 这时候如果再做选路 必须要先断掉之前建立的流 路由 连接建立 数据传输 应用识别 应用识别落后于连接建立 如果此时想实现应用路由 就必须断开连接重新建立 3 4层协议 5 7层协议 DPI DFI 链路负载均衡 智能应用路由 技术点1 协议识别一般来说 大容量传输的应用 通常有控制流 流量小 和传输流 流量大 这类协议如 FTP 迅雷 BT 电驴 QVOD等原理 通过控制流 不做应用路由 识别传输流 做应用路由 右图示例 迅雷走联通 LB 控制流正常路由 识别迅雷协议 传输流应用路由 应用路由 迅雷走联通 链路负载均衡 智能应用路由 技术点2 主动控制P2P协议 如果断流 双方会发起重传机制原理 对于P2P 在初期通过DPI DFI识别后 主动将其切断通过记录的流信息 根据应用路由重传请求用户端不会有任何感知右图示例 PPLIVE走联通 识别出PPLIVE 根据流信息 重传请求 LB 链路负载均衡 智能应用路由 技术点3 DNS识别特定网站 只需要截获DNS报文 就可以知道其类型 如 优酷 土豆 奇艺 新浪视频等原理 监测DNS报文 发现URL请求是特定网站 记录DNS回应报文 即该网站的IP 进行路由若门户网站包含视频 则只监控视频类 如新浪 只监控右图示例 优酷走联通 Page60 LB DNS请求 DNS回应1 1 1 1 被LB记录 访问1 1 1 1 优酷走联通 链路负载均衡 智能应用路由 技术点4 地址库识别某些应用的目的IP固定 且流量大如网盘 移动终端应用下载等原理 人工收集此类应用的目的IP右图示例 APPStore走联通 LB 我要访问218 68 250 120 该IP属于APPStore 走联通 链路负载均衡 智能应用路由 应用路由难点 首包识别通过4种技术实现此功能大流量协议识别 控制流 传输流 DNS识别 记录相应URL的DNS回应报文 主动控制 P2P主动断流 根据流信息切换出接口 地址库识别 特定应用 人工维护 应用场景 用户存在多条出口链路 最好是质量 带宽 价格有较大差异 通过应用路由 将大流量的应用分流到某条链路 链路负载均衡 智能DNS DNS就近性 均衡设备连接多条不同运营商链路 且内网有服务器通过多个运营商的多个地址提供服务时 可以使用DNS解析策略 将与客户DNS请求所属运营商相同的服务器地址通过DNS返回给客户 使得客户可以通过对应的运营商链路进行访问 提高网络的使用体验 使用该策略时 首先将在域名服务商处注册的域名的解析服务器指向均衡设备 当DNS的请求到达均衡设备时 根据请求的源IP地址匹配运营商网段表 得到DNS请求的所属运营商 然后均衡设备检查与请求数据的运营商相同的链路状态 选取最优链路并从DNS解析策略中获得该服务器的地址 然后通过DNS回复给用户 链路负载均衡 智能DNS DNS透明代理 链路均衡设备针对内网用户的出站流量通过DNS透明代理技术进行负载均衡 将内网用户的DNS解析请求智能重定向到负载较小链路所属运营商对应的DNS服务器进行解析 通常情况下该服务器会返回与其运营商所对应的地址 然后客户端会依据这个运营商的目的地址发起应用流量请求 设备收到该请求后会通过链路调度策略将其调度到负载较小的链路上 全局负载均衡技术点 目前存在的问题和应用场景全局负载均衡的原理全局负载均衡的就近性全局负载均衡的智能DNS调度全局负载均衡的HTTP调度全局负载均衡的智能IP调度全局负载均衡的健康检查 全局负载均衡 存在的问题 全局负载均衡 存在的问题 全局负载均衡 实现方案 首先需要在每个应用站点前放置应用交付设备 在各个设备上开启全局应用交付功能后 各个站点前的应用交付设备会通过交互协议在逻辑上连接起来 组成逻辑交付网络 随后各个设备会定期同步相关的应用服务状态 链路状态 设备状态等信息 任意一台设备都能获取到整个逻辑交付网络中其他设备的情况 当客户端的请求发送到逻辑交付网络中的任意设备上时 该设备首先会通过多种机制确认是否应该在本地处理该请求 如果应该本地处理 则将该请求通过服务器负载均衡技术发送至本地后端服务器 如果不应该本地处理 则设备会在逻辑交付网络中选出最合适的站点 然后通过DNS HTTP 智能IP等技术 将用户引导至选出的站点 全局负载均衡 就近性 为了保障当全球范围的用户在访问资源时 能够被引导至 最优 的数据中心 全局负载均衡设备需要对用户到各站点之间的距离 延时及当前数据中心的负荷等众多因素进行分析判断静态就近性全局负载均衡设备中搜集了全球的IP地址库 并能够实现实时更新 当用户访问目标IP属于哪个运营商 或地区 就为用户选择这个运营商 或地区 的数据中心 或链路 当用户请求没有包含设备的地址库中时 全局负载均衡设备将会主动查询该地址 所属地区 或运营商 匹配之后再根据静态就近性为用户选择数据中心 动态就近性当用户发起访问请求时 全局负载均衡设备可以通过综合考虑各数据中心与请求地址之间的路由节点数量 数据传输的延迟和数据中心链路的实时负荷 准确计算出最佳路径 将用户引导至最佳的数据中心 全局负载均衡 全局DNS智能解析 全局负载均衡解决方案 能够通过唯一的域名的方式为所有发布相同服务的数据中心提供统一的入口 根据管理人员预先设定的负载策略将用户的访问请求分配到不同数据中心之上 保障用户的访问体验 当用户通过域名方式进行访问时 可以根据用户使用的LocalDNS位置进行就近性计算 将最佳站点的IP地址解析给用户 全局负载均衡 全局DNS智能解析 全局DNS智能解析负载均衡中 GLB设备作为DNS解析的权威服务器记录域名与全局所有虚服务器 包括本地和远程虚服务器 IP地址的映射关系 一个域名可以映射为多个IP地址 其中每个IP地址对应一台虚服务器 用户通过域名方式请求服务时 要先进行DNS解析 本地DNS服务器将用户的域名解析请求转发给本地的GLB设备 即权威DNS服务器 本地GLB设备根据全局调度算法从全局下的所有可用虚服务器中选举出最优虚服务器 并将该最优虚服务器的IP地址作为DNS解析结果反馈给用户 用户向该IP地址请求服务 全局负载均衡 基于HTTP重定向定负载 全局负载均衡 全局IP智能转发负载 全局负载均衡 全局IP智能转发负载 技术特点IP智能转发可以对任何业务报文进行智能转发 实现所有IP业务流量的全局负载均衡 增强全局各种服务的可靠性和连续性 IP智能转发虽然是一种 三角转发 模式 即 客户端 本地GLB设备 远程GLB设备 客户端 但其对于客户端具有高度透明性 客户端无须进行任何配置 用户在访问过程中也无须进行任何多余的操作 实现原理当某一站点服务器A 本地GLB设备 接收到用户的业务请求报文 而本地服务器无法为其提供相应服务时 本地G