前台门户网站高并发架构设计方案

1 前台门户网站高并发架构设计方案 1 设计思路 为提高网站的高并发性能 ,提高开发效率及运营效率 ,主要按如下几个思路进行规划设计 : 1) 实现 a) 通过硬件实现负载均衡。 b) 通过第三方软件来实现负载均衡 ,同时实现页面请求的缓存。 c) 通过 即通过 . 2) a) 应用开发实现 b) 采用第三方开源的 c) 页面尽可能静态化以减 少动态数据访问。 d) 采用页面缓存机制和数据缓存来实现页面请求的缓冲和数据的缓存 3) 数据存储的设计思想 a) 数据库拆分 ,把生产数据库和查询数据库分离，对生产数据库采用 b) 采用高效的网络文件共享策略，采用图片服务器来实现页面的图片存储。 2 2 系统架构设计 站总体架构 站的系统架构 1. 分层结构 T o m a tA p a c h B 服 务 器架 构数 据 存 储文 件共 享T o m a tN g i n x p r o x yS q u i 的 负 载 均衡 软 件数 据 库生 产 数 据 库 查 询 数 据 库H D F 均 衡 器负 载 均 衡. . B 容 器负 载 均 衡 设 备C o n t r o 架 构M o d e l V i e 持 久 层( i b a t i s )数 据 缓 存页 面 缓 存( O S C a c h e / M e m c a c h e d )S q u i d c a c h 缓 存N g i n x c a c h S 3 2. 网络示意图 I n t e r n e 器 2代 理 服 务 器 集 群（ N g i n x ）W e b 服 务 器 集 群 均 衡 器 1. . 器 器 2服 务 器 器 1S q u i d 服 务 器 集 群服 务 器 1 服 务 器 2. . 浏 览 页 面服 务 器 2服 务 器 1服 务 器 1 服 务 器 2W e b 服 务 器 集 群 器 1 服 务 器 2图 片 服 务 器 集 群服 务 器 33. 网站架构设计说明 1) 采用负载均衡器来实现硬件级的四层交换负载均衡，或采用 现软件的四层交换负载均衡。 2) 通过 3) 同时 搭建 作为静态页面的缓存。 4) 通过 1个 个 组成 5) 采用独立的图片服务器集群来实现图片资源的存储及 6) 采用 过 7) 在应用开发中采用基于 时采用缓存技术来提高动态页面的访问。 8) 使页面尽可能静态化，引入 9) 对数据库采用生产数据库和查询数据库分离，同时 采用 10) 通过镜像技术来实现不同网络服务商的接入速度问题。 4 站的软件架构 T o m a tA p a c h B 服 务 器数 据 存 储文 件 存 储T o m a F S. . 基 于 s t r u t s 的 M V C 框 架M o d e lV i e 层页 面 缓 存 （ M e m c a c h e d ）通 讯 层S M P P U S 群发 器彩 信 群发 器数 据 库消息中心消 息中 心O R Mi b a t i 连 接 池C 3 p 0H T M L 静态 化 模 块后 台 支撑 模 块业 务 支 撑模 块请 求数 据生 产 数 据 库（ R A C ）生 产 数 据 库（ R A C ）统 计 支 撑模 块I / OC o n t r o 层 数 据 层J D B 数 据 库 5 络拓扑结构 I n t e r n e 火 墙主 交 换 机V R R 火 墙服 务 器 2服 务 器 1服 务 器 2服 务 器 器 2服 务 器 2服 务 器 1 服 务 器 1代 理 服 务 器 集 群（ N g i n x ）网 站 服 务 器 集 群生 产 D B 服 务 器 集 群 查 询 D B 服 务 器 组光 纤 交 换 机光 纤 交 换 机磁 盘 阵 列 柜 磁 盘 阵 列 柜备 交 换 机负 载 均 衡 器 1负 载 均 衡 器 2. . 器 器 2服 务 器 器 1应 用 服 务 器 集 群管 理 终 端服 务 器 1 服 务 器 n. . 器 2服 务 器 1 服 务 器 服 务 器 集 群备注： 1) 采用双防火墙双交换机做网络冗余，保障平台服务 采用双防火墙通知接通 2线路互联网接入，设备之间采用 任何一个防火墙、互联网发生故障后均可自动将流量切换到另一端，保证网站的正运行，设备或网络恢复后，自动恢复。 采用双千兆交换机分别接在 2台防火 墙上，当某台设备或者网络链路发生故障后，好设备自动接管已坏设备的工作，不影响网站的整体运行，根据业务及真实服务器的数量，交换机可以随时增加。 2) 采用硬件设备负载均衡器，实现网络流量的负载均衡 使用硬件设备负载均衡器，将网络流量均衡的分担到 障平台服务器资源均衡的使用。 3) 采用代理服务器，实现软件级的网络负载均衡。 4) 数据库服务器分离成生产数据库集群和查询数据库集群，实现生产读写与后台查询统计进行分离，同时生产数据库采用 6 载均衡 过硬件实现负载均衡 在硬件四层交换 产品领域，有一些知名的产品可以选择，比如 些产品很昂贵，但是物有所值，能够提供非常优秀的性能和很灵活的管理能力。 000台服务器使用了三四台 过软件四层交换实现负载均衡 软件四层交换我们可以使用 提供了基于心跳线 高系统的鲁棒性，同时可供了灵活的虚拟以同时满足多种应用需求，这对于分布式的系统来说 必不可少。 一个典型的使用负载均衡的策略就是，在软件或者硬件四层交换的基础上搭建 种思路在很多大型网站包括搜索引擎上被采用，这样的架构低成本、高性能还有很强的扩张性 。 过反向代理服务器实现负载均衡 反向代理服务器又称为 速服务器，它位于 务器的前端，充当 反向代理服务器是针对 务器设置的，后台 务器对互联网用户是透明的，用户只能看到反向代理服务器的地址，不清楚后台 务器是如何组织架构的。当互联网用户请求 务 时， 请求的域名解析为反向代理服务器的 址，这样 求将被发送到反向代理服务器，由反向代理服务器负责处理用户的请求与应答、与后台 务器交互。利用反向代理服务器减轻了后台 务器的负载，提高了访问速度，同时避免了因用户直接与 务器通信带来的安全隐患。 目前有许多反向代理软件，比较有名的有 由 俄罗斯访问量第二的 点开发的，是一个高性能的 7 反向代理服务器，也是一个 理服务器。 目的为解决网络带宽不足的问题，支持 多种协议，是现在 统上使用、最多功能也最完整的一套软体。 1. 一个开源的 软件，利用它的反向代理技术可以提高网站系统的访问速度 ,下面将重点介绍 向代理的实现原理和在提高网站性能方面的应用。 务器和 间 , 组织架构如 下 图： 客户端请求访问 务时， 访问的域名 解析为 向代理服务器的 址，这样客户端的 求将被发送到反向代理服务器。如果 向代理服务器中缓存了该请求的资源，则将该请求的资源直接返回给客户端，否则反向代理服务器将向后台的 务器请求资源，然后将请求的应答返回给客户端，同时也将该应答缓存在本地，供下一个请求者使用。 向代理一般只缓存可缓冲的数据（比如 页和图片等），而一些 本程序或者 类的动态程序默认不缓存。它根据从 务器返回的 标记来缓冲静态页面 , 有四个最重要 标记： 告诉反向代理页面什么时间被修改 告诉反向代理页面什么时间应该从缓冲区中删除 告诉反向代理页面是否应该被缓冲 用来包含实现特定的指令，最常用的是 注： 轮询机制将 某一个 域名解析为 多个 2. “ x” ) 是俄罗斯人 索耶夫 )编写的一款高性能的 反向代理服务器。 8 经在俄罗斯最大的门户网站 运行了 4年时间，同时俄罗斯超过 20%的虚拟主机平台采用 在国内，已经有新浪博客、新浪播客、搜狐通行证、网易新闻、网易博客、金山逍遥网、金山爱词霸、校内网、 瓣、迅雷看看等多家网站、频道使用 务器。 点如下： 1) 工作在 层（应用层） 2) 高并发连接 官方测试能够支撑 5万并发连接，在实际生产环境中跑到 2 3万 并发连接数。 3) 内存消耗少 在 3万并发连接下，开启的 10个 程才消耗 15015M*10=150M）。 4) 配置文件非常简单 风格跟程序一样通俗易懂。 5) 成本低廉 以免费使用。而购买 6) 支持 能够根据域名、 求分到不同的后端服务器群组。 7) 内置的健康检查功能 如果 端的某台 务器宕机了，不会影响前端 访问。 8) 节省带宽 支持 缩，可以添加浏览器本地缓存的 。 9) 稳定性高 用于反向代理，宕机的概率微乎其微。 3. 通过 9 使 用 置一个可以应用的 用 请求按照权重以及当时负荷分 要达到以下要求： 10 1) 为 通过 用实例，并进行负载均衡。 2) 同时还要配置 就是说其中任何一个 要同步复制到其它 集群内的 为系统（包括 定 时时间。 存 统架构方面的缓存 1. 架构方面使用 缓存策略说明 用了 法， 是页面 时间 ( 间的差。 后面取页面的时间， 般是页面生成时间。 2. 8版本开始，支持了类似 缓存把 支持类似 动清除指定缓存页面； 采用 置的缓存区大小不能超过物理内存 +3. 基于 是功能并不是特别之强，性能上还是非常 之优秀。 $ /0)$ ) $1; 1211; 0; 这个配置会将 。 前没有写入 任何机制，所以要往 写入数据得用后台的动态语言完成，可以利用 404 定向到后端去写入数据。 11 以也可看作其优点。在生产应用中它常常用作和 的链接往往无法阻挡，而 如： ，所以会造成两次穿透；而 论链接变成 ，均不能透过 而有效地保护了后端主机。 样对于一个链接，可以很方便地查阅它在缓存机器上的缓存状态和内容，也可以很方便地和别的文件管理器如 完完全全就是一个文件系统结构。 这两种传统缓存都可以在 般我也是这么做的，这样可以利用系统内存来做缓存，利用内存的话，清理过期内容速度就会快得多。使用 /除了要把 果有大量小文件和目录，还要修改一下这个内存分区的 o 500M -o 80000 -o o 面的命令在一台有 3为 /条命令将其调大成 2500M，同时 有趣的是它可以随意调节，这里调节为 480000保守了点，但也基本 够用了。 用程序方面的缓存 1. 是一种开创性的 供了在现有 2存任何对象，你可以不受限制的缓存部分 何 有全面的久缓存 此允许昂贵的创建（ 据来保持缓存，甚至能让应用重启。支持集群需要修改代码。缓存记录的过期 括可插入式的刷新策略（如果默认性能不需要时）。 1) 缓存任何对象：你可以不受限制的缓存部分 何 2) 拥有全面的 3) 永久缓存：缓存能被配置写入硬盘，因此允许在应用服务器的多次生命周期间缓存创建开销昂贵的数据。 4) 支持集群：集群缓存数据能被单个的进行参数配置，不需要修改代码。 12 5) 缓存过期：你可以有最大限度的控制缓存对象的过期，包括可插入式的刷新策略（如果默认性能不能满足需要时）。 2. 般的使用目的是，通过缓存数据库查询结果，减少数据 库访问次数，以提高动态 提高可扩展性。 3. 内存数据缓存服务 对于一些常用的动态数据通过开发程序服务缓存在内存中，提供给其他子系统调用，如下面的数据就可以通过这样方式进行缓存。 1) 用户基本信息及状态的信息缓冲 2) 列 表缓存，就像论坛里帖子的列表 3) 记录条数的缓存，比如一个论坛板块里有多少个帖子，这样才方便实现分页。 4) 复杂一点的 如积分的分类排名 面静态化 页面 静态化 就是采用 效率最高、消耗最小的纯静态化的 替换动态页面。 我们尽可能使我们的网站上的页面采用静态页面来实现，这个最简单的方法其实也是最有效的方法 。 同时采用第三方开源的 对于大量内容并且频繁更新的网 13 站，我们无法全部手动去挨个实现 页面静态化 ， 所以我们需要引入 常见的信息发布系统 (信息发布系统 (以实现最简单的信息录入自动生成静态页面 ， 对于一个大型网站来说，拥有一套高效、可管理的 据库集群及表库散列 据库集群 对生产数据库采用 据库及表的散列 把生产数据库和查询数据库进行分离，针对系统业务数据的特点，把大的表进行拆分，对于访问较多的表采用分区表。 开发使用上的问题？ 件存储 件共享 于 003年 10月发表的 文。 特性 1) 硬件要求低 2) 高容错性 3) 易可扩展 4) 配置简单 5) 超大文件 一个 应用在大批量的数据上，需要后绪分析。 14 件的多服务器自动同步 使用 利用开源的 果目录内文件发生增、删、改，利用 片服务器分离 特别是如果程序与图片都放在同一个 服务器下，每一个图片的请求都有可能导致一个 程的调用。 使用独立的图片服务器不但可以避免以上这个情况，更可以对不同的使用性质的图片设置不同的过期时间，以便同一个用户在不同页面访问相同图片时不会再次从服务器（基于是缓存服务器）取数据，不但快速，而且还省了带宽。还有就是，对于缓存的时间上，亦可以做独立的调节。 像 镜像的技术可以解决不同网络接入商和地域带来的用户访问速度差异。 我们可 以在不同的网络接入商部署 过 同步到不同网络接入商的 。 15 应用开发实现 用 一个可以设计和实现更好的 用程序持久化层的框架。 对象和存储过程或者使用 述符的 句进行了关联。 简单是 大的优势 1. 至少能操作 10 种以上的数据库 2. 可配置的 括从属 ) 3. 支持 . 简单的 5. 支持 简单类型包装 (如 6. 支持 法 ) 7. 支持复杂的对象映射