威发办公平台服务器集成部署方案.docx

威发云办公平台服务器集成部署方案威发云办公平台服务器集成部署方案V1.0威发（西安）软件有限公司二一四年十一月五日目录一、需求分析31.需求说明32.技术指标3二、部署方案31.主要技术点说明31.1负载均衡与集群31.2热备策略31.3静态资源分离及CDN加速31.4逻辑节点划分41.5冷备份策略41.6安全数据通道42.部署架构42.1部署架构示意图42.2运维管理服务器组52.3统一认证服务器组52.4平台节点服务器组63.容量设计73.1统一认证服务器73.2平台节点服务器容量8三、风险应对101.故障汇总10四、反馈与总结11一、 需求分析1. 需求说明为满足威发云办公平台的部署及运维支撑，实现稳定的，安全的，经济的可运营环境，需设计可行的服务器运营环境及可行的扩展支撑方案。2. 技术指标 最低可行运行环境配置及并发容量、可稳定运行时间、冗余方式。 稳定安全的单节点可行运行环境配置及并发容量、可稳定运行时间、冗余方式。 可扩展的可行运行环境配置及并发容量、可稳定运行时间、冗余方式。二、 部署方案1. 主要技术点说明1.1 负载均衡与集群 应用服务器集群与负载均衡 Memcache缓存服务集群 Mysql数据库集群与负载均衡 Ldap服务负载均衡 租用阿里云SLB负载均衡服务1.2 热备策略 Mysql数据库主从热备策略 Memcache双写热备策略 LDAP Master/Consumer Replication备份策略 静态资源准实时热备策略1.3 静态资源分离及CDN加速 静态资源独立发布（Nginx） 静态资源按分类划分，分服务器发布 活跃资源做CDN加速1.4 逻辑节点划分单节点为一组服务器，对外映射统一的域名，协同完成所有功能。单节点内可发布和支持多个企业，一定的硬件配置可支持一定量的企业容量、用户容量，当硬件开销/企业数量(用户数量)之比值达到最优时，需开启新节点应对更多的企业、用户。假定单节点可支撑10万用户，50万用户需开启5个节点。1.5 冷备份策略 虚拟机快照镜像备份 数据库数据定期导出到本地 静态资源数据定期导出本地 LDAP组织架构数据定期导出本地1.6 安全数据通道 基于https的安全加密数据传输通道 核心数据加密传输2. 部署架构22.1 部署架构示意图服务器部署分三部分：运维管理服务器组，主要负责运营管理，系统监控，报表管理统一认证服务器组，主要用于集中认证管理，组织架构共享平台节点服务器组，主要用于企业管理，即时消息，应用市场2.2 运维管理服务器组运维服务器组核心工作是日常运营管理与维护，包括企业注册开通授权，应用市场管理，系统监控，报表管理。性能并发要求不高，数据安全要求比较高。 适合以下策略： Mysql数据库主从热备策略 静态资源准实时热备策略 Nginx服务独立发布应用市场资源 活跃资源做CDN加速 虚拟机定期快照镜像备份 数据库数据定期导出到本地 应用市场数据定期导出本地 推荐服务器部署方案： 数据库服务器x2 应用服务器x1 监控服务器x1 报表服务器x1 应用市场资源服务器x1 数据备份服务器x1 服务器基本组成如下：2.3 统一认证服务器组认证服务器组核心任务是组织架构共享及提供统一认证服务。写入性能要求不高，读取性能要求高，认证并发要求高，数据安全要求高。这里组织架构采用sun ldap构建，用于存储和认证。 适合以下策略 LDAP服务负载均衡 LDAP Master/Consumer Replication备份策略 认证服务器集群与负载均衡 LDAP组织架构数据定期导出本地 推荐服务器部署： LDAP服务器x N 认证服务器x N 数据备份服务器x1 服务器基本组成如下：2.4 平台节点服务器组平台服务器组的核心任务是提供企业管理、即时消息服务、基础应用支撑、第三方平台服务，作为统一认证中心，统一消息中心，统一应用中心，对数据的读写及并发要求都很高，数据安全要求高，通信安全要求高。 适合以下策略 应用服务器集群与负载均衡 Memcache缓存服务集群 Mysql数据库集群与负载均衡 租用阿里云SLB负载均衡服务 Mysql数据库主从热备策略 Memcache双写热备策略 静态资源准实时热备策略 消息，应用模块，应用市场，头像等静态资源独立发布（Nginx） 静态资源按分类划分，分服务器发布 活跃资源做CDN加速（如头像） 虚拟机快照镜像备份 数据库数据定期导出到本地 静态资源数据定期导出本地 基于https的安全加密数据传输通道 核心数据加密传输 推荐服务器部署 应用服务器x N 数据库服务器x N 缓存服务器x N 资源服务器x N 备份服务器x 1 服务器基本组成如下：3. 容量设计针对对当前系统现状的分析，以及结合项目发展的进度规划，初步评测认为系统的主要瓶颈在平台节点服务器和统一认证服务器环节。这里主要对这两组服务器的存储，并发等容量进行理论设计评估。1233.1 统一认证服务器单台ldap服务器理论设计用户容量为100万，并发访问量为5万。可以通过以下方法扩充用户容量： 通过Directory Proxy Server部署方案实现负载均衡。 通过认证服务器实现分布存储和认证。3.2 平台节点服务器容量这里主要针对平台服务器单节点的容量进行理论设计和确定方案。设计目标为单节点10万用户，1000企业。这里针对内存、磁盘、网络等资源的容量进行理论设计。内存开销主要在于消息缓存、并发服务、数据库开销，消息统一缓存于Memcache缓存服务器，并实现分布式共享，并发开销通过增加每一个web容器的配置内存和设置多个并发容器来实现。Memcache内存开销计算公式：V = M * L * N / nV：内存总开销，可分配于多个Memcache中M：单条消息开销，目前计算值为约0.5KBL：设置单人消息队列长度，这里设置为1000条消息，为最大值。N：系统计划容纳人数，这里计划为100000人n：消息分摊系数，系统内很多消息内容为多人共享，实际仅开销一份，这里为3按以上设计，实际最大开销可以计算出为0.5*1000*100000/3/1024/102416GB按2个Memcache服务器做负载均衡，每台服务器承担8GB缓存数据。如果考虑缓存热备，需要额外增加2台服务器用于Memcache的故障热备。Tomcat容器并发线程开销，按惯例及考虑Java GC对性能的影响，这里预估设计为16G/台。考虑并发设计单台同时开启多个tomcat资源。最低需开启2台应用服务器，实现高可用。数据库预估8G/台，最低需开启2台数据库服务器，实现热备磁盘容量开销主要包含数据库文件开销，静态资源文件开销，日志文件开销。每日数据开销计算方式，按照每企业100人，每日活跃用户（占比20%）平均发送消息100条，不活跃用户（占比80%）发送消息10条,每条消息占0.5KB资源，分摊系数3，总计1000个企业，发送消息中有5%为图片消息，图片消息资源文件平均占用空间为500KB，5%为语音消息，语音消息平均占用空间为20KB，则可以计算，每日数据库消息开销为 (100*20%*100+100*80%*10)*1000*0.5/1024/1024/3=0.45G，每日图片消息开销为(100*20%*100+100*80%*10)*1000*5%*500/1024/1024/3=22G，每日语音消息开销为(100*20%*100+100*80%*10)*1000*5%*20/1024/1024/3=0.9G。日志文件开销预估为0.1G。综上可以计算单日总开销如下：数据库服务器0.45GB/日，按存储一年计算，需约163GB活动空间。应用服务器开销0.1GB/日，按存储6月计算，需约20GB活动空间。资源服务器开销(45+1.8)GB/日，按存储一年计算，需约8840GB活动空间网络开销按需进行分摊，消息主体流量来自应用服务器，图片，语音消息流量来自资源服务器。按照磁盘开销计算公式，单日消息量为(100*20%*100+100*80%*10)*1000=2800000条。消息流量是消息体的n（如一条50人群组消息的流量是51次消息体的传输，一条对话消息的流量是2次消息体的传输，按照10条会话消息1条群组消息的比例配置，这里的n=(10*2+51)/(10+2)=6）倍，单条为0.5KB，流量平均分布在12个小时内，则计算流量为2800000*0.5*6/(12*60*60)=195KB/s=1560Kb/s，另考虑其他业务数据流量通道（按业务随机触发）预留1Mb/s，合计2.52Mb/s。考虑峰值并发度高，这里x2，最后为约5Mb/s同理，资源服务器消息数量计算为2800000*5%=140000条。其中图片资源平均500KB，预览图片平均为5KB，语音消息平均20KB。预览图片是自动加载，故其所有命中图片全部会执行下载的流量为140000*5*6/(12*60*60)=100KB/s；图片和语音消息按50%的概率会打开，其流量为140000*50%*(20+500)*6/(12*60*60)=5056KB/s，合计为5156KB/s，合计约40Mb/s综上所述，支持1000企业，每企业100用户，总计10万用户的的平台节点服务器可能配置列表如下：服务器名称服务器配置服务器说明门户负载均衡服务器CPU：4核心2.4GHz内存：8GB磁盘：100GB网络：5Mb/s安装HA负载均衡服务需1台Tomcat集群服务器CPU：8核心2.4GHz内存：16GB磁盘：200GB安装门户主服务2台，每台安装24个Tomcat实例数据库集群服务器CPU：4核心2.4GHz内存：8GB磁盘：500GB安装Mysql数据库服务2台，一主一从，热备+负载均衡缓存服务器CPU：4核心2.4GHz内存：8GB磁盘：100GB安装Memcache缓存服务2台，2台做负载均衡2台做热备（可选）LDAP服务器CPU：4核心2.4GHz内存：8GB磁盘：500GB安装Ldap目录服务Master/Consumer Replication需2台，单节点时暂不需要搭建独立的认证服务资源服