TRSWCM6.5集群部署手册.doc

内容协作平台 trs wcm 6.5 集群部署 手册 北京拓尔思信息技术股份 有限公司 beijing trs information technology co. ltd 版版版权权权说说说明明明 本手册由北京拓尔思信息技术股份有限公司（以下简称 trs 公司）出 版，版权属 trs 公司所有。未经出版者正式书面许可，不得以任何方式复 制本文档的部分或全部内容。 北京拓尔思信息技术股份有限公司 版权所有。保留所有权利。 是北京拓尔思信息技术股份有限公司的注册商标。是北京拓尔思信息技术股份有限公司的注册商标。 关于本手册 本手册描述了 wcm 集群应用的优点与部署拓扑结构，并通过实例说明如何设置 nfs 完成文件共享及 apache 进行负载均衡。文档最后简略说明了集群相应设置的所有 参数的意义与作用。按照本手册的说明，应该可以完成集群环境的部署与安装。不过， 环境条件有限，另外一些负载均衡设备的配置肯定会有所不同，这个需要参阅其它相 应的手册完成部署设置。 读者对象 本手册适用于所有需要了解实施部署安装 wcm 集群的工程师。有相 关的 linux 操作系统管理经验对一些描述的理解会有所帮助。 用户反馈 trs 公司感谢您使用 trs 产品。如果您发现本手册中有错误或者产品运行不正 确，或者您对本手册有任何意见和建议，请及时与 trs 公司联系。您的意见将是我们 做版本修订时的重要依据。 目 录 第第 1 章章 wcm 集群带来的改变集群带来的改变1 1.1 伸缩性（scalability）.1 1.2 高可用性（high availability） 1 1.3 负载均衡（load balancing） .1 第第 2 章章 wcm 集群部署拓扑集群部署拓扑2 第第 3 章章 实际部署示例实际部署示例 .5 3.1 文件服务器.5 3.2 负载均衡.6 3.3 静态文件发布设置.8 3.4 一个完整的vhost设置示例9 3.5 验证部署.13 第第 4 章章 单机模式设置为集群模式的步骤单机模式设置为集群模式的步骤 .15 第第 5 章章 wcm 中的集群设置中的集群设置17 5.1 trswcmcluster.properties设置 17 5.2 数据库中的设置.17 trswcm 集群部署手册 1 第 1 章 wcm 集群带来的改变 1.1 伸缩性（scalability） 在一些系统中，预测最终用户的数量和行为是非常困难的，伸缩性是指系统适应 不断增长的用户数的能力。提高这种并发会话能力的一种最直观的方式就增加资源 （cpu、内存、硬盘等） ，集群是解决这个问题的另一种方式，它允许一组服务器组合 工作在一起，像单个服务器一样对外提供服务。集群中的每一个服务器我们称之为一 个节点。 1.2 高可用性（high availability） 单一服务器的解决方案并不是一个健壮方式，因为容易出现单点失效的情况，当 有且仅有的一个服务器不能提供服务时，整个系统就不可用了。集群方案通过在集群 中增加的冗余的服务器，使得在其中一台服务器失效后仍能提供服务，从而获得高的 可用性。 1.3 负载均衡（load balancing） 负载均衡是集群的一项关键技术，通过把请求分发给不同的服务器，从而获得高 可用性和较好的性能。负载均衡器可以是专用的硬件（如 f5 设备） ，也可以是一个带 有负载均衡功能的应用/web 服务器。wcm 集群是应用级的集群解决方案，不包含负 载均衡功能，因此需要前端设施的支持。 第 2 章 2 wcm 集群部署拓扑 第 2 章 wcm 集群部署拓扑 图 1 显示了一个简化后的典型的 wcm 集群部署拓扑结构。用户通过 internet/intranet 接入系统，负载均衡器按照既有的算法把用户请求转发到有效的服务 器节点上，然后由该节点为用户提供实际的服务。在 wcm 中，除了存储在关系数据 库的信息外，大部分文件都存储在本地文件中，在集群环境中，不同的节点访问的应 该是同一个文件，因此需要一个文件服务器（共享存储设备） 。 trswcm 集群部署手册 3 图 1 wcm 集群部署拓扑图 第 2 章 4 wcm 集群部署拓扑 集群的各个节点需要稳定可靠的网络通信以确保各个节点间的信息是一 致的，这样才能保证给用户提供的服务是正确可靠的，因此，我们建议包 括文件服务器，数据库服务器，集群服务器在内的后端服务器都通过一个 私有专用的子网互联，避免外部网络的干扰。 trswcm 集群部署手册 5 第 3 章 实际部署示例 条件所限，没有实际的硬件设施可供测试配置，文件服务器我们通过 nfs 处理， 而负载均衡则采用 apache 的负载均衡方案进行说明。实际项目中有其它设备的参考相 应的手册处理。本章除了说明 nfs 及 apache 负载均衡的相关设置外，给出一个完整的 apache 设置示例内容，并简单介绍了验证部署的两个方法和步骤。 3.1 文件服务器 wcmdata 目录中的资源文件是所有节点的共享的内容，没有网络存储 的情况下，我们目前使用网络共享来达到目的。windows 操作系统的映射 网络磁盘工作不作详细说明，下面的步骤说明 linux 操作系统 nfs 共享设 置。 server 端端 通过设置/etc/exports 文件来配置共享的目录，设置格式如下： /path/to/share 是要共享的目录，每个目录一行，后面 host1(options)表示 一个可访问该目录的一个客户主机，host1 可以是主机名，ip 地址等，可以 使用*做通配符 options 是一系列权限相关的设置，在我们这里，必须是可 读写权限。关于 exports file 的详细说明请查阅 linux 相关的文档。 示例设置如下(建议的 options 设置)： /exports/wcmdata 192.9.100.*(rw,fsid=6666,sync,no_subtree_check,no_root_squash) ) /path/to/share host1(options) 第 3 章 6 实际部署示例 设置后，可以通过 exportfs 命令使用设置生效，在这之前要确认 nfsserver 已经启动。 client 端端 客户端只要使用 mount 命令把文件挂载进来即可 其中的即是上面设置了共享的服务主机（名称/ip 均可） ， /path/to/share 是共享的目录，/mount/point 是本机的挂载点。 在 wcm 集群中，节点上的挂载点应该有相同的路径及名称。示例： 3.2 负载均衡 集群节点协同工作以后，需要将客户端的请求分发到各节点上。目前我 们使用 apache 做为前端负载均衡的转发器。考虑到 jk 的稳定性，我们建 议使用代理模式协同工作。因此，安装的 apache 需要有 mod_proxy,mod_rewrite,及 mod_proxy_balancer 等模块。主要设 置如下： root test root# /etc/rc.d/init.d/nfs start root test root# exportfs -rv root test root# mount t nfs :/path/to/share /mount/point root test root# makedir p /mnt/nfs/wcmdata root test root# mount t nfs 1:/exports/wcmdata /mnt/nfs/wcmdata trswcm 集群部署手册 7 #section 1 设置负载均衡的成员 balancermember 34:8080 route=m234 balancermember 16:8080 route=m216 balancermember 17:8080 route=m217 #proxyset stickysession=csid #section 2 设置转发规则，只有动态请求才转发到应用服务器 rewriteengine on rewriterule /wcm/(.*.(jsp|do|jws)$ balancer:/wcmcluster/wcm/$1 p,l rewriterule /wcm/(.*;jsessionid.*)$balancer:/wcmcluster/wcm/$1 p,l rewriterule/wcm/app/application/(.*) balancer:/wcmcluster/wcm/app/application/$1 p,l rewriterule /wcm/servicesbalancer:/wcmcluster/wcm/services p,l rewriterule /servletbalancer:/wcmcluster/servlet p,l rewriterule /wcm/console/publish/publishtask_show.jsp 17:8080/wcm/console/publish/publishtask_show.jsp p,l 第 3 章 8 实际部署示例 注意事项注意事项 1. route 与 stickysession 会话固定是负载均衡器的一个重要功能，其作用是把用户会话固定在一个服务节 点上，当且仅当该节点失效时才会将会话转发到其它节点处理。这两项的设置与 wcm 中的设置也有关系，下面会再说到 2. publishtask_show 目前发布任务只会在集群的主节点执行，因此查看正在执行的发布任务的详细信 息时只有主节点能够提供服务。主节点的确定也与 wcm 中的设置有关。 3.3 静态文件发布设置 #section 3 转发规则，反向代理模式转发到应用服务器 #proxypassreverse / balancer:/wcmcluster proxypassreverse / 34:8080/ proxypassreverse / 16:8080/ proxypassreverse / 17:8080/ #section 4 apache 均衡管理器 sethandler balancer-manager #deny from all #设定可以访问管理器的主机 allow from 8 trswcm 集群部署手册 9 前面负载均衡一节说明了通过 proxy,urlrewrite 等规则设置，将 jsp 等动态请 求转发到各节点的应用服务器，wcm 其它的静态文件（包括图片,html,js,css 等资 源）都通过 apache 直接响应请求输出到服务器端。另外，wcmdata 对外提供服 务的 webpic，pub，preview，template 等四个目录的静态资源（一般情况下，这 些目录也只应该有静态资源）也是通过 apache 直接服务。该设置通过 alias 和 directory 指令完成，示例下如所示。其中的/path/to/xxx 替换为实现的文件路径。 3.4 完整的 vhost 设置示例 下面给出一个完整的两个节点的集群的 virtualhost 的示例设置，一般来说，只要 alias /webpic “/path /to/trswcmv65/wcmdata/webpic“ #设置 webpic options -indexes multiviews followsymlinks includes allowoverride none order allow,deny allow from all #按照 webpic 的形式设置 pub,preview,template 等其它三个目录 alias /wcm “/path/to/trswcmv65/webapps/wcm“#设置 wcm options -indexes multiviews followsymlinks includes directoryindex index.html allowoverride none order allow,deny allow from all 第 3 章 10 实际部署示例 替换其中的具体 ip 及相关目录的路径即可完成配置。如果多于两个节点，则是在 proxy 节处加入 balancermember 并在后面的 proxypassreverse 节加入新的节点即 可 addtype text/javascript .js addtype text/css; .css addtype text/html;charset=utf-8 .html servername 8 serveradmin balancermember 16:6666 route=m216 balancermember 41:9999 route=m241 #proxyset stickysession=csid rewriteengine on rewriterule /wcm/(.*.(jsp|do|jws)$balancer:/wcmcluster/wcm/$1 p,l rewriterule /wcm/(.*;jsessionid.*)$balancer:/wcmcluster/wcm/$1 p,l rewriterule /wcm/app/application/(.*) balancer:/wcmcluster/wcm/app/application/$1 p,l rewriterule /wcm/services balancer:/wcmcluster/wcm/services p,l rewriterule /wcm/stat/cewolf balancer:/wcmcluster/wcm/stat/cewolf p,l rewriterule/wcm/console/stat/cewolf(.*) balancer:/wcmcluster/wcm/console/stat/cewolf$1 p,l rewriterule/servlet balancer:/wcmcluster/servlet p,l rewriterule/wcm/console/publish/publishtask_show.jsp 41:9999/wcm/console/publish/publishtask_show.jsp p,l #proxypassreverse / balancer:/wcmcluster proxypassreverse / 16:6666/ proxypassreverse / 41:9999/ trswcm 集群部署手册 11 alias /webpic “/home/trs/trswcmv65/wcmdata/webpic“ options -indexes multiviews followsymlinks includes allowoverride none order allow,deny allow from all alias /pub “/home/trs/trswcmv65/wcmdata/pub“ options -indexes multiviews followsymlinks includes allowoverride none order allow,deny allow from all alias /preview “/home/trs/trswcmv65/wcmdata/preview“ options -indexes multiviews followsymlinks includes allowoverride none order allow,deny allow from all 第 3 章 12 实际部署示例 alias /template “/home/trs/trswcmv65/wcmdata/template“ options -indexes multiviews followsymlinks includes allowoverride none order allow,deny allow from all alias /wcm “/home/trs/trswcmv65/webapps/wcm“ options -indexes multiviews followsymlinks includes directoryindex index.html allowoverride none order allow,deny allow from all sethandler balancer-manager #deny from all allow from 8 #allow from all trswcm 集群部署手册 13 注意：示例中的一些换行可能是文档排版需要，在实际设置时要注意每一条 rewriterule 都是一行 3.5 验证部署 设置完成后，可以通过以下几个步骤确认一下相关的配置是否正确。 1 访问 wcmcluster-manager，将可以看到 apache 负载均衡所设置的相关节点的 信息。如下图所示 第 3 章 14 实际部署示例 2 访问 wcm 登录后访问 wcm/wcm_use/get_managermember.jsp 将可以看 到 wcm 相应的几个集群节点的信息。如下图所示，可以看到两个节 点 trswcm 集群部署手册 15 第 4 章 16 wcm 集群与 ids 协同 第 4 章 wcm 集群与 ids 协同 本章说明 wcm 集群与 ids 协同的注意事项，基本的协同设置与步骤查阅相 关的文档。 4.1 web.xml 的设置 与 ids 协同时，需要在 wcm 应用的 web.xml 加入 ssofilter 等设置。与单机与单机 协同设置不同的是必须将协同设置不同的是必须将 ids 的相关设置放在的相关设置放在 clustersessionfilter 的设置之后的设置之后。 4.2 apache 与 jk 设置 由于目前 ids 对于反向代理模式的协同支持尚不完善，因此需要设置 apache 以 jk 的方式与应用服务器协同工作。对于静态文件的设置仍然可以使用前面所 说的方式进行设置，本节只说明不同的部分 4.2.1 apache 设置 #加载 mod_jk module loadmodule jk_module modules/mod_jk.so #指定 perties 文件路径。一般该配置文件部署在 apache 的 conf 目录 jkworkersfile conf/perties #指定那些请求交给 tomcat 处理 jkmount /wcm/services wcmbalancer jkmount /*.jsp wcmbalancer jkmount /*.do wcmbalancer jkmount /wcm/app/application/* wcmbalancer trswcm 集群部署手册 17 4.2.2 perties 设置 #server 列表.mxxx 是节点的名字，有多少个节点就设置几个 worker.list=wcmbalancer,m241,m216 #ajp13 端口号，在 tomcat 下 server.xml 配置,默认 8009 #tomcat 的主机地址，如不为本机，请填写 ip 地址 #server 的加权比重，值越高，分得的请求越多。 #可以将主节点的比重设置为小一点的值 #=m241= worker.m241.port=8009 worker.m241.host=41 worker.m241.type=ajp13 worker.m241.lbfactor=2 #=m216= worker.m216.port=8009 worker.m216.host=16 worker.m216.type=ajp13 worker.m216.lbfactor=3 #=wcmbalancer,负载均衡控制器= worker.wcmbalancer.type=lb worker.wcmbalancer.balance_workers=m241,m216 worker.wcmbalancer.sticky_session=0 #ids 对 sticksession 支持不完善 第 4 章 18 wcm 集群与 ids 协同 4.3 ids 的设置 在 ids 中将应用地址与请求地址设置为 apache 的地址，如图所示。另外，需 要注意的是 wcm 应用中的 perties 的设置在各个节点是一样的。 trswcm 集群部署手册 19 第 5 章 单机模式设置为集群模式的步骤 由于项目实施部署时的一些原因，有时可能会是首先部署了一个 wcm 运行在单机 模式（非集群） ，然后随着项目的进展与推移最终需要部署为集群模式的的情况。本章 主要说明的是 wcm 端的设置，其中的提到的一些参数的具体说明参见下一章的内容。 而 apache 等的设置参见前面的章节的内容。 1.修改/path/to/wcm/web-inf/classes/perties a)设置 cluster.enabled 项的值为 true b)设置集群节点间通讯的 ip 地址，一般建议节点间的网络通讯使用独立的子网， 以保证节点间集群消息同步的畅通不受其它消息的干扰。相关的参数是 cluster.multicastbind,cluster.tcplistenaddress 及 cluster.udplistenaddress 三个。如果只有一块网卡可以保留默认的值 (auto)。 c)其它选项按照部署手册中的说明按需设置。一般来说，保留默认值即可 2.修改系统配置中的集群配置（配置管理系统配置集群配置） a)修改 cluster.master 项的值为主节点的主机 ip,取值为前面设置的 cluster.multicastbind 的值（选择一个节点为主节点） b)其它选项按照部署手册中的说明按需设置。一般来说，保留默认值即可。需 要注意的是三个与端口有关的参数： 1)cluster.multicastport,默认值为 54321 2)cluster.tcplistenport,默认值为 54322 3)cluster.udplistenport，默认值为 54323。如果默认的端口号已被 占用，需要另外指定。 3.完成设置后重启 wcm 应用，通过前面所说的验证步骤确认设置是否正确。 第 6 章 20 wcm 中的集群设置 第 6 章 wcm 中的集群设置 一般来说，安装程序在安装过程中会询问一些信息并完成设置。不过，如果由一 些基础设施环境（如网络设置等）变更的话，需要变更集群的相关设置，wcm 应用中 的设置分为两部分：一部分是在 perties 文件中设置，这部分是每个节 点所私有的；另一部分在数据库中，这部分是各个节点共用的。下面给出每一项设置 的定义。 6.1 perties 设置 cluster.enabled=true 是否启用集群，如果要成为集群节点，则此项必须为 true cluster.membername= 节点的名称，标识该节点。可以为空，由系统自动分配 cluster.memberhost= 节点主机名。可以为空 cluster.multicastbind=17 节点间进行多播通信的绑定网卡地址 cluster.tcplistenaddress=17 节点间进行 tcp 通信的绑定网卡地址 cluster.udplistenaddress=17 节点间进行 udp 通信的绑定网卡地址 cluster.session.balancerroute= 负载均衡器的 route 名称，apache 设置中的 stickysession 中已提到过。这里设定的 值应该与前面提到的 route 值是一致的。如果不需要 stickysession，则应该把该设 置注释掉 6.2 数据库中的设置 cluster.master= 主节点 ip 地址，这个确定那个是主节点看，应该把该节点的 cluster.multicastbind 值设为一致。也就是说 cluster.multicastbind 与 cluster.master 相同的节点为主节点。 trswcm 集群部署手册 21 注意前面提到的 apache 转发设置中的 publish_taskshow，具体的访问地址应该指 向确定的主节点 cluster.magicnumber= 消息前缀魔数 cluster.multicastaddress= 多播