nginx完美架构方案.doc

北京闻康集团有问必答架构调整方案及实施过程（高性能WEB系统） 侯在存 2010年12月第1章 调整方案概述1.1 总体概述项目目的出现灾难迅速恢复，让服务器的对外提供达到99.9%.项目负责人侯在存涉及机房三元桥 东四 廊坊涉及设备DELL R710 2950预计时间六个月项目阶段1.数据库应用分离 2.nginx对apache的替换3.增加memcache需增设备2台 DELL 服务器 和 部分内存条（现有一台空闲服务器）项目简述： 项目前：club服务器有5台名字分 ，每台服务器跑的是AMP+nginx反向代理和负载均衡+DNS轮询及rsync程序同步，其中的mysql都是从的（读的数据库）， 另外还有一台是主数据198（写的）+ 一台备份数据库做冗余205（且分担蜘蛛抓取）。注：c1 c2 在三元桥 c3 c4在廊坊 c5在东单 项目后：三元桥的C1C2和新增的1台服务器承担所有的访问，c3 c4 c5不对外提供访问，做 c1 c2服务器 出现问题时的恢复冗余机和蜘蛛抓取承担， 所有的mysql也停用做冗余用，增加一台读的数据库让 club服务器的读数据库都改到这台服务器上，原来的198不变但需要增加内存。例外+一台读写数据库服务器的同步冗余机，从而实现服务器出现大灾难2小时内解决，小灾难半小时解决，让服务器的对外提供达到99.9%.注：nginx+phpcgi代替amp 及对c1 c2 的优化可以使三元桥WEB承载所有的访问。项目影响：由于本次将服务器的web服务替换，ssi和rewrite规则支持不一样，业务可能会中断，需某周5到-周日的修改。第2章 调整前结构分析2.1 CLUB架构现状2.1.1 CLUB架构现状拓扑如图所示：C1-C5 分别是nginx反向代理+AMP 环境且mysql 都是读的数据与198主的写的数据同步，C1是rsync主的程序同步其余C2-C5是从的。205是备份服务器，备份程序和数据负载蜘蛛的抓取。2.1.2 CLUB现在访问关系注：每台nginx还转到后端其他AMP,1%的流量，rsync的连接线没画第3章 第一阶数据库应用分离3.1 110独立DB服务器搭建（空闲的那台服务器）3.1.1 装系统及简单优化1. 装系统的步骤省略 2. 优化开机启动服务 装的是centos系统，装完后首先优化开机启动服务的。Setup-系统服务：把不需要的服务全部关闭。3.1.2 mysql的搭建rootlocalhost houzc# wget /mysql/MySQL-5.0/mysql-5.0.89.tar.gzrootlocalhost houzc# tar -zxvf mysql-5.0.89.tar.gz -C /usr/local/src/ rootlocalhost houzc# cd /usr/local/src/mysql-5.0.89/rootlocalhost mysql-5.0.89# useradd mysql -M -s /sbin/nologinrootlocalhost mysql-5.0.89#yum -y install libtermcap-devel rootlocalhostmysql-5.0.89#./configure -prefix=/usr/local/mysql-5.0.89/ -with-unix-socket-path=/tmp/mysql.sock -localstatedir=/usr/local/mysql-5.0.89/data -without-debug /去除debug模式-enable-thread-safe-client /以线程方式编译客户端-enable-assembler /使用一些字符函数的汇编版本-enable-profiling /编译一个版本带有查询取样代码-enable-community-features /停用附加功能提供的用户社区-with-mysqld-ldflags=-all-static / 以纯静态方式编译服务端-with-client-ldflags=-all-static / 以纯静态方式编译客户端 -with-charset=latin1 /默认编码拉丁文-with-extra-charset=utf8,gbk /支持编码的格式-with-innodb /支持innodb表-with-scv-storage-engine /使用SCV存储引擎-with-mysqld-user=mysql /mysqld的守护进程用户-without-embedded-server /构建嵌入式服务器-with-server-suffix=-community /附加价值版本的字符串rootlocalhost mysql-5.0.89# makerootlocalhost mysql-5.0.89# make installrootlocalhost mysql-5.0.89# ./scripts/mysql_install_db rootlocalhost mysql-5.0.89# cp support-files/f /etc/f -fvrootlocalhost mysql-5.0.89#chown -R root:mysql /usr/local/mysql-5.0.89/rootlocalhost mysql-5.0.89# chown -R mysql.mysql /usr/local/mysql-5.0.89/data/ rootlocalhost mysql-5.0.89# cd /usr/local/mysql-5.0.89/libexec/rootlocalhost libexec# cp mysql mysql.oldrootlocalhost libexec# strip mysqldrootlocalhost libexec# echo /usr/local/mysql-5.0.89/lib/mysql/ /etc/ld.so.confrootlocalhost libexec# ldconfig rootlocalhost libexec# /usr/local/mysql-5.0.89/bin/mysqld_safe &rootlocalhost libexec#ps -ef | grep mysql 验证是否成功开启mysql rootlocalhost libexec#/usr/local/mysql-5.0.89/bin/mysqladmin -u root password youpasswordrootlocalhost libexec#/usr/local/mysql-5.0.89/bin/mysql -u root -pEnter password: （输入youpassword密码） mysql show databases;+-+| Database |+-+| information_schema | | mysql | | test | +-+3 rows in set (0.00 sec)mysql quit；rootlocalhost libexec#vi /etc/rc.local /usr/local/mysql-5.0.89/bin/mysqld_safe &/平滑关闭 mysqld ：rootlocalhost data# /usr/local/mysql-5.0.89/bin/mysqladmin -u root -p shutdown Enter password: （输入youpassword密码）这样mysql服务就装完了。3.1.3 mysql的优化1. 编译时的优化-static 13% -with-client-ldflags=-all-static -with-mysqld-ldflags=-all-static静态链接提高13%性能 -pgcc 1% CFLAGS=-O3 -mpentiumpro -mstack-align-double CXX=gcc CXXFLAGS=-O3 -mpentiumpro -mstack-align-double -felide-constructors -fno-exceptions -fno-rtti 如果是Inter处理器，使用pgcc提高1%性能 Unix Socket 7.5% -with-unix-socket-path=/usr/local/mysql/tmp/mysql.sock使用unix套接字链接提高7.5%性能 -enable-assembler size=-1允许使用汇编模式(优化性能)2. 优化远程连接skip-name-resolve选项就能禁用DNS解析，连接速度会快很多。不过，这样的话就不能在MySQL的授权表中使用主机名了而只能用ip格式。设置连接数set-variable = max_connections=1000设置连接数，mysql默认的连接数是100，太少了.3. 开启缓存机制skip-locking#取消文件系统的外部锁key_buffer = 12288M #索引缓存,根据内存大小而定,如果是独立的db服务器,可以设置高达80%的内存总量 #连接排队列表总数back_log = 200max_allowed_packet = 10M #打开表缓存总数,可以避免频繁的打开数据表产生的开销 table_cache = 512#每个线程排序所需的缓冲 sort_buffer_size = 16M#MyISAM表发生变化时重新排序所需的缓冲 myisam_sort_buffer_size = 64M #缓存可重用的线程数 thread_cache = 128 #查询结果缓存 query_cache_size = 128M #设置超时时间,能避免长连接 set-variable = wait_timeout=60 #最大并发线程数,cpu数量*2 thread_concurrency = 16#记录慢查询,然后对慢查询一一优化log-slow-queries=/usr/local/