数据库压力解决方法及网站大流量压力应对

1、.：.；数据库压力处理方法 目前言兑网访问量，越来越大了，言兑网全部是动态页，需求数据及时呼应给客户，目前CPU占用率曾经在10%-80%中浮动，假设不设置缓存，那么直接会导致大家访问不了本站或者呼应速度很慢。为了以后做预备，特别搜集了一下数据库压力处理资料，为以后做预备，基于目前的情况我们的目的是用最少的资金获取最大的性能效益。数据库效力器负载平衡集群的实现：MS SQL Server数据库 HYPERLINK server.it168/效力器可以说是运用范围最广的数据库产品，并且越来越多地在大型和比较关键的运用系统中提供效力。当企业运用越来越复杂、数据量越来越大的时候，SQL Server

2、数据库要不停的进展处置、 HYPERLINK storage.it168/存储、查询的任务，这个时候企业就要思索SQL Server数据库效力器的性能和速度及 HYPERLINK safe.it168/平安性了。 SQL Server 2005依然不直接地支持负载平衡但是它为以前SQL Server版本中可用的所有负载平衡方法提供了令人激动的改善和支持。 目录1、端到端拓扑的事务性复制2、表分割3、备份和重新存储上的改善(片段式重新存储)4、数据库镜像和快照端到端拓扑的事务性复制SQL Server 2005对端到端(P2P)的拓扑构造上的事务性的复制加强了支持。SQL Server 2000

3、支持双向的复制，这就可以让两台效力器同时对彼此发布和订阅数据。效力器可以更新同一个共享数据，但是在这样的拓扑中他被限制在两台效力器上。P2P的拓扑构造支持无限的发布效力器，他们彼此之间可以相互交换事务。当然，当参加的发布者的数量添加之后，事务性的延迟也就更大了。虽然在他的P2P拓扑构造中对节点的数量没有实际上的限制，但是只需在某个确定的数字之下才可以提供可接受的性能。微软引荐低于12个节点，以保证性能的优化。无论怎样，P2P拓扑都是SQL Server的一个宏大提高：如今，多端点效力器可以更改数据，并且向其他的发布者复制事务。这就是说，订阅效力器不再被限制在主要的报告环境中。他可以经过事务性负

4、载全球共享的方式将效力器分布开来。当用户的数量添加的时候，只需简单地向这个群体中添加效力器即可。除了将负载分布之外，这个拓扑构造还添加了可用性。假设任何一个点的效力器不可达，那么池中其它的效力器就会共享这个负载，由于每个效力器都有其它一切效力器上可获得的全部数据集合。以下的表列出了运用P2P拓扑构造来进展负载平衡的优点和缺陷。优点:一切参与的效力器都有完全的数据集合。 用户可以衔接到任何一个点的效力器上来读取或者修正数据。由于负载在效力器之间进展了平衡，读取的性能得到了很大程度的改善。 缺陷:多个效力器会修正同一个数据，这会导致冲突。事务性复制不支持具有超出常规的冲突处理方案。他必需找出处理或

5、者防止潜在冲突的处理方法。 当端点效力器的数量添加的时候，性能会大幅下降。写活动反复，由于一切的数据都在同一台效力器上。 留意：复制在处置数据库方案无缝修正方面也进展了加强。在以前的发布中，修正复制的对象的方案需求关机时间。但是在SQL Server 2005中就不是这样的情况了。表分割分布式分区视图的任务方式在SQL Server 2005中与以前版本中的任务方式一样。然而，SQL Server 2005还支持表分区，这可以让他经过分布读写负载到多个磁盘(或者磁盘阵列)上来改善性能。对于分区表，他必需识别分区要用的是哪一个卷，还有每个分区的范围。例如，一个标识字段的数值可以定义分区范围;一个

6、分区内可以允许从1到1百万的数值，在第二个分区内可以允许1百万到2百万，以此类推。分区范围可以经过分区函数来指定.然后他还必需创建一个分区方案来讲分区函数中定义的每个范围值映射到分别的文件组上去。每个文件组都可以放在不同的磁盘上。以下的表给出了表分区的优缺陷：表分区的优缺陷优点运用分区方案和函数很容易建立 简化了对大表的维护(有几十亿行记录) 允许为每个分区创建独立的索引缺陷 分区字段支持的数据类型有一定限制 必需为每个单独的分区建立一个表都，但是他可以在多个表上反复运用同一个分区函数。表分区可以让他将负载扩展到磁盘上去。然而，一切的数据都必需被同一个效力器管理。假设他的性能瓶颈与CPU或者内

7、存有关，那么这种方法看起来不是他最好的选择。 备份和重新存储方面的改善(片段式重新存储)SQL Server的备份和重新存储特性没有很大的改动，但是微软确实添加了一些新的函数来允许用户比以前更快地访问被重新存储的数据库。SQL Server 2005如今支持片段式数据库重新存储。片段式重新存储可以让他首先重新存储主要的文件组，然后将数据库启动，处于在线形状。然后，可用的第二个文件组也可以被重新存储。只需第一文件组被重新存储了，那么用户就可以衔接到数据库了。其他的文件组可以继续重新存储，与此同时，数据库也可以为查询和事务提供效力。正在重新存储的文件组标志为离线。假设他有一个100GB的数据库，其

8、中的75GB是历史性数据，很少被访问到。他可以将这些历史性数据放在它本人的文件组里面，然后让那些频繁访问的数据放在另外一个文件组。假设他将最近的数据放在第一文件组中，那么他就只需求重新存储25GB的数据就可以让用户衔接到他的数据库上。然后他再重新存储其它的保管历史性数据的文件组。以下的表列出了这个备份和重新存储处理方案的优缺陷：备份和重新存储的优缺陷：优点实现和维护非常简单 允许对报告数据库进展读取和写入缺陷 不能提供最新的数据 在重新存储的时候，数据库不能访问。这就意味着报告无法生成。 数据库镜像和快照SQL Server 2005引入了数据库镜像的概念来协助 获得高可用性。特别提示的是，只

9、需它正是发布了，数据库镜像就可以在SQL Server 2005上运用。然而，只需到SQL Server 2005 Service Pack 1才会支持镜像，暂定在2006年年初发布。从本质上来说，镜像的任务方式与日志传输类似。1、事务日志记录可以运用在两个效力器中的数据库文件上。与日志传输不同的是，数据库镜像不需求他备份事务日志，也不需求拷贝备份到备份效力器上。2、数据库镜像延续两次写入数据。与日志传输不同，备份的数据库必需坚持在非恢复的方式中，这可以防止对数据的访问，即使是只读的方式。然而，镜像允许对备份数据库进展快照。数据库快照是SQL Server 2005中引入的另一项特性。快照是某

10、一个时间点上的数据库的克隆。只需他的镜像的数据库进展了快照，他就可以让用户查询快照。快照的生成通常只需求几秒钟，由于它实践上在这个过程中拷贝任何数据。因此，要把负载分布到他的主效力器和备用效力器上，他可以将他的数据库镜像，然后阶段性地对备份效力器进展快照。他还可以运用快照在主效力器上进展报告。以下的表列出了数据库镜像和快照的优缺陷：数据库镜像和快照的优缺陷优点从镜像数据库中生成快照非常快 数据是最新的，由于它是继续写入镜像 在同一个数据库上可以生成多个快照缺陷: 快照提供了对数据的只读访问. 拥有快照，会添加效力器的负担，对性能产生负面影响 假设他正好对镜像效力器进展错误恢复，那么事务和报告活

11、动都会指向同一个效力器但是不同的数据库。然而，长期以来，SQL SERVER数据库效力器都只需“热备的处理方案，而没有“ HYPERLINK product.it168/list/b/0462_1.shtml负载平衡和“集群的处理方案。这种处理方案固然提升了系统的可靠性，但也存在一些问题：面对大数据量和大量的数据库查询恳求，只能采取纵向提升效力器档次的方法，而纵向提升的本钱远远高于横向扩展。 在热备时，数据库效力器只需一台在任务，另一台处于闲置备份的形状，呵斥了投资的浪费。 非实时切换。而数据库 HYPERLINK product.it168/files/0409search.shtml路由器

12、 HYPERLINK software.it168/软件ICX的出现，为基于MS SQL Server的数据库系统提供了一种更优秀的集群处理方案。它可以真正的实现SQL Server数据库效力器的动态负载平衡，提高性能和速度；它可以真正的保证SQL Server数据库效力器不延续的提供效力，在效力器发生缺点的时候实时切换到其他效力器上继续提供效力，切换时间为“零。数据库路由器是实时并发数据库事务处置同步复制器和负载平衡器。数据库路由器-ICX意思是：I SEE X DATABASE SERVERS，也就是说，在ICX后面可以同时衔接N个数据库，构造如以下图所示：1一切的数据库客户都经过ICX访

13、问数据库。当访问、查询SQL Server数据库的时候ICX可以根据实践情况分配效力器来提供效力，大大提高效力速度和优化性能，完成负载平衡。2ICX可以同时衔接多台数据库2-16台，详细连多少台，看客户的详细需求而定，这假设干台数据库的内容在任何时辰由ICX保证是完全一致的。也就是说，ICX采用了全新的并发事务处置的方式，向衔接的N台数据库同步复制事务处置，使得系统在任何时辰具有多个一致的最新逻辑数据库数据集。当其中一台数据库效力器发生缺点的时候，ICX可以实时的、第一时间切换到其他效力器上来继续提供效力。真正的实现零时间的效力器切换，大大提高平安性，真正意义的实现效力器不延续服网站大流量压力

14、 如何进展系统应对？ 当一个企业的网站访问量越来越大时，当一个博客开展为知名博客的时候，博客的访问量通常都会非常大，运用运用虚拟主机的话，个人博客由于访问量过大经常会而引起url=server.ctocio/效力器/url性能问题，这是很多人的烦恼，有人运用取消url=whatis.ctocio/searchwhatis/251/6093751.shtmlRSS/url等错误的方法来处理问题，显然是下错药，那么对于网站大流量带来的问题，正确的处理方法应该是什么呢?下面是我个人总结的一些阅历，供大家参考。第一步：确认效力器硬件才干普通的url=whatis.ctocio/searchwhatis

15、/383/6025883.shtmlP4/url效力器普通最多能支持每天10万独立url=whatis.ctocio/searchwhatis/191/6025691.shtmlIP/url，假设访问量比这个还要大，那么必需首先配置一台更高性能的公用效力器才干处理问题，否那么怎样优化都不能够彻底处理性能问题。第二步：优化url=database.ctocio/数据库/url访问效力器的负载过大，一个重要的缘由是url=whatis.ctocio/searchwhatis/461/5947461.shtmlCPU/url负荷过大，降低效力器CPU的负荷，才可以有效突破url=whatis.cto

16、cio/searchwhatis/146/7475146.shtml瓶颈/url。而运用静态页面可以使得CPU的负荷最小化。前台实现完全的静态化当然最好，可以完全不用访问数据库，不过对于频繁更新的网站，静态化往往不能满足某些功能。缓存技术就是另一个处理方案，就是将动态数据url=storage.ctocio/存储/url到缓存文件中，动态网页直接调用这些文件，而不用再访问数据库，WordPress和Z-url=whatis.ctocio/searchwhatis/366/5946866.shtmlBlog/url都大量运用这种缓存技术。我本人也写过一个Z-Blog的计数器插件，也是基于这样的原

17、理。假设确实无法防止对数据库的访问，那么可以尝试优化数据库的查询SQL.防止运用Select * from这样的语句，每次查询只前往本人需求的结果，防止短时间内的大量SQL查询。第三，制止外部的盗链。外部网站的图片或者文件盗链往往会带来大量的负载压力，因此应该严厉限制外部对于本身的图片或者文件盗链，好在目前可以简单地经过refer来控制盗链，url=whatis.ctocio/searchwhatis/299/6025299.shtmlApache/url本人就可以经过配置来制止盗链，url=whatis.ctocio/searchwhatis/452/6025452.shtmlIIS/url

18、也有一些第三方的url=whatis.ctocio/searchwhatis/229/6025729.shtmlISAPI/url可以实现同样的功能。当然，伪造refer也可以经过代码来实现盗链，不过目前蓄意伪造refer盗链的还不多，可以先不去思索，或者运用非技术手段来处理，比如在图片上添加水印。第四，控制大文件的下载。大文件的下载会占用很大的流量，并且对于非url=whatis.ctocio/searchwhatis/427/5948927.shtmlSCSI/url硬盘来说，大量文件下载会耗费CPU，使得网站呼应才干下降。因此，尽量不要提供超越2M的大文件下载，假设需求提供，建议将大文件放在另外一台效力器上。目前有不少免费的url=whatis.ctocio/searchwhatis/445/7372445.shtmlWeb 2.0/url网站提供图片分享和文件分享功能，因此可以尽量将图片和文件上传到这些分享网站。第五，运用不同主机分流主要流量将文件放在不同的主机上，提供不同的镜像供用户下载。比如假设觉得RSS文件占用流量大，那么运用FeedBurner或者FeedSky等