数据库服务器规划

.数据库服务器规划数据库服务器规划主要指容量规划。容量规划指的是为未来的硬件需求而预测和准备的过程。容量规划分为两部分：前期的容量规划和后期容量规划。前期容量规划包含评估需要根据服务质量标准来预测完成该项工作的硬件。后期容量规划指在现在的硬件平台上运行性能测试或直接提取生产过程中所产生的数据，分析趋势，透视增长率来计划何时进行系统的扩容或升级。1需求分析1.1技术环境 规划一个数据库服务器最重要的步骤就是收集关于服务器工作负载和它所运行的环境方面的信息。只有确认了数据库服务器运行的基本信息才能正确规划数据库服务器。为了获得这些信息，可以从以下方面着手：A， 与技术人员交谈。在交谈过程中可以获得以下信息：数据库服务器运行的环境及网络拓扑，完成一次操作所产生的数据库事务数，当前生产服务器历史性基线数据，数据库增长率和数据库的总体存储需求B， 从现行的数据库服务器采集数据，如：一天中数据库应用产生的磁盘读写速率，CPU利用率，网络利用率，内存使用状态及数据库运行状态。（具体采集的性能参数，请看 数据库服务器性能评估全过程）1.2业务需求 执行容量规划的人员必须与管理人员进行面谈来确定容量规划本身的目标以及期望值，并且摘取关键信息供设计中使用。这些信息可能包括客户需求，运营需求，建设目标，预算限制以及评估新硬件满足规定性能需求的期限。1.3技术需求 为了保证业务运行，开发或迁移顺利，客户会提供一些技术上的要求，如：为了与旧系统兼容，操作系统必须使用32位的；为了使用SQL 2005的新功能数据库必须采用SQL Server 2005;业务反应不能超过5秒等等2.数据分析对于数据库服务器型号的选取，通常采用TPCC值来衡量，TPCC的吞吐量是按有效TPCC配置期间每分钟处理的平均事务数。因此在数据分析过程向TPCC值方向进行。2.1 前期的容量规划的数据分析在前期的容量规划中，可以根据与技术人员的交谈所了解的情况和数据来进行规划。下面我们以xkjs平台为例来计算前期容量规划。在xkjs平台中，用户在当天的第一次登录时，需要与数据库进行一系列的状态查询与交付，经核对会产生15个事务。每隔20分钟会与后台数据库进行一次在线状态信息的回馈，该回馈会产生5个事务。该平台预计总用户帐号为100万，每日活跃用户占总用户帐号数的60%，而当日高峰期（20:0021:00）时的活跃用户数占当日活跃用户数的2/3.高峰期的登录为在线人员的2倍。计算如下：高峰期用户登录所产生的事务数：100*60%*2/3*2*15=1200万高峰期活跃用户状态回馈所产生的事务数: 100*60%*2/3*2*5=400万根据系统设计和实际经验，估算每个交易相当于D个基准测试程序。有的叫基准TPC指标值对应的比例，有的叫实际与标准测试事务的比例。（1-10）这个值很难定，有时基于方案人所处的角色会进行不同衡量。此处我取1.5.。服务器需要有30%的冗余。因此计算得数据库服务器的TPCC值为 57.1万 （1200+400）*1.5/60/（1-30%）2.2 后期的容量规划的数据分析在后期容量规划中，直接从数据库服务器采集相关数据进行分析。(具体采集的性能参数请参考我写的数据库服务器性能评估全过程)我以SQL ServerDatabase-Tranaction/sec为X轴来盾CPU利用率和网络利用率。从CPU利用率图中，我们可以看到近似一条斜线。现在我们利用EXCEL自动生动CPU利用率的斜线公式。具体操作如下：在Excel中选取CPU利用率的斜线（在斜线上点击一下）-右击选择“添加趋势线”在“类型”中选取“线性”-点击“选项”，在“选项”中选取“显示公式”。(图一)最后EXCEL自动生成公式如下：Y=0.0791X+0.7972 （X为100事务/秒）再根据采集数据时所对应的活跃用户数。然后整合两个公式得到一个从活跃用户数与CPU利用率的公式。最后依照这个公式来计算出建设目标所要求的活跃用户数所对应的CPU利用率。使用相同的方法可以得到内存利用公式，网络流量的使用公式，且可以计算出建设目标所要求的活跃用户数所对应的内存利用量和网络带宽的大小。3. 软，硬件规划3.1 操作系统与SQL版本规划 操作系统与版本规划请参考我写的SQL服务器操作系统和SQL版本的选择。 3.2服务器性能规划根据数据分析得出的服务器相关数据，选择相应配置或相应处理能力（TPCC值）的服务器。3.3 IO子系统规划 在IO子系统规划中磁盘技术及性能请参考我写的磁盘技术及购买时注意事项。存储性能请参考我写的磁盘阵列的性能。3.2.1数据库部件的读写状态从现在运行的星空极速数据库服务器采集到性能参数来数据库组件对磁盘读写的需求。单位：（Bytes/sec）时间队列所有磁盘LOG&TEMP文件库文件 群集仲裁文件 Read Write Read Write Read Write R Write 20:19:5345 589861 19709979 0 1332955 589861 18326811 0 171 20:20:086 44551012 2859605 68271 2406284 44451063 390135 0 2902 20:20:231 1682771 1374420 14747 1330828 1668024 1263 0 717 20:20:381 1567512 1385910 0 1321974 1567512 2355 0 171 20:20:5351 1672374 19363244 0 1326716 1672374 17985017 0 171 20:21:081 1367281 1410043 0 1367520 1367281 716 0 2082 20:21:231 1319550 1352627 1092 1311118 1318457 717 0 1809 20:21:381 1294415 1391599 0 1341693 1294415 171 0 717 20:21:5339 1150246 19512981 546 1306452 1149700 18160513 0 171 20:22:081 1122927 1367851 546 1323543 1122381 1263 0 1536 20:22:231 1057934 1341636 0 1301424 1057934 171 0 2355 20:22:381 1006594 1380073 0 1328596 1006594 171 0 717 20:22:5346 953714 19408015 0 1294613 953714 18063990 0 1809 合计5933619191857982 85203 182937185921931072933293015327 从上表统计数据可以得到数据库服务器以下一些特点：A， 所有磁盘的读写分析：读写比例约1：2，（推荐使用RAID1和RAID10来存放该数据。）B， LOG和TEMP文件所在独立磁盘的读写分析：LOG和TEMO文件主要以写为主。（推荐使用RAID1和RAID10来存放该数据。）C， 库文件所在独立磁盘的读写分析：写比读稍多些，但一段时间里SQL会一次集中的数据库写入操作。（推荐使用RAID1和RAID10来存放该数据。）D， 群集仲裁文件所在独立磁盘的读写分析：全为写，数据量很小。（推荐使用RAID1和RAID10来存放该数据。）3.2.2数据库RAID选型综合不同类型RAID的特点及数据库各部件的读写情况，得到数据库服务器RAID选型及数据库磁盘的分区如下：磁盘组数磁盘用途R:wRAID选型说明1存放操作系统、SQLServer所有部件及数据库备份1:2RAID1RAID5如果使用单台服务器来数据库服务器的话，建议采用RAID12存放操作系统、SQLServer、LOG&TEMP文件RRAID5数据库备份建议存放系统盘上。存放SQL库文件RRAID1RAID53性能优先存放操作系统、SQLServer、数据库备件RRAID5如果是群集的话，将群集仲裁文件存放在LOG磁盘组上存放LOG&TEMP文件RRAID5存放SQL库文件RRAID1RAID5备件优先存放操作系统、SQLServer、LOG&TEMP文件RRAID5数据库备份需要保存时间较长且数据库备份文件很大的情况存放SQL库文件，RRAID1RAID5存放数据库备份RRAID104存放操作系统、SQLServer、RAID1RAID5如果是群集的话，将群集仲裁文件存放在LOG磁盘组上存放SQL库文件RRAID1RAID5存放LOG&TEMP文件 RRAID1RAID5存放数据库备份RRAID10以上的磁盘分组是磁盘实体通过阵列卡来进行划分的。如果使用虚拟磁盘组（HP EVA8000系列存储）的情况下，可以将群集仲裁文件与LOG文件分开存放在不同的磁盘组上。3.2.3磁盘规划数据库服务器磁盘规划包括两部分：1.磁盘空间规划，2.磁盘性能规划。4.1 空间规划计算 如果数据库库文件所需要的500G，而备份文件需要1.5T空间。 我们使用SAS 300G10Krps的磁盘做RAID10来做数据库库文件所用空间的话，计算公式为500*2/300=3.3，取整偶数得4。即4块磁盘。 如果采用SAS 300G10Krps的磁盘做RAID5来做数据库备件文件所用空间的话，计算公式如下：1500/300+1=6。 如果采用SATA 500G 7200rps的磁盘做RAID10来做数据库备份文件所需的空间的话，计算如下：1500*2/500=6。4.2 磁盘性能规划计算某系统在使用峰值时达到每秒1200次写和600次读的IOPS。如果做RAID5做数据库的磁盘RAID类型，磁盘IO吞吐量计算如下：600+1200*4/255=21.1，取整数得22块。这样的磁盘数已经超过一