linux性能优化之磁盘I.ppt

Linux性能优化,磁盘IO,磁盘IO系统性能,磁盘结构,硬件指标转速（5400-15000）单碟容量（80G-640G）平均寻道时间（3-6ms）缓存（8M-64M）内部数据传输率（60M-90M）,温彻斯特式硬盘,磁盘结构,硬盘的逻辑结构盘片（Platter）盘面（Side）磁道（Track）柱面（Cylinder）数据的读/写按柱面进行扇区（Sector）（512Byte）扇区头标和数据区交叉因子&磁头扭斜硬盘容量：盘面数柱面数扇区数512字节,磁盘结构,硬盘的接口类型IDE（制造简单、成本低、兼容性好，20M130MBPS）SCSI（速度快、可靠性高、热拔插、高成本，40M320MBPS）SATA（串口硬盘、结构简单、自动纠错，150M600MBPS)SAS(串口硬盘、兼容SATA，300M1300M)光钎通信（热插拔性、高速带宽、远程连接、连接设备数量大）Linux下的标识IDE：hdx；SCSI：sdx“x”为盘号（a为基本盘，b为基本从属盘，c为辅助主盘，d为辅助从属盘）,“”代表分区，1到4表示主分区或扩展分区，从5开始就是逻辑分区,Linux磁盘系统,我们可以通过“fdisk-l”命令来查看系统的磁盘情况：,磁盘IO系统性能,磁盘I/O性能指标,每秒I/O数（IOPS）传输小块不连续数据时吞吐量（Throughput）传输大块不连续数据的数据平均I/O数据尺寸32K磁盘活动时间百分比（Utilization）70%服务时间（ServiceTime）I/O等待队列长度（QueueLength）磁盘数*2等待时间（WaitTime）持续超过10ms,磁盘I/O性能指标：IOPS,IOPS(IOperSecond)寻址时间(SeekTime)旋转延时(RotationalDelay)传送时间(TransferTime)IOTime=SeekTime+60sec/RotationalSpeed/2+IOChunkSize/TransferRateIOPS=1/IOTime常用磁盘的IOPS，转速15KRPM，平均寻道时间为5ms，最大传输速率为40MB/s，不同IO大小下的IOPS：4K：(1/7.1ms=140IOPS)5ms+(60sec/15000RPM/2)+4K/40MB=5+2+0.1=7.116K：(1/7.4ms=135IOPS)5ms+(60sec/15000RPM/2)+16K/40MB=5+2+0.4=7.464K:(1/8.6ms=116IOPS)5ms+(60sec/15000RPM/2)+64K/40MB=5+2+1.6=8.6,磁盘I/O性能指标,传输速度(TransferRate):IOPS*IOChunkSize4K:140*4K=560K/40M=1.36%16K:135*16K=2160K/40M=5.27%32K:116*32K=3712K/40M=9.06%IO响应时间(IOResponseTime)服务时间+等待时间队列大小SATA、SAS使用多个控制器高速缓存(Cache)缓存数据预读回写使用RAIDRaid0：无差错控制的带区组Raid1：镜象结构Raid5：分布式奇偶校验的独立磁盘结构Raid10：高可靠性与高效磁盘结构减少应用存取磁盘的次数,磁盘I/O性能提升,使用RAID,对性能的影响IO响应时间(IOResponseTime):保持不变，控制在10msIOPS：Read提升N倍，Write（Raid0:N，Raid1:N/2,Raid5:N/4,Raid10:N/2传输速度(TransferRate)random_throughtput=random_IOPS*IO_chunk_size,磁盘I/O性能提升应用层优化,充分利用磁盘的特性,块状设备：写一个字节和写一个block是一样快的线性设备：线性写远比随机写快,管家数据上报120字节/record300亿每天，峰值50w/s如何保存到数据库,磁盘I/O性能提升应用层优化,减少磁盘IO的次数,数据统计：公共字段每条的数值基本一样，如何提高储存效率？统计的对象往往是多个字段中的一两个字段，如何提高读取效率InfoBrigh