IOPS详解.docx

磁盘性能指标-IOPS 理论 架构研究机械硬盘的连续读写性很好， 但随机读写性能很差。这是因为磁头移动至正确的磁道上需要时间，随机读写时，磁头不停的移动，时间都花在了磁头寻道上，所以性能不高。 如下图：在存储小文件(图片)、OLTP数据库应用时，随机读写性能（IOPS）是最重要指标。学习它，有助于我们分析存储系统的性能互瓶颈。下面我们来认识随机读写性能指标-IOPS（每秒的输入输出次数）。磁盘性能指标-IOPS- IOPS (Input/Output Per Second)即每秒的输入输出量(或读写次数)，是衡量磁盘性能的主要指标之一。IOPS是指单位时间内系统能处理的I/O请求数量，一般以每秒处理的 I/O请求数量为单位，I/O请求通常为读或写数据操作请求。 随机读写频繁的应用，如小文件存储(图片)、OLTP数据库、邮件服务器，关注随机读写性能，IOPS是关键衡量指标。 顺序读写频繁的应用，传输大量连续数据，如电视台的视频编辑，视频点播VOD(Video On Demand)，关注连续读写性能。数据吞吐量是关键衡量指标。IOPS和数据吞吐量适用于不同的场合：读取10000个1KB文件，用时10秒 Throught(吞吐量)=1MB/s ，IOPS=1000 追求IOPS读取1个10MB文件，用时0.2秒 Throught(吞吐量)=50MB/s, IOPS=5 追求吞吐量磁盘服务时间-传统磁盘本质上一种机械装置，如FC, SAS, SATA磁盘，转速通常为5400/7200/10K/15K rpm不等。影响磁盘的关键因素是磁盘服务时间，即磁盘完成一个I/O请求所花费的时间，它由寻道时间、旋转延迟和数据传输时间三部分构成。寻道时间 Tseek是指将读写磁头移动至正确的磁道上所需要的时间。寻道时间越短，I/O操作越快，目前磁盘的平均寻道时间一般在315ms。旋转延迟 Trotation是指盘片旋转将请求数据所在扇区移至读写磁头下方所需要的时间。旋转延迟取决于磁盘转速，通常使用磁盘旋转一周所需时间的1/2表示。 比如，7200 rpm的磁盘平均旋转延迟大约为60*1000/7200/2 = 4.17ms，而转速为15000 rpm的磁盘其平均旋转延迟为2ms。数据传输时间 Ttransfer是指完成传输所请求的数据所需要的时间，它取决于数据传输率，其值等于数据大小除以数据传输率。目前IDE/ATA能达到133MB /s，SATA II可达到300MB/s的接口数据传输率，数据传输时间通常远小于前两部分消耗时间。简单计算时可忽略。常见磁盘平均物理寻道时间为：7200转/分的STAT硬盘平均物理寻道时间是10.5ms10000转/分的STAT硬盘平均物理寻道时间是7ms15000转/分的SAS硬盘平均物理寻道时间是5ms常见硬盘的旋转延迟时间为：7200 rpm的磁盘平均旋转延迟大约为60*1000/7200/2 = 4.17ms10000 rpm的磁盘平均旋转延迟大约为60*1000/10000/2 = 3ms，15000 rpm的磁盘其平均旋转延迟约为60*1000/15000/2 =2ms。最大IOPS的理论计算方法-IOPS = 1000 ms/ (寻道时间 + 旋转延迟)。可以忽略数据传输时间。7200 rpm的磁盘IOPS = 1000 / (10.5 + 4.17) = 68 IOPS10000 rpm的磁盘IOPS = 1000 / (7 + 3) = 100 IOPS15000 rpm的磁盘IOPS = 1000 / (5 + 2) = 142 IOPS影响测试的因素-实际测量中，IOPS数值会受到很多因素的影响，包括I/O负载特征(读写比例，顺序和随机，工作线程数，队列深度，数据记录大小)、系统配置、操作系统、磁盘驱动等等。因此对比测量磁盘IOPS时，必须在同样的测试基准下进行，即便如此也会产生一定的随机不确定性。队列深度说明 NCQ、SCSI TCQ、PATA TCQ和SATA TCQ技术解析 - 是一种命令排序技术，一把喂给设备更多的IO请求，让电梯算法和设备有机会来安排合并以及内部并行处理，提高总体效率。SCSI TCQ的队列深度支持256级ATA TCQ的队列深度支持32级 （需要8M以上的缓存）NCQ最高可以支持命令深度级数为32级，NCQ可以最多对32个命令指令进行排序。 大多数的软件都是属于同步I/O软件，也就是说程序的一次I/O要等到上次I/O操作的完成后才进行，这样在硬盘中同时可能仅只有一个命令，也是无法发挥这个技术的优势，这时队列深度为1。 随着Intel的超线程技术的普及和应用环境的多任务化，以及异步I/O软件的大量涌现。这项技术可以被应用到了，实际队列深度的增加代表着性能的提高。在测试时，队列深度为1是主要指标，大多数时候都参考1就可以。实际运行时队列深度也一般不会超过4.IOPS可细分为如下几个指标：-数据量为n字节，队列深度为k时，随机读取的IOPS数据量为n字节，队列深度为k时，随机写入的IOPSIOPS的测试benchmark工具- IOPS的测试benchmark工具主要有Iometer, IoZone, FIO等，可以综合用于测试磁盘在不同情形下的IOPS。对于应用系统，需要首先确定数据的负载特征，然后选择合理的IOPS指标进行测量和对比分析，据 此选择合适的存储介质和软件系统。存储IOPS与吞吐量的计算 分类： storage 2012-10-20 23:37 100人阅读 评论(0) 收藏 举报 存储系统的瓶颈，主要体现在2个方面：吞吐量与IOPS。名词解释：吞吐量英文：throughput，即单位时间内读取或者写入数据量的大小。IOPS英文全拼：Input/Output Operations Per Second，即每秒进行读写（I/O）操作的次数，多用于数据库等场合，衡量随机访问的性能。存储端的IOPS性能和主机端的IO是不同的，IOPS是指存储每秒可接受多少次主机发出的访问，主机的一次IO需要多次访问存储才可以完成。例如，主机写入一个最小的数据块，也要经过“发送写入请求、写入数据、收到写入确认”等三个步骤，也就是3个存储端访问。下面对吞吐量与IOPS分布进行分析。1、吞吐量(throughput)吞吐量主要取决于阵列的构架，光纤(FC SAN)或网络(IP SAN)通道的大小以及硬盘的个数。阵列的构架与每个阵列不同而不同，他们也都存在内部带宽(类似于pc的系统总线)，不过一般情况下，内部带宽都设计的很充足，不是瓶颈的所在。光纤通道的影响还是比较大的，如数据仓库环境中，对数据的流量要求很大，而一块2Gb的光纤卡，所能支撑的最大流量应当是2Gb/8(小B)=250MB/s(大B)的实际流量，当4块光纤卡才能达到1GB/s的实际流量，所以数据仓库环境可以考虑换4Gb的光纤卡。最后说一下硬盘的限制，这里是最重要的，当前面的瓶颈不再存在的时候，就要看硬盘的个数了，我下面列一下不同的硬盘所能支撑的流量大小：10 K rpm 15 K rpm ATA 10M/s 13M/s 8M/s那么，假定一套存储有120块15K rpm的光纤硬盘，那么该存储可以支撑的最大流量为120*13=1560MB/s，如果是2Gb的光纤卡，可能需要6块才能够，而4Gb的光纤卡，3-4块就够了。2、IOPS(Input/Output Operations Per Second)决定IOPS的主要取决与阵列的算法，cache命中率，以及磁盘个数。阵列的算法因为不同的阵列不同而不同，如我们最近遇到在hds usp上面，可能因为ldev(lun)存在队列或者资源限制，而单个ldev的iops就上不去，所以，在使用这个存储之前，有必要了解这个存储的一些 算法规则与限制。cache的命中率取决于数据的分布，cache size的大小，数据访问的规则，以及cache的算法，如果完整的讨论下来，这里将变得很复杂，可以有一天好讨论了。我这里只强调一个cache的命中 率，如果一个阵列，读cache的命中率越高越好，一般表示它可以支持更多的IOPS，为什么这么说呢?这个就与我们下面要讨论的硬盘IOPS有关系了。硬盘的限制，每个物理硬盘能处理的IOPS是有限制的，如10 K rpm 15 K rpm ATA 100 150 50同样，如果一个阵列有120块15K rpm的光纤硬盘，那么，它能撑的最大IOPS为120*150=18000，这个为硬件限制的理论值，如果超过这个值，硬盘的响应可能会变的非常缓慢而不能正常提供业务。在raid5与raid10上，读iops没有差别，但是，相同的业务写iops，最终落在磁盘上的iops是有差别的，而我们评估的却正是磁盘的IOPS，如果达到了磁盘的限制，性能肯定是上不去了。那我们假定一个case，业务的iops是10000，读cache命中率是30%，读iops为60%，写iops为40%，磁盘个数为120，那么分别计算在raid5与raid10的情况下，每个磁盘的iops为多少。raid5:单块盘的iops = (10000*(1-0.3)*0.6 + 4 * (10000*0.4)/120= (4200 + 16000)/120= 168这里的10000*(1-0.3)*0.6表示是读的iops，比例是0.6，除掉cache命中，实际只有4200个iops而4 * (10000*0.4) 表示写的iops，因为每一个写，在raid5中，实际发生了4个io，所以写的iops为16000个为了考虑raid5在写操作的时候，那2个读操作也可能发生命中，所以更精确的计算为：单块盘的iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4)*(1-0.3) + 2 * (10000*0.4)/120= (4200 + 5600 + 8000)/120= 148计算出来单个盘的iops为148个，基本达到磁盘极限raid10单块盘的iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4)/120= (4200 + 8000)/120= 102可以看到，因为raid10对于一个写操作，只发生2次io，所以，同样的压力，同样的磁盘，每个盘的iops只有102个，还远远低于磁盘的极限iops。在一个实际的case中，一个恢复压力很大的standby(这里主要是写，而且是小io的写)，采用了raid5的方案，发现性能很差，通过分析，每个 磁盘的iops在高峰时期，快达到200了，导致响应速度巨慢无比。后来改造成raid10，就避免了这个性能问题，每个磁盘的iops降到100左右。再谈存储-IOPS 计算方法 存储真的很复杂么？当谈到有关虚拟桌面的存储的时候，大部分人只会问：每个用户分配多少空间是合适的？但实际上，作为桌面虚拟化来说，存储的考虑要远远复杂于简单的空间计算。 虚拟桌面系统很依赖存储基础架构来承载用户环境和操作系统的不同部分。每个人的请求都会影响存储基础设施。如果没有合适的存储子系统的设计，用户的虚拟桌面会变得越来越慢，然后直到不可用，因为存储变为了最大的瓶颈。 为了恰当的设计存储基础设施，架构师需要能够计算期望的每秒Input/Output Operations ，也就是我们俗称的IOPS, 计算IOPS 需要遵从以下规则参数描述值磁盘转速这个参数直接影响磁盘能够从正确的扇区读取数据的快慢15,000 RPM: 150 随机 IOPS10,000 RPM: 110 随机 IOPS5,400 RPM: 50 随机 IOPS Read/Write IOPS 可以分解为读和写操作。不同的进程对读写的密集程度不一。读、写比例影响总IOPS 读: 20% 写: 80%（MCS下为50%：50%）RAID 级别RAID 配置会由于不同类型的冗余影响实际写的数量。写惩罚会影响总IOPSRAID 0: 无RAID 惩罚RAID 1: penalty of 2RAID 10: Penalty of 2RAID 5 (4 disks): Penalty of 4RAID 5 (5 disks): Penalty of 5 桌面生命周期每个桌面有6种状态，每个阶段对存储子系统都有不同的影响. 启动: 26 IOPS登录: 14 IOPS工作: 轻量: 4-8 IOPS 普通: 8-12 IOPS 重量: 12-20 IOPS空闲: 4 IOPS登出: 12 IOPSOffline: 0 IOPS根据这6种不同的虚拟桌面状态可以帮助架构师基于每服务器计算IOPS需求和完整的虚拟桌面基础架构.公式如下 ：总原生 IOPS=磁盘转速 IOPS * 磁盘数目举例而言： 假设我们有8 块72G 的15,000 转 SCSI3 驱动，并按照RAID 10 配置。那么，这个存储系统总共会产生720 个功能性IOPS,计算公式如下：功能性 IOPS=(总原生