cache的性能分析及改进方法

1、黄 亚 玲汤文兵老师Cache性能分析及改进方法1234关于Cache的基本知识Cache的性能分析Cache的性能改进方法致谢1Cache的基本知识1234对Cache的认识Cache的工作原理Cache的地址映射方式替换算法什么是Cache？Cache系统Cache的作用123对Cache的认识Cache又称高速缓冲存储器，位于CPU和内存之间，是一种特殊的子存储系统Cache系统通常由一级高速缓存L1 Cache和二级高速缓存L2 Cache组成。L1 Cache通常分别用来存放数据和指令。Cache的产生就是为了提高CPU对存储器的访问速度。Cache的工作原理u程序访问的局部性：程序

2、访问的局部性：对大量典型程序运行情况的分析结果表明，在一个较短的时间间隔内，由程序产生的地址往往集中在存储器逻辑地址空间的很小范围内。指令地址的分布本来就是连续的，再加上循环程序段和子程序段要重复执行多次。因此，对这些地址的访问就自然地具有时间上集中分布的倾向。 数据分布的这种集中倾向不如指令明显，但对数组的存储和访问以及工作单元的选择都可以使存储器地址相对集中。这种对局部范围的存储器地址频繁访问，而对此范围以外的地址则访问甚少的现象，就称为程序访问的局部性。 CacheCache的工作原理的工作原理 Cache的工作原理是基于程序的访问局部性。在主存和CPU通用寄存器之间设置一个高速的容量相

3、对较小的存储器，把正在执行的指令地址附近的一部分指令或数据从主存调入这个存储器，供CPU在一段时间内使用。Cache结构和工作原理图结构和工作原理图Cache的地址映射方式v 全相联映射方式：全相联映射方式：主存的任意一块可以映射到Cache中的任意一块优点：优点：命中率比较高，Cache存储空间利用率高缺点：缺点：访问相关存储器时，每次都要与全部内容比较，速度低，成本高，因而应用少Cache的地址映射方式v 直接相联映射方式：直接相联映射方式：主存储器中的一块只可以映射到Cache特定的一个块中优点：优点：地址映射方式简单，数据访问时只需检查区号是否相等，因而可以得到比较快的访问速度，硬件设

4、备简单缺点：缺点：替换操作频繁，命中率较低Cache的地址映射方式v 组相联映射方式：组相联映射方式：主存储器中的每一块可以被放置到Cache唯一的一个组中的任何一个位置优点：优点：块的冲突概率比较低，块的利用率大幅提高，块失效率明显降低缺点：缺点：实现难度和造价要比直接相联映射方式高替换算法替换算法Cache可以采用的替换算法主要有以下几种：l随机替换（随机替换（RAND）算法）算法 随机确定替换的块，方法简单易于实现，但命中率低l先入先出（先入先出（FIFO）算法）算法替换最先调入的块，不符合局部性规律l近期最少使用（近期最少使用（LRU）算法）算法 选择替换最近最少使用的块，命中率高，符

5、合程序局部性原理Cache性能分析12CPU执行时间执行时间平均访问存储器时间（平均访问存储器时间（AMAT）CPU执行时间时钟周期时间存储器停顿周期数时钟周期数执行时间)CPU(CPU缺失代价缺失率指令存储器访问次数指令数缺失代价指令缺失次数指令数缺失代价缺失次数存储器停顿周期数例子假定有一台计算机，当所有存储器访问操作都能在Cache中命中时，CPI为1.0；数据访问只有load和store指令，这些指令占全部指令的50%；缺失代价为25个时钟周期，缺失率为2%。问当所有指令都在Cache中命中时，计算机性能能提高多少？Cache始终命中时的计算机性能为：时钟周期指令数时钟周期指令数时钟周

6、期存储器停顿周期数时钟周期数执行时间理想0 . 1)0CPI()CPU(CPU例子实际Cache的计算机性能为：两者的性能比为：不发生Cache缺失时计算机性能是原来的1.75倍75. 10 . 175. 1CPUCPU时钟周期指令数时钟周期指令数执行时间执行时间理想实际时钟周期指令数时钟周期指令数指令数时钟周期存储器停顿周期数时钟周期数执行时间实际75. 1)2502. 0)5 . 01 (CPI()CPU(CPU平均访存时间l设H为命中率，平均访存时间（AMAT）可定义为：l在多级存储系统中，平均访存时间（AMAT）可定义为：）缺失代价缺失率（命中时间缺失率命中时间缺失代价缺失率命中时间2

7、L2L2L1L1L1L1L1LAMAT缺失代价缺失率命中时间主存T)H1 (THAMATCacheCache性能改进方法通过对cache的性能分析，可知失效开销，命中时间和失效率是衡量cache的重要指标。减少失效开销减少失效开销减少命中时间减少命中时间降低失效率降低失效率减少失效开销l使读失效优于写使读失效优于写 写缓冲器导致对存储器的访问复杂化，而且写缓冲器是滞后的，所以推迟对读失效的处理。l写缓冲合并写缓冲合并 如果写缓冲器中已经有了待写入的数据，则进行地址匹配，若存在匹配的地址并且缓冲器中位置空闲，就进行写缓冲合并。l请求字处理技术请求字处理技术 尽早将请求字发送到CPUl非阻塞非阻塞

8、cachecache技术技术 Cache失效时仍允许CPU对其进行其他命中访问l采用两级采用两级cachecache 第一级Cache（L1）小而快，第二级Cache（L2）容量大减少命中时间 命中时间直接影响着处理器的时钟频率。目前的计算机Cache的访问时间限制了处理器的时钟频率。l采用容量小，结构简单的采用容量小，结构简单的Cache 硬件越简单，速度越快；便于与CPU放在一块芯片上l虚拟虚拟Cache 访问Cache的索引以及Cache中的标识都使用虚拟地址lCache访问流水化访问流水化 对第一级Cache的访问按流水方式访问lTraceCache 存放CPU所执行的动态指令降低失效率l强制性失效强制性失效：当第一次访问一个块时，该块不在Cache 中，需从下一级存储器中调入Cache。方法：增加块的大小，预取Cachel容量失效：容