第7章 存储器分层体体系结构

1、电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 计算机组成与系统结构计算机组成与系统结构Computer Organization And Systems Architecture教师：张建教师：张建E-mail: Z办公室：办公室： 主楼主楼B1-707电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 引言引言冯若依曼(Von Nouma)美籍匈牙利数学家 1903 1957存储程序概念存储程序概念要运行的程序必须先调入内存，然后再执行。程序程序MemoryCPULoadAllExecuteOne by one电子科技大学计算机科学与工程学院电子科技大学计算

2、机科学与工程学院 7.1 7.1 存储器概述存储器概述n 存储器的分类 半导体存储器1. 静态随机存储器 SRAM2. 动态随机存储器 DRAM 磁表面存储器：容量、存储周期容量、存储周期例：例：2GB 60ns容量、转速容量、转速例：例： 200GB 7200转转/分分3. 闪存 - Flash Memory电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 光盘存储器： 1. 1. CD-ROM：只读性光盘：只读性光盘 2. 2. WORM：写入式（只能写一次）：写入式（只能写一次） 3. 3. CD-RW：可擦：可擦/ /写光盘写光盘DVD - Digital Versat

3、ile Disc 4.7GBVCD - Video Compact Disc 700MB7.1 7.1 存储器概述存储器概述电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 n 存储器存取方式 可按地址随机地访问任一存储单元 随机存取存储器(RAM) 访问时间与访问地址无关 顺序存取存储器(SAM)必须按顺序访问,例如：磁带。速度慢，现在已Out了。7.1 7.1 存储器概述存储器概述电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 直接存取储器(DAM)7.1 7.1 存储器概述存储器概述第1步：直接选取该区域第2步：该区域内顺序存取电子科技大学计算机科学与工

4、程学院电子科技大学计算机科学与工程学院 n 按可更改性分类7.1 7.1 存储器概述存储器概述 只读存储器(ROM) 读/写存储器最初的信息是如何写入的呢？电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 n 按功能分类7.1 7.1 存储器概述存储器概述 高速缓冲存储器 主存储器 辅助存储器 海量后备存储器电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 主存储器基本框图主存储器基本框图地地址址寄寄存存器器地地址址译译码码读写控制电路读写控制电路地址线读写控制信号数据线电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 n 存储器的主要性能指标

5、存储容量单位：Byte、KB、MB、GB 存取周期 CPU连续访存中平均一次存取操作所需的时间。7.1.3 7.1.3 存储器的主要性能指标存储器的主要性能指标 存储器的带宽 单位时间内传输的最大数据率，字节/秒电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 7.1.4 7.1.4 存储器的层次化结构存储器的层次化结构CPU主存储器主存储器辅助存储器辅助存储器Cache电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 7.2.4 7.2.4 半导体随机存取存储器半导体随机存取存储器10 六管静态MOS管存储单元1110电子科技大学计算机科学与工程学院电子科技大

6、学计算机科学与工程学院 7.2.4 7.2.4 半导体随机存取存储器半导体随机存取存储器静态静态RAMRAM的组成的组成电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 7.2.4 7.2.4 半导体随机存取存储器半导体随机存取存储器SRAMSRAM电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 7.2.4 7.2.4 半导体随机存取存储器半导体随机存取存储器静态静态RAMRAM芯片举例芯片举例电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 7.2.4 7.2.4 半导体随机存取存储器半导体随机存取存储器62646264 A12A0： D7D

7、0： NC： CE： WE： OE：电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 7.2.4 7.2.4 半导体随机存取存储器半导体随机存取存储器11111电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 7.2.4 7.2.4 半导体随机存取存储器半导体随机存取存储器1/0VB=(V1+V0 )/2VV11该点有充放电现象，该点有充放电现象， 以此判断以此判断1/0电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 7.2.4 7.2.4 半导体随机存取存储器半导体随机存取存储器电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院

8、 7.3.2 7.3.2 存储器芯片的扩展存储器芯片的扩展电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 7.3.2 7.3.2 存储器芯片的扩展存储器芯片的扩展电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 7.3.2 7.3.2 存储器芯片的扩展存储器芯片的扩展电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 字扩展字扩展译码电路译码电路电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 7.4 7.4 半导体只读存储器和半导体只读存储器和FlashFlash存储器存储器电子科技大学计算机科学与工程学院电子科技大学计算机科学

9、与工程学院 7.5 7.5 并存储器结构技术并存储器结构技术译码电路译码电路电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 7.5 7.5 并存储器结构技术并存储器结构技术译码电路译码电路电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 7.6 高速缓冲存储器高速缓冲存储器控制器控制器数据路径数据路径存储器存储器处理器处理器输入输入输出输出指令指令数据数据n 存储器向处理器提供指令和数据但问题是但问题是：存储器：存储器太小太小、太慢太慢?电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 n 时间局部性如果某个数据被访问，那么很快它有可能再次被访

10、问。n 空间局部性如果某个数据被访问，那么与它邻近的数据有可能很快被访问。Really? 别骗我！别骗我！局部性原理局部性原理电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 CacheCache的基本原理的基本原理n DRAM的发展趋势 容量：4倍/3年 速度：2倍/10年电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 CacheCache的基本原理的基本原理n CPU与Memory的速度差11010010001980 19811983 1984 1985 1986 1987 1988 19891990 1991 1992 1993 1994 1995 19

11、96 1997 1998 1999 2000CPU1982增长：增长： 50% / 年年性能性能“Moores Law”DRAM电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 Cache的基本工作原理的基本工作原理n 问题：存储器太小、太慢 办法：存储器系统分层结构控制器控制器 数据数据 路径路径存储器存储器(内存内存)(DRAM)处理器处理器寄存器寄存器L1Cache(SRAM)L2Cache(SRAM)外存外存(硬盘硬盘)电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 处理器处理器数据行或数据行或块块命中命中: 数据在高数据在高层层存存储储器器缺失缺失:

12、 数据没有位于高数据没有位于高层层存存储储器器Cache的基本工作原理的基本工作原理电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 术语术语 命中率在高层存储器中找到访问数据的比例。 缺失率在高层存储器中没有找到访问数据的比例。缺失率 = 1 命中率电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 术语术语 命中时间访问高层存储器所需的时间。 缺失代价将数据块从低层搬到高层存储器并送到处理器所需的时间。判断时间 + 数据传送时间电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 当前计算机的存储器结构当前计算机的存储器结构SystemContro

13、llerL1 CacheMain Memory(DRAM)GraphicsProcessor(I/O Bus)L2 CacheProcessor电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 CacheCache的原理的原理CPU主存主存Cachen 插入到CPU与主存间n 由快速SRAM实现n 存储程序的部分 指令 数据n 操作： 命中(在Cache中) 未命中 (不在Cache中)电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 例例题题：例7.2（1）Cache的命中率？访存次数：未命中次数：命中率：电子科技大学计算机科学与工程学院电子科技大学计算机科学

14、与工程学院 例例题题：例7.2（2）CPU的平均访存时间？电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 实现实现CacheCache的的4 4个关键问题个关键问题1：数据块放在Cache的什么地方？2：如何在Cache中找到所需的数据块？3：Cache未命中时如何转换数据块？4：写数据时如何写？A. 只写Cache？B. 只写Memory？C. 同时时写Cache和Memory？D. 其它？电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 基本的基本的CacheCache设计设计- -直接映射直接映射电子科技大学计算机科学与工程学院电子科技大学计算机科学与工

15、程学院 二者必须二者必须相等相等基本的基本的CacheCache设计设计- -直接映射直接映射电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 组号组号第第0页页7位位Cache组号组号第第1页页组号组号第第15页页第第0页页第第1页页第第15页页第第16页页第第17页页第第31页页第第2032页页第第2033页页第第2047页页0组组1组组127组组主存主存组号组号组内页号组内页号页内地址页内地址XXYYZZ749定位定位Cache页，页，读取组号读取组号相等吗？相等吗？据此判断内存目标页据此判断内存目标页是否在是否在Cache中中基本的基本的CacheCache设计设计-

16、-直接映射直接映射电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 n 内存地址结构的设计内存地址结构的设计组号组号组内页号组内页号数据页（数据页（512B）4位位7位位9位位基本的基本的CacheCache设计设计- -直接映射直接映射电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 n CacheCache地址结构的设计地址结构的设计标记位标记位有效位有效位数据页（数据页（512B）1位位7位位必须与主存页必须与主存页大小相同大小相同基本的基本的CacheCache设计设计- -直接映射直接映射数据是否已存入标记数据是否已存入标记电子科技大学计算机科学与工程

17、学院电子科技大学计算机科学与工程学院 000010100101110100100111010101110000101010XXXXXXXXX09 812 1119VTagData=DATAHIT基本的基本的CacheCache设计设计- -直接映射直接映射电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 n 特点：特点： 硬件硬件实现容易；实现容易； Cache Cache利用率低；利用率低；基本的基本的CacheCache设计设计- -直接映射直接映射电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 举例举例假设一个直接映射的Cache，有16KB数据，块大小

18、4个字，地址32位，那么Cache总共有多少位?(即Cache的大小)参考答案：参考答案：MIPS中：32位/字=4字节/字块大小：4字/块=16字节/块=128位/块16KB分为：16K16=1K=1024(块）电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 举例举例数据块数据块0128bit有效位有效位1bit标记位标记位18bit数据块数据块1有效位有效位标记位标记位数据块数据块1023有效位有效位标记位标记位1024电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 举例举例对于前面例子，若内存地址分别为100005和0 x100005的字节将分别映到C

19、ache的哪一块？参考答案：n 对于内存地址100005 该内存地址位于第?块6249块块？6250块块？6251块块？6250块电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 10位举例举例参考答案：n 对于内存地址0 x100005010100000000000000000001500001十六进制十六进制二进制二进制电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 基本的基本的CacheCache设计设计- -全相联映射全相联映射CacheMemoryTagBlock 0TagBlock m-1Block 0Block 1Block n-1电子科技大学计

20、算机科学与工程学院电子科技大学计算机科学与工程学院 基本的基本的CacheCache设计设计- -全相联映射全相联映射标记位标记位有效位有效位数据页（数据页（512B）1位位11位位标记位标记位数据页（数据页（512B）11位位9位位判断是否判断是否在在Cache中中电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 基本的基本的CacheCache设计设计- -全相联映射全相联映射电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 n n路组相联映射假设： 主存：32位地址线 Cache大小：256KB 块大小：4KB n：4，即4路组组相联映射基本的基本的Cac

21、heCache设计设计- -组组相联映射组组相联映射电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 组组相联映射组组相联映射-Cache -Cache 的设置的设置TagBlock 0TagBlock 1TagBlock 2TagBlock 3TagBlock 0TagBlock 1TagBlock 2TagBlock 3TagBlock 0TagBlock 1TagBlock 2TagBlock 34路相联0组1组15组组的大小=44=16KBCache的组数 =25616=16最后组是15组电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 组组组相联映射组

22、相联映射 - - 主存主存(Memory)(Memory)的设置的设置Block 0Block 1Block15Block 0Block 1Block 15Cache分为16组0组Block 0Block 1Block 151组65535组组的大小=164=64KB主存的组数 =23221064=65536最后组是65535组电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 组组组相联映射组相联映射 - Cache - Memory)- Cache - Memory)的映射关系的映射关系Block 0Block 1Block 15Block 0Block 1Block 15Bl

23、ock 0Block 1Block 15TagBlock 0TagBlock 1TagBlock 2TagBlock 3TagBlock 0TagBlock 1TagBlock 2TagBlock 3TagBlock 0TagBlock 1TagBlock 2TagBlock 30组1组15组0组1组65535组CacheMemory电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 组组相联映射组组相联映射 - -主存主存(Memory)(Memory)地址地址12 bits组内块号：01516 bits组号：0655354 bits块内寻址：块大小4K31011121516电

24、子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 组组相联映射组组相联映射 - Cache - Cache 的标志的标志 ( Tag )( Tag )1 bit16 bits有效位Tag数据块数据块Data问题（针对前面的假设）：主存地址：101A 1234 (Hex)计算：该地址数据放入Cache后，在Cache中的的块号及对应Cache项的Tag是多少？内存中的组号电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 在在CacheCache中查找一个块中查找一个块n 4路相联Cache电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 CacheC

25、ache的的缺失与关联度缺失与关联度关联度关联度数据缺失率数据缺失率110.3%28.6%48.3%88.1%Cache: Size = 64KB ， Block size = 16 words 10个SPEC2000测试程序的结果电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 标记位大小与组组相联标记位大小与组组相联假设一个Cache： 有4K个块 块大小为4个字 主存地址为32位计算：直接映射、两路组相联、四路组相联和全相联映射时，Cache的总组数及总的标记位数？电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 标记位大小与组组相联标记位大小与组组相联1

26、. 直接映射Cache的1个块就是1个组Cache的总组数：4K = 212块大小块大小4个字，即个字，即16=24个字个字节，故需要节，故需要4位地址表示。位地址表示。电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 标记位大小与组组相联标记位大小与组组相联2. 两路组映射Cache的2个块为1个组电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 标记位大小与组组相联标记位大小与组组相联3. 四路组映射Cache的4个块为1个组电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 标记位大小与组组相联标记位大小与组组相联5. 全相联映射Cache只

27、有一个4K的块组电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 主存主存(Memory)(Memory)地址地址12 bits组内块号：01516 bits组号：0655354 bits块内寻址：块大小4K31011121516电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 Cache Cache 的标志的标志 ( Tag )( Tag )1 bit16 bits有效位Tag数据块数据块Data问题（针对前面的假设）：主存地址：101A 1234 (Hex)计算：该地址数据放入Cache后，在Cache中的的块号及对应Cache项的Tag是多少？内存中的组号

28、电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 问题解答问题解答(1)(1)：1. 首先计算该地址在主存的块号:n该地址所在的块号是：2. 分析块号n在主存中的组号及组内序号在主存中的组号：101AH组内序号：1H（每组有16个块）电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 问题解答问题解答(2)(2)：3. 存入Cache后所对应的块 映射到Cache的第1组，即： 块在主存中组内序号为1H4. 对应Cache的Tag是：101AHCache块号为：47 中的某一块电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 存入存入Cache C

29、ache 后的情况后的情况有效位TagData1组组4#块0#块 7#块63#块1101AH XXXCache电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 缺失率与块大小缺失率与块大小电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 缺失率与块大小缺失率与块大小Cache块较大时，一 旦缺失，带来的延时和开销是比较大的。n 提前重启（early restart）当块中所需字一旦返回就马上执行，而不需要等待整个块都传过来再执行。 该技术用于指令访问，效果较好，因为指令通常是连续的。 该技术用于数据Cache效率要低一些，因为请求的数据其分布无法预知。电子科技大

30、学计算机科学与工程学院电子科技大学计算机科学与工程学院 缺失率与块大小缺失率与块大小n 请求字优先/关键字优先缺失时，先将请求字从存储器传输到Cache中，然后再传输该块的剩余部分，之后再从块的开始部分传输。该技术的延时性能比提前重启要好一些。电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 Cache的缺失处理的缺失处理n 指令Cache缺失的处理步骤 将PC 4送到存储器中 通知主存执行读操作，并等待主存访问完成 写Cache项，并设置Cache相关标志 重新取指令，此时指令在Cache中电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 写操作处理写操作处理

31、n Write-through(写直达/通写)当需要写数据时（执行Store指令），将数据同时写入Cache和主存中。优点：Cache和主存的内容保持一致。缺点：耗时长，效率低。电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 写操作处理写操作处理n 写缺失当要写的数据不在Cache中时，发生写缺失。1. 将主存中的数据块读到Cache；2. 将要写的数据写到Cache和主存中；为什么不直接写到为什么不直接写到Cache和主存？和主存？电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 写操作处理写操作处理n 写直达方法简单，但效率低下例如例如，10%的指令是st

32、ore，没有Cache失缺的情况下，CPI为1.0，每次写操作要额外花费100个周期，此时CPI为：CPI - ClockcyclePerInstruction电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 写操作处理写操作处理n 写缓冲（Write buffer）当有数据需要写入主存时：将数据写入Cache和写缓冲区(write buffer)后，处理器继续执行；当写主存操作完成后，写缓冲区里的数据被释放；若写缓冲区满，则处理器必须等待一个写操作完成后（释放一个空位）才能将数据写入写缓冲区。电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 写操作处理写操作处

33、理n 写回机制（Write back 回写）当有数据需要写入主存时： 先将数据写入Cache，并作已修改标记； 当被修改的Cache块被替换时才将Cache的内容写回主存；电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 精解精解n 写缺失时的策略 写直达/通写（write through）1. 写分配策略（write allocate)2. 写不分配策略（no write allocate) 写回机制/回写（write back）电子科技大学计算机科学与工程学院电子科技大学计算机科学与工程学院 设计支持设计支持CacheCache的存储系统的存储系统n 主存是由DRAM构成 数据宽度固定 通过总线(Bus)与处理器连接总线频率比处理要慢很多假设：假设： 地址(address)传输需要1个总