第五章-流水技术与向量处理(5-1).ppt

第五章流水技术与向量处理本章的主要内容 流水处理原理 向量流水技术 本章学习目的和要求 目的 认识流水处理的特点 指标和应用 要求 掌握标量线性流水线的性能分析 本章重点 标量线性流水线 本章难点 流水处理相关性问题 流水技术与向量处理 交叉开关 是提高主机效率的一个重要措施 基本原理是时间上的 重叠 处理 向量技术和流水技术结合称为向量流水技术 可以获得高的处理速度 的指标是吞吐率 效率和加速比 设计处理机的主要目标之一是提高处理机指令执行速度 通常有三条途径 提高CPU工作主频 目前依靠提高集成度来提高半导体器件主频几乎达到极限 采用更好的算法和功能部件 例如采用RISC 改进乘法 除法的算法等 采用指令并行技术 这是目前提高处理机性能的主要方法 其基本方法有3个 即流水线技术 超标量超流水线技术以及超长指令字技术 流水技术与向量处理 5 1标量流水工作原理 5 1 1基本概念 指令的重叠解释方式 1 产品生产流水线下面通过一个例子来说明流水线的好处 两种方案 两种方案的工作过程对比 第5章流水技术与向量处理 流水线生产过程的抽象描述 这种流水工作方式的主要特点 2 指令流水线 把指令的解释过程分解为 分析 和 执行 两个子过程 并让这两个子过程分别用独立的分析部件和执行部件来实现 理想情况 速度提高一倍 第5章流水技术与向量处理 第5章流水技术与向量处理 流水处理概述 取指k 析指k 执指k 取指k 1 析指k 1 执指k 1 取指k 2 析指k 2 执指k 2 取指k 析指k 执指k 取指k 1 析指k 1 执指k 1 取指k 2 析指k 2 执指k 2 指令的多种执行方式 取指 分析 执行 取指 分析 执行 取指 分析 执行 取指 分析 执行 取指 分析 执行 取指 分析 执行 取指 分析 执行 取指 分析 执行 取指 分析 执行 1 2 3 4 5 6 7 8 9 第k条 第k 1条 第k 2条 第k 1条 第k 2条 第k 1条 第k 2条 T 3nt 1 顺序执行方式 T 1 2n t 2 一次重叠执行方式 T 2 n t 3 二次重叠执行方式 第5章流水技术与向量处理 0 1 2 6 7 13 17 t 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 6 7 8 6 7 8 6 7 8 6 7 8 6 7 8 9 10 3 4 5 建立时间 正常流水工作时间 排空时间 2 1 3 4 5 周期 满重叠流水线的时空图 功能编号 11 12 13 14 15 14 15 16 18 19 9 10 11 12 13 14 15 9 10 11 12 13 14 15 9 10 11 12 13 14 15 9 10 11 12 13 14 15 水深 第5章流水技术与向量处理 指令的重叠执行对计算机组成提出什么要求 首先 需要把顺序执行方式中的一个集中的指令控制器 分解成三个功能独立的部件 存控 存储控制器 指控 指令控制器 运控 运算控制器 其次 要解决三个阶段访问主存冲突问题 实现并行访存 有3种解决办法 1 将主存分为两个独立编址的存储器 指令存储器和数据存储器 CPU可分别独立访问 这样就没有取指和析指访存的冲突 2 低位交叉存取方式 可并行访问不在同一个存储体中的指令或数据 3 根本解决办法是采用先行控制技术 再次 还要求各个功能部件的运行速度大致相等 避免在重叠中的相互等待 如图5 3所示 这需要用到先行控制技术中的缓冲技术 以及依靠RISC技术的支持 取指k 析指k 执指k 取指k 1 析指k 1 执指k 1 取指k 2 析指k 2 执指k 2 指令的重叠执行对计算机组成提出什么要求 还有 如果指令K是转移指令 则顺序取来的指令k 1势必无效 重叠运行就会被打断 类似的如数据相关等问题都必须解决 可见 实现功能部件的多次重叠 使程序运行如同生产流水线一般源源不断地执行指令和得到结果 就需要RISC系统的支持和采用先行控制技术 并解决有关控制转移 数据相关 资源冲突带来的可能使流水线断流的问题 指令的重叠执行对计算机组成提出什么要求 第5章流水技术与向量处理 5 1 2先行控制技术1 先行控制技术原理先行控制技术的关键是缓冲技术和预处理技术 以及这两者的结合 缓冲技术 在工作速度不固定的两个功能部件之间设置缓冲区 以平滑它们之间的工作速度 它们是先行指令缓冲栈 先行操作栈 先行读数栈 后行写入栈 预处理技术 把进入运算器的指令都预处理成R R型指令 与缓冲技术结合 为进入运算器的指令准备好全部操作数 第5章流水技术与向量处理 5 1 2先行控制技术2 先行控制技术的实现 主存储器 主存控制器 先行指令栈 先行读数栈 后行写数栈 指令分析器 先行操作栈 执行部件 5 1 3标量流水工作原理 1 重叠到流水 图示 5 1 3标量流水工作原理 浮点加法流水线 把浮点加法的全过程分解为 求阶差 对阶 尾数相加 规格化 四个子过程 并让它们分别用各自独立的部件来实现 理想情况 速度提高3倍 5 1 3标量流水工作原理 第5章流水技术与向量处理 2 时 空图 时 空图从时间和空间两个方面描述了流水线的工作过程 时 空图中 横坐标代表时间 纵坐标代表流水线的各个段 第5章流水技术与向量处理 5 1标量流水工作原理 5 1 3标量流水工作原理3 流水线的特点一个流水线通常由若干个功能段组成 每个流水段有专门的功能部件对指令进行某种加工 各流水段所需时间是一样的 因各功能段之间及输入 输出都需要有锁定电路 以暂存欲传送的中间结果 流水线工作阶段可分为建立 正常工作和排空三个阶段在理想情况下 当流水线正常工作后 每隔 t时间将有一个结果输出流水线 流水技术 流水技术是指 将一个重复的时序过程分解成为若干个子过程 而每个子过程都可有效地在其专用功能段上与其他子过程同时执行 1 流水过程由多个相联系的子过程组成 每个子过程称为流水线的 级 或 段 段 的数目称为流水线的 深度 2 每个子过程由专用的功能段实现 流水技术小结 流水技术的特点 4 流水线需要有 通过时间 第一个任务流出结果所需的时间 在此之后流水过程才进入稳定工作状态 每一个时钟周期 拍 流出一个结果 3 各个功能段所需时间应尽量相等 否则 时间长的功能段将成为流水线的瓶颈 会造成流水线的 堵塞 和 断流 这个时间一般为一个时钟周期 拍 5 流水技术适合于大量重复的时序过程 只有输入端能连续地提供任务 流水线的效率才能充分发挥 流水技术小结 1 按照流水线的处理级别来分 部件级流水线 运算操作流水线 把处理机的算术逻辑部件分段 使得各种数据类型的操作能够进行流水 指令级流水线 指令流水线 把指令的解释执行过程按照流水方式进行处理 例如 前面把指令解释过程分解为 分析和执行DLX的基本流水线把指令解释过程分解为 取指令 指令译码 执行 访存 写回 图示 5 1 4流水线的分类 5 1 4流水线的分类 处理机间流水线 宏流水线 它是指由两个以上的处理机串行地对同一数据流进行处理 每个处理机完成一项任务 动画解析 5 1 4流水线的分类 单功能流水线 只能完成一种固定功能的流水线 多功能流水线 流水线的各段可以进行不同的连接 从而实现不同的功能 例如 TIASC的多功能流水线 2 按功能的多少来分 5 1 4流水线的分类 在静态流水线中 只有当输入是一串相同的运算操作时 流水的效率才能得到发挥 动画演示 3 按工作方式 同一时间内各段之间的连接方式 来分 静态流水线 在同一时刻 流水线的各段只能按同一种功能的连接方式工作 5 1 4流水线的分类 动态流水线 在同一时刻 流水线的各段可以按不同功能的连接方式工作 动画演示这样就不是非得相同运算的一串操作才能流水处理 优点 能提高流水线的效率缺点 会使流水线的控制变得复杂 5 1 4流水线的分类 静 动态流水线时空图的对比 5 按照数据表示来分 向量处理机 具有向量指令和向量数据表示的处理机 例如 TIASC CRAY I等 标量处理机 不具有向量指令和向量数据表示 仅对标量进行流水处理的处理机 例如 IBM360 91 Amdahl470V 6等 4 按照连接方式 是否有反馈回路 线性流水线 流水线中的各段串行连接 没有反馈回路 非线性流水线 流水线中的各段除有串行连接外 还有反馈回路 举例 5 1 4流水线的分类 5 1 4流水线的分类 5 5 1标量流水线性能分析 吞吐率是指单位时间内流水线所完成的任务数或输出结果的数量 1 吞吐率 1 最大吞吐率TPmax 最大吞吐率是指流水线在连续流动达到稳定状态后所得到的吞吐率 若流水线各段的时间相等 均为 t0 则 TPmax 1 t0 5 5 1标量流水线性能分析 若流水线各段的时间不等 则 最大吞吐率取决于流水线中最慢的一段所需的时间 这段就成了流水线的瓶颈 消除瓶颈的方法 举例 细分瓶颈段重复设置瓶颈段 时 空图 标量流水线性能分析 重复设置瓶颈段 时 空图举例 第一种情况 各段时间相等 设为 t0 假设流水线由m段组成 完成n个任务 时空图完成n个任务所需的时间T流水 m t0 n 1 t0 说明 2 实际吞吐率TP 流水线的实际吞吐率小于最大吞吐率 标量流水线性能分析 完成n个任务所需的时间 实际吞吐率 TP TPmax当n m时 TP TPmax 标量流水线性能分析 完成n个任务所需的时间T流水 ti n 1 tj tj max ti 实际吞吐率 i 1 m 标量流水线性能分析 第二种情况 各段时间不等 时空图 标量流水线性能分析 加速比是指流水线的速度与等功能非流水线的速度之比 2 加速比SP SP T非流水 T流水 其中T流水和T非流水分别为按流水和按非流水方式处理n个任务所需的时间 若流水线为m段 且各段时间相等 均为 t0 则 T非流水 nm t0 解释 T流水 m t0 n 1 t0 标量流水线性能分析 3 2DLX的基本流水线 可以看出 当n m时 SP m想一想 m越大越好 效率是指流水线的设备利用率 1 由于流水线有通过时间和排空时间 所以流水线的各段并不是一直满负荷地工作 故 E 1 3 效率E 3 2DLX的基本流水线 3 2DLX的基本流水线 2 若各段时间相等 则各段的效率ei相等 即e1 e2 e3 em n t0 T流水 解释 整个流水线的效率为 当n m时 E 1 E n t0 T流水 n m n 1 1 n 1 m 1 3 从时 空图上看 效率实际上就是n个任务所占的时空区与m个段总的时空区之比 即 n个任务占用的时空区E 解释 m个段总的时空区 3 2DLX的基本流水线 4 提高流水线效率所采取的措施对于提高吞吐率也有好处 流水线例5 1下图四功能段流水线上分别连续输入3条指令和30条指令 求吞吐率 效率和加速比 TP 314 t E 3 8 t4 14 t SP 3 8 t14 t 当连续输入三个任务 1 2 3 4 2 t 2 t 3 t t 当连续输入30个任务 E 30 8 t4 95 t SP TP 308 t 29 3 t 完成任务数完成任务共需总时间 3095 t 任务数 每个任务所需 t数功能段数 完成任务需总时间 63 16 串行方式需时 同上题分子 同任务流水方式需时 30 8 t95 t 2 53 例题5 2 有双功能的静态流水线 功能段1 5 6组成加法 功能段1 2 3 4 6组成乘法 每段延时 t 2 3 4 6 1 5 aibi 设数据已从主存中取出 输出数据可直接返回输入 0 1 2 6 7 13 17 1 2 3 4 1 7 8 7 8 7 8 7 7 8 3 4 5 2 1 3 4 5 T t 13 14 15 16 13 13 13 13 6 1 2 3 4 1 2 3 4 8 8 9 10 11 12 m a1 b1 a2 b2 a3 b3 a4 b4 a1b1 a2b2 a3b3 a4b4 a1 b1 a2 b2 a3 b3 a4 b4 续5 2 TP 完成任务数 7完成7个任务总时间 717 t E 4 3 t 3 5 t6 17 t 完成7个任务所需时空区6个功能段的总时空区 26 5 0 1 2 6 7 13 17 1 2 3 4 1 7 8 7 8 7 8 7 7 8 3 4 5 2 1 3 4 5 T t 13 14 15 16 13 13 13 13 6 1 2 3 4 1 2 3 4 8 8 9 10 11 12 m 元素输入 和输出 和输入 部分积输出 部分积输入 结果 续5 2 SP 4 3 t 3 5 t17 t 串行方式完成总时间流水完成任务总时间 1 59 0 2 6 4 2 1 3 4 5 T t 14 26 6 8 10 12 m 分组之和输出 部分积输出 结果输出 1 4 8 8 1 4 1 4 4 4 4 16 18 20 22 24 a1 b1 a2 b2 a1b1 a2b2 a3b3 a4b4 a1 b1 a2 b2 a3 b3 a4 b4 有双功能的静态流水线如下图所示 功能段1 5 6实现加法功能 1 2 3 4 6实现乘法功能 每段延时 t 请 1 绘制流水执行时空图 设数据已从主存中取出 输出数据可直接返回输入 课堂练习 标量流水线性能分析 在静态流水线上计算 AiBi 求 吞吐率 加速比 效率 4 i 1 解 1 确定适合于流水处理的计算过程 2 画时空图 3 计算性能吞吐率TP 7 20 t 加速比S 34 t 20 t 1 7效率E 4 4 3 6 8 20 0 21 标量流水线性能分析 标量流水线性能分析 可以看出 在求解此问题时 该流水线的效率不高 原因 动态流水线的时 空图举例 标量流水线性能分析 举例 这样行不行 正确答案 标量流水线性能分析 5 2标量流水中的障碍及控制 相关问题 5 2 1局部性相关及处理 多条指令在同一机器争用同一功能部件 发生冲突 冲突的阶段用黄色示意 IF ID EX M WB IF ID EX M WB i i 1 i 2 i 3 i 4 解决本资源冲突办法有 1 将第i 3条指令推迟一拍进入流水2 设置双存储器 一个指令存储器和一个数据存储器 通常的办法是设置指令Cache和数据Cache 使存和取互不相干3 采用先行控制 在处理器内设置指令缓冲队列 预取主存 IF ID EX M WB M 5 2标量流水中的障碍及控制 相关问题 2 寄存器数据相关 相关问题 2 寄存器数据相关 相关问题 在流水工作过程会出现