计算机系统结构7-1.ppt

第七章多处理机 主要内容 多处理机的概念 问题和硬件结构紧耦合多处理机多Cache的一致性问题多处理机的并行和性能多处理机的操作系统多处理机的发展 多处理机的结构 互连网络 处理机1 处理机2 处理机N 存储器 存储器 存储器 I O I O 具有通过互连网络共享存储器和I O的多处理机系统 每个处理机都拥有自己的存储器和I O的多处理机系统 在多数情况下 多核CPU的内核拥有独立的L1缓存 共享L2缓存 内存子系统 中断子系统和外设 多核处理机 多处理机的概念 多处理机系统是采用资源共享的技术途径 提高并行处理能力 属于多指令流多数据流 MIMD 多处理机系统是指有两台以上的处理机 共享I O子系统 机间经共享主存或高速通信网络通信 在操作系统的控制之下 协同求解大而复杂问题的计算机系统 多处理机的概念 续 多处理机与多计算机系统区别 多处理机系统由二个或二个以上的处理器构成 多计算机系统由多台共享一个内存 公共内存 共有的公共通道 控制器和外部设备整个系统有统一的操作系统独立的计算机构成 各台计算机有自己的操作系统通信由专用通道 通信线路 以文件的形式进行传递 多处理机与并行处理机的主要差别 采用多处理机的优点 性能价格比高单机系统的价格比在下降 而多机系统的性能比单机数目成倍提高 价格降得更低 目前 生产成本 维护费用不断下降 多机性能价格比下降比单机性能价格比下降缓慢得多 可靠性提高多处理机系统由大量同构型 同功能的处理器构成 有很大的冗余度 具有容错功能 硬件维护方便 有很高的可维护性和可用性 有很高的处理速度单机的处理速度是通过提高时钟频率实现的 但是其速度无法无限制地提高 以时钟频率333MHz为例 组成的单机系统 其运算速度达到几亿 十几亿 每秒 多处理机由多个处理器并行操作 提高了速度 其运算速度达到几百亿 几千亿 每秒 采用多处理机的优点 有很好的模块性超大规模集成电路 VLSI 的发展 芯片的功能不断扩大 可以实现处理机模块化 重复设置 具有极好的结构灵活性 可扩充性 可重构性等 总之 有利于改善系统适应不同程序和算法的平衡性 对任务负载能力的处理 实现多道程序的处理等 采用多处理机的优点 多处理机存在的技术问题 要解决好处理机 存储器及I O之间的互连 多处理机系统的处理机多 机间通信的模式多样 灵活 不规则 所以硬件结构的实现 是首要的问题 实现多处理机各级的全面并行 通过指令内部向量 数组的并行 指令之间作业 任务 程序段 以及算法 程序语言 编译 操作系统等的全面并行 多处理机存在的技术问题 对任务的合理划分 即任务的粒度分割 粒度分割的大小 与并行度有关 涉及到并行算法 并行语言 多处理机性能效率的研究 开发 协调好多处理机中各并行执行的任务和进程间的同步问题 这里涉及二个或二个以上的进程并发地运行或互相交换数据时 在多处理机间通信 同步传送的问题 解决好多处理机的资源调度和任务的分配 能够合理地将任务分配给多处理机 进行高效率的工作 防止产生死锁 在多个处理机工作时 当某一处理机发生故障时 如何使系统保持工作 不产生瘫痪 需要保存产生故障的进程状态 改变和实现现场的切换 使系统进入新的进程 多处理机系统的特点 结构灵活性并行处理机是针对向量 数组的处理设计的 具有专用性 多处理机系统是要实现作业 任务 程序段的并行处理 需要有多种算法 结构更加灵活多变 以实现复杂的机间互连 多处理机系统的特点 程序并行性并行处理机是一条指令内部多个数据的同时处理 并行性存在指令内部 多处理机系统是指令之间 多条指令 多个任务的并行 利用算法 程序语言 编译 操作系统以及指令 硬件等多种途径 实现各种潜在的并行性 并行任务的派生多处理机是属于多指令流操作方式 一个程序中存在多个并发的程序段 任务 需要有专门的指令或语句来表示它们的并发关系 并控制它们并发执行 使一个任务正在执行时可以派生出与它并行执行的另一些任务 派生出的任务被分配给正在等待 空闲的处理机执行 如果派生出的任务数量多于处理机的个数 要等待处理机完成任务被释放后才能继续工作 派生是与汇合同时产生的操作 多处理机系统的特点 资源分配和任务调度多处理机执行并发任务 需要处理机的数目没有固定的要求 各个处理机进入或退出任务 以及所需要资源变化的情况也要复杂得多 所以资源分配和任务调度 处理机的负载平衡成为一个很重要的问题 提高系统硬件资源的利用率 管理和保护好各处理机 进程共享的公用存储单元 任务的通信和同步 防止系统的死锁 都将直接影响系统的效率 多处理机系统的特点 多处理机的硬件结构 紧耦合和松耦合机间互连形式 性能的重要因素存储器的组织 紧耦合多处理机 是通过共享主存来实现处理机间通讯 通信速率受限于主存的频率 减少主存冲突 采用模m多体交叉存取 是否带专用Cache 有两种各个处理机为同构型 同一类型 功能相同的多处理机 图7 1紧耦合多处理机的结构 处理机之间共享主存储器 通过高速总线或高速开关连接 主存储器有多个独立的存储模块每个CPU能够访问任意一个存储器模块通过映象部件MAP把全局逻辑地址变换成局部物理地址通过互连网络寻找合适的路径 并分解访问存储器的冲突多个输入输出处理机IOP也连接在互连网络上 I O设备与CPU共享主存储器 处理机个数不能太多 几个到十几个 紧密耦合方式要求有很高通信频带 可以采用如下措施 采用高速互连网络增加存储器模块个数 一般m p 每个存储器模块再分成多个小模块 并采用流水线方式工作 每个CPU都有自己的局部存储器LM 每个CPU设置一个Cache 带非对称I O子系统的多处理机 采用冗余连接的非对称I O子系统 例子 曙光一号 曙光一号多处理机系统具有全对称紧耦合共享存储体系结构 包含4到16个处理机 定点速度可达每秒6 4亿次 主存容量为64兆字节到768兆字节 包含1到4个以太网接口 2到8个快速通道 可联100多台终端设备 数十台磁盘和磁带机 并配有多种国际上流行的主要计算机语言和数据库系统 而且 该系统广泛采用国际计算机界公认的工业标准 具有良好的开放性 可扩充性和软件可移植性 在国内同期居领先水平 并达到90年代国际同类计算机的先进水平 曙光一号既可作大规模事务处理和大规模数据处理的中心服务器 也可作高等院校科研院所计算中心的主机 同时也可用于科学与工程计算 智能应用和实时仿真的平台 于1993年10月通过国家科委组织的鉴定 它攻克了操作系统核心并行化和支持细粒度并行的多线程两个关键技术 松耦合多处理机 每一台处理机都有容量较大的局部存储器 用于存储经常用的数据和指令 减少访存冲突 不同处理机间或者通过通道互连实现通信 或者通过消息传送系统 MTS 可看成分布式系统 松耦合多处理机分为非层次型和层次型两种 通过消息传送系统连接的松散耦合多处理机 Cm 多处理机结构 机间互连形式 总线形式环形互连形式交叉开关形式多端口存储器形式蠕虫穿洞寻径网络开关枢纽结构形式 总线形式 多个处理机 存储器模块和外围设备通过接口与公用总线相连 采用分时或多路转接技术传送 结构简单 成本低 增减模块方便 但对总线的失效敏感 IBMStretch UNIVACLarg提高总线的系统效率 采用优质高频同轴电缆 用光纤 采用多总线方式减少冲突概率 总线结构的通信 两个处理器要进行通信时 要经过总线 占用总线 首先 源处理器测试总线状态 总线忙时 等待 总线空闲时 发出总线请求信号 总线仲裁器接收到总线请求后 向处理器发出总线响应信号 源处理器接收到总线仲裁器发出的总线响应信号 占用总线 与目的部件 处理器 存储器 进行通信 在通信过程中 其他处理器不能中途暂停 如果要中止其通信过程 只能等其通信结束后 才能获得 总线的结构类型 单总线 结构简单 成本低 系统上模块的增减方便 但对总线的失效敏感 总线接口线路任一个出现故障时 会产生系统瘫痪 当接多个处理器时 会产生竞争 影响传送速率 减少吞吐率虽然在各处理机内要设置各自的存储器和I O接口 这样可减少通信负荷 减少访问总线的冲突 这样的单总线结构仅适用于处理机少的场合 多总线 多总线方式可减少访问总线的冲突 这样可提高总线的冗余性和增大传送率 多总线1 设两条单向通路 一条输出 另一条输入的单向通路通过总线调节器 控制逻辑实现单方向的数据 总线调节器 控制逻辑 P M IOP P 2 设多条双向总线 可从多条总线上同时传输不同的信息 这样增大了传输的速率 减少了总线的冲突 IOP IOP P P M P M M 总线形式的系统效率的方法 采用优质高频同轴电缆来提高总线的传输速率 进一步使用光纤通信 其信息速率可达109 1010b s 采用多总线方式来减少访问总线的冲突概率 如美国的Tandem 16和Pluribus就采用双总线方式来提供一定的总线冗余和增大系统总的信息传送率 日本的实验多处理机EPOS采用的是四总线方式 德国西门子公司的结构式多处理机SMS采用的是八总线方式 而上节介绍的Cm 多微处理机则采用分级的多总线方式 总线仲裁算法 静态优先级算法 为每一个连到总线的部件分配一固定的优先级固定时间片算法 把总线按固定大小时间片 轮流提供给部件使用适合同步总线 时钟同步动态优先级算法 让总线上各部件优先级可根据情况按一定规则动态地改变先来先服务算法 按接受到访问总线请求先后顺序来响应 环形互连形式 总线形成环形互连 令牌 Token 点点连接 物理参数容易控制适合于高带宽的光纤 级间采用环形互连的多处理机 交叉开关形式 包含一组纵横开关阵列 是总线方式的极端 总线数 m i n m 存储器模块数 n 处理机数 i I o设备数 一般 m i n交叉开关阵列复杂例子 美国C MMP S 1 交叉开关形式 交叉开关中结点开关的结构 用4 4的交叉开关模块构成16 16的两级交叉开关网络 级间互连采用典型的分组混洗实现 分组混洗函数 如果qc个结点编号为0 1 qc 1 其中q c均为正实数 q为组 则 Sq c i 在an bn的Delta网络中 需要a b交叉开关的总数为 an bn a b a bnbn 1a b qimod qc 1 0 i qc 1 ii qc 1 Delta网络 图7 1042 32的Delta网络 多端口存储器形式 如果每个存储器