第十九章 软件RAID和并行系统.ppt

1 19 1引言19 2数据的物理存取19 3缓存19 4预取19 5接口 2 工作站集群系统的主要优点之一是可以提供巨大的资源 而传统方式下只有那些连接到给定资源节点上运行的进程才能访问 而且操作步骤复杂又不透明 一个完美的工作站集群文件系统应当为用户提供透明访问文件系统中所有磁盘和缓存内存的方法 例如 访问远程机器磁盘上文件的方法通常是ftp所需的文件到本地磁盘上 而在工作站集群中应当可以友好地从任何一个节点上访问这些资源 运行在工作站集群的应用程序需要高性能的I O系统支持 工作站集群与并行处理机的应用环境类似 并行处理机上的应用程序也应当可以在工作站集群上运行 这些应用程序通常需要处理大量的数据 而这些数据无法保存在内存中 因此也就需要能快速读写数据的文件系统 并行应用程序在工作站集群运行时 I O系统应当支持协同操作 3 在设计开发高性能的文件系统之前 应当首先考虑工作站集群的特点和使用文件系统的方法 工作站集群的优点 具有大量的资源 具有连接所有节点的高速互联网络 越来越接近于并行处理机 4 设计工作站集群文件系统需要解决的问题问题一 可见性问题大量磁盘分散在各个节点上希望从集群中任一节点都可以访问这些磁盘 改变磁盘上数据的存放方式问题二 实现高性能I O系统相关的问题提高磁盘性能的惟一方法是改变磁盘上数据的存放方式 5 挂载远程文件系统 一 应用这种思想的系统可以像管理本地文件系统一样管理远程文件系统 系统管理员将远程文件系统挂载到系统目录结构任一已有的可访问的目录 如下图所示 6 挂载远程文件系统 二 维护远程挂载信息的两种方法在客户端维护挂载信息 SUNNFS 在服务器上保存挂载信息 Sprite系统 为提高挂载文件系统机制性能 采用缓存技术 7 名字解析 一 即如何用名字来定位文件或目录 两种名字解析方法方法集中式 分布式 集中式名字解析策略一个节点负责维护映射表 并由该节点记录新对象存储位置 保存映射信息的节点的失败将导致整个文件系统的失败 大系统中集中的服务器可能成为瓶颈 降低系统的性能 8 名字解析 二 分布式名字解析策略的两种方法 系统建立自己的名字空间 如SUNNFS 整个系统建立唯一的全局结构 目录树划分为不同的域 每个服务器负责维护其中的一个域 这个名字服务器知道域内那个节点的磁盘存储这些数据 9 名字解析 划分目录树为域的例子 10 RAID 一 将几个磁盘连接到一个控制器 使磁盘具有更高的数据传输带宽 其高性能来自三个方面 不同磁盘上的数据可以同时读取 提高磁盘带宽 所有磁盘可以并行执行搜索操作 减少搜索时间 一个请求可以并行处理 数据间隔 在磁盘中间隔存储数据 细粒度磁盘阵列粗粒度磁盘阵列 11 RAID 二 RAID需要相应的容错机制来保证在不丢失磁盘信息的前提下允许磁盘失败 划分了五个级别RAID 12 RAID 三 13 RAID 四 14 逻辑RAID 软件RAID 文件系统既要负责分布数据 也要保持期望的容错级别 拆分组问题需要大量的小块写操作 节点网络带宽的限制 磁盘失败的可能性增大 解决方案在所有磁盘的一些子集上拆分数据 15 日志结构文件系统 一 思想 大部分写操作是顺序执行的文件系统和传统文件系统 UnixFS 的区别所有的写操作都是顺序完成的 数据块和元数据经常移动 16 日志结构文件系统 二 传统Unix文件系统和日志结构文件系统的差别 17 文件服务器的一个问题 磁盘的带宽受限于服务器中内存的带宽 服务器上的操作可能会成为I O瓶颈 解决方案 连接到网络的设备I O设备连接主机and高带宽网络 RAID II系统高带宽RAID 高带宽网络 主机节点 18 RAID II文件服务器及客户端的例子 19 前面提到 磁盘由低速的机械元件构成 是I O系统性能受限的主要原因 为解决这个问题提出了RAID等方法 但这些方法并不能有效满足并行 分布环境下应用程序所需的高性能的要求 因此很久以前人们就提出了缓存机制 缓存机制文件系统缓存 或称缓冲区缓存是一种尽量减少文件系统访问磁盘次数的机制 它用提高文件系统性能的方法来提高磁盘性能 它的基本思想是将应用程序所需的文件块保存在内存中 20 文件系统缓存可以很容易地实现多级缓存 如可以在磁盘控制器 操作系统 I O库甚至用户程序等中实现缓存 另一方面 在多级缓存系统中 缓存越靠近硬件级 它的使用效率也就越低 这主要由于大部分的定位已由更高级别的缓存完成 这意味着尽管多级缓存可以提高系统的性能 但如果使用了太多的缓存级 只有靠近应用程序的几级缓存才能有效地提高性能 21 工作站集群的可能磁盘缓存定位 22 文件共享语义一致性算法当一个文件共享时不允许写操作的缓存基于信令的使用只有拥有信令的节点才能修改文件 写 没有信令时 其他客户机可以无限制读操作 问题 当前信令失败或网络失败 信令无法收回租约 持续一段时间的许可 23 一致性算法信令和租约的组合文本文件块用户自定义 24 合作缓存传统的协作缓存 xFS 合作缓存的新方法 一 PAFS思想构建一个大的缓存一旦物理命中增加了额外开销 就忽略该物理命中 25 合作缓存的新方法 二 PG LRU当一个新块要写入内存时 由系统寻找与请求该块同一节点的块 只要存在5 最近最少使用的块 系统就用新块替换它 否则就忽略 26 缓存方法在文件块被多次使用时 可以提高系统性能 但在第一次访问文件块时并不能提高系统性能 为了提高第一次访问文件块时的系统性能 需要从磁盘中预取文件块 并行预取每个节点完全独立地预取自己的数据 缺乏协调 不能充分利用集群内在并行性的预取算法 27 并行预取和缓存的调度执行预取时需要一个好的预取和缓存的调度方法 过早 过晚都不好 多个磁盘系统 积极的算法 预取的块替换掉在最远的将来才会访问到的块 28 积极的算法 示例 两个磁盘 三个缓存块 读取一个块需要两个时间单元 一个磁盘一次只能读取一个块 块流顺序 F1 A1 B2 C1 D2 E1和F1 29 反向积极算法积极算法在多个磁盘中性能有待提高通过替换平衡磁盘负载达到接近最优消失时间 生成请求的反向序列 在避免并行替换同一磁盘上的块的前提下生成积极调度方案 将反向序列中的每次读取操作作为正序列中的一次替换就可以将第二步生成的调度方案转化得到原始序列的调度方案 反之亦然 30 反序列积极算法调度方案 示例 块流 F1 A1 B2 C1 D2 E1 F1反向序列 F1 E1 D2 C1 B2 A1 F1 31 反向积极算法预取调度方案区别 延迟了D2块的预取 C1的预取提高到一个时间单元 32 比较反向积极算法在反向序列上替换掉了尽可能多的磁盘 积极算法不考虑磁盘相关负载 反向积极算法考虑了方向序列 积极算法过早预取 33 I O系统的更高层就是与用户的接口传统接口在Unix系统中 文件是没有任何格式的字节序列 保存在文件中的数据格式不是文件的一部分 应用程序的文件操作open close read wirte seek 不能执行一系列不连续字节的原子读写操作 34 共享文件指针对传统接口的改进几种指针全局指针 两种特定指针 轮询 编号2的进程想要在编号1的进程前存取文件 必须在1号进程完成它的进程请求以后才能执行 分布共享指针 允许每个进程访问文件的不同部分 而且各部分不重叠 35 存取方法跨越存取三种执行跨越存取的接口 一 单跨越存取操作 允许一个操作中存取N块大小为M个字节 相距P个字节的文件块 36 存取方法三种执行跨越存取的接口 二 嵌套跨距存取操作 只有最后一个表示数据块的存放位置 其他的指定了下一级别跨距开始的位置 37 存取方法三种执行跨越存取的接