lustre文件系统简介PPT课件

.1，Lustre文件系统简介，2，分布式文件系统主要是网络文件系统(瓶颈在存储服务器端)NFS、Coda、SpriteLFS存储区域网络文件系统(瓶颈在元数据服务器上)基于GPFS对象的分布式文件系统Lustre、GoogleFileSystem、HDFS，3，Lustre是基于对象存储的分布式文件系统构建基于低成本SATA磁盘驱动器的超大规模存储群集，对于大多数高速网络类型，不需要专用硬件支持，例如支持高吞吐量、可扩展性和高性能的有效数据管理机制、全局数据共享、复盖失效和系统快速配置等功能。4，Lustre文件系统体系结构，元数据服务器MDS(MetaDataServer)对象存储服务器object storage server(OSS)客户端(Client)元数据目标设备MDT(metadatatarard、5、6，负责元数据服务器MDS，元数据服务，同时管理整个文件系统的命名空间多个MDS之间的共享访问一个MDT每个MDT存储文件元数据对象，如文件名、目录结构和访问权限。客户端通过MDS读取到MDT中存储的元数据中。7、OSS和客户端、OSS负责客户端和物理存储之间的交互和数据存储。外部提供数据的I/O接口每个OSS管理一个或多个OST；文件数据对象存储客户机通过OSS访问存储在OST中的文件数据客户机装载Lustre文件系统的任意节点；可移植的POSIX文件系统接口用户可以通过客户机透明地访问整个文件系统中的数据。8、客户端和MDS之间的元数据交互、目录管理、文件打开和关闭以及并发访问控制。文件I/O锁定操作以及数据的读写等客户端和OSS之间的文件数据交互。LNET是9，Lustre文件系统的逻辑结构，通过将此信息发送到实际网络传输行上的PTR-RPC，三部分之间的RPC请求和响应MDS模块将客户端请求转发到日志模块Journal。元数据活动日志记录后端存储端锁定请求将元数据活动从Fsfiltwrapper模块记录到Ldlm，文件导入意图锁定Fsflit定义常规API，该API将Lustre本机请求转换为后端文件系统特定的请求。10、Lustre文件系统逻辑结构，OST模块主要分布来自客户机的请求，其中数据请求是在OBDfilter模块中处理的。OBDfilter模块主要实现了Lustre与生产平台的高效通信，ldiskfs是应用程序层的典型文件操作接口，与ldiskfs一起，它是服务器端由分布式锁定管理器Ldlm处理的Linuxext3和ext4文件系统的超集，可获取文件范围锁定。Lustre文件系统逻辑结构，客户端节点的Llite模块提供了与Linux上的VFS层兼容的接口，主要支持标准portable POSIX语法；逻辑对象卷LOV模块主要是通过子对象存储客户机OSC向Llite提供对象存储的API接口。元数据客户端MDC模块主要由Llite与元数据服务器通信，为与各个元数据服务器进行命名空间操作提供元数据对象API接口。OSC模块分别为OST、12，Lustre distributed lock manager(LDLM)，意图锁定：通过减少访问文件元数据所需的消息传递次数，减少每个操作的延迟范围锁定：保护对粒度文件数据的并行访问，为所有用户提供一致的文件系统视图。13，Lustre客户端缓存机制，Lustre在客户端的内存空间中打开缓存区域，将客户端第一次访问的文件对象存储在其自己的缓存中，并将与服务器的交互次数降至最低，从而减少网络开销。客户端执行文件读取操作时1 .向MDS发送元数据请求，获取元数据信息并将其存储在客户端的本地缓存中。2.客户端与相应的OST建立连接，将实际文件数据读取到缓存中，以便应用程序从缓存中重新读取文件。14、15，lustre客户端缓存一致性问题，16，解决一致性问题，并发写入产生的不一致：使用分布式锁定管理机制LDLM在元数据中保持意图锁定、范围锁定、长期锁定资源的元数据并发操作的一致性，使用锁定回调callback机制解除锁定资源的读写读不一致。客户端重新访问本地缓存的文件时，与MDS交互以获取最新的元数据信息，然后从本地缓存中读取文件数据(如果与本地缓存的元数据信息匹配)。否则，连接到相应的OST以重新获取文件数据。17，备份服务器故障切换和Lustre系统上的每个节点(MDS/OST)通常可以配置为两个备份服务器使用共享磁盘存储来保存数据。服务器或网络连接失败将导致客户端数据访问超时，客户端查询备份服务器上的数据，然后将下一个请求重定向到备份服务器。 18，高性能Lustre部署有四个特征。(1)元数据服务器MD