文件系统在存储系统中特殊作用

1、 在直连存储系统的时代，应用系统以计算机为中心，存储只是外设，数据是存储孤岛 在存储网络时代，数据成为信息系统的核心，应用系统充分挖掘数据的价值，服务器成为存储系统的外设应用系统操作系统文件系统RAID控制磁盘读写文件级传输文件级传输块级传输块级传输文件级传输：应用系统的I/O逻辑请求，它是文件系统的输入。是应用系统要求存储做什么的逻辑请求。文件系统决定数据（包括META数据）在磁盘上的存放格式和位置，这种格式和位置又决定磁头的移动方式。块级传输：应用系统的I/O物理请求，它是文件系统的输出。是怎么对存储操作的数据块请求。 RAID控制使文件系统看到一个大逻辑盘。 它不管磁盘格式。文件系统对存

2、储系统的效率有举足轻重的作用应用系统操作系统文件系统RAID控制磁盘读写NASFC SAN应用服务器应用服务器以太网交换机以太网交换机NAS FC 交换机交换机SAN应用服务器应用服务器文件系统文件系统RAIDRAID文件系统文件系统RAID文件系统文件系统RAID应用服务器应用服务器文件系统文件系统应用服务器应用服务器人们经常高估带宽的作用。他们一看到网络变慢，就想到是带宽不够了，其实往往是其他原因。我个人还从来没有看到因为带宽不够需要从2-Gbps生到4-Gbps的情况。Quite often people are not exceeding their bandwidths. They

3、see a network slowdown and think they are exceeding their pipeline, but often it is something else. Im not yet personally seeing anyplace where the need to exceed 2-Gbps is a reason to push for 4-Gbps. 随着4-Gbps产品价格下落，对大映像文件存取所用的SAN会是最好的选择。但对于象数据库这样的应用所用的SAN来说，增添的性能是多余的。With the price of 4-Gbps produ

4、cts expected to fall, it will be the best alternative for installing new SANs, or for existing SANs where large imaging or R&D files are stored and accessed. But for existing SANs used for such applications as databases, the extra performance may not be necessary. - 摘自“IBM Latest Vendor To Throw

5、 Hat Into 4Gbps Ring” CRN 5-9-05什麽是文件系统?计算机的文件系统是任何信息管理系统的基本元素。它是处理过的信息最终被放置的地方。关键应用系统的客户依靠文件系统得到快速、不间断的可靠的数据访问 。 VERITAS指数据(包括文件和metadata)在存储介质上的组织管理模式,以便能快速可靠地存取数据。文件系统是最初的存储“虚拟者”。每个操作系统都有自己的文件系统。例如操作系统所支持的文件系统MS-DOS, Windows 95 FAT16Windows 95,98,MeFAT16,FAT32Windows NT,2000,XPNTFS,FAT16,FAT32Lin

6、uxExt2,FAT32,FAT16不同的文件系统有不同的格式。例如文件系统最长文件名 最大卷大小 最大文件大小FAT1682GB*2GBFAT322552TB4GBNTFS25516TB16TBExt22554TB2GBWAFL Writes to nearest available free blockBerkeley Fast File System/Veritas Fast File System/NTFS Writes to pre-allocated locations (data and metadata).文件系统决定了磁头如何读写磁盘磁头是毫秒级操作，最大限度地减少磁头臂的平

7、均移动次数，是提高读写效率的关键对谁有用? 大邮件目录 新闻大目录环境每秒创建数Directory SizeSunOSNetApp 2.0NetApp 2.110003011312250002268123100001640122200001214122数据卷Snapshot卷需要建立快照卷Data VolumeSnapshot Volume必须进行数据拷贝Data VolumeSnapshot VolumeABCActive File SystemFile: NETAPP.DATDisk blocksSnapshot.0File: NETAPP.DATABCActive File System

8、File: NETAPP.DATDisk blocksSnapshot 仅仅记录这三个仅仅记录这三个数据块的指针数据块的指针, 没有数据拷贝没有数据拷贝Snapshot.0File: NETAPP.DATC WAFL把修改后的数据块写到新位置 (C) 现在数据块 (C) 既没有被更新,也没有被释放ABCActive File SystemFile: NETAPP.DATDisk blocks顾客修改数据块 C新数据新数据 当前文件系统 NETAPP.DAT 现在由数据块 A, B 和 C组成. NETAPP.DAT 的Snapshot.0由数据块 A, B 和 C 组成. 可以同时保留多个文件

9、系统版本, 用于系统快速恢复CSnapshot.0File: NETAPP.DATABCActive File SystemFile: NETAPP.DATDisk blocks把模块把模块“C”改为改为“Z”其它File Systems (例如, NTFS, UFS)存在存在 Snapshot每个 write I/O 变为:Read old valueWrite old valueWrite new value300% I/O penalty把模块把模块“C” 改为改为“Z”Write Anywhere File Layout 一个 write I/O 保持为一个 I/O当前文件当前文件系统

10、系统Snapshot当前文件当前文件系统系统Snapshot当前文件当前文件系统系统SnapshotCABCDABZDZABCDv磁盘写操作涉及磁头臂的机械运动，可以用带电池的缓存来减短应用的中断时间v缓存可以把单个写操作，积累成批量写操作，从而提高磁盘阵列的写效率v写缓存可以放在文件系统级或卷管理级进程中断时间最短, 客户响应时间加快, 可预见NVRAM: 保证快速写操作保证快速写操作保证所写数据与磁盘的一致性, 缩短中断时间UNIX NVRAMNetApp NVRAMDisk DriverNVRAMSemantic LayerWrite alloc Layer File System NF

11、S Disk DriverNVRAMSemantic LayerWrite alloc LayerFile System NFS NAS gateway方法 缺点：两个管理界面效率不匹配（NAS gateway可能是瓶颈）资源不能完全共享硬件资源浪费(Cache)适用情况：绝大部分数据是结构化的，少量是非结构化的CFS：在群集范围内的所有存储设备上的每个存储块可以被并发读写。它不适用顾客，只适用服务器。 CFS通过分布锁管理器(DLM)来实现数据共享。如：ADIC的StorNext，IBM的DFS：它协调所有的服务器实现数据共享。它对顾客和服务器采用2层结构的文件系统。在顾客层，它实现跨越所有

12、机器的统一命名空间和单个文件系统的表达方式。它的服务器层承担所有的I/O操作，从数据存储的观点看，服务器层相当于存储层，有时就简称为存储结点。在DFS结构中，每个物理服务器管理自己的存储资源，不同的物理服务器彼此并不直接共享存储资源。如：NetApp的SpinFS（现在的Data ONTAP NG )群集服务器客户端FC交换机Metadata控制器SAN卷 每个群集服务器看到的是相同的SAN卷 用控制器统一管理群集服务器对SAN卷中文件的共享 可以支持从主机到存储的多路径合并 可以支持异构平台的互操作GX 1GX 1GX 2GX 2GX 3GX 3GX 4GX 4FCFC通路灵活卷GigE G

13、igE 顾客网络LinuxLinux计算网格GXGXClusterClusterGigE GigE 群集网络(可以构架为冗余)10/100/1000 10/100/1000 管理网络FCFC失效恢复路径汇聚FCFC 或 ATA ATA 磁盘架InfiniBand InfiniBand 系统失效恢复连接简单 所有参加计算的节点,可以看到所有数据 简化mount点的管理 在顾客端无需改动透明 扩展 灵活卷的移动 失效接管扩展性 将命名空间用于PB数量级数据 可管理性Proj_ABCProj_ABCEngEngSynSynSimSimDocsDocsSWSWHWHWProj_XYZProj_XYZG

14、X 1GX 1GX 2GX 2GX 3GX 3GX 4GX 4整体命名空间EngEngProj_ABCProj_ABC Proj_XYZProj_XYZHWHWSWSWDocsDocs SimSim SynSynFibreFibreChannelChannel存储的灵活卷GigE 顾客网络对位于对位于SWSW目录上目录上文件的文件的NFSNFS请求请求LinuxLinuxComputeComputeGridGridGXGXClusterClusterGigE 群集网络顾客可以mount到任何服务器上,存取整个命名空间举例:从位于GX1的服务器端口,存取位于GX3上的灵活卷SW提供高性能选择好处

15、 创建跨多个控制器节点的灵活卷 将灵活卷的通量扩展到多GB/秒 将灵活卷的大小扩展到数百TB 传送多GB/秒的通量给重要文件和目录 保持管理的简单性 用相同的存储系统于多个应用需求ProjectsProjectsX XB BC CA1A1A2A2A3A3 B1B1B2B2 C1C1C2C2C3C3B BC CA1A1A2A2A3A3B1B1B2B2C1C1C2C2C3C3LinuxLinux计算网格GX ClusterGX Cluster整体命名空间FV3FV3 FV4FV4FV7FV7 FV8FV8FV11FV11FV12FV12FV1FV1 FV2FV2FV5FV5 FV6FV6FV9FV

16、9 FV10FV10条带化的卷X透明扩展 透明数据移动 用于存储扩展好处 迅速无缝地启用新存储和/或应用 无需宕机时间 对计算节点透明,不改变命名空间ABCA1A2A3B1B2C1C2C3ProjectsABCA1 A2 A3 B1 B2C1 C2 C3把数据移到新添加的存储上把数据移到新添加的存储上BB整体命名空间ProjProjA AB BC CD DA1A1 A2A2B1B1 B2B2 B3B3 C1C1 C2C2 C3C3D1D1 D2D2 D3D3C1C1B1B1GX 1GX 1GX 2GX 2GX 3GX 3GX 4GX 4FibreFibreChannelChannel存储的灵活

17、卷GXGXClusterClusterA1A1ProjProjA2A2D1D1B2B2D2D2C2C2B3B3D3D3C3C3A3 A3 A3A3A3A3 镜像的灵活卷GigE群集网络与整体命名空间透明结合不需要修改顾客 直接mount到有镜像数据的节点, 可以从本地镜像读取数据 需要远程数据的DFS请求, 将被轮流分布到可用的镜像上 举例: 灵活卷A3读取频率很高 GX3正在变饱和 镜像创建在GX2,3,4 Mount到GX2,3,4的顾客可以直接读取 Mount到GX1的顾客将通过DFS从其它三个节点读取A3数据 透明数据移动 适宜优化负载好处 优化性能 充分利用磁盘空间 不影响应用运行

18、对顾客透明, 不改变命名空间举例: 优化项目A的响应时间ABCA1A2A3B1B2C1C2C3ProjectsABCA1 A2 A3 B1 B2C1 C2 C3项目项目A 得到专用资源得到专用资源应用情况: 分层存储 根据磁盘的价格/性能比匹配磁盘 在同一命名空间内管理主存储与二级存储 分层存储应用: 归档 盘到盘备份 引用数据应用情况: 顺序I/O应用 用ATA的价格,取得FC的性能 对不同的磁盘或应用要求,提供不同的RAID保护(如提供2块磁盘失效的数据保护)BCA2A3C1C2AProjectsABCA1 A2 A3 B1 B2C1 C2 C3A1B1主存储(所有工作负载得到最高性能所有

19、工作负载得到最高性能)二级存储(较低的 $/GB)B2C3灵活卷移动时命名空间保持灵活卷移动时命名空间保持传统卷，FlexVolv卷是存储的基本建设模块卷是存储的基本建设模块v数据管理的操作和计划均围绕卷进行数据管理的操作和计划均围绕卷进行 快照 备份和恢复 空间的分配和供应v问题在于问题在于: : 卷与底层的磁盘是密不可分的卷与底层的磁盘是密不可分的 缺乏灵活性缺乏灵活性 难于按应用特性分卷难于按应用特性分卷 空间利用率低空间利用率低 性能难于优化性能难于优化4 数据存储和管理的主要单位数据存储和管理的主要单位仍旧是仍旧是WAFL 卷卷4 FlexVol: 不再直接与物理存储不再直接与物理存储挂钩挂钩4 FlexVol: 每个每个aggregate可有多可有多个个4 存储空间能够很容易被再分配存储空间能够很容易被再分配AggregateDisksDisksDisksFlexVols4 Aggregate包含物理存储包含物理存储RG1RG2RG3AggregateRG1RG2RG3FlexVol