google file system发件人上走9遍

FileTheFileSanjayGhemawat,HowardGobioff,andShun-TakgrantedwithoutfeeprovidedthatcopiesarenotmadeordistributedforprofitorcommercialCopyright2003ACM1-58113-757-5/03/0010...$5.00.面，并且列出了我们的micro-benarks以及真实应用性能指标。计约定和设计参数比如I/O操作以及blocksize（块大小），都需要重新。读操作通常要几百k的数据，每次 GFS提供了常见的文件系统的接口，虽然他没有实现一些标准的API比如POSIX。文件是通过pathname来通过 write等文件操作。另外，GFS有snapshot，recordappend等操作。snapshort创建一个文件或者一个 的。snapshot和recordappend在后边的3.4和3.3节有单独讲述。chunkserver和可以运行在同一个机器上。份，不过用户对于不同的文件namespace区域，指定不同的级别。vnode层相关。常用的数据cache到了内存里。单个客户端不会通过master来做文件的数据读写。客户端只是问master它应当那一个chunkserver进行操作。chunkindex作为cache的关键索引字。户端-master的交互完成的。chunksize来说，（内部分段fragment）这可能是一个最大的缺陷了。超多的chunk的文件的。64个字节，因为保存文件名的时候是使用前缀压缩的机制。可靠，高效，灵活的通过增加master机器的内存就可以了。所有的chunk的位置，并且使用普通心跳信息监视chunkserver的状态。百台机器的组成的集群中，这样的发生chunserver的变动实在是太平常了。忽然改了名字，那么master上保存这个资料啥用处也没有。现细节在本的其他部分实现。返回一个过期的数据。当一个热ader尝试和master联系，它会立刻得到的chunk位置。更改顺序就是首先由master分配的chunkprimary决定更改的序列。客户端向masterchunk的令牌位置以及其他所有副本的位置。如果没有得文件区虽然一致，但是是不确定的（2.7节讲述的一样）。我们的网络拓扑图是很简单的，所以，”距离”IP地址进行推算。因此，1M通常理想情况下小于80ms。者并发操作的情况下，unixO_APPEND写文件操作。个操作需要在下一个chunk重试。（增加操作严格限制在1/4最大chunk大小，来保证的chunk的副本。的写操作，不需要知道chunk是刚从现存的chunk上创建的。平衡所有chunkserver之间的附在，回收未使用的。我们现在讨论每一个小节。 不要求一个在父的写锁，因为这并没有一个需要保护的””inode-like的数据结构。在名字上的读锁已经足够来保护父不被删除。这种锁机制带来一个好处就是在同一个下允许并发改动。比如，在同一个下的多个文件创建可以并行执行；每一个要求一个在名上的读锁，并且要求在一个文件名上的写锁。在名上的 剩余空间chunkserver上的chunk，这样会平衡磁盘空间使用。都报告自己的chunk集合，并且master回复在master的元数据中已经不存在的chunk标记。chunkserver随即释放和删除这些chunk的副本。 启动的服务器，并且重试这个请求。6.2.2节讲述了启动过程。在我们的很松散的系统上，设计更复杂的冗余机制。个新的mastermaster（gfs-test）,DNS的别名，可以由于master改动到别的机器上执行而更改实际地点。进一步说，master的”进程”，提供了对文件系统的只读操作，即使当当前的master失效的时候会指挥刚才报错的chunkserver删掉它刚才错误的副本。们只需要额外的多一小部分相关数据进行checksum检查。GFS客户端代码通过每次把操找和比较不需要附加的I/O，checksum的计算可以和I/O操作同时进行。出这个损坏的block。内使用的集群的性能数据。小型 1G链路连接的。重复256次，每一个客户端最终1GB数据。chunkserver总共有32GB内存，这样我们预期有最多10%的Linuxbuffercache 。我们的结果应当和冷cache的结果一致。80%降低到75%的原因是由于者的增多，导致多个者同时从一个相同chunkserver得3个chunkserver12.5MB/s的输入连接。AB18TB和52TB的文件数据。chunkserverchunk位置信息。AB只用到了380MB/s查找cache在namespace的数据结构来进一步提高性能。6.25MB/s恢复到容错另一个chunkserver失效的情况。XY是生产数据处理的。写请求或者重新均衡chunk分布等等。用集群Y的生产系统，是为GFS做了更的调优。读写XYXYXY0000读写XYXYXY默认删除（如同unixopen操作中的”w”模式）。XYpread()替换掉mmapcopy动作来解决这个问题。进行冗余，因此要比xFS或者Swift花费的。web范围的一个有力工具。在这里我们想感谢对GFS和本 OperatingSystemPrinciples,pages109–126,CopperMountainResort,Colorado,December1995.(IOPADS’99),pages10–22,Atlanta,Georgia,May1999.I/Odatarates.ComputerSystems,4(4):405–436,1991.October1998.TransactionsonComputerSystems,6(1):51–81,February1988.Principles,pages226–238,PacificGrove,CA,October1991.DavidA.Patterson,GarthA.Gibson,andRandyH.Katz.Acaseforredundantarraysofclusters.InProceedingsoftheFirstUSENIXConferenceonFileandStorageProceedingsoftheFifthNASAGoddardSpaceFlightCenterConferenceonMassStorageSystemsand,Coll