附件六面向城轨线网的海量小文件存储方法

1、面向城轨线网的海量小文方22（1. 小文件名和全局索引的键值对；3):面向城轨线网的海量小文方22（1. 小文件名和全局索引的键值对；3):心，和 1MB:1储方合并构造全局索引，其次，使用Redis 元数据管1 。Fat-Btree 件! Philip10 等以分批提交的方式作为 PVFS2 I/O 带宽降低延 Haystack3系统来百亿级别的文件；和 提本文针对 FastDFS 制，从整体系统架构角度考虑，提出使用Redis 供2 FastDFS-Redis 小文储方合并构造全局索引，其次，使用Redis 元数据管1 。Fat-Btree 件! Philip10 等以分批提交的方式作为

2、PVFS2 I/O 带宽降低延 Haystack3系统来百亿级别的文件；和 提本文针对 FastDFS 制，从整体系统架构角度考虑，提出使用Redis 供2 FastDFS-Redis 小文方（2）FastDFS返回的大文件索引、小文件的RedisFastDFS FastDFS11小文件合Linux行存取。Bo Dong6电子教学共享系统1Bluesky 的特点，将属于同一个教学课件的文件合FastDFS7根据“中华字的小文问题2器交互的枢纽。相比 GFS12Fig.2ArchitectureoftheGuangzhouurbanrailtransit2.3 Fig.3itionoftheFa

3、stDFSFastDFS引在Fig.1ArchitectureoftheFastDFSdistributedfile2.1.2Redis合并构造全局索引，如图 4 所示，并使用 42.2站级系统、线路控制中心级系统和线网中心级系3 Fig.42.4itionoftheglobal I/O 3 FastDFS-系器交互的枢纽。相比 GFS12Fig.2ArchitectureoftheGuangzhouurbanrailtransit2.3 Fig.3itionoftheFastDFSFastDFS引在Fig.1ArchitectureoftheFastDFSdistributedfile2.1

4、.2Redis合并构造全局索引，如图 4 所示，并使用 42.2站级系统、线路控制中心级系统和线网中心级系3 Fig.42.4itionoftheglobal I/O 3 FastDFS-系心3.1 FastDFS-Redis 的系统架本文基于FastDFS 分布式文件系统和redis 据库， 建立了面向城轨线网海量小文件的13系统，其架构如图 5 客岗3大文件的起偏移小文件的文件长组虚拟磁盘路一二文件服务服务分布式文件系 服务服务服务服务服务器、Redis 服服步骤 3：服务器的 IP 地址和端 器是DellT110II， elXeonE3-12203.1GHZ，8G内存， 500G 硬盘，

5、 一台服务器是 el 2.93GHZ，4G内存，320G分布式文件系器，有一台机器作为Redis数据库和缓存。每台服务器的操作系统是Ubuntu Server 14.04。 服务器、Redis 服服步骤 3：服务器的 IP 地址和端 器是DellT110II， elXeonE3-12203.1GHZ，8G内存， 500G 硬盘， 一台服务器是 el 2.93GHZ，4G内存，320G分布式文件系器，有一台机器作为Redis数据库和缓存。每台服务器的操作系统是Ubuntu Server 14.04。 本文实验对比的主要指标是 FastDFS Fig.5ArchitectureoftheFastD

6、FS-Redisstorage3.2 FastDFS-Redis 4.3.1 步骤IP；5FastDFS 引、小文件的起始偏移量和文件长度建立全局索FastDFS-Redis的吞吐量普遍大于 FastDFS 的吞吐量。FastDFS-Redis 系统和 FastDFS 系统的平均吞吐量分别为 8.34MB/S 和 3.3流 4Redis键值的起始偏移量和文件长度建立全局索引，利用3) 采用数据预取机制，预取创建时间相邻的FastDFS FastDFS-Redis 系统提高了 4.47%的写吞吐量和IX Fig.6Comparisonofthewritethroughputofsmallfile

7、sfor FastDFS system and FastDFS-Redis systemCooper BF,Ramakrishnan R,Srivastava U,Silberstein A,BohannonP,JacobsenHA,PuzN,WeaverD,Yerneni R.Pnuts:Yahoo!shosteddataservingplatform.Proc.theVLDBEndowment,2008,1(2):1277-4.3.2 的的起始偏移量和文件长度建立全局索引，利用3) 采用数据预取机制，预取创建时间相邻的FastDFS FastDFS-Redis 系统提高了 4.47%的写吞

8、吐量和IX Fig.6Comparisonofthewritethroughputofsmallfilesfor FastDFS system and FastDFS-Redis systemCooper BF,Ramakrishnan R,Srivastava U,Silberstein A,BohannonP,JacobsenHA,PuzN,WeaverD,Yerneni R.Pnuts:Yahoo!shosteddataservingplatform.Proc.theVLDBEndowment,2008,1(2):1277-4.3.2 的DeCandiaG,Hastorunani P,V

9、ogels W.Dynamo:Amazons highly availablekey-value store.In: Bressoud TC,Kaashoek SystemsPrinciples(SOSP2007).NewYork:ACM BeaverD,KumarS,LiHC,etal.Findinganeedle1000 吞吐 量对 比图 如 图 7 所示 ，FastDFS-Redis FastDFS 的吞吐量。FastDFS-Redis FastDFS 系统的平均吞7.86MB/S 和 7.19MB/S sphotostorageC.InProceedingsthe9thUSENIXiu

10、monOperatingDesignandImplemen ( ctoberFayChang,JeffreyDean,Sanjayal.Bigtable:adistributedstoragesystemford.InProceedingsofthe7thUSENIXonOperatingSystemDesignandImplemen ion ( OSDI06),2006.Xuhui Liu,Jizhong Han,Yunqin Zhong,et Improving Small File I/O Performance on HDFSC/Proc. of the 2009 IEEE Conf.

11、 on Cluster Li,Ying Li.A Novel Approach to Improving theEfficiencyofStoringandsingSmallFiles7FastDFSFastDFS-RedisFig.7ComparisonofthereadthroughputofsmallfilesFastDFSsystemandFastDFS-Redis5 Hadoop:ACaseStudyProceedingsofIEEESCC2010.pp.65-, 芮建武, 510 Philip Ross Carns,Sam Lang,Robert Ross Kunkel,Thoma

12、s Ludwig.Small file acsinparallelfileZhang ming,RuiJianwu,HeTingting.Anfor strong and acsingsmallfilesinHadoopJ.Journal of Computer Applications andsystemsC.In Proceedings of onParallelandDistributedPro 11 FastDFSEB/OL.ernational singLuo paringHadoopandfat-based acs method for small file I/O applica

13、tionsG/LNGS6184:Procofthe11th on Web-Age Information12 Ghemawat10 Philip Ross Carns,Sam Lang,Robert Ross Kunkel,Thomas Ludwig.Small file acsinparallelfileZhang ming,RuiJianwu,HeTingting.Anfor strong and acsingsmallfilesinHadoopJ.Journal of Computer Applications andsystemsC.In Proceedings of onParall

14、elandDistributedPro 11 FastDFSEB/OL.ernational singLuo paringHadoopandfat-based acs method for small file I/O applicationsG/LNGS6184:Procofthe11th on Web-Age Information12 GhemawatS,GobioffH,Leungsystem.In:ScottML,PetersonLL,eds.Proc.ofthe19th ACMSymp.onOperatingSystemsPrinciples(SOSP 2003).New York

15、:ACM Press,2003.29-43.MichaelLudwig.Directory-basedmetadataoptimizationsforfilesinPVFSC.InProceedingsoftheEuro-ParConferenceonParallelAnApproachofStoringMassiveSmallFileFor Urban Rail Transit NetworkLiuJing1 LiaoJia-zhao2Liu(1. Construction , Guangzhou Metro Corporation Guangzhou 510030,Guangdong,Ch

16、ina；2. School ComputerScienceandEngineering,SouthChinaUniversityofTechnology,Guangzhou:Withtheestablishmentoftheurbanrailtransitnetworkenter,theamountofthe files for urban rail transit network system increase sharply, therefore, traditional distributed system is difficult to provide massive small fi

17、le storage service with high throughput and latency.Accordingtotheharacteristicofurbanrailtransitnetworksystemandthedatasmethoddividedbytime,aapproachofstoringmassivesmallfileforurbanrailtransitnetworkon FastDFS distributed file system and Redis key-value database is ed,which Mergetherelevantsmalloabigfile plishthewritingoperation;2)Puttheindexofbigfile,theoffsetofthesmallhebigfileandthelengthofthesmallfiletoformaglobalandstorethekey-valuepairofthefilenameofsmallfileandtheglobaloRedis;3)Adoptprefetchingmechanismtoprefechthefiledjacentcreationtim