HDFS并发性能测试.docx

HDFS性能HDFS 读性能单线程文件大小所花时间描述1K1289 ms（毫秒）10K40 ms（毫秒）100K242 ms（毫秒）1M3274 ms（毫秒）10M17083 ms（毫秒）100M165257 ms（毫秒）200M339368 ms（毫秒）300M501479 ms（毫秒）400M796620 ms（毫秒）500M800063 ms（毫秒）1G1687307 ms（毫秒）HDFS 写性能单线程文件大小所花时间描述1K900 ms（毫秒）10K1401 ms（毫秒）100K248 ms（毫秒）1M1840 ms（毫秒）10M15737 ms（毫秒）100M146687 ms（毫秒）200M328319 ms（毫秒）300M434366（毫秒）400M788428（毫秒）500M898739（毫秒）15分钟 实时写性能非常的差1G1978137（毫秒）32分钟实时写性能非常的差没有用多线程的方式继续测试了的，单线程的读写能力已经成了一坨了的。FastDFS性能FastDFS 读性能单线程文件大小所花时间描述1K10 （毫秒）10K1（毫秒）100K1（毫秒）1M3（毫秒）10M33（毫秒）100M357（毫秒）200M977（毫秒）300M1115（毫秒）400M3415（毫秒）500M6543（毫秒）1G12012（毫秒）10 线程文件大小所花时间描述1K13 （毫秒）10K13（毫秒）100K15（毫秒）1M16（毫秒）10M43（毫秒）100M557（毫秒）200M1201（毫秒）300M1515（毫秒）400M1745（毫秒）500M1892（毫秒）1G14352（毫秒）50线程文件大小所花时间描述1K14（毫秒）10K16（毫秒）100K18（毫秒）1M67（毫秒）10M89（毫秒）100M924（毫秒）200M2547（毫秒）300M3687（毫秒）400M5478（毫秒）500M11005（毫秒）1G38798（毫秒）FastDFS 写性能单线程文件大小所花时间描述1K10 （毫秒）10K1（毫秒）100K（毫秒）1M2（毫秒）10M13（毫秒）100M833（毫秒）200M3544（毫秒）300M5519（毫秒）400M7096（毫秒）500M8543（毫秒）1G18786（毫秒）10 线程文件大小所花时间描述1K（10线程并发写）70（毫秒）10K（10线程并发写）5（毫秒）100K（10线程并发写）6（毫秒）1M（10线程并发写）72（毫秒）10M（10线程并发写）900（毫秒）100M（10线程并发写）14012（毫秒）200M（10线程并发写）45301（毫秒）300M（10线程并发写）39043（毫秒）400M（10线程并发写）52978（毫秒）500M（10线程并发写）66288（毫秒）1G（10线程并发写）13725（毫秒）50线程文件大小所花时间描述1K（50线程并发写）951（毫秒）10K（50线程并发写）5（毫秒）100K（50线程并发写）32（毫秒）1M（50线程并发写）216（毫秒）10M（50线程并发写）5180（毫秒）100M（50线程并发写）55403（毫秒）200M（50线程并发写）112461（毫秒）300M（50线程并发写）166736（毫秒）400M（50线程并发写）229095（毫秒）500M（50线程并发写）285223（毫秒）1G（50线程并发写）388870（毫秒）结论带着下面的几个疑问测试了目前的2个分布式文件系统Hdfs和FastDFS.l HDFS的小文件性能很差？l HDFS适合做文件系统的吗？l HDFS的读写性能怎么样？测试结果是：1 HDFS根本不适合做分布式文件系统的解决方案，特别是对于大并发量的读写的场景。原因是HDFS的本身的定位是Hadop里面做离线计算的时候中间库的角色。为了解决这个问题