四、hadoop基础简介安装与范例操作繁体02.hadoopintro

1、EucalyptusUvsyof EucalyptusUvsyof orn,Santa HYPERLINK http:/o/ SectorThe National Center for Data Mining (NCDM)ThrifHadoo?amttsHadoo?amttsHadoopJava 開發軟上千個節Petabyte 等HadoopJava 開發軟上千個節Petabyte 等級的資料創始tt為Apache體基金會的 特色特色可以用在由一般 PC 有什特:2002-2004用 Java 設計的高效能文:2002-2004用 Java 設計的高效能文件索引引擎hh利用 Lucene開7歷

2、史背：論文File 2003 :：論文File 2003 :”I 2004 : MReue : ipfd sing onLarge I 2006 : Bgtabl: A Distributed Systemfor Structured Dat歷史背:2004開始參考論文來實g&e:2004開始參考論文來實g&etNhh0.8 版之後， Hadoop項Yahoo2006僱g組隊專職開e=)（20098 月Dong Cuting跳槽到 歷史背誰在用 HadoopBM 與Hadoop誰在用 HadoopBM 與Hadoop on Amazon 3有在Hadoop 於 yahoo 的運作資訊Sort

3、ark, every nodes with Hadoop 於 yahoo 的運作資訊Sort ark, every nodes with terabytes 年日節點耗時（小時五十一十一十一十一七七七實案Hadoop 於 Yahoo 的佈屬情資料標題Yahoo!HadoopLaunchesWHadoop 於 Yahoo 的佈屬情資料標題Yahoo!HadoopLaunchesWorldLargestProductioApplicatio資料日期February 19, 案Number of links bethe indexroughly1trillionSize ofover300TB, N

4、umber of cores used to runsingleMap-ReducejoboverRaw disk usedproduction clusterover5Hadoop 於Yahoo 的佈屬情資料標題： ScalinHadoopto4000nodesYahoo!資料日期September 30, 案500-node cluste4000-Hadoop 於Yahoo 的佈屬情資料標題： ScalinHadoopto4000nodesYahoo!資料日期September 30, 案500-node cluste4000-node clustewritreadwritreadnumber filesfilesize(MBtotalMBprosestaskspernode2244avg.throughput(MB/s5TotaNodes4000Totacores30000Dat16PB瞭Hadoop與的對應DeveloGroupSponsYahoo, AlgorithMe瞭Hadoop與的對應DeveloGroupSponsYahoo, AlgorithMethoResourceop