虚拟化与云计算课程试验报告——Hadoop平台搭建_第1页
虚拟化与云计算课程试验报告——Hadoop平台搭建_第2页
虚拟化与云计算课程试验报告——Hadoop平台搭建_第3页
虚拟化与云计算课程试验报告——Hadoop平台搭建_第4页
虚拟化与云计算课程试验报告——Hadoop平台搭建_第5页
已阅读5页,还剩25页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、虚拟化与云计算实验 报 告目录一、实验目标 1二、实验内容1三、实验步骤1四、实验遇到的问题及其解决方法 24五、实验结论25一、实验目的1. 实验题目:配置和使用 SAN存储掌握在Linux上配置iSCSI target服务的方法。2. 实验题目:Hadoop&MapReduce安装、部署、使用 Hadoop-HDFS配置运行MapReduce程序,使用Map Reduce编程二、实验内容1. 实验题目:配置和使用 SAN存储配置在Linux上iSCSI实现两台机器间的共享存储。2. 实验题目:Hadoop&MapReduce1. 掌握在集群上(使用虚拟机模拟)安装部署Had

2、oop-HDFS的方法。2. 掌握在HDFS运行MapReduce任务的方法。3. 理解Map Reduce编程模型的原理,初步使用 MapReduce模型编程。三、实验步骤及实验结果1.实验题目:配置和使用 SAN存储在实验1中我作为主机提供共享存储空间,实验地点是在机房,但是由于我 当时没有截图所以回寝室在自己的电脑上重做,以下为主机步骤:1.1确定以root身份执行以下步骤sudo su 一1.2 安装 iSCSI Target软件1I Q ra®_ Z.OGB'LibMfcu整障中心咛 擀,匚.1ffiliVtHBIFA原史1IB主SPfS,图片3DCE.247 0H

3、it机隋育乾样推相阳i#引周以址陋同皿曰做utility OptrrH£9-Uti5aa»_立忤i&回如d£EI Entarprlu Tirgit ufirUfKl tank 93<vpet土混徵&irtgh pcrPiinfUfKE, tr.n中urt KlEpcndrt rS£SI Inpkmcntatlara apefrfttni&CEl Enterprlu Target kcrrwl fnndilk- saurce dhmc 欢rslz i53Jt»pet-<Jfc5UfUM SCSI target

4、u&trpjct tookniDduUf, evEnt dnwn Inltrim InrrMtriKture - network support Jrsyil-netwvfcftribernet Sbor-tgc- Njmang SefYlct wsdbtcrnet St»r«ge Naming SeE 口t - dt-cllent rgnMhntClushef iLVM DMrnomfarLvm2£$C5I Entarprlu Tdrgt b«fMi fnodiHt but“ rraltvpct-HVX1.3 修改 /etc/default/i

5、scsitargetISCSITARGET_ENABLE = trueKeiKirgvE (/tKt/dtfMlE. -tdlc 立件1升殖裾斌国* TJI(f) ±»|Df胴助F FT开JM俱停 3 L HM .匿| F $ *j. "|0 1464 1.械责口 3o ncsitaret tt I£SITARGET_EMABLE-true*K+ 奇 16腐:# * rri. M2* SA1.4创建共享存储共享存储可以是 logical volumes, image files, hard drives , hard drive partitions o

6、r RAID devices例如使用image file的方法,创建一个10G大小的LUN :dd if=/dev/zero of=/storage/lun1.img bs=1024k count=102401.5 修改/etc/iet/ietd.conf添加:Target iqn.2001-.example:storage.lun1IncomingUser username passwordOutgoingUserLun 0 Path=/storage/lun1.img,Type=fileioAlias LUN1w 胸叫山-4*dK玄的肿 S心雷闰 L1ICTI胴助呻0 E $外V。 14

7、CA1 ' ! » 0 1T 丹-W 叫 A +% * *4LJiKtd.conf NAMdxOuts tandtfigRZI*iflUdtaPIDUlnOrderVes呻即捉 KqwficMres*Er8-AHE-BderCrlgestKone .CRC3ZC氯)taDigestIfone, CRC3ZC阶H对。浏*都1跑匹53ftO'.ff V-orlcufs- LflrgeE. por-iwter s视墙“陌H*QueuedCaNiands;32* f V1? ¥f * 4 fIF «? #4 f Vc till ty >uppui l

8、 Max outstanding RZTs per cmd Dat-a in PDUb Is o«le-red He only Support n*dei* ed pflut In tequnc*ix-dsred如Euppe>rt twdfl-rndHe qmlLy support leve-l 0 PDU heavier checksw 4I90 list Mom or CHC3ZC if only one set then e nuf-t Jbgr<et ta it or the- ccnnec tin Mt it fAtl POU d-ata checksun ni

9、g口 list Shhe 45 flbove naxiFufi fluhfrtr WWthtt target - A s-Lend aIn ping each Afterthat narvy seconds If the conn <s otberwiiB Idile - 9 - off Hdtt Lh4匚 nafty ,更ftf -b r-eOftgf 顿 4 hCP-IH 同叫 If a ar NOPIntirvAliHWInttrvtl Is used!.Nurtbar 单r 10NuiMier &r queued remandsTarget iqn. 2001-04-hw

10、iQielMDl:stor-age-.lun3IikwitflguE.tr huh姑2如果需要弟盼皑ill.得用户君Lun fi Pat hs75t<ir-ig#/lun 3. Ing ,Type-ft lie-tDAlias iLUNl|iHax iMinect Inns dSB加任此行正在保停 SS+Tg/FHdjCDff.境其尊.切景若宣腐:A *ffm.时#MaxConnections 61.6 修改 /etc/iet/initiators.allow如果只允许特定IP的initiator访问LUN ,则如下设置iqn.2001-.example:storage.lun1 192

11、.168.0.100如果任意initiator均可以访问,则:ALL ALL4iftlESE响f L<l0n- g«dlESfiHrl桃旧昼M 粘素闰 TJtCD女询of filbH FT开-19 砒凸 4 -V z* V e. K,irtflijtors.allow tt fl The sEHantics arej * HlEhmt any entries nit> tnltldt-ar c-an see 。connect to any target>.Fff * Sy “r胡it g all tntttiters te cenft?ct to Ml target

12、 t sthfi th# "ALL ALL* *ntrjr.a Clwrrld« Khich Initiators c-an -connect to which trats by putting efttry fbr d 1*41¥ T-terg«T fsllcwd &y -d iStnft* &ep4rd t-Ad list 0>F XfttttatorSj etthe-r lip wddgz w IQ* mmw (ImisU妙 网ttw站 rarf TQK nants sr* Acc*pt«d l*aw« a

13、ut * mM $ s.pKlAlt i-t thay art tKpllctt)W separate the two with Hhltespce.A B Eh'Ery pmceai-lng itoipa aE. tlie "ALL* target witry If prc3rnt>5one exaFifpleEVl-qn.20D3-04.c-cnexanple:starag*>dia-klsys.syz 192.14B 1.O/liB . :nscil- 1.-4.eM-B"pleV.con直WM.C4P1.earvle;stfrrae.lsA:.s

14、r&2,行£ 37*302;lKl;211;4)rr;fiil;轴Hd STFe: /4P 1!>2. lb。.22.e/2*i-qfi,aeeii-M,ca«-"豳仲“:玷胸角责.JtsJki-syi3-ayi ahdlqn.24B3 M.con.e直日仲1普!sta-ragre-.dlskli-w/w4-Nyz 1J2.i4B.22.3:I lqn.vn<Are: .tspl电.cont ALL l<9ZlCB.a,a/DfiALL ALL歧支* 蚓艮得皂腐:事 fib ?J1 »A1.6启动/重启动iSCSI target

15、/etc/init.d/iscsitarget start/etc/init.d/iscsitarget restart4H亶e害打和1%处ihp立又忤(!)MHHM ISA!格式也lA£D M阳 博的邸修 口 |工陞M 4 P吁箱ML吧 1, 时匚W 1 G| S 1114' | ttaMawawftaMft 丁 | 而| 日 B ASi 通I 区匡回叵 也,B £ B,直| ,Ikjl| DDD 33 独 一«|im2.实验题目:Hadoop&MapReduce1. 安装JDK在实验中安装为 OpenJDK 6 Runtime2. 安装 ope

16、nssh-server,命令为:sudo apt-get install openssh-server ,并检查 ssh server 是否已经启动: ps -e | grep ssh,如果只有 ssh-agent那ssh-server 还没有启动,需要/etc/init.d/ssh start,如果看到 sshd那说明ssh-server 已经启动了。w|kunia< iua>|hia Im I IwmvHfi5;HZI3SIED«ft Lm3.免密码ssh设置,确认能否不输入口令就用ssh登录localhost:ssh localhost如果不输入口令就无法用ssh登

17、陆localhost,执行下面的命令:$ ssh-keygen -t rsa -f /.ssh/id_rsacat /.ssh/id_rsa.pub >> /.ssh/authorized_keys再次执行ssh localhost完成后请登入确认不用输入密码4.安装 Hadoop解压Hadoop安装包到安装目录,在本实验中我新建了一个用户hadoop并把hadoop解压到home/hadoop文件夹下,在伪分布模式下使用的版本为 0.20.203,在分布模式下因为要与Eclipse兼容所以最终使用版本为0.20.2, 下面部分截图为版本为0.20.203。并编辑conf/hado

18、op-env.sh将JAVA_HOME设置为Java安装根路径 运行运行bin目录下的hadoop,如显示hadoop脚本的使用文档,说明安装 已经完成。如下图所示:kkdwiw.ih 5珈坤朋*心住心电占5 - ViiMS E * If. 23:22 L Q-aim日 ism 眉法旧# 妹滞114& anew) hhp kihiT三口t.小等 时口* 翌B iiadw-sclTlc mir&nBehT 标ililsUs 冲融 The onl reqpLred ErrwirGnaent varidtoLe Ls JAVA HM. All etheri are 4#Tlonal.

19、 i*en runnifig & dlsTflkKrf confluuratiefl It Is tesi tof set JAVA HOHE in this- file, so that it is cnrrectlv defined on mate nodes.# The java mpleHntBlim to- use. Heqvired.eijMrt JAVA H0K-/usr/ll it:/jvb/j ava 1.6.fl apenjdk* Extra Jby-b CLASSPATH eleiieflts. CfptaHial.律 export iHMXKP CLA5EPA1

20、H=-, The Mximn awunl uf hea- to ux, in RD. Def-mil. t la 1BN.g exportHE APE IEE-2MA营 Ei'Etb Jbv-9 run LiM Dpt iora, Enply by dmnull ;Jf export WMKKP_DPT5=-&errt-r* Cowand IpeCJiflC UpliE* 占叩ended 2 NADQOP UFIT< irfierieilHirt HADOOF hAFEMDDE - Dcm. sw. Hnaqwnt. ju retate SHICOP 曲4ENOOE 0P

21、T5Bupdft 岫奸”转W前岫他MEMDF DirrSr-i _Cqi : un .iwqirnr. > r«ti 拙四哭WIAAAfiMKN如F MTS3E时" 睥的L gFi-DCMaMiMnBOeMYL.jlHrMeU WtfmP MTlWCM_&PTSBeipqrt HADOOP BALANCER OFIS=" - Dcca. sw. unaqeHit. rEHte SHUMOP HAULNCEF. OPTS'»ip«rt HADW JGBTRACiC- Dcca.fun. .inngmer.t. j ixrwt

22、e 1MM&P XiEI1U£KER DPT4B* 虹iw&w?_Ti«i5KTMNtA_WT5-Jt The- fDll<MijHgiapplics tn iultiple comands 1fs-P dfs, fsckP distcp etc) »port HAD«P ELIEH1 Crf-TS Etra s»h options. Enpty by def-ault.# export nUDOCP 5£H OPTS*' a CannECtTamutfil,力 SfidEnv-HADOOP COHF D

23、IS'ff Where l即 files aE itonrt. SHIDOOF HQFE/logi ty default. export HADOOP LOG 0*就治DOOP HOHEJ/Lags# File nmng mate s-lL-Bve- hosts. SHJUXMP HDPIE/'csnf/slaves- fey de fault. export HADOOP 5UiVE$HAIH0P HfflEcanf/slats# hast:path uhe-rc hndocip code shnulld be rsync'd frm. UnMt by default

24、.10询*女件(F)Mt闱略枷 WffililHlO* 母慰*4gp4胡BaiSnani«ZIWM.Ir(»tubfvntu: /lud&Dp/hAdMp- B. Ab chnod 777 btA/hadaafiriKtubuntu:/h-adwip/'hAdcop-B - Z&.203.4*0 btn/hadiiU玷聘;hjdoop -config conf dlr camAJMC 'tc cqiwm Ls <nw maftedf -f&riMi f我ga护gn的营 ndnenodc- da tarwde df s-adhin

25、 fifidnlrb r心iputT-. -jUhartaohart'arril55:wrtrngifiirlii携HMM iqbdlarKe-r fE-tcMt jobcr-BCkerta-ktricktr httory&ervie-rMqueueversteft jar <)a.r»ditcp Ksrcurl*Tornat the dF$ TUesy&ttn FU任 run 血 rum run run* run. runtM“Bn心Ff nntnla-the DFS n-iM-nodeEFS dat-finMle-DFS -adnlin cl len

26、tMd-ftedXjce adnlft cltifttOFS ni*EyEtM i£h«MW uctlttyittkir Icuse-r cl tentcluster bdlanclngi utility a delcq-Btion token fron the Ha Recedei3fetchtl>e Hapeducc,ob f fatker nnde a Plpe-i Jet>p*uh>run* _rvn* a HjpR«duct M5>k TrcMr na<|t-run Jmb hlSitar werwra; a± &

27、#171; starMljlLDrH diaEg nanipulate MapRedu-cegntnFornHon regarding JoJbl>JEU«3 prtfic th# ersten邮 3 jar wHde-Eiturl* c:cpy file or directories r-ecurslve'Ly日chlLML f匚jdvcHarff NftftE -p *pji5tvdest* efretq 日 tiBdoap clhtAOWM占径髯利adoa畦过程-haighaig&n口性撤于栏-腰宵腰.以七月呻敏FliSitiW袖虹耳用白.> K于1

28、2白期中#礼|,用开M«Rtt« 禺户-.W厦泳iSAt不. sudo paawtiE 夏国5蜜舛m.Wnqi pm*i FHitiVuahfrihimgivrVwliElil# 70H-3Q-I0 -ubunoj 1CUQ上听arioQ口的IE置弟屡成童百壮歪rfev畦ft布时站L ftAh. Qdi-&iSs34MH«&SJbti: AwftKJtfcHJITH / /mhn京H牌 i 注:, STRFIiTntfl示H戚孕kW阮ZrgM 咿戏肉 2511fcD-U - H.吐 N啊:5.顿Vbash. Pmi,醐w dfeMXi森限不ty j

29、 m埋空间 版» 'nfWtMaJi>: PvnKMDfi «n«Mif-Kc4!T,V m:/tofvbuli: Pam酬勃 o«f|CIFV于) nfl命中OI11*1*5心能财崎炫I事际技115.安装部署单机伪分布式模式Hadoop-HDFS Hadoop可以在单节点上以伪分布式模式运行'编辑 /conf/core-site.xml<configuration><property><name></name><value>hdfs:/loc

30、alhost:9000</value></property><property><name>hadoop.tmp.dir</name><value>/tmp/hadoop/hadoop-$</value></property></configuration>吕 gQ3 f Ij. 25:20 L LM 0只件忻坷厦低I IBCn首举同域落国帼BQCW3 Help司谶|出*T 已口C.M4E9 时口* 园<prnperty>*naK«tfii-dle

31、-fault. nw rnrcA功 Bl “印*rflT牝"lOCalLWt: 9熊站WL*>c/pirnirertip-rfproperry>。服 irF 而加fh Tp ,<Jlrv3,MR«VBlue>/tR»/hadDDp/>uftM)p - StuMir.riieJ/vHVue*</pfDpert)f>. nii-iTlijiir HFji. 编辑 /opt/hadoop/conf/hdfs-site.xml<configuration><property><name>dfs.

32、replication</name><value>1</value></property>l 1 II . iS J : 5 J -5 t ? : I - id - Il - U - ia -14 it 1< -廿顼帕 M !tiVIm Ttivli: BdftMTXff(D卸MBS ItiAUl ffiStS)工鼻田 可口俚。用由回叩叩5#nil veIIDQQH r编辑 /opt/hadoop/conf/mapred-site.xml<configuration><property><name>map

33、red.job.tracker</name><value>localhost:9001</value></property></configuration>格式化HDFSbin/hadoop namenode format启动Hadoop,启动后可使用命令jps查看已启动进程,观察是否 namenodedatanode已启动,关闭所有服务,使用命令 stop-all.sh, bin/ start-all.sh匣3 H E 4 M .0 找膈1. L*奇'船主文件央图片卜A ras二3DE蔑仟雄J247GB5I 件_什鼻机3E#

34、ng制即png王京麻法“一 1 MCSS3|9hpng3H3|.png*!5J.png蛔Egm Ji "S 底=st件聚维皓n rootfpubvntu: /hadQp/hadcap-G.ZD.ZOXQr瞄皂,J"白2睨)it “学-«pach«,hdfi.,jsm典lnse*!做,fsl*4ge-frwfsjf 权J孙由姓at org. *pache. Ivado-op. hdfs. server - n .an mi ode. FS Inage- tfornat (FSIugie-.3fl)at14p«chr i Kfldwp i hdfa

35、-. servern-mwoe. NdmNdv .Ferna. j«vd:it 心rg. Mdep. hff. ¥trvtr -W. jawa: 1145)at arg.iipjche.hadoup.hdfs.server-nwMiDde.NaneNade.HoinCNanesModa-.JiKva:! 1Fhll/ie/14 找宣 5打网mwgM .曲的h WUTWMhi_HrM.ESHIfTD£MN_Ji5(- Shutting down NdneNode at ubuntu/127.&_ 1.1*勺时RbumTS/h占勤*川白龄做0120iIflli

36、Mm M&i TaskTracker426£耳宰2SB1 mt 砒 ode*115*9 SccondBryH-aneNodeJ404 NanrH好322? Jbir*ckeri白女g 己 Jkia血呼'haidta哗. 6. . N3 -白# 6.浏览NameNode和JobTracker的网络接口,地址默认为:NameNode - http:/localhost:50070/JobTracker - http:/localhost:50030/LJ Hiadoop NameNizde LHalh. XNameNode 'localhost:9000'

37、5urt«d; Mon Ort 网 Z253X35 C3T 2911 Ve rsloni DJQJffllA rl M9-333Cmpikd: Mlay 4 07:S7:ED PDT 2011 by MinnUpfridvs; Th&re are w upMJe*5 In progress,grPE* tin mCluster Summary7 fines ddredoorle 1 格-8 tatdl. Heap Size Is 45.19 MB / BS&.94 MB 肉童JNamenode Ldgs顷恤rM Capaclly:22J&GBDF5 Ustd:

38、6.01 KBNan DF5 Uife d:332 GKPFSMma加吓;博1事郁&FS Us«d%:。魅DF5 RtrrudHlmgliIS5.17WLM N皿£:1Pod N wd”i0flcommlsilninilrig 村的岫/:DNurntber Undeir-Replicated BlacksNimtNde Stara£«:SEi>ra<e DlrecRjaryq# 站 linkvloculi hid &I HAd>4AdmfahikfMldA-心 ML" FImF也I.E3 百度 Mdoop -i

39、jr-ieDde ffilBWBCTWRffUffinWnin +localhost Hadoop Map/Reduce Administration如曲 RUNNING$ta ntd; Mon Ort 24 谈林;53 <$T 卸 a 1Version: D2DJM3.0, r1M5333Compllf-ft Wtd My407S7:5D PDT 3011 by camTdiinlllfltr:11iO24i22-flBCluster Sutnmary (Htap Size Is 4S.19 MB/S88.94 MB)Huiilrllfig Ma>pRiiilillfij R&#

40、171;4uc«i TasksTOEll SubmlHiQrwNodtvdMUpbtdOccijiplBdSlotsGrifrrV-fidlMap Skrts-D虹 rvad Rtdim 如tsMa p Talk CapacityRtdiitt Talk Capacity皿 TgWN 询 >«BlacfcHilUid NEmGhi/ll 地 d N做/Exdud>ed N做,D0D1000d214.CDQ00Scheduling InformationQueue NameStiteSclKdulIng lAfarmatlond磨陆岫runnirN腿Fitter

41、(Jobld. Prlarir WR Njmi)I idwnpi-iF. 'uvirhiiidi 3 IDO* aviil filar hy'faiiifh* duly n Wh ur&ai tad And '1200* in JI Ik IdaRunning Jobs| rwe |7.卜面尝试在单机伪分布模式下运行 wordcount样例程序将输入文件拷贝到分布式文件系统bin/hadoop fs -put home/lee原面 testfile input运行 Hadoop自带的 wordcount例子bin/hadoop jar hadoop-exampl

42、es-.jar wordcount input outputEI 1 云一 2 ;, L j 虬: ,力 仲 >L U ;4 W 吨 ITro 此 g b 哪 n t u:/h 占碗 ci 口川 M 口 。 Q.卫 CL ZO10小时wbufits/ba痴叫/际如opg,卫6祯9 MnJhWgp fse tnpAitf aatgubufitu: /hadoop/hadtaop Sl 蹈.址3 “B*docstvybuil-d.jcnl h-aTinop -ant-C .20.1C3 口.扣ivysMnlg* +hadDQp -cpirfl -C. Ifl. Z

43、7;. f>. j-irlibNOTICE _tx.tREADME _tx.t crc tnt ii.- :; |i-F- - =f:' r -i:,.-Si .7:»-i :i. = .-"llhrkHdW岫r*e*nfh. a fl>. j«rLICEKE-tttrtbhadoop-tols-B-20-243.4. jarlosraotuibuntu:/tiadoDp/hadaap-9.20.2411-D# btn/ihjdoop jiar hadaop-e-xanples-fl.ZB-.2B3.Input outputT*Q THFO I

44、HFO INTO1H*<I 侦。THfd IHFd IHFQ INff!ljar iMrdc<7un>t ll/lfl/24 1UW14 91/IB/24 31/1B/Z4 I1/1D/Z4 1/1B/ZA11/W14 31/IB/24 31/1D/Z4 ai/in/zi tins XtH rH财vMq slts flS=6si:sa:ai jura 西中e.laxihrnx5J=3 sa 5S43 93 m 鲍 ei Gl 01 门Itrut. FlUIh*utF4rNi< t T«c«l Input词: iRynrulns 村此时媲nap M r

45、educe- M nap 1MK reduce BX nap J.血需 redvce- IE#Job >eonpl«T«; j nezi zjub.owi SuniWm 25> lato Gq fLaun reduce- t-asks-lSLOTS_NI LLISJ<APS-12fifl*T序WL lbw 3pent 坷 all redkicvs 机孔神的,网XltmN rupred. InbClAmk: napred. JobCltenit: napred , obcllent; n占。red, JfibCllefttr 尚叩rfrd, ndpred.

46、iDbCllariK: napred.JobCltenti napred s obclient; napred.abclientrKW>: MHlH|MA |4M |I DEO 33:« |IW%将输出文件从分布式文件系统拷贝到本地文件系统查看bin/hadoop fs -get output /home/lee皮档 cat /home/lee 仪档 /output/*辑, 女件呵单管f日也擅最国中斯D 腰圈ttD| 土 IP主女阡央图.片卜 T Q HE疝B京忤疆 二衣了 G日尺怦一计算机aiming3|3F.png3<3|.png桃png故M.pngKSJ.png对.

47、prq迁京,奖U«fli?a» a th督吊对 Lpmg州习.png我 13Q.pngroot4pubvntu:/hackigp/hadcap-0-.2D.Z01弟11/W21 tl/W44 51/1H/24 31/1B)Z4 31/1D/Z4 ai/iu/zi ii/ie/H31/IB/24 31/1B/Z4 ai/in/z-1! ll/WH ii/je/i-i 11/14/24 31/1B/Z4 rootlubuntu <*6-t>fibu4h<u.r 吐 cati A/l«*/X13/tpiJt/_l*95 ? J8 中目真5«s

48、am 41 ai Gl Cl. m 1 ai ei ai 01 m ai si :!mm 侦。 IhF0 lira INFO IHVd IKO TMFO 2h: j INFO I MFC侦。 THFCI INTOnA|>red. JGbCl槌EU 孔叩X, 即心 nuprtd. JobCltanlt! napred.JobCltent: napred.JobClientr naprrd. obClleniC r fiepred. JbCHet! ndprtcl. MKlh”!; napred. JobC'Lkent napred.JobCltent: ndpred. JtibCl

49、 lent r fiipred. JefrCUtftttrtle I nt in Fernii Wua 好 m et«s n#a4=21M/.ftcduE Frjn-ffiworkReduce Input groupsSHap output noterialiEed bytes-57CDHbtne -Qutput recrwds-sSHep t<ipvc rec-ds=iRdUC* thuFflo ttytVSs$7Reduce output records-5Spilled Records-10Hap mtput bytes-41 lysE fiCSfd&=.5Hap

50、 output irfrcor(ts=$ lPLIT_PAli_BVTEiBie2 Reduce input records-SIs1just1tea it I1tilts158napred. DnbClt.ent! napred. JobCltenit:铀5S/hadtiGip/hDdop D 20»Zfil- n* blnyhadoop fs -眼t output /hcjiw/lceJ KfSjh占励op/h*如做学直6祯J.M WT /Nahe/X*t/5E8. 安装部署多机Hadoop-HDFS这个部署多机的实验在实验室没有做完,最后实在宿舍完成的,节点为 两个,使用系统为

51、wubi安装的Ubuntu,所以不需要桥接方式(因为有固定 IP),以下步骤为我做为Master时的实验截图:本机名为node1,另外一台机器为 node2,两台机器均建立一个名为 hadoop的管理员用户用丁统一部署安装 had。编辑文件/etc/hostsii ubuntu 替换为 nodelR伴£Br«itubijntU = /t/«tc/lM3£txCredit :fl?S4): Gtk-HAHNIhKi *: ftttwiptinq to stare cJhanges into '/root/.lo

52、cal/sha rp/recently - usedbef .j. but f-ntled;宙立件IlMbl/h«e,/rcnitlv -udedu,如ww“失的;没有那个女件戚目录版或,农tc) -edrtItaedlt: Gtk MAfiNING *: Atteflptlna ta set thu isr.、KHi.n .5J3rCirV M'. t»t f砒Rdis有那个R辛立可 mm a«(M 工T) st叫 (MDhOSIS khl7.e.a. 1 LattflllwstB27.e. 1.1 ruideir TM r&llOMtnfl l

53、liws ar« deitirable fer IPg edible IpAlxMhmt Ipg.lQcalnet tpfi-Kastpref lx ip4-Bllrwdes Lp4-dVlrouur 1 IpCfc-alltofitBfeBB:4 ffBS:e ffUZ:rl frni;;2 rres::ijawaffis wd- aniptae: J.ianF 我加垃危队丈耳Hrirl 田:InodLJpl ultHL HltfiA28IrwdgJ ini MxitZ|rMd#3Jp|IDEDU 脸一«触 |g编辑 /etc/hostname删除该文件的所有内容,添加

54、node1芝-J;HARMING r: MKmpN* t*rt/f*cemtl-u-5ed-*t*l,. ftut r机我婚;创丑女 ii.csDxay-靛Mh蜜有失中女件Mt 泉-Lt:5a«2&: Gtk'IMnNING *£ Attenpttng m re/rKEntl.y"Used.Tbitl, B but failed:浪3fitt:5B2&): Gtk-WWNIIW *: ftttenpttrw to ecentlj-usfdKbel',. shut ffltlcd: filSi立件WQW“失RS;没有雄个立件戚目呆h&

55、lt;H-LmniiE K(9edtt:5!>20); Gtk-HARNING *: ftttwipting t/3tiare/rfr£!&fttly-yitd.Kbe,l, B butr 汲: - - - '. : .9 帝 hfHtrfeMhE 妁鹿匚| . gdK5;件的 uiu>:Ej avivF nts) imn 卫档做 开t ba库尊a 用再,"运行命令 hostname node1a)指定IP地址编辑文件 /etc/network/interfacesauto eth0iface eth0 inet staticaddress 11

56、96netmask it序£D 段邨 rpdQubuniuc/aiito atlhaIfacc etha Ln&t ±t«ttcadldrcss 90212 - 13netnask Z55kZlS.Z35-.c|Etdrl 虱|nod?Lji|明咐责IF互睐全揆L暗|im重启 网络服务 sudo /etc/init.d/networking restart查看IP地址ifconfigb)修改/etc/hosts 文件node1中:96 node1115.24.250

57、.43 node2node2 中:96 node13 node2E3f H,: H 4 中 祯廿伯仆TMtubrijntU-/* /'ttc/fiftMirk/lnttrfKei auto rtfiB tfflce e-th® inet static ddkJresa- 115.Z4 .Z». 19« netMlk US.»S.2S3i.» r*qttutntus/*砒明队呻”3口 Running /ctc/Lnit.d/nctwarlkiing restart is. deprecated beouse it my not endhL e -ag«tn sane interf-aces R«configuring network interfaces.u. R1HLTL1MK ifiSirtfl: flit tX.lltl Filled m 1x5 uprootubuntu.r-I no岫p| 3的lujiZInoibL jq| ndf IEilt IIB

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论