实验3-MapReduce编程初级实践

1、实验 3 MapReduce 编程初级实践1. 实验目得1、通过实验掌握基本得MapReduce编程方法 ;2、掌握用 MapReduce解决一些常见得数据处理问题 , 包括数据去重、 数据排序与数据挖掘等。2. 实验平台已经配置完成得Ha o伪分布式环境。3. 实验内容与要求、 编程实现文件合并与去重操作对于两个输入文件, 即文件与文件，请编写 pRed c程序， 对两个文件进行合并 , 并剔除其中重复得内容 , 得到一个新得输出文件 C. 下面就是输入文件与输出文件得一个样例供参考。实验最终结果 ( 合并得文件 ) ：代码如下 : ackage 、M rge ；im o t ja a、 o

2、 、 IOEx eption ；imp rt or 、 ap che 、had op 、 nf、 Confi uration ； impor o g、 apache 、 ha op、 s、P th;impor rg 、 pache 、 hado 、 o 、 Tex ;import o g 、 pac e、 hado p、 ma reduce 、Jo ； imp rt rg 、apache 、 hadoop 、 mapreduce 、 Mapper;impo to、 apa he 、h do p 、 m predu e 、 e uc r；i o rg 、 a ache 、 hadoop 、 ap

3、 duce 、li、 inp 、； import o g 、ap che 、 ha oop 、 apre e、 li、 outpu 、 ; public cl erge i atic cl s M p e ten s Map r pri t static Tex text =publicv id ma (O jeew xt（ ); , Text va u ，Conte co t x )th ows IO xeptio , nte r pted xcepti ext =value;c n e t、 writ (text, newT xt(”)）;p bli tatic classR d ee t

4、e ds Reducer priva est tiIntWrita e data new IntW tab ();publicvoi map（ Obj t key,Teva ue， o t xt co tex )thro s I Exce ti n, Inte r pt dExc ptionS r n ne =v lue 、 t String() ； t、 set(In e r、 a s Int （ l） )；cont t 、 w te(d ta， new tWrit ble （ )） ;public st i la sRe uce te d R uc r v lue ,Context con

5、text） r ws IOE cp i , InterruptedExc pt on fo （ Int itable: value ）c ntext 、 w ite （ linenum ， ey ） ;li e um = n w In table(lin num 、 get （） 1 ）;public st ti void main （ Strin a s) t rows xcepti n C n guratio nf = new Config tion();conf 、set(fs 、d aultFS ”, hdfs:/ calh st: 000”)； tr ng e Args = new

6、St i ” input2， ” outp 2 ; * 直接设置输入参数 */( the rgs 、 gt !=2 ）S s em 、 er 、println( ag : me es rt i out ） ;S stem 、ex t(2） ;Jo job = Jo 、 g tInst nce （co f， ” mer eso t ” ); job 、 s Ja yClass(Mer eSo t、 lass) ； ob 、 etMapperCla （ Map 、 cl）； o 、 s Reduc rClass(Re ce 、cl ss);job 、setO tputKe C as (IntWri

7、tab e、 class) ；job 、se utp Vl e ss( Wr table 、 class ） ; （ jo , ew Pat (o herA gs 0）；（ j , w Pa h(other rgs ） )；Syst m、 ex t（ ob 、 ait opl tion （ u )？ 0: ） ;、对给定得表格进行信息挖掘下面给出一个 c ild a ent 得表格 , 要求挖掘其中得父子辈关系 , 给出祖孙辈关系得表格。实验最后结果截图如下:代码如下：package、 oin ；impor ja a、 io、 I xception;im ort java 、 u i、 ;im

8、p t rg 、 apa e、 d o 、 co f、 Conf gurati ; mp r or 、 apache 、hadoop 、 s、 Pat ;im t rg 、 a ache 、 hado p 、 o 、 ex ;im rt or 、 a ache 、 doop 、map ce 、 ob; m o org 、a a 、 hado 、 apred 、 apper ； m rt org 、 ap he 、ha op 、 map duce 、 Red ce ；imp t rg 、 pa e、 hadoop 、m p educ 、 i、 in 、； mp r o g 、apache 、 a

9、d op、 map e uc 、 lib 、 ou pu 、 ;publicclass STjoin publi li staticint t me = 0;sta ic class apextends Mapp O ject, T, Text,Te tpu lic v idm p(Ob ect ey, Te t val e,Contextonte t)t row xception，I te rup dEx eptionS r ngc il_na e =newSt ng();St i gpa ent_n e w tring( ）；String rela ion_ pe new Str ng(

10、）； tring lin = value 、 to tr ng( ）；in = 0; le (l ne 、ch rA (i) ！ = ）i+ ；St ing lues = ne、 substrin (0,） , lin 、subs g(i + 1) ; f（ value 0、 pa eTo(c il”） != )chil _na =val es0 ; a ent_ a e = alues1 ;re atio _type=” 1”;cont x、 write （ ew Text(va ues ),new Te （ re tio _type+ + ” child na e + ”+” + pare

11、ntame) ）;rlat on_ ype =2 ”;c n e t、 write(new ext(v lues0), new Te (re ati n_type + child nam + ” + + p r t_ e) ）；publ st ic cla s edu tends R u rx， e t, Tex ，ext public void reduc ( ext ey, e able Te values,Context cont x ) hrows IOExceti n， I e upte Ex eptionif (time = 0 ） cont t、 wri (n w e t( ”

12、grad ch ld ),new Text( ” rand_ a ent ” );t e+;in gran _child um;String gra _ch nw trin 0;ingran _parent um = 0 ；S ing gra d_parent = e St i g1 ;Iter to i e values 、it rat r（ );whil （ ite 、hasNext() Stringi trecord=ite 、nex （ )、 t Stringlen= r co d、 le t（） ;（） ;int i2;if(len = 0 ）con i ue; ha re atio

13、n typ reco d 、 char t（ 0) ； tring ch d_ me = ew S rng （ ); ring parent_nam = new Stri g( ）； il (re rd 、 ch t（i) != )ch ld ame= child_name + record、ar t(i);i；i = i+ 1 ；w le (i len) par t_nam = p ren name +ecord 、 cha At( );i+;if（ r lat on_ ype = 1) r nd_child ran _ hil _ m = c id_ me ；g nd_ h ld num

14、+ ； else g a d aren gra d_p r nt_ um =par nt_na e ；gr d parent_ um+; f ( an _parent_num！ = 0 & gr n c ild_ u != 0 ） for (i t m 0; ra d_ hi d nu ; m+ ) or(int = 0; n gran _parent_num; +)con xt、 rit (new Text(grand_ hild m），n T xt(gra d_p rent ） );p bli staticvoid ain(Stri g args ） thr ws Excepti onfi

15、 ur conf = ew Configuration() ；con 、 et( ”f、 de a lt ” , hdfs:/ oc host ：900）；S othe Args = w S ring ” inpu 3， utput ” ;i （ o h Args 、 l ng h != ）Sy tem 、er 、rintln（ ”U age:ingleTa Joini out ”)；Syst 、 exit(2);Job j b =J b、getI sta e(co f,” Single bl jo); o、 setJa yCla (STjoi 、 cl ss); ob 、 t apper l

16、ass （ a 、 c as );job 、 setRe ucerC a s( educe 、 clas );j b 、 et ut utKe Clas （ Te t、 cl ss) ；job 、 setOut utValueClass(T t、 cla s)；( b, e P th（ th rAr s );（ job, new h(other r s1 ） );S e 、ex ( b 、w i Fo p tion(tru ) ? 0： 1);4. 实验报告云计算题目：实验报告duce 编程初级姓名包生友日期 :216/12 0实践实验环境 : 机房得虚拟机上配置好得环境解决问题得思路：根据老师给得代码进行操作实验内容与完成情况: 已完成，与同学商量后仍有部分代码尚未知道其作用所在出现得问题 : 执