大数据实验分析报告

1、作者:日期:13%酎界低大学课程实验报告专业年级14级软件工程课程名称大数据技术原理与应用指导教师李均涛学生姓名昼勇学 号 20142205042026实验日期 2017.05.04实验地点 笃行楼B栋301实验成绩教务处制2017年03月09日实验项目 名称Liunx基本操作实验 1. 了解Liunx操作系统发展历史。目的及要求 2.学习Liunx操作系统基本概念及操作。3 .学习Liunx操作系统用户及文件权限管理4 . Linux目录结构及文件基本操作。实验 1.实验楼环境介绍，常用Shell命令及快捷键，Linux使用小技巧。内容 2.Linux中创建、删除用户，及用户组等操作。 Li

2、nux中的文件权限设置。3.Linux的文件组织目录结构，相对路径和绝对路径，对文件的移动、复制、 重命名、编辑等操作。=_i* J_ L_U_T£-bi. I IfHt!01和 SHE 货 皿二； M>i£ Efii$ touch file: -/ $ 7 Su改斗hl.”由父匚Nd $ gd8s<3：«11_ / hems/ ill li an I ou/t 口年th t yin 4m rCo4t f 5 |1 1. Liunx输入输出命令匚FKL，百2.使用touch命令创建文件夹，后缀都为 txt。3.学会在命令行中获取帮助。实验步骤tflif

3、 aMig； VU&* iw|i *Hi3 回电|Mh(l)干摺升一工具3N*IERift -在幌参考手掰葩接口悔生w (-C ut |-dj 1好-"ft呻n=8Aj| l-R SAI 【7LL!Af &£.-, JK £1K t LA -t £A1 hW口【一灯也"打 f-nMBi-onlK i -u - -flo-tubpifl*J (-P 比页 LFY1-lt£ 率-TJ I'E ikM 1 o”gf -frO'jyltificittrOft E-P 空在第-tl 'Tjujj -H(i

4、iuu&)-Kdptij7 n盘节页.j .*in »k通堂j正则一壮式 ，MR -K 囤间S Lili -ti-i resell【章节I 词语 *a* *f *hatlf 迷0).x.w - (-C文性】T7一*-B睥玛1皿-P 幺更幅L -F 梃鹤】PTJ r-E 设用 1 -P TH«卜t -Tl£> L町lit蛇41 llflftljj lJ 史性,.M» -IT“ ±E -4J 9温.Ml y -C ift1 (1 (* A *，2，-?¥P»W iwnfl) Itn* 1 fpr看h F91g hl

5、p (q to quit)4 .输出图形字符。5 .查看用户6.创建新用户。7.删除用户。8.查看文件权限。9.用ls力/Al/dl/AsSh查看文件。2E2EZ££EQ1a豆怦（D*19 UX) «4H£>WhjfjhhiyanilfiiU：*/ $ H-dlIS:24311 IidrwMr-Mr-x 13 shWanlaui £hAyanlou 4696 !；月 4 10:24 a与卜i/ 1.inlou:«/ $ Is1 l&BK-is5hie；?452 136K-zCQnpdlunp - f Md90£

6、biq 15 - 5.0.2 4.OK.Xauth>drity36K.zcoRipdunp4-.9K*冰i cadhv45K,pydiitutll%.cfg匐，州Code，邨.gitconfig肌BK-confit4, QIC,.£5h-updatedbM席9file*明Desktop9.hushlogin4.Malocalelov_l®_ltniiii. txt园.BK4 flpRe白.BKa oh -imy'zaheI w.limuN B txtq.BK-pipBlove_l_liniJXB txtdl. BKfl£CtF1eSu&Jln

7、uK . txt日-耶.meel0H/=lllnUJG tH旧,0K. baWhreelove_6_llfiuM. tRt.zshrealove_7.llnuxatMt凶.BK.zsbthtsteryBlofr_3_ltnuxatxta. DK.profileBlotfeS'linijx. txtii. BK, JCEuthortt/0黑兆abjfh logaytByongu txt(Ehtjnlau:-/ 5口白：2S：11 910 .变更文件所有者。11 .修改文件权限。12.目录路径。sh: conmjnddhlou:-/ $ Cd., not Found: cd.rS p0d

8、not found: ped $ pwdIittp:/nlrror5 .*lturbcs .co*i http:/nirror http: A/ntrrors .aliyuncs<ccfi http； /ni-rrorg .qliyyncs f C<?m http：/ntrrors.aliyunc.cofl hrtp:/mirrors raTtyunrs rcomtrusty/uoiv<ers* Sources truity/nulttverst Sources trusty/rain «nd64 Pack4gH tr(j5ty/rer.trictmnd54 Pck

9、aci trusty/universe sndM Packay?s trustynultlverse and64 Packages在读取软件包列用一完成lUanlou：-/ S sudo aot-get Install Cr«e在攻取较叫但刎表.£成 在分痂软件包前依幅关系辅 在读取状态信息完成 的已拧是施斯的版本循了 fi个软件包,新安装了 8个软件包.要加或8个材件包,.有151ie：ss：3fl个林件但未被升ri6：5fl：50(ie：S9tl916:59:29»：S9：3318； W：5113.新建空白文件。rn：eR：?3l14.文件的复制、删除、移动、

10、重命名。*辑心 SMil> Sffliyihit di mriijiShlylftloal-/ $ 11 ttxt11?OB：36":无法访同tnt;设有那个文情或目录shiyanLob2"/ $ wutxt11;8B:54zsh ： tQEmnd not found* Hiu . tmt5hLy已nig：-/ $ ejt &n passiMd11:09:20c«t: pn»d:没有那个文件欣目录ht«nlou>/ $ cp fstjpa3M111:11 ;d曰Cp：在"EHfg外旷后缺少了期嗦件的目标文冲Try

11、Bcp -"help' for Rore information.shtyanlou:»/ 5 cp /cet/pdssiwd 11:12:65cp:无法荻Ivjcetjp拈$W”的文件状煲"没有月&个文件或目录Ehtydnlou:»/ $ pw 匚豆t Ryftle1112:14ahiyARloH："/ $ rn *f test11:14:0shiydHlon："/ $ |11:14:15实验环境Liunx操作系统实验结果与 分析通过学习Liunx操作系统的发展历史、基本操作、用户及文件权限管理以及Linux目录结构

12、及文件基本操作。是得我大致了解Liunx操作系统的使用，并且能够完成相应的练习。教师评语注：可根据实际情况加页%酎界低大学课程实验报告专业年级14级软件工程课程名称大数据技术原理与应用指导教师李均涛学生姓名昼勇学 号 20142205042026实验日期 2017.05.04实验地点 笃行楼B栋301实验成绩教务处制2017年03月09日15实验项目 名称Hadoop的基本操作实验目的及要求1. Hadoop单机模式女装.2. Hadoop伪分布模式配置部者.3. Hadoop介绍及1.X伪分布式安装.4. adoop2.X 64 位编译.5. Hadoop2.X 64位环境搭建.实验 内容1

13、. hadoop二种女装模式绍，hadoop单机模式女装，测试女装2. hadoop配置文件介绍及修改，hdfs格式化，启动hadoop进程，验证安装.3. Hadoop1.X伪分布安装，Hadoop介绍,Hadoop变量配置.4. Hadoop2.X 64 位编译，编译 Hadoop2.X 64 位，编译 Hadoop.5. 搭建环境,部署Hadooop2.X,启动Hadoop.1 .用户及用户组，添加用户及用户组，添加sudo权限.2 .安装及配置依赖的软件包，安装openssh-server、java、rsync等，配置 ssh免密码登录.3 .下载笄女装 Hadoop,下载Hadoop

14、 2.6.0,解压并女装,配置Hadoop.实验步骤h tdoo - 2. . &/!ih4ir4i/had»pi/H Apr »diKt/«M rctf/hxlaop-rMp3c lltnt，M - pl ,上用曹-2 .单 qfe. ,. j. rh ateop -2«S. Q'/thAfe/hado4p/ndpr rdvct/«gu mJhHto 附-zpcd ucv-c l七”七 jobcl Vnt -2 nfi.O- Mircti«j*rkdd。由口-2.£ .&/shdre/had/nd(

15、?rtduc/sor<esFhw如白9-r-educ-cIterrt-cnrces，口由h iifoep 工 g 由，曲HMdooW”口 r tdvct/sw(/，2口*d uct-c lltnc M * 乐 »tt>t，wurcts d«rh鼻的口32.白 ®，LTCTRfE.Enth adoop-2.fi CQ-/HEA DflE .txtti vdw工工力冲Ulfh»daQ中工.营伟，hd£ . UMdlha(jtoo3*Zu6 0'/lJtn/te5t-conitalnerexecutor h加幻 / B/bln /

16、ciMit jnor kvclit r ”的/ .卸曲iMhdcig,56 hadocD - 2.6 &/btn/r<c hidoofi t/bln/hdfih3疝口口mN . 6 B'/btn/njpred haidop-lG/btn/MdQpp hid»p 2,O/bln/yirn.end h *dg。75. 07 M RfprE * 5cl hddoQp-2r&/btn/yarn hildoo 2 5 .制 MulM*/h 白壮口口>-工.6 . 9/ Llud-fr/Tt tFAC fc'Qf y . hhhaddop 2.6 ,&

17、amp;/ Inclwle/Str IngUtll. hli1)/修£口 工 A a，1mEllM*/hdr，. h h*<dg A 工.却 LiliC lud«/Pi /工.hh haicJocD-26 &/LnclwJe/5«rtalutHs hhh#$。如 1?*必鼻4Ra二雷Ljrf口 fw h4rk：np/I鼎”的 /u%r/Iqc11 /hiiDDph54： -S eTci ch Rod 777 /u>Er/lac>l/hadi>B0!314口。“曜1上辱曰*1；3*：$ 4.测试验证.MU-I Ir'： 

18、9;J . flLU <前忖则 128Ga48M5。:-J source-/.bashrc，动：Na，黑h flip or dire;tcr昶m闻虱:副白邨咖*4 source -/tbishrcdW: wport; not a valid idintlherN:，h<w嗝旧口op，.加钻“：；irc j0: syntaK trrcr ear Lhcxpecttd token 飞TART'esH /hoM/hadnp/itiKhrc; Um SB; "tsxiWOQP START1m址却内2规%4fi抬巾：，yr /hhadoopy.hrrad 忡谏 K2 割a#

19、&45*:*$dd峋浜 12SOMSH立：4 Mn 伽*，岫如p/kshrwM附照睢耽48MK：d source J.bashrc如：制用H:帕t 曰 valid identifier对"Mn«Jhdmp/ba前亡 H* SB：刖t* error near upKtM token 'SlttV«5l|： /bone/MOQPtHShrc： ItM kIHADQOP 5TMT1Mocjel加a锄税:jid附即也2部/5.相关配置文件修改：修改core-site.xml:6.格式化HDFS文件系统.7.Hadoop集群启动.198 .测试验证.ff:

20、:0 lp6 mcastp re fixff02：i1 ipG-allndd«ft ft02: ;2 -all routers9 .设置Host映射文件.151.101,72,133 115+159.21G,235 23 192,30,255,11310.1S7.220 .810.143.3d.200 10,10334.200151.1O1.IS.1G2 09 151.101,36.209 13 10.252.13&,123 192.1G. 14Sassets-cdn.gixhub

21、 rcom g«ms.ruby - china,o rg git T github,hoeLabf lie . dss aliyuncxCDBi mir ror.aliyun,com mir r*gis+ ry,npm j 3,o rg repol.waven.arq r右pnN.h aven.o r0 www. sh iy anl ou . coin 5e2f&aSb704to 5i2f&a9b704b10 .下载并解压hadoop安装包11 .在Hadoop-1.1.2目录下创建子目录.Shiyarblcu6e2f6ft9b7e4b instsil-pack $

22、td /app/hsdoop- 1 L P 2shiyanlcu(d6»2f6a9b70flb hadoop-1L1 2Smkdir tupshiyanlou5e2f6a9b7G4b hadoop-1.1.2)(nkdur hafsstiiyanloutf42f£*9b7Q4b hadoop-1 r 1.2$nkdxr hashiyanlcu5e2f6a9b7G4b hadoap-1.1.2Srikdir hafs/dataLhiyiVUu西u2fG占gb704b h&doop-1.1.2)5匕binhadoop client-1.1.2, j右 rivysb in

23、buid. xralhadoop-ccre-1r1.2, j arivy.xnlshareC-H+h«doop examples，1,1.2.jarlib5 rcCHANGES.txthadoop-ninicluster-1>1.2.j arlibexectupcanfhadoop-lest 1r1.2 +jarLICENSE.txtMebappscont ribhadoop-tools-1.1.2.jarNOTICE.txthadacp'Ant -LIL ir h-F事REAME.txt12 .启动 hadoop.13 .编译 Hadoop2.X 64 位.shiya

24、nlou解c422836e38f instaU-packS source /etc/profile shiyanlou0c422836e38f install-pack$ java -versionjava version "1.5.0"gij (GNU libgcj) version 4.4,7 20120313 (Red Hat 4.4.7*11)Copyright (C) Free SoftMae F口undat工。3 Im14 .使用yum安装sun.15 .部署 Hadooop2.X.与 Hadoop1.X 类似。实验环境hadoop Xfce 终端实验结果与 分

25、析通过本次实验，让我对Hadoop有所了解，但是在实验过程中出现许多问题。 例如，不知道该如何卜载java jdk ,甚至如何创建文件夹目录下的文件，以 及Hadoop的环境配置原理以及编译原理和方法。这些都是实验中出现的问 题，但是通过自己查询，问同学，部分问题已经得到解决，但是还存在F 分就只能通过课后自学进行解决！ ！ ！通过上述的学习，让我对Hadoop的基 本操作由J基础的掌握，包括Hadoop介绍及1.X伪分布式安装，adoop2.X 64 位编译，Hadoop2.X 64位环境搭建等。教师评语注：可根据实际情况加页%酎界低大学27课程实验报告专业年级14级软件工程课程名称大数据技

26、术原理与应用指导教师李均涛学生姓名昼勇学 号 20142205042026实验日期 2017.06.01实验地点 笃行楼B栋301实验成绩教务处制实验项目 名称 实验一 目的及要求HDF丽 MapReduce1. HDFSM理及操作。2. MapReduc掠理及操作。实验内容实验步骤1. HDFSM理及操作。环境说明，HDFSM理，HDFSHDFS实操作，HDFST操作，测试例子2. MapReduce理及操作。环境说明，MapReduce原理，Map过程，Reduce过程，测试例子1 .HDFS原理及操作。1.1 环境说明。虚拟机操作系统：CentOS6.6 64位，单核，1G内存JDK 1

27、.7.0_55 64 位Hadoop HDFSM理。HDFS(Hadoop Distributed File System )是一个分布式文件系统， 是谷歌的GFS山寨版本。它具有高容错性并提供了高吞吐量的数据访 问，非常适合大规模数据集上的应用，它提供了一个高度容错性和高 吞吐量的海量数据存储解决方案。1.3 HDF欧构。HDFS1 Master 和 Slave 的结构，分为 NameNodeSecondary NameNod 和DataNode三种角色。1.4 HDFSS操作。客户端通过调用FileSystem对象的open()方法来打开希望读取的文1.5 HDFSf操作

28、。客户端通过调用 DistributedFileSystem 的create()方法创建新文 件。1.6 测试例子1。1.创建代码目录(shiyanlou07B5dfc 8fe03bbin J $ cd /app/hadoop-1.1.2I shJLy-Hnlou(fl78Sdf c8f e03b I shiyuainlou(i1785df c8f e0 3b lshzyanlou0705dfc8fe03b lshxyanlouti3785df c0teO3b l&hAyanlou07B5dfc8fe03b bxnhadoop «1k1i 2$ rm * rf mycla5s

29、 hfidoop' 1 .1.2$ rm - rf input hadoop - 1 P 1B 2 $ mkdlir Myclss hadoop-i.1.2j $ mkdur input Hadcip -1.1.2$ Imhadoop-eorel.l*S.jarivy注同附Ibuild.xmlhadoop- examples * 1.1.2.j » rlibC+hadoop-minxcluste r*1.1,2.jar"L IbexecCHANGES-txthadoop test 1.1.2.j a rLICENSE.txtconfhadoop-tools -1.1

30、.2.j a rlogscent ribhdf smyclass-ant -MOTICE.tsthadoop-c Lient- 1.1.2 -j a rivyFlEAOHE.txt2. 建立例子文件上传到HDFStIshiyanloij07B5dfcBfeG3b irput S hadoop fs -rnkdir /class4 shLyanlcu7B5lfc8feG3b irput5 hatkop fs -Is /:ound 2 it”5irwxr-xrTX shiyanlou supergroup0 2017-06*01 02:54 /«pplrwxr-xr- shiyanlou

31、 supergroup0 2017-06<O1 02:57 /class4&hiyjnLqu'7S5dfrS:M3b input $3. 配置本地环境4. 编写代码5. 编译代码shiyanlou<fl785dfcBfe03b myclass$ javar -classpath ./hadoop-c a re -1.1.2.j a f FileSystemfat.shiyanlouESdfcBfeOBb lyclasBjf lltotal 8*rw=!*=- 1 shiyanlou shiyanlou 122s Jun 1 03;01 FLleSy itemCat.

32、*rw-rw-r- 1 shiyanlou shiyanlou 620 Jun 1 039。FiteSystemCat .java6. 使用编译代码读取HDFSfc件2. MapReduce原理及操作。2.1 环境说明。虚拟机操作系统：CentOS6.6 64位，单核，1G内存JDK 1.7.0_55 64 位Hadoop MapReduce®理。Map和Reduce当彳向MapReduce框架提交一个计算作业时，它会 首先把计算作业拆分成若干个 Map任务，然后分配到不同的节点上 去执行，每一个Map任务处理输入数据中的一部分，当 Map任务完 成后，它会生成一些

33、中间文件，这些中间文件将会作为 Reduce任务 的输入数据。Reduce任务的主要目标就是把前面若干个 Map的输出 汇总到一起并输出。2.3 Map过程。每个输入分片会让一个 mapff务来处理，默认情况下，以 HDFS勺一 个块的大小（默认为64M）为一个分片，当然我们也可以设置块的大 小。map输出的结果会暂且放在一个环形内存缓冲区中（该缓冲区的大小默认为100M由io.sort.mb 属性控制），当该缓冲区快要溢出 时（默认为缓冲区大小的80%由io.sort.spill.percent 属性控制）， 会在本地文件系统中创建一个溢出文件，将该缓冲区中的数据写入这 个文件。2.4 Re

34、duce过程。Reduce会接收到不同mapff务传来的数据，并且每个 map专来的数 据都是有序的。如果reduce端接受的数据量相当小，则直接存储在 内存中（缓冲区大小由 mapred.job.shuffle.input.buffer.percent 属性控制，表示用作此用途的堆空间的百分比），如果数据量超过了 该缓冲区大/卜的定比例（由 mapred.job.shuffle.merge.percent决定），则对数据合并后溢写到磁盘中 2.5测试例子。1.编写代码。shiyanloub9b774d5aab6 myclass$ IsMinTemperature.javaMinTemp e

35、ratu reReduce r + javaMinTempe ratu reMappe r.javaMinTemperatureRe2.编译代码616CUMCUOUu un n n n nrtnrlm u u u u-J-36114 £0- I I 4 14 98 1* 11 14 06:50 4 014 Ob:50 4 02：lb 4 Ot：5O 4 06:504 01：554 0 6:50 4 0:48 4 06;50 4 06:49 4 06:50dVdCf i Ipsysrcmcat h cl FileSystemCat.ja Kdfsi. ocaKile,c Hdfs2lo

36、calFile.i Ltxalf i lendfsSl Locab i e2Hdfs.c .Localri 1 c2Hcifs MInTeiperafure *c MinTtimperature. ji-core 1-rw-rw-r- 1-rw*r*w*r* * 1rw . rw = 1-rwrw-r- 1shiyan'tou shiyar 1 ou shiyanou shiyanlou1 shiyaTou 1 shiyanlou 1 shiyari 1 ouR_arr -vj u * rl -打 lydFI IOUWU 393dz (shiyanlouab tot Al 5?rw r

37、w r nrshiyainTcMJ -or-r> r - 1 shiyanlou -rw-rw-r'1 5hiyanlou -rw-rw-r- 1 shiyarlou -(w-rw-r- 1 sh iyanldu L J1 ._LunT « Ri 14 I Gl.*nn ”JC 05 b3 9882 62 51,class57%)57%)LSniyanlcuabS53ald54c1 myc lassjl jar cvt ./MinTeniperature. jar ./ added manifestadding: Fi 1 cSy&i<?nCat,c 1 ass(in 12?5) (out- 664)Cdeflatcd 45*)adding: HdfsZlocalFile. class (in - 1156) (out- 77D(drfiated 43%)adding： LocalFile2HdfsSl.cla$s(in = 566) (out-3.打包编译文件4.解压气象数