hadoop实验报告0001

1、基于hadoop的大规模文本处理技术实验专业班级：软件1102学生姓名：张国宇学号：Setup Hadoop on Ubuntu 11.04 64-bit提示：前面的putty软件安装省略；直接进入 JDK的安装。1.1 nstall Sun JDK由于Sun JDK在ubuntu的软件中心中无法找到，我们必须使用外部的PPA翻开终端并且运行以下命令：sudo add-apt-repository ppa:ferramroberto/javasudo apt-get updatesudo apt-get in stall sun-java6-b insudo apt-get in stall

2、sun-java6-jdkAdd JAVA_HOME variablev配置环境变量 :先输入粘贴下面文字：sudo vi /etc/e nvir onment再将下面的文字输入进去：按i键添加，esc键退出，X保存退出；如下列图：export JAVA_HOME=/usr/lib/jvm/java-6-su n-1.6.0.26Test the success of installation in Terminal:sudo . /etc/e nvir onment java - vers ion2. Check SSH Sett in g ssh localhost 如果出现“ conne

3、ction refused ，你最好重新安装 ssh 如下命令可以安装 ： sudo apt-get install openssh-server openssh-client 如果你没有通行证 ssh 到主机，执行下面的命令：ssh-keygen -t dsa -P -f /.ssh/id_dsacat /.ssh/id_dsa.pub /.ssh/authorized_keys3. Setup Hadoop安装 apache2sudo apt-get install apache2 下载 hadoop：解压 hadoop 所下载的文件包：下载最近的一个稳定版本，解压。编辑 / hadoop

4、-env.sh 定义 java_home “use/library/java-6-sun-1.6.0.26 作为 hadoop 的根目录：Sudo vi conf/hadoop-env.sh 将以下内容加到文件最后： # The java implementation to use. Required. export JAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.26 Pseudo-Distributed Operation Single-Node Cluster:将下面中间局部插入： 得到如图：cat conf/core-site.xml: cat conf

5、/hdfs-site.xml:dfs.replication1cat conf/mapred-site.xml:localhost:9001Switch to hadoop root directory and format a new distributedfile system:bin/hadoop namenode - format注意：这一步一定不能掉，否那么后面会出错！Youll get info like“Storage directory /tmp/hadoop -ubuntu/dfs/namehas been successfully formatted. Remember t

6、his path is the HDFS home directory of namenode. 你会得到提示：你已经成功格式化。 Start and stop hadoop daemons 启动和终止进程。 :bin/start-all.sh (start the hadoop)bin/stop-all.sh (stop the hadoop)Web interfaces for the NameNode and the JobTracker:NameNode-提示：如果前面没有格式化成功，这个网址会出现就不去的现象！ ！如果进不去就先结束进程，重新格式化然后再开始进程。JobTracker

7、 -4. Deploy An Example Map-Reduce Job 创立路径 /home/ubuntu/mapreduce/wordcount/ ，并在该目录下放置文本文件 worldcou nt.txt 。然后将这些文件复制到 HDFS目录：bin/hadoop dfs -copyFromLocal /home/ubuntu/mapreduce/wordcount/tmp/hadoop-ubuntu/dfs/name/wordcountbin/hadoop dfs -ls /tmp/hadoop-ubuntu/dfs/name/wordcountRun the job:bin/had

8、oop jar hadoop*examples*.jar wordcount/tmp/hadoop-ubuntu/dfs/name/wordcount/tmp/hadoop-ubuntu/dfs/name/wordcount-outputIf the output info looks no problem, copy the output file from HDFS tolocal directoryv如果输出信息看起来没有问题，从 HDFS输出复制文件到本地目录的： :bin/hadoop dfs -getmerge /tmp/hadoop-ubuntu/dfs/name/wordcount-output/home/ubuntu/mapreduce/wordcount/Now you can open the output file in your local directory to view theresults 实验总结：1、在实验过程中，发现对