Hadoop的单机模式安装.ppt

1、Hadoop的单机模式安装,1.安装ubuntu 10.10操作系统,1.下载ubuntu-10.10-desktop-i386.iso 2.直接在windows下双击执行wubi.exe。 3.重启进入ubuntu liunx系统,2.ssh的安装和配置,实现ssh无密码登陆 $sudo apt-getinstall openssh-sever$ssh-keygen-trsa-P-f/.ssh/id_rsa 直接回车，完成后会在/.ssh/生成两个文件：id_dsa 和id_dsa.pub。这两个是成对 出现，类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有auth

2、orized_keys$cat/.ssh/id_rsa.pub/.ssh/authorized_keys完成后可以实现无密码登录本机,3.安装jdk,$chmod +x jdk-6u24-linux-i586.bin $./jdk-6u24-linux-i586.bin 安装完后设置java 环境变量如下 命令 ： $sudo gedit /etc/profile 然后添加如下语句到/etc/profile 中： export JAVA_HOME=/home/hadoop/jdk1.6.0_14 export JRE_HOME=/home/hadoop/jdk1.6.0_14/jre expo

3、rt CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH,4.设定hadoop-env.sh,$sudo gedit hadoop-env.sh 在hadoop-env.sh中添加 exportJAVA_HOME=/usr/lib/jvm/java-6-sunexportHADOOP_HOME=/opt/hadoopexportPATH=$PATH:/opt/hadoop/bin,5.设定hadoop配置文件,Hadoop配置文件在conf 这个目录

4、下 1.设定cote-site.sml 命令 $sudo gedit cote-site.sml 在其中添加 hdfs:/localhost:9000 hadoop.tmp.dir /tmp/hadoop/hadoop-$ ,5.设定hadoop配置文件,2. 设定hdfs-site.sml 命令 $sudo gedit hdfs-site.sml 在其中添加 dfs.replication 1 ,5.设定hadoop配置文件,3.设定mapred-site.xml 命令 $sudo gedit mapred-site.xml 在其中添加 ma

5、pred.job.tracker localhost:9001 ,6.启动hadoop,启动Hadoop $bin/start-all.sh执行画面如：startingnamenode,loggingto/opt/hadoop/logs/hadoop-hadooper-namenode-vPro.outlocalhost:startingdatanode,loggingto/opt/hadoop/logs/hadoop-hadooper-datanode-vPro.outlocalhost:startingsecondarynamenode,loggingto/opt/hadoop/logs/hadoop-hadooper-secondarynamenode-vPro.outstartingjobtracker,loggingto/opt/hadoop/logs/hadoop-hadooper-jobtracker-vPro.out,Hadoop部分代码解析,在org.apache.hadoop.mapreduce 中实现了hadoop核心之一的mapreduce过程。 Mapreduce主要分为map和reduce这两个过程 InputFormat 貌似是获取输入的数据，然后将