伪分布式开发环境搭建步骤.docVIP

伪分布式开发环境搭建步骤说明该伪分布式开发环境是在虚拟机上搭建的，在windows上安装虚拟机软件，在虚拟机上安装linux操作系统，在linux环境下安装hadoop。对于运行虚拟机的windouws操作系统，我们称为“宿主机”，对于运行在虚拟机里的linux操作系统，我们成为客户机。1.1 虚拟机软件安装1.1.1 VMWare简介VMWare虚拟机软件是一个“虚拟PC”软件，它使你可以在一台机器上同时运行二个或更多Windows、DOS、LINUX系统。多个操作系统在主系统的平台上，就象标准Windows应用程序那样切换。而且每个操作系统你都可以进行虚拟的分区、配置而不影响真实硬盘的数据，可以通过网卡将几台虚拟机用网卡连接为一个局域网。1.1.2 VMware安装解压缩安装包，运行安装程序，按照提示即可完成安装。1.1.3 载入linux镜像文件该压缩包为VMWare专用的linux镜像文件，将该压缩包解压至任意文件夹。打开VMware，在主页中找到“打开虚拟机”。找到刚才解压的镜像文件目录，选择镜像文件，点击“打开”。1.1.4 配置基本参数该镜像文件基本参数已经是配置好的，直接运行即可。内存大小可以根据自己的电脑配置情况稍作调整（配置高的建议选择1G），网络适配器一定要选择“仅主机模式”。1.1.5 运行虚拟机选中刚刚设置好的虚拟机，点击“开启此虚拟机”。选择Other，然后以用户名：root，密码：hadoop登录注意：root用户具有最高的权限，为了操作演示方便，所以使用root用户登录，实际生产中一般不使用root用户登录。登录完成后即可看到linux操作系统的桌面：1.1.6 查看虚拟机的主机名、IP地址、位数# uname -n 命令可以查看主机名，# ifconfig 命令可以查看IP地址：# unama -a 命令可以查看位数：如果显示了64-bit则是64位，不显示则是32位，该镜像为32位。至此，虚拟机的基本安装与运行完成。1.2安装文件传输工具1.2.1 WinSCP工具简介WinSCP是一个Windows环境下使用SSH的开源图形化SFTP客户端。同时支持SCP协议。它的主要功能就是在本地与远程计算机间安全的复制文件。1.2.2 WinSCP工具安装直接运行安装包，按照提示完成安装。1.2.3 WinSCP连接虚拟机点击“新建”：主机名输入刚才查看到的IP地址，用户名和密码填写当前登录的用户名和密码，即root，hadoop，点击“登录”，如果需要反复登录可以选择“保存”，避免重复输入。登录成功后界面如下：左边是宿主机（windows）的文件目录，右边是客户机（linux）的文件目录，可以看出该工具能够以图形化界面的形式查看和操作客户机（linux）中的文件与目录，极大地简化了操作。同时想要把宿主机（windows）中的文件拷贝到客户机（linux）中，只需要用鼠标拖拽即可。1.3 在虚拟机中安装JDK1.3.1 解压JDK的压缩包将jdk-7u51-linux-i586.tar.gz拖入 /usr/local 目录下：进入到 /usr/local 目录，列出文件，使用解压命令 # tar xvzf 解压，这里使用的JDK版本是JDK7。为了方便操作，解压完成后直接将解压出的文件夹重命名为jdk，1.3.2 配置环境变量使用# gedit 命令编辑etc目录下的profile文件：在文件的末尾处写入：export JAVA_HOME=/usr/local/jdkexport PATH=.:$PATH:$JAVA_HOME/bin1.3.3 验证JDK是否安装成功输入# java -version命令，出现如下提示，说明JDK安装成功。1.4其他设置1.4.1 关闭防火墙输入 # setup 命令调出设置面板：选择：Filewall configuration，按回车进入防火墙设置：可以看到Firewall这一选项前面有一个“*”，表示防火墙已经启用，把光标移至此处，按空格，去掉“*”，再通过tab键保存退出即可。使用# service iptables status 命令可以查看防火墙的状态，提示“not running”则表示防火墙已经关闭1.4.2 设置DNS解析使用gedit命令编辑hosts文件：在文件末尾处写入IP地址和主机名：1.4.3 设置ssh面密码登录进入/root目录，输入ls -a列出文件列表，可以看到一个“.ssh”的隐藏文件，该文件用于存放我们生成的密匙：输入： # ssh-keygen -t rsa 命令，会提示输入三次回车，然后按三次回车即可：进入.ssh，输入 # ls -l命令，出现如下提示：输入 # cp id rsa.pub authorized_keys 命令，生成授权文件：验证面密码登录是否设置成功：输入两次 # ssh localhost 第一次执行时需要确认，第二次不需要确认，则表示设置成功。至此虚拟机中的基本配置已完成。1.5 安装hadoop.1 解压hadoop1.1.2的压缩包将hadoop-1.1.2.tar.gz托入/usr/local目录下进入到 /usr/local 目录，列出文件，使用解压命令 # tar xvzf 解压。为了方便操作，直接将解压出的文件夹重命名为hadoop。1.5.2 配置环境变量使用gedit命令编辑profile文件：在刚才配置的JDK的环境变量后面加入hadoop的环境变量：注意：这里是用冒号分隔而不是分号。1.5.3 hadoop的目录结构Hadoop的目录结构如下，这里我们重点关注 bin目录和conf目录：1.5.4 修改hadoop的配置文件修改hadoop环境变量脚本配置文件，进入hadoop目录中的conf目录。找到hadoop-env.sh文件，将第九行改为：export JAVA_HOME=/usr/local/jdk找到core-site.xml文件，在configuration节点中添加：hadoop.tmp.dir/home/hadoop/tmphadoop_hdfs:/localhost:9000hdfs_derect找到hdfs-site.xml文件，在configuration节点中添加：dfs.replication1num找到mapred-site.xml文件，在configuration节点中添加：mapred.job.trackerlocalhost:9001jobtracker_derect1.5.5 格式化文件系统HDFS文件系统首次运行时需要格式化，执行命令：# hadoop namenode -format注意：仅在第一次启动时需要格式化，不是每次启动都要格式化。如果真的有必要在此格式化，需要先删除 /home/hadoop/tmp 目录下的全部文件。1.5.6 启动hadoop输入命令：# start-all.sh，启动hadoop程序输入命令：# jps ，查看进程，如果显示结果如下图，有这五个进程，表示hadoop启动成功。关闭hadoop命令为：# stop-all.sh至此hadoop安装完毕。1.6 运行hadoop自带的wordcount示例程序1.6.1 创建本地示例文件在 /home/hadoop 目录下创建一个名为“file”的文件夹，然后在file文件夹里分别创建两个文本文件：file1.txt和file2.txt。其中file1.txt的内容为“hello world”，file2.txt的内容为“hello hadoop”。1.6.2 在HDFS上创建输入文件夹输入命令：# hadoop fs -mkdir input 创建input目录，然后输入命令：# hadoop fs -ls 查看：1.6.3 将本地的示例文件上传到HDFS的input目录下输入命令：# hadoop fs -put /home/hadoop/file/file*.txt input ，将刚才创建的两个文本文件上传至HDFS的input目录下。输入命令： #hadoop fs -ls input 查看：1.6.4 运行hadoop-examples-1.1.2.jar中的wordcount示例进入hadoop安装目录，列出文件：输入命令：# hadoop jar hadoop-examples-1.1.2.jar 可以查看该jar包中的内置示例程序，最后一个就是我们需要运行的wordcount：输入命令：# hadoop jar /usr/local/hadoop/hadoop-