Hadoop开发环境eclipse搭建

1、1.1. 文档说明本文档包含使用eclipse开发工具基于hadoop平台开发Map/Reduce的说明和示例。2. 开发前准备下面所述中除了MR要安装在服务器上之外，其他的都是需要在本地开发环境上安装。2.1. 安装MR由于Map/Reduce的运行依赖于MR，所以要提前将MR安装在服务器上，并且保证MR的hdfs和mr进程运行正常。同时复制MR到本地，解压到任意目录，供本地开发使用，服务器上MR的安装请参考MR相关安装手册。2.2. 安装Cygwin如果本地开发环境的操作系统是Windows，需要先安装Cygwin，如果是Linux则不需要。2.2.1. Cygwin的安装如果只是Dmp的

2、本地开发可以不安装Cygwin；Cygwin可以在windows环境下安装一个linux模拟环境来进行调试。在安装Cygwin之前，得先下载Cygwin安装程序setup-x86.exe。Cygwin安装程序下载地址：Cygwin 安装程序的存放目录可随意无要求。当下载成功后，运行setup-x86.exe，弹出如下图所示的对话框：在上图所示的对话框中，直接点击“下一步”，进入如下图所示的对话框：在上图所示的对话框中，选择“Install from Internet”，然后点击“下一步”，进入如下图所示对话框：在上图所示的对话框中，设置Cygwin 的安装目录，Install For 选择“A

3、ll Users”，DefaultText File Type 选择“Unix/binary”，然后点击“下一步”，进入如下图所示对话框：在上图所示的对话框中，设置Cygwin 安装包存放目录，然后点击“下一步”，进入如下图所示对话框：在上图所示的对话框中，根据实际网络情况选择连网方式，然后点击“下一步”，如果进入如下图所示对话框：在上图所示的对话框中，点击“下一步”，将进入如下图所示的对话框：进入“Select Packages”对话框后，必须保证“Net Category”下的“OpenSSL和openssh”被安装，如下图所示：如果还打算在eclipse 上编译Hadoop，则还必须安装

4、“Base Category”下的“sed”，如下图所示：当完成上述操作后，点击“Select Packages”对话框中“下一步”，进入Cygwin 安装包下载过程，如下图所示：等待安装包下载完毕，当下载完后，会自动进入到如下图所示的对话框：在上图所示的对话框中，选中“Create icon on Desktop”，以方便直接从桌面上启动Cygwin，然后点击“完成”按钮。至此，Cgywin 已经安装完。2.2.2. 配置环境变量Cygwin 的bin 目录，以及Cygwin 的usrsbin 目录都必须添加到PATH 环境变量中，如下图所示：2.2.3. 安装sshd服务点击桌面上的Cyg

5、win图标，启动Cygwin，执行ssh-host-config命令，如下图所示：在执行ssh-host-config 时，当要求输入yes/no 时，选择输入yes，如下图所示：当出现提示是否要将sshd作为windows服务安装时，选择yes然后出现下图所示时输入：ntsec完成配置，如下图所示：2.2.4. 启动sshd服务在桌面上的“我的电脑”图标上单击右键，点击“管理”菜单，进入Windows 计算机管理，如下图所示：在上图所示的对话框中，选中“CYGWIN sshd”，弹出右键，并启动CYGWIN sshd服务，成功后，如下图所示：当CYGWIN sshd 的状态为“已启动”后，接

6、下来就是配置ssh 登录。2.2.5. 配置ssh登录执行ssh-keygen命令生成密钥文件，需要输入时，直接按回车键即可，如果不出错，应当是需要三次按回车键。接下来生成authorized_keys文件：cd .ssh/cat id_rsa.pub > authorized_keys完成上述操作后，执行exit命令先退出Cygwin窗口，至此，配置ssh 登录成功，下面就可以开始安装DMP了。.2.3. 安装JDKJDK安装此处不再详述，需要注意的是JDK 必须是1.6 或以上版本，建议使用最新的1.7版本。安装完成后需要配置环境变量JAVA_HOME 指向JDK 安装目录；JDK的

7、bin 目录需添加到Path环境变量中。2.4. 安装eclipse和eclipse插件2.4.1. 安装eclipse下载eclipse4.2或者更高版本，解压到安装目录即可使用。建议使用公司的Cloud-IDE集成开发环境，到下面地址下载最新版本的Cloud-IDE。0:8080/UMAP/update/download.html2.4.2. 安装hadoop插件复制 Hadoop版本插件hadoop-2.0.0-cdh4.1.5-eclipse-plugin.jar 到 eclipse安装目录/plugins/ 下，其中插件是自己从网上下载的与hadoo

8、p版本配套的插件版本，重启eclipse。如果安装插件成功，打开Window->Preferens，你会发现Hadoop Map/Reduce选项，在这个选项里你需要配置Hadoop installation directory，输入在本地MR解压后所在的目录（hadoop中的所有lib需要在此目录下），如下图所示：点击OK，回到eclipse主界面，然后点击window->Show View->Other，找到Map/Reduce Locations并选中，如下所示：点击OK，回到eclipse主界面，在Map/Reduce Locations视图中依此点击右键，选择New Hadoop location，出现如下图所示：其中Location name是用来标识当前配置的，由用户自定义，在Map/Reduce Master选项卡里Host为安装好的MR服务器（jobtracker）的IP地址或域名，Port为服务器上jobtracker的监听端口，DFS Master选项卡里Host为安装好的MR服务器（NameNode）的IP地址或域名，如果与jobtracker同在一台机器上则勾选Use M/R Master host，端口为NameNode的监听端口，User name为使