hadoop开发实例04-Hadoop2.0.ppt

Hadoop大数据解决方案进阶应用,Hadoop,讲师：迪伦（北风网版权所有）,Hadoop 2.0(4),准备与配置安装环境 实验环境 操作系统环境配置,课程目标,准备与配置安装环境,服务器准备 安装虚拟机和linux，虚拟机推荐使用vmware PC可以使用workstation，配置低的话可选择Cygwin，模拟linux环境 服务器可以使用ESXi，在管理上比较方便。ESXi还可以通过拷贝镜像文件复制虚拟机，复制后自动修改网卡号和ip，非常快捷。如果只是实验用途，硬盘大约预留20-30G空间。 操作系统 Redhat 5.2 分区可以选择默认，安装选项默认即可，注意选项里应包括ssh，vi（用于编辑配置文件），perl等（有些脚本里包含perl代码需要解析） JAVA环境 到Oracle官网下载java jdk安装包，并且进行安装,三种运行模式,单机模式：安装简单，几乎不用作任何配置，但仅限于调试用途 伪分布模式：在单节点上同时启动namenode、datanode、ResourceManager、NodeManager、secondary namenode等5个进程，模拟分布式运行的各个节点 完全分布式模式：正常的Hadoop集群，由多个各司其职的节点构成,实验环境,硬件环境 VMware虚拟机软件8.0 三台Linux虚拟机：RedHat 5.2 安装介质： hadoop-2.2.0 Java： java 1.6 虚拟机配置,操作系统环境配置,确保关闭防火墙（三台主机） service iptables stop chkconfig iptables off 关闭SELINUX （三台主机） 修改/etc/selinux/config 中的SELINUX=“ 为 disabled 修改/etc/hosts （三台主机） 192.168.136.101 mdw master 192.168.136.102 sdw1 slave1 192.168.136.103 sdw2 slave2,操作系统环境配置,安装JAVA（三台主机） 上传文件并授权后，执行配置 # ./jdk-6u45-linux-i586-rpm.bin 验证 # java version 配置JAVA环境（三台主机） 在.bashrc文件末尾添加如下内容： export JAVA_HOME=/usr/java/jdk1.6.0_45 export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:/lib/dt.jar export PATH=$JAVA_HOME/bin:$PATH,创建相同的用户（三台主机） # useradd hadoop # passwd hadoop 确保主机之间建立了信任关系，实现无密码登录（三台主机） 生成密钥并配置SSH无密码登录主机 $ ssh-keygen -t rsa $ cat /.ssh/id_rsa.pub /.ssh/authorized_keys 将文件拷贝到另外两台主机 $ scp /.ssh/authorized_keys slave1:/.ssh/ $ scp /.ssh/authorized_keys slave2:/.ssh/ 三台主机上执行: $ chmod 600 authorized