CDH集群安装步骤

环境准备1 cpu：2.6GHZ*2，ram：16G，rom：500G hostname: hadoop12 cpu：2.6GHZ*2，ram：16G，rom：500G hostname: hadoop23 cpu：2.6GHZ*2，ram：16G，rom：500G hostname: hadoop34 cpu：2.6GHZ*2，ram：16G，rom：500G hostname: hadoop45 cpu：2.6GHZ*2，ram：16G，rom：500G hostname: hadoop5root/iscs2016关闭防火墙：chkconfig iptables off，重启生效关闭SELINUX：使用getenforce命令查看是否关闭，关闭前显示为enforcing。修改/etc/selinux/config 文件将SELINUX=enforcing改为SELINUX=disabled，执行该命令后重启机器生效修改5台机器网络设置重启网络：service network restart检查IP是否修改：ifconfig检查能否联网：设置机器名：vi /etc/sysconfig/network，每台分别对应一个机器名，以此类推设置HOST文件：vi /etc/hosts对网络设置进行重启：sudo /etc/init.d/network restart互ping验证是否设置正确：所有节点增加用户adduser iscs设置密码:passwd iscs (iscs2016)所有节点设置iscs用户无密码sudo到root权限：1、 给文件赋予写权限chmod u+w /etc/sudoers 2、 增加一行3、 给文件删除写权限给文件赋予写权限chmod u-w /etc/sudoers 4、 OKNTP时间同步SSH无密码验证设置（用户iscs）：1、 在每个节点中使用ssh-keygen -t rsa生成私钥和公钥；连续点击回车即可2、在5个节点中分别把公钥命名为authorized_keys_hadoop1、authorized_keys_hadoop2、authorized_keys_hadoop3、authorized_keys_hadoop4、authorized_keys_hadoop53、以第一个节点hadoop1为例，把其他四个节点的公钥使用scp authorized_keys_hadoop2 iscshadoop1:/home/iscs/.ssh 命令传送到hadoop1节点的/home/iscs/.ssh文件夹中4、把五个节点的公钥信息保存到authorized_key文件中，使用cat authorized_keys_hadoop1 authorized_keys命令5、把该文件分发到其他四个从节点上使用scp authorized_keys iscshadoop2:/home/iscs/.ssh把密码文件分发出去6、测试ssh免密码登录是否生效7、设置ntp时间同步1) 安装NTP(每个节点) yum install ntp2) 配置NTP Vim /etc/ntp.confMater配置(选用复旦大学ntp服务器)Slave配置（每个slave节点）：3) 开启ntp服务/bin/systemctl start ntpd.service4) 查看同步效果ntpstat所有节点设置httpd启动：开机启动：sudo chkconfig httpd on手动启动：sudo service httpd start安装依赖包：yum -y install postgresql-serveryum -y install postgresqlyum -y install httpdyum -y install perlyum -y install bind-utilsyum -y install libxsltyum -y install cyrus-sasl-gssapiyum -y install redhat-lsbyum -y install cyrus-sasl-plainyum -y install portmapyum -y install fuseyum -y install fuse-libsyum -y install nc yum -y install python-setuptoolsyum install openssh-clientsCloudera Manager安装下载Cloudera Manager 安装软件/cm5/installer/这里选择Cloudera Manager 最新版5.0.1/cm5/installer/latest/cloudera-manager-installer.bin下载Cloudera Manager所需要的rpm包/cm5/redhat/6/x86_64/cm/5.0.1/RPMS/x86_64/将上述软件与报上传至Linux环境，我这里上传到/root/p01/cdhrpm (注：路径随意)在此路径下：执行：yum localinstall -nogpgcheck*.rpm(安装rpm包)执行：chmod u+x cloudera-manager-installer.bin（给下载的bin文件权限）执行：./cloudera-manager-installer.bin（大约十分钟左右，按提示选择即可）安装好后，执行jps -l，查看服务是否启动浏览器输入1:7180,进入manager界面（具体IP视个人而定，端口为7180，初始用户名密码均为admin）Cloudera Manager文件配置及本地源配置配置config.ini文件修改主机名(只针对mater节点，slave节点server_host指定为master的IP)vi /etc/cloudera-scm-agent/config.ini修改前为：localhost 修改后为：localhost.localdomain本地源配置Parcel的可以从如下网址获得，下载.parcel文件和manifest.json文件：/cdh5/parcels/5.0.1/因为这里用的是CentOS6.5,所以选择CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel/cdh5/parcels/5.0.1/CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel注意：Parcel文件对应不同的系统版本CentOS 6.X对应CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcelCentOS 5.X对应CDH-5.0.1-1.cdh5.0.1.p0.47-el5.parcell把以下载的.parcel文件和manifest.json文件拷贝到/opt/cloudera/parcel-repo/文件夹下l新建文件命名为：CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.shal打开manifest.json文件查看CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号，并拷贝到CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha文件中/cdh5/parcels/5.0.1/CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel;service cloudera-scm-agentIgnoring non-compliant parcel manifestexport JAVA_HOME= /usr/java/jdk1.6.0_31export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar如果页面找不到主机，修改vi /etc/cloudera-scm-agent/config.ini，ser