cdh5.4.3安装手册.docx

Cloudera Manager：5.4.3CDH: 5.4.3前期准备工作（系统环境搭建）所需软件cloudera-manager-el6-cm5.3.4_x86_64.tar.gz mysql-connector-java-5.1.25-bin.jar1、设置静态IP地址vi /etc/sysconfig/network-scripts/ifcfg-eth0 由于我重装系统时已经设置了，这里就不设置了。2、修改主机名hostname 主机名 （当前生效）vi /etc/sysconfig/network （下次启动生效）roothadoop2 opt# cat /etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop2GATEWAY=NTPSERVERARGS=iburst由于我重装系统时已经设置了，这里就不设置了。3、绑定 IP与HostName在hadoop1节点上操作 vi /etc/hosts0 hadoop12 hadoop23 hadoop34 hadoop45 hadoop56 hadoop6复制到其它节点（hadoop2hadoop6）scp /etc/hosts hadoop2:/etc/scp /etc/hosts hadoop6:/etc/4、设置SSH免密码登录（所有节点）以下内容仅供参考，具体详见无密码登录设置笔记：1、重新生成密钥 （各个节点）roothadoop1 /# cd /root/.ssh/roothadoop1 .ssh# ssh-keygen -t rsaroothadoop1 .ssh# cat id_rsa.pub authorized_keys测试是否成功ssh localhost其他其它节点同样的方式生成密钥。2、设置两两结点间的免密码登录hadoop2hadoop6将自己的公钥复制给对方主机ssh-copy-id -i hadoop1hadoop1复制自己的authorized_keys给其他主机 hadoop2hadoop6，这样都可以互相免密码登录了。scp /root/.ssh/authorized_keys hadoop2:/root/.ssh/.scp /root/.ssh/authorized_keys hadoop6:/root/.ssh/5、安装Oracle的JavaCentOS自带Open Jdk，不过运行CDH5需要使用Oracle的jdk，需要Java 7的支持。jdk安装的时候，一定要采用rpm的安装方式，而不要采用tar解压的安装方式。因为rpm的安装方式，会在/usr/lib下新建两个软连接。首先，卸载自带的OpenJdk，使用rpm -qa | grep java查询java相关的包，使用rpm -e -nodeps 包名卸载掉。由于是rpm包并不需要我们来配置环境变量，我们只需要配置一个全局的JAVA_HOME变量即可，执行命令：echo JAVA_HOME=/usr/java/latest/ /etc/environment执行命令java -version和javac -version，查看Jdk是否安装正确。1、卸载系统自带OPEN-JDK（所有节点）roothadoop1 .ssh# rpm -qa | grep javajava-1.7.0-openjdk-5-.el6.x86_64tzdata-java-2013g-1.el6.noarchjava-1.6.0-openjdk--3.0.el6.x86_64roothadoop1 .ssh# rpm -e -nodeps java-1.7.0-openjdk-5-.el6.x86_64 tzdata-java-2013g-1.el6.noarch java-1.6.0-openjdk--3.0.el6.x86_642、安装Oracle的JDK（所有节点）roothadoop1 opt# rpm -ivh jdk-7u80-linux-x64.rpmPreparing. # 100% 1:jdk # 100%Unpacking JAR files. rt.jar. jsse.jar. charsets.jar. tools.jar. localedata.jar. jfxrt.jar.roothadoop1 opt# echo JAVA_HOME=/usr/java/latest/ /etc/environmentroothadoop1 opt# java -versionjava version 1.7.0_80Java(TM) SE Runtime Environment (build 1.7.0_80-b15)Java HotSpot(TM) 64-Bit Server VM (build 24.80-b11, mixed mode)roothadoop1 opt# javac -versionjavac 1.7.0_806、安装和配置MySql（主节点）通过yum install mysql-server安装mysql服务器。设置开机启动chkconfig mysqld on，并启动mysql服务service mysqld start，并根据提示设置root的初始密码：mysqladmin -u root password xxxx。roothadoop1 opt# yum install mysql-serverroothadoop1 opt# chkconfig mysqld onroothadoop1 opt# service mysqld startroothadoop1 opt# service mysqld statusroothadoop1 opt# mysqladmin -u root password liguodong进入mysql命令行mysql -uroot -pxxxx，创建以下数据库：roothadoop1 opt# mysql -uroot -pliguodongmysql create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;Query OK, 1 row affected (0.00 sec)mysql create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;Query OK, 1 row affected (0.00 sec)mysql create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;Query OK, 1 row affected (0.00 sec)mysql create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 设置root授权访问以上所有的数据库。mysql grant all privileges on *.* to roothadoop1 identified by liguodong with grant option;Query OK, 0 rows affected (0.00 sec)mysql flush privileges;Query OK, 0 rows affected (0.00 sec)Cloudera官方MySql配置文档：/content/cloudera/en/documentation/core/latest/topics/cm_ig_mysql.html#cmig_topic_5_57、关闭防火墙和SELinux（所有节点）注意： 需要在所有的节点上执行，因为涉及到的端口太多了，临时关闭防火墙是为了安装起来更方便（防火墙会引起hadoop相关组件通讯的各种异常。），安装完毕后可以根据需要设置防火墙策略，保证集群安全。关闭防火墙：service iptables stop （临时关闭）chkconfig iptables off （重启后生效）关闭SELINUX：（实际安装过程中发现没有关闭也是可以的，不知道会不会有问题，还需进一步进行验证）setenforce 0（临时生效）修改/etc/selinux/config下的SELINUX=disabled（重启后永久生效）roothadoop1 opt# service iptables stopiptables：将链设置为政策 ACCEPT：filter 确定iptables：清除防火墙规则： 确定iptables：正在卸载模块： 确定roothadoop1 opt# chkconfig iptables offroothadoop1 opt# setenforce 0roothadoop1 opt# vi /etc/selinux/configroothadoop1 opt# cat /etc/selinux/configSELINUXTYPE=targetedSELINUX=disabled8、安装和配置NTP服务（所有节点）集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。具体思路如下：master节点作为ntp服务器与外界对时中心同步时间，随后对所有datanode节点提供时间同步服务。所有datanode节点以master节点为基础同步时间。所有节点安装相关组件：yum install ntp。完成后，配置开机启动：chkconfig ntpd on，检查是否设置成功：chkconfig -list ntpd，其中2-5为on状态就代表成功。roothadoop1 opt# yum install ntproothadoop1 opt# chkconfig ntpd onroothadoop1 opt# chkconfig -list ntpdntpd 0:关闭 1:关闭 2:启用 3:启用 4:启用 5:启用 6:关闭配置内网NTP服务器（主节点）在配置之前，先使用ntpdate手动同步一下时间，免得本机与对时中心时间差距太大，使得ntpd不能正常同步。这里选用6作为对时中心，命令如下：ntpdate -u 6。# ntpdate -u 622 Dec 16:52:38 ntpdate6400: adjust time server 6 offset 0.012135 secntp服务只有一个配置文件，配置好就可以。 这里只给出有用的配置，不需要的配置都用#注掉，这里就不在给出。roothadoop1 opt# vi /etc/ntp.confroothadoop1 opt# cat /etc/ntp.confdriftfile /var/lib/ntp/driftrestrict restrict -6 :1restrict default nomodify notrap server 6 preferincludefile /etc/ntp/crypto/pwkeys /etc/ntp/keys在能连接外网的时候用上面的配置，否则，在server节点如下配置：前面不动注释掉所有的server和以下两行，includefile /etc/ntp/crypto/pw keys /etc/ntp/keys在文件尾添加如下两行：server fudge stratum 10配置文件完成，保存退出。启动服务，执行如下命令：roothadoop1 opt# service ntpd start检查是否成功，用ntpstat命令查看同步状态，出现以下状态代表启动成功：roothadoop1 # ntpstatsynchronised to NTP server (6) at stratum 3 time correct to within 133 ms polling server every 1024 s如果出现异常请等待几分钟，一般等待5-10分钟才能同步。配置ntp客户端（hadoop2hadoop6）driftfile /var/lib/ntp/drift restrict restrict -6 :1restrict default kod nomodify notrap nopeer noqueryrestrict -6 default kod nomodify notrap nopeer noquery#这里是主节点(内网NTP服务器)的主机名或者ipserver hadoop1includefile /etc/ntp/crypto/pwkeys /etc/ntp/keys保存退出，请求服务器前，请先使用ntpdate手动同步一下时间：ntpdate -u hadoop1(主节点ntp服务器)这里可能出现同步失败的情况，请不要着急，一般是本地的ntp服务器还没有正常启动，一般需要等待5-10分钟才可以正常同步。启动服务：service ntpd startroothadoop2 # ntpdate -u hadoop127 Jun 08:14:38 ntpdate1899: adjust time server 0 offset 0.000293 secroothadoop2 # service ntpd startroothadoop2 # chkconfig ntpd on安装与配置Cloudera Manager Server 和AgentServer配置（主节点）下载地址：/cm5/cm/5/（选择适合你的一款）根据自己的系统选择相应的版本，本次安装选用的是cloudera-manager-el6-cm5.3.4_x86_64.tar.gz，下载完成后只上传到主节点即可。然后解压到/opt目录下，不能解压到其它地方。因为cdh5的源会默认在/opt/cloudera/parcel-repo寻找，怎么制作cdh5的本地源文件会在之后介绍。roothadoop1 opt# tar -zxvf cloudera-manager-el6-cm5.3.4_x86_64.tar.gz给所有节点添加cloudera-scm用户：roothadoop1 lib# useradd -system -home=/opt/cm-5.3.4/run/cloudera-scm-server/ -no-create-home -shell=/bin/false -comment Cloudera SCM User cloudera-scm为Cloudera Manager 5建立数据库：因为我们用的是Mysql数据库，所以我们需要下载Mysql的JDBC驱动，本次从官网上下载的版本是：mysql-connector-java-5.1.25-bin.jar放到/opt/cm-5.3.4/share/cmf/lib/目录下。roothadoop1 opt# mv mysql-connector-java-5.1.25-bin.jar /opt/cm-5.3.4/share/cmf/lib/然后，建立数据库：roothadoop1 opt#/opt/cm-5.3.4/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pliguodong -scm-host localhost scm scm scm格式是:scm_prepare_database.sh 数据库类型 数据库 服务器 用户名 密码 scm-host Cloudera_Manager_Server所在的机器，后面那三个不知道代表什么，直接照抄官网的了。开启Cloudera Manager 5 Server端：roothadoop1 lib# /opt/cm-5.3.4/etc/init.d/cloudera-scm-server start注意：server首次启动不要立即关闭或重启，因为首次启动会自动创建相关表以及数据，如果因为特殊原因中途退出，请先删除所有表以及数据之后再次启动，否则将会出现启动不成功的情况。Agent配置（所有节点）开启Cloudera Manager 5 Agents端。现在主节点修改/opt/cm-5.3.4/etc/cloudera-scm-agent/config.ini下面的serer_host为主节点的主机名。roothadoop1 lib# vi /opt/cm-5.3.4/etc/cloudera-scm-agent/config.ini server_host=hadoop1先复制/opt/cm-5.3.4到hadoop2hadoop6节点上，scp -r /opt/cm-5.3.4 hadoop2:/opt/scp -r /opt/cm-5.3.4 hadoop6:/opt/等待拷贝成功，在所有节点上启动Agent：（注意必须以管理员权限启动）roothadoop1 lib# /opt/cm-5.3.4/etc/init.d/cloudera-scm-agent start浏览器启动Cloudera Manager 5 控制台（默认端口号是7180），启动成功就会看到登陆页面。Cloudera Manager Server和Agent都启动以后，就可以进行CDH5的安装配置了。这时可以通过浏览器访问主节点的7180端口测试一下了（由于CM Server的启动需要花点时间，这里可能要等待一会才能访问），默认的用户名和密码均为admin。制作本地源先下载CDH到本地/cdh5/parcels/5.3.4/，这里需要下载三样东西，首先是与自己系统版本相对应的parcel包，然后是manifest.json文件。CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel、CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel.sha1、manifest.json下载完成后，将这两个文件放到master节点的/opt/cloudera/parcel-repo下（目录在安装Cloudera Manager 5时已经生成），注意目录一个字都不能错。roothadoop1 parcel-repo# pwd/opt/cloudera/parcel-reporoothadoop1 parcel-repo# ll总用量 1533188-rw-r-. 1 root root 1569930781 6月 27 11:49 CDH-5.3.4-1.cdh5.3.4.p0.4-el6.parcel-rw-r-r-. 1 root root 41 6月 27 11:49 CDH-5.3.4-1.cdh5.3.4.p0.4-el6.parcel.sha-rw-r-r-. 1 root root 42475 6月 27 10:18 manifest.json接下来打开manifest.json文件，里面是json格式的配置，我们需要的就是与我们系统版本相对应的hash码，因为我们用的是Centos6.5，所以找到如下位置：在这个大括号的最下面找到“hash”所对应的值。将“hash”的值复制下来，然后，将CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel.sha1文件名改为CDH-5.2.0-1.cdh5.2.0.p0.12-el6.parcel.sha，将复制下来的hash值替换掉文本中的hash值，按理说应该是一致的。保存好了，这样，我们的本地源制作完成了。然后的操作就是控制台按照步骤安装即可。安装CDH打开http:/hadoop1:7180，登陆控制台，默认账户和密码都是admin，安装时选择免费版，之后由于cm5对中文的支持很强大，按照提示安装即可，如果系统配置有什么问题在安装过程中会有提示，根据提示给系统安装组件就可以了。登录界面选取安装版本指定安装主机选取本地Parcel包接下来，出现以下包名，说明本地Parcel包配置无误，直接点继续就可以了。集群安装检查主机正确性接下来是服务器检查，可能会遇到以下问题：Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响：在会受到影响的主机上执行echo 0 /proc/sys/vm/swappiness命令即可解决。选择安装服务集群角色分配一般情况下保持默认就可以了（Cloudera Manager会根据机器的配置自动进行配置，如果需要特殊调整，自行进行设置就可以了）。集群数据库设置集群审查更改如果没有其他需求保持默认配置。终于到安装各个服务的地方了。注意，这里安装Hive的时候可能会报错，因为我们使用了MySql作为hive的元数据存储，hive默认没有带mysql的驱动，通过以下命令拷贝一个就行了：cp /opt/cm-5.3.4/share/cmf/lib/mysql-connector-java-5.1.25-bin.jar /opt/cloudera/parcels/CDH-5.3.4-1.cdh5.3.4.p0.12/lib/hive/lib/oozie的安装也会遇到同样的问题，oozie的复制jdbc.jar包的位置有点不同，是拷贝到zoozie的libtools文件夹中。cp /opt/cm-5.3.4/share/cmf/lib/mysql-connector-java-5.1.25-bin.jar /opt/cloudera/parcels/CDH-5.3.4-1.cdh5.3.4.p0.12/lib/oozie/libtools/之后再继续安装就不会遇到问题了。经过漫长的等待后，服务的安装完成：安装完成后，就可以进入集群界面看一下集群的当前状况了。测试roothadoop1 /# su hdfshdfshadoop1 /$ yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 100 1000Number of Maps = 100Samples per Map = 1000Wrote input for Map #0Wrote input for Map #1Wrote input for Map #2Wrote input for Map #3Wrote input for Map #4Wrote input for Map #5Wrote input for Map #6Wrote input for Map #7Wrote input for Map #8Wrote input for Map #9Wrote input for Map #1015/06/27 22:45:55 INFO mapreduce.Jo