cloudera541离线安装与配置

1、1.基础环境12.准备工作12.1.配置环境22.1.1.配置hosts文件22.1.2.工具安装22.1.3.SSH无密码登入22.1.4.NTP 时间同步32.1.5.SELinux & iptables 关闭以及文件权限设置42.2.Java环境安装42.2.1.安装JDK42.2.2.配置环境变量53.cloudera安装配置63.1.1.建立本地资源库63.1.2.配置Media的http源63.1.3.mysql卸载73.1.4.mysql安装73.1.5.数据库初始化84.正式安装94.1.单用户配置94.2.创建用户114.3.指定manager server运行主机与

2、端口114.4.安装配置manager server运行数据库114.5.创建pracel目录124.6.启动manager server与agent124.7.开始安装124.8.高可用174.8.1.Namenode高可用174.8.2.Resource Manager高可用204.9.遇到的问题201. 基础环境各资源基本要求如下：操作系统：redhat6.4内核版本：内存大小：处理器：Cloudera Manager版本：CM-5.4.1CDH版本：CDH-5.4.1-1.cdh5.4.1.p0.6JDK版本：jdk-7u79-linux-x64本文档针对的机器列表如下：10.242.

3、157.117 hdp-m15 hdp-m22 hdp-s23 hdp-s16hdp-s3所有安装文件、安装包均放到服务器的master节点下的/software目录，根据每台机器安装内容不一样，存放的机器有所不同（hdp-m1,hdp-m2）2. 操作系统环境准备本次配置使用hdp-m1、hdp-m2（生产环境根据实际情况确定主节点的机器台数）作为主master节点。2.1. 配置环境2.1.1. 配置hosts文件所有机器都得执行，使用root用户1) hostname hdp-m2（该

4、命令可用于修改主机名，在各主机上运行对应命令）2) vi /etc/hosts（该命令可用于配置主机名和IP的对应信息）17 hdp-m15 hdp-m22 hdp-s23 hdp-s16hdp-s33) vi /etc/sysconfig/network（该命令可用于修改网络主机名）NETWORKING=yesHOSTNAME=hdp-m...2. SSH无密码登入注：如果系统中没有安装SSH，需要进行以上操作。所有机器都

5、得执行，使用root用户 yum install ssh （安装SSH协议） yum install rsync （rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件） service sshd restart （启动服务）注：某此linux操作系统默认未开启以下权限，需进行如下操作。l 用root用户登录所有服务器修改SSH配置文件"/etc/ssh/sshd_config"的下列内容。vi /etc/ssh/sshd_configl 修改以下选项，将三个选项启用RSAAuthentication yes # 启用 RSA 认证PubkeyAu

6、thentication yes # 启用公钥私钥配对认证方式AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）PermitRootLogin yes #root能使用ssh登录l 重启SSH服务service sshd restartStopping sshd: OK Starting sshd: 以下操作必须进行，用于集群机器之前的无密钥通讯（在Master机器上执行）。 ssh-keygen（该命令生成指定公私秘钥的名字，id_rsa及id_rsa.pub） cat /root/.ssh/id_rsa.pub >&

7、gt; /root/.ssh/authorized_keys（把id_rsa.pub追加到授权的key里面去,如果有多个master节点则需把所有的master节点上id_rsa.pub文件内容整合到authorized_keys文件中） ll /root/.ssh/（查看共私钥、授权key） ssh-copy-id -i id_rsa.pub roothdp-m1（将公钥copy到所有的机器上）ssh hdp-m1（测试SSH无密码登入是否成功）2.1.3. NTP 时间同步Hdp-m2节点作主节点，其他节点时间以此机器为准进行同步。（使用root用户）l 将server上/etc/ntp.

8、conf文件中以下两行的注释打开vim /etc/ntp.confserver fudge stratum 10保存并重启ntpd服务（注意关闭防火墙，遇到no server suitable for synchronization found问题，则需要在从节点上service ntpd start）： 命令行执行以下命令：service ntpd startchkconfig ntpd on/etc/init.d/ntpd restartservice ntpd statusl 进入其他从节点进行时间同步： ssh hdp-m1 vim /et

9、c/ntp.confserver hdp-m2fudge stratum 10l 命令行执行以下命令：service ntpd startchkconfig ntpd on/etc/init.d/ntpd restartservice ntpd statusl 同步机器时间，在hdp-m1、hdp-s1、hdp-s2、hdp-s3上执行：ntpdate hdp-m22.1.4. SELinux & iptables 关闭以及文件权限设置l 在hdp-m2节点上执行setenforce 0 #临时关闭selinuxvi /etc/selinux/config#修改

10、以下内容SELINUX=disabledl 所有节点上执行chkconfig iptables off（关闭防火墙关闭开机启动）service iptables stop（关闭防火墙）至此环境配置完成，关闭防火墙后方可SSH无密码登入。 l 对于新创建的文件或文件夹，大多数linux系统默认设置umask值为022时，设置读写权限为755，umask值为027时，设置读写权限为750，所以可以在所有机器上进行如下操作：vi /etc/profile#添加一行：umask 0222.2. Java环境安装所有的机器上都要安装JDK，现在就先在hdp-m2服务器安装，然后其他服务器按照步骤重复进行

11、即可。安装JDK以及配置环境变量，需要以"root"的身份进行。2.2.1. 安装JDK首先用root身份在"/usr"下创建"java"文件夹，再复制"/home/hadoop/"下的" jdk-7u45-linux-x64.gz"复制到"/usr/java"文件夹中。 mkdir /usr/java cp /home/hambari/hadoop/jdk-7u67-linux-x64.gz /usr/java tar -zxvf jdk-7u67-linux-x64.gz

12、然后查看"/usr/java"下面会发现多了一个名为"jdk1.7.0_67"文件夹，说明我们的JDK安装结束，进入下一个"配置环境变量"环节。2.2.2. 配置环境变量编辑"/etc/profile"文件，在后面添加Java的"JAVA_HOME"、"CLASSPATH"以及"PATH"内容。 vim /etc/profile在"/etc/profile"文件的尾部添加以下内容：# set java environmentexport

13、 JAVA_HOME=/usr/java/jdk1.7.0_67/export JRE_HOME=/usr/java/jdk1.7.0_67/jreexport CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin 保存并退出，执行下面命令使其配置立即生效。 source /etc/profile java -version如果java -version命令显示的结果依然是openjdk，表示JDK还未更新，需要自己手动选择新版本的JDK，首先

14、安装 java alternative -jdk update-alternatives -install /usr/bin/java java $JAVA_HOME/bin/java 60然后配置JDK： update-alternatives -config java（选择最新的JDK即可）3. cloudera安装准备首先要下载cloudera及相关软件包的安装包cloudera-manager-el6-cm5.4.1_x86_64.tar.gzCDH-5.4.1-1.cdh5.4.1.p0.6-el6.parcelCDH-5.4.1-1.cdh5.4.1.p0.6-el6.parcel

15、.sha1manifest.jsonmysql-connector-java-5.1.10.jar3.1. 配置Media的http源在安装过程中，不同的安装包存在各种各样的依赖，需要先安装依赖软件才能正常工作，这些依赖在系统盘中的packages文件夹中存在，所以我们需要将packages文件夹加入yum的软件库，这可以通过配置系统本地源实现，仅需要配置一台机器作为yum源，本安装文档以hdp-m1为yum服务器。以下开始集群安装源的配置，在hdp-m1中，以root执行以下命令；挂载iso中的Package到hdp-m1将机器上的/var/www/html/rhel下，然后： mkdir

16、/var/www/html/rhel cp -r /media/cdrom/Packages /var/www/html/rhel为安装repo，需要先安装相关插件，进入package解压后的目录中找到对应的安装文件，执行以下命令：rpm -ivh -force deltarpm-*.el6.x86_64.rpmrpm -ivh -force python-deltarpm-*.el6.x86_64.rpmrpm -ivh -force createrepo-*.el6.noarch.rpmrpm -ivh -force openssl-1.0.0-27.el6.x86_64.rpm生成rep

17、odata文件夹：createrepo /var/www/html/rhel3720/3720 - Packages/rootfiles-8.1-6.1.el6.noarch.rpmSaving Primary metadataSaving file lists metadataSaving other metadata在Hdp-m1机器上启动http服务，并配置开机启动，用于其他集群机器可以访问安装源：server httpd startchkconfig httpd on在所有机器上的/etc/yum.repos.d文件夹中添加一个myiso.repo文件，执行内容如下：先清空备份旧的re

18、po文件mkdir bakmv *.repo bak创建新的repo文件 vim myiso.repomyisoname=myiso repobaseurl=http:/hdp-m1/rhelgpgcheck=0enabled=1gpgkey=file:/etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release运行yum repolist，出现一下界面说明配置成功3.2. 工具安装配置系统本地源时需生成repodata，而系统初始并未安装createrepo工具，所以需要安装该工具及其依赖，所需的安装包在系统光盘的Packages目录中均存在，将光盘的Package

19、s目录拷贝至系统中，运行以下命令即可：yum install deltarpm*yum install python-deltarpm*yum install createrepo* yum install openssl-devel*参见老的安装命令rpm ivh -force deltarpm-3.5-0.5.20090913git.el6.x86_64.rpmrpm ivh -force python-deltarpm-3.5-0.5.20090913git.el6.x86_64.rpmrpm ivh -force createrepo-0.9.8-5.el6.noarch.rpmrpm

20、 ivh -force openssl-1.0.0-27.el6.x86_64.rpm3.3. mysql安装由于Mysql安装有一套完整方案，这里直接引用。在hadoop集群中，mysql版本要求为mysql 5.5以上，否则可能存在问题。本安装集群中，计划将mysql数据库安装到hdp-m2机器上。3.3.1. 数据库初始化1) 创建数据库执行命令：mysql u root p 123456进入mysql shell窗口依次执行以下mysql语句创建manager组件数据库create database hive DEFAULT CHARSET utf8 COLLATE utf8_gene

21、ral_ci; create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database rman DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database nav DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database navms DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database oozie DEFAUL

22、T CHARSET utf8 COLLATE utf8_general_ci;2) 创建用户及赋权grant all privileges on *.* to 'hive''%' identified by 'hive' with grant option; grant all privileges on *.* to 'hive''localhost' identified by 'hive' with grant option; grant all privileges on *.* to &#

23、39;hive''hdp-m2' identified by 'hive' with grant option; grant all privileges on *.* to 'hive''hdp-m1' identified by 'hive' with grant option; grant all privileges on *.* to 'oozie''%' identified by 'oozie' with grant option; grant

24、all privileges on *.* to 'oozie''localhost' identified by 'oozie' with grant option;grant all privileges on *.* to 'oozie''hdp-m2' identified by 'oozie' with grant option; grant all privileges on *.* to 'oozie''hdp-m1' identified by 

25、9;oozie' with grant option; grant all privileges on *.* to 'amon''%' identified by 'amon' with grant option; grant all privileges on *.* to 'amon''localhost' identified by 'amon' with grant option; grant all privileges on *.* to 'rman''

26、%' identified by 'rman' with grant option; grant all privileges on *.* to 'rman''localhost' identified by 'rman' with grant option; grant all privileges on *.* to 'nav''%' identified by 'nav' with grant option; grant all privileges on *.* t

27、o 'nav''localhost' identified by 'nav' with grant option; grant all privileges on *.* to 'navms''%' identified by 'navms' with grant option; grant all privileges on *.* to 'navms''localhost' identified by 'navms' with grant opti

28、on;grant all privileges on *.* to 'scm''%' identified by 'scm' with grant option; grant all privileges on *.* to 'scm''localhost' identified by 'scm' with grant option;flush privileges;3.3.2. 测试用户是否可用通过命令行输入以下命令，测试各用户是否正常连接可用。mysql -u hive -p输入密码hive连接

29、成功表明用户已成功创建4. 正式安装Cloudera计划将Cloudera Manager安装至hdp-m1服务器。主节点解压cloudera安装包，cloudera manager默认安装目录是/opt,将下载的安装解压,运行以下命令将解压好的文件存入/opt目录中，解压后将生成两个文件夹cloudera和cm-5.4.1cd /software/CDHtar -zxvf cloudera-manager-el6-cm5.4.1_x86_64.tar.gz -C /opt将安装包复制到其他主机上cd /opt3.4. scp -r cloudera cm-5.4.1 hdp-m2:/opt

30、scp -r cloudera cm-5.4.1 hdp-s1:/opt scp -r cloudera cm-5.4.1 hdp-s2:/opt scp -r cloudera cm-5.4.1 hdp-s3:/opt4.1. Hadoop环境准备在每一台主机上执行以下步骤，需要环境配置。4.1.1. 操作用户权限设置1) 配置agent运行用户，修改/opt/cm-5.4.1/etc/default/cloudera-scm-agent文件vi /opt/cm-5.4.1/etc/default/cloudera-scm-agent去除USER="cloudera-scm&quo

31、t;行的注释，并将user修改为我们想要运行manager的用户，本次安装中我们使用hadoop运行manager，故配置user为hadoop2) 给该用户添加sudo权限运行visudo命令，在打开的文件中添加一行%hadoop ALL=(ALL) NOPASSWD: ALLvisudo再注释掉Defaults requiretty同时若该文件中不存在Defaults secure_path = /sbin:/bin:/usr/sbin:/usr/bin，将这一行也添加进来3) 在/etc/pam.d/su文件中添加一行，如下所示session required pam_limits.so

32、vi /etc/pam.d/su4.1.2. 创建数据目录部分组件需要手动创建相关安装和数据目录，以方便权限的控制（在所有集群机器运行以下命令）。1）运行以下命令，创建安装目录并赋权限mkdir /var/lib/hadoop-httpfsmkdir /var/lib/ooziemkdir /var/lib/sqoop2mkdir /var/lib/solrchmod 757 /var/lib/hadoop-httpfschmod 757 /var/lib/ooziechmod 757 /var/lib/sqoop2chmod 757 /var/lib/solr2）创建组件统一的数据目录新建目

33、录/hdp,并使其拥有者为hadoop用户；若生产环境存在多个数据存储目录（如/gird/0, /grid/1, /grid/2），则采用同样的方式分别赋权限。执行以下命令：mkdir /hdpchown hadoop:hadoop /hdp3）为manager server创建数据目录mkdir /var/lib/cloudera-scm-serverchown hadoop:hadoop /var/lib/cloudera-scm-server4）为manager agent创建数据目录mkdir /var/log/cloudera-scm-agent/mkdir /var/lib/clo

34、udera-scm-agent/mkdir /var/run/cloudera-scm-agent/mkdir /var/run/hdfs-sockets chown hadoop:hadoop /var/log/cloudera-scm-agent/ chown hadoop:hadoop /var/lib/cloudera-scm-agent/ chown hadoop:hadoop /var/run/cloudera-scm-agent/chown hadoop:hadoop /var/run/hdfs-sockets5）修改cloudera安装的目录权限：chown -R hadoop

35、:hadoop /opt/clouderachown -R hadoop:hadoop /opt/cm-5.4.1 6）创建进程限制配置文件执行以下命令，创建新文件hadoop.confcd /etc/security/limits.d/vim hadoop.conf添加以下内容hadoop soft nofile 32768hadoop soft nproc 65536hadoop hard nofile 1048576hadoop hard nproc unlimitedhadoop hard memlock unlimited7）更改数据目录读写权限在每台主机的/var目录下执行以下命令

36、 sudo chmod 757 /var/log sudo chmod 757 /var/lib4.2. 创建用户Manager server和监控服务需要一个用户去完成任务，而我们是手动安装agent和server，所以需要创建一个用户。Server和监控服务默认配置此用户为cloudera-scm在每台主机上运行以下命令创建用户：useradd -system -home=/opt/cm-5.4.1/run/cloudera-scm-server -no-create-home -shell=/bin/false -comment "Cloudera SCM User"

37、 cloudera-scm4.3. 指定manager server运行主机与端口在每台主机上运行以下命令修改相应文件，修改server_host 和server_port，指定cloudera Manager服务器为hdp-m1，端口号为7182。vi /opt/cm-5.4.1/etc/cloudera-scm-agent/config.ini4.4. 安装配置manager server运行数据库1）添加mysql数据库连接驱动包将下载的mysql-connector-java-5.1.10.jar移动到Cloudera Manager安装主机（hdp-m1、hdp-m2）的/usr/s

38、hare/java目录,后续安装组件时访问mysql需要用到。运行以下命令重命名该jar包：cp /software/mysql-connector-java-5.1.10.jar /usr/share/javamv /usr/share/java/mysql-connector-java-5.1.10.jar /usr/share/java/mysql-connector-java.jar2）配置mysql数据库（hdp-m2）的数据库管理员root用户在hdp-m1上的执行权限，以便于Manager server进行数据库的初始化。进入hdp-m2主机的数据库mysql命令行，执行以下命令

39、mysql -uroot p #回车输入密码：123456>grant all on *.* to 'root''hdp-m1' identified by '123456' with grant option;>flush privileges;3）初始化Cloudera Manager管理工具的知识库在manager server所在主机（hdp-m1）运行以下命令cd /opt/cm-5.4.1/share/cmf/schema/./ scm_prepare_database.sh mysql -h hdp-m2 -uroot

40、-p123456 -scm-host hdp-m1 scm scm scm4.5. 创建pracel目录创建/opt/cloudera/parcel-repo目录，并将之前下载的parcel文件移动到新建的目录parcel-repo中，并重命名/opt/CDH-5.4.1-1.cdh5.4.1.p0.6-el6.parcel.sha1文件。在manager server所在主机(hdp-m1)，运行以下命令:mkdir -p /opt/cloudera/parcel-repomv/software/CDH/CDH-5.4.1-1.cdh5.4.1.p0.6-el6.parcel /opt/cl

41、oudera/parcel-repo/mv/software/CDH /CDH-5.4.1-1.cdh5.4.1.p0.6-el6.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.4.1-1.cdh5.4.1.p0.6-el6.parcel.shamv/software/CDH /manifest.json /opt/cloudera/parcel-repo/在agent所在主机创建parcels目录，运行以下命令sudo -u hadoop mkdir -p /opt/cloudera/parcels4.6. 启动manager server与agen

42、t4.6.1. 启动Cloudera服务在cloudera manager服务所在机器上（hdp-m1）使用root用户启动server，运行以下命令：sudo /opt/cm-5.4.1/etc/init.d/cloudera-scm-server start在所有集群的机器上安装agent（包括manager server机器），使用选定的单用户hadoop启动agent，运行以下命令：sudo -u hadoop /opt/cm-5.4.1/etc/init.d/cloudera-scm-agent start4.6.2. 配置Cloudera服务开机自启动1) 在Cloudera Se

43、rver（hdp-m1）自动启动设置：首先设置Cloudera Server的开机自动启动：cp /opt/cm-5.4.1/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-serverchkconfig cloudera-scm-server on将CMF_DEFAULTS:-/etc/default 修改为CMF_DEFAULTS:-/opt/cm-5.4.1/etc/defaultvi /etc/init.d/cloudera-scm-server 2) 在所有Cloudera Agent端自动启动设置：首先设置Cloude

44、ra Agent的开机自动启动：cp /opt/cm-5.4.1/etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent chkconfig cloudera-scm-agent on将CMF_DEFAULTS:-/etc/default 修改为CMF_DEFAULTS:-/opt/cm-5.4.1/etc/defaultvi /opt/cm-5.4.1/etc/init.d/cloudera-scm-agent4.7. 开始安装在manager server所在主机登录管理界面，使用浏览器登录manager server启动需

45、要一到两分钟，所以如果浏览器没有跳转，稍等两分钟。登录地址：http:/hdp-m1:7180用户密码：admin/admin4.7.1. 单用户配置单用户配置用于在cloudera manager中指定一个用户作为统一的服务启停工具。本次安装采用hadoop用户。4.7.2. 安装向导点击安装cloudera enterprise(试用)版，出现一下界面说明parcel配置成功，可以继续安装:选择主机选择安装源：如果权限配置没有遗漏，则CDH10分钟之内安装成功，如下图所示主机状态检查：可能会出现以下几个问题，需要进行解决：1） 问题：Cloudera 建议将 /proc/sys/vm/sw

46、appiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响：hdp-m1-2; hdp-s1-3解决方法：l Sysctl命令修改当前系统运行配置：sysctl -w vm.swappiness=0cat /proc/sys/vm/swappiness #查看是否修改成功l 编辑修改/etc/sysctl.conf，以便在重启服务后还可以有效vi /etc/sysctl.conf

47、#编辑配置文件，在最后添加一行：vm.swappiness=02） 问题：已启用“透明大页面”，它可能会导致重大的性能问题。版本为“Red Hat Enterprise Linux Server release 6.4 (Santiago)”且发行版为“2.6.32-358.el6.x86_64”的 Kernel 已将 enabled 设置为“always never”，并将 defrag 设置为“always never”。请运行“echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag”以禁用此设置，然后将同一命令添加到一个 init 脚本中，如 /etc/rc.local，这样当系统重启时就会予以设置。或者，升级到 RHEL 6.5 或更新版本，它们不存在此错误。将会影响到以下主机：hdp-m1-2; hdp-s