cloudera 安装部署手册.doc

clouderaCDH安装功能名称：业务名称：编 写 人：编写日期：2014-7-28确 认 人：确认日期：修订记录日期版本作者/修改者描述审核人目 录1.导言51.1.说明51.2.集群节点51.3.硬件51.4.软件版本52.准备工作52.1.操作系统52.2.磁盘52.2.1.是否需要raid52.2.2.磁盘划分52.2.3.磁盘裸设备的挂载62.3.关闭防火墙62.4.修改主机名并配置Hosts72.4.1.修改主机名72.4.2.设置每台主机的hosts72.5.ssh免登陆配置72.5.1.创建公钥和密钥72.5.2.配置与其他机器的免密码登陆82.6.同步集群时间ntp92.6.1.配置ntp server集群时钟92.6.2.ntp客户端配置102.6.3.测试112.7.上传安装包以及搭建yum源122.7.1.安装cloudera需要的文件如下安装包122.7.2.上传yum源需要的文件到 /var/www/html目录下122.7.3.启动httpd服务132.7.4.测试HTTPD132.7.5.编辑yum源配置文件142.7.6.安装createrepo152.7.7.创建源索引153.cm安装153.1.上传cm安装启动程序153.2.安装cm的install.bin164.cdh安装194.1.登陆CM194.2.指定主机204.3.群集安装214.4.安装parcel214.4.1.配置CDH-5.3.0-1.cdh5.3.0.p0.30-el6.parcel.sha1214.4.2.配置parcel224.5.选择parcel和cm等244.6.安装CM JDK和分发数据包等264.7.分配parcel284.8.检查各个主机284.9.选择需要安装的服务294.10.分配角色并安装305.验证和使用335.1.zookeeper335.2.hbase335.3.hdfs335.4.使用shell验证hbase安装341. 导言1.1. 说明本指导书以潍坊交警hadoop集群为例，指导安装CDH1.2. 集群节点见hadoop服务器角色清单1.3. 硬件共14台“华为RH2288-HV2 Xeon E5-2620，内存容量：192G，4块2T SATA硬盘”1.4. 软件版本cdh5.3.02. 准备工作2.1. 操作系统操作系统使用64位CentOS6.52.2. 磁盘2.2.1. 是否需要raid集群datanode不需要安装raid磁盘，hadoop的hdfs本身具有冗余和并发机制，namenode为了保证数据安全，需要安装raid。2.2.2. 磁盘划分 磁盘划分datanode要求盘符的划分所有节点要相同，之后的hadoop所有相关安装路径等也需要相同。Namenode划分如下：共有2块raid盘Datanode如下：4块物理盘2.2.3. 磁盘裸设备的挂载a查看裸设备： fdisk lb 进入分区 fdisk /dev/sdac 分区后的格式化 mkfs.ext4 /dev/sda4d 挂载 mount /dev/sda4 /home/data1e 永久挂载，使挂载重启后有效 vi /etc/fstab 添加 /dev/sda4 /home/data1 ext4 defaults 1 2 保存，reboot机器确认挂载成功f 卸载umount /dev/sda42.3. 关闭防火墙集群所有机器执行：rootnode41 # service iptables stopiptables: Flushing firewall rules: OK iptables: Setting chains to policy ACCEPT: filter OK iptables: Unloading modules: OK rootnode41 # chkconfig iptables off每个机器都需要关闭防火墙2.4. 修改主机名并配置Hosts2.4.1. 修改主机名每台机器设置不同的主机名2.4.2. 设置每台主机的hosts在每个机器设置Hostsvi /etc/hosts9 node290 node301 node32 node33 node334 node345 node356 node367 node378 node389 node390 node401 node41保存退出，重启机器查看主机名是否变化rootnode29 # 2.5. ssh免登陆配置2.5.1. 创建公钥和密钥rootnode29 # ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save the key (/root/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /root/.ssh/id_rsa.Your public key has been saved in /root/.ssh/id_rsa.pub.The key fingerprint is:b9:ef:52:0d:94:42:fa:13:f7:ea:bb:ce:34:50:07:5f rootnode29The keys randomart image is:+- RSA 2048-+| . . E | . oo . | . .oo o | . =.o | S o. | +. | .+ | .= . | +Oo |+-+rootnode29 #rootnode29 .ssh# pwd/root/.sshrootnode29 .ssh# cat id_rsa.pub authorized_keys rootnode29 .ssh# cd .rootnode29 # chmod -R 700 .ssh/rootnode29 # cd .ssh/rootnode29 .ssh# chmod 644 authorized_keysrootnode29 .ssh# ssh node29The authenticity of host node29 (9) cant be established.RSA key fingerprint is be:77:86:0c:7e:76:b8:f4:b8:5d:e4:ed:e0:50:14:b5.Are you sure you want to continue connecting (yes/no)? yesWarning: Permanently added node29,9 (RSA) to the list of known hosts.Last login: Tue Jul 29 19:46:49 2014 from 79此时自身已经可以ssh，2.5.2. 配置与其他机器的免密码登陆rootnode29 .ssh# pwd/root/.ssh rootnode29 .ssh# ssh-copy-id -i id_rsa.pub rootnode138rootnode30 # chmod -R 700 /root/.ssh/rootnode30 # chmod 644 /root/.ssh/authorized_keys重新在29上查看ssh 30成功rootnode29 .ssh# ssh node30Last login: Tue Jul 29 19:48:34 2014 from 79rootnode30 #其他datanode同理，需要各个机器之间都可以通过ssh免密码登陆。2.6. 同步集群时间ntpntp服务端设为3集群时区和时间需要保持完全一致，相差最多不要超过15S，否则将导致集群运行出现问题。可以考虑使用时间同步软件，此处手动同步集群时间：92rootnode29 # date -s 21:21:40date -s 20141229同步到硬件时钟rootnode29 # hwclock w2.6.1. 配置ntp server集群时钟1、node13 配置：vi /etc/ntp.confdriftfile /var/lib/ntp/drift restrict default kod nomodify notrap nopeer noqueryrestrict -6 default kod nomodify notrap nopeer noquery restrict restrict -6 :1 restrict mask nomodify notrapserver # local clockfudge stratum 1includefile /etc/ntp/crypto/pwkeys /etc/ntp/keysrootnode29 etc# service ntpd start正在启动 ntpd：确定设置开机自动启动：rootnode29 etc# chkconfig ntpd on查看状态：rootnode29 etc# ntpstatunsynchronised time server re-starting polling server every 64 s等待5分钟rootnode29 etc# ntpstatsynchronised to local net at stratum 11 time correct to within 448 ms polling server every 64 s2.6.2. ntp客户端配置vi ntp.conf driftfile /var/lib/ntp/driftrestrict default kod nomodify notrap nopeer noqueryrestrict -6 default kod nomodify notrap nopeer noqueryrestrict restrict -6 :1server 3includefile /etc/ntp/crypto/pwkeys /etc/ntp/keys#server # local clock 这两行注释掉#fudge 9 stratum 10所有客户端机器都使用如上修改配置scp -r ntp.conf node24:/etc/scp -r ntp.conf node56:/etc/所有客户端启动ntp在所有客户机上执行如下命令同步一次时钟，如果时钟偏差多大会导致无法同步，1000s之内rootnode41 # ntpdate -u 3 5 Aug 22:35:22 ntpdate76821: step time server 9 offset -65.756888 sec2.6.3. 测试netstat -tlunp |grep ntp1、 客户机启动ntpdrootnode30 # ntpstatUnable to talk to NTP daemon. Is it running?rootnode30 # service ntpd start正在启动 ntpd：确定rootnode30 # ntpstatunsynchronised time server re-starting polling server every 64 srootnode30 #隔段时间后：rootnode30 # ntpstatsynchronised to local net at stratum 11 time correct to within 948 ms polling server every 64 srootnode30 #4、排查：正确同步状态“错误同步状态：显示未正常与29同步，将自己作为了服务器rootnode35 # cat /var/log/messages2、 说明：*服务端是上层的客户端，所以服务端和客户端的配置是相通的*设置配置文件中的“restrict”项，主要用于控制客户端对服务器的访问* fudge stratum 1设置本地时钟源的层次为1，这样如果NTPD服务从本地时钟源获取时间的话，NTPD对外宣布的时间层次为2。*有时候同步过程慢，需等待很多分钟：rootnode41 # ntpstatunsynchronised polling server every 16 srootnode41 # ntpstatsynchronised to NTP server (9) at stratum 3 time correct to within 487 ms polling server every 64 s2.7. 上传安装包以及搭建yum源2.7.1. 安装cloudera需要的文件如下安装包1CentOS_6.5CentOS6.5安装光盘2cm5.3.0CDH安装包（需要分发到各个机器安装）3parcelCloudera-Manager_Agent 安装包（需要分发到各个机器安装）4RPM-GPG-KEY-cloudera5cloudera-manager-installer.bincm安装启动包2.7.2. 上传yum源需要的文件到 /var/www/html目录下在3(任何机器都可以)搭建yum上传yum源需要的文件到 /var/www/html目录下chmod -R 755 /var/www/html/*2.7.3. 启动httpd服务service httpd startchkconfig httpd on2.7.4. 测试HTTPD3/CentOS_6.5/3/cm5.3.0/3/parcel/2.7.5. 编辑yum源配置文件rootnode13 yum.repos.d# pwd/etc/yum.repos.drootnode13 yum.repos.d# vi CentOS-Base.repobasename=CentOS-$releasever - Base#mirrorlist=/?release=$releasever&arch=$basearch&repo=osbaseurl=3/CentOS_6.5/gpgcheck=1gpgkey=file:/etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6#released updatesupdatesname=CentOS-$releasever - Updates#mirrorlist=/?release=$releasever&arch=$basearch&repo=updatesbaseurl=3/CentOS_6.5/gpgcheck=1gpgkey=file:/etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6#additional packages that may be usefulextrasname=CentOS-$releasever - Extras#mirrorlist=/?release=$releasever&arch=$basearch&repo=extrasbaseurl=3/CentOS_6.5/gpgcheck=1gpgkey=file:/etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6rootnode13 yum.repos.d# vi cloudera-manager.repocloudera-manager# Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64name=Cloudera Managerbaseurl=3/cm5.3.0/gpgkey =3/RPM-GPG-KEY-clouderagpgcheck = 1将yum配置文件复制到各个节点（每个节点都需要）使得其他节点也使用本机器的yumscp -r CentOS-Base.repo node14:/etc/yum.repos.d/scp -r cloudera-manager.repo node14:/etc/yum.repos.d/2.7.6. 安装createrepo在yum源机器上（这里是node13） 安装createreporootnode13 yum.repos.d#yum install createrepo2.7.7. 创建源索引在yum源的机器上 创建源的索引（需要在每个目录下建立，这里是只需要在cm5.3.0目录下建立，因为CentOS_6.5目录是centos的安装盘，默认已经建立）rootnode13 cm5.3.0# createrepo .建立后会在cm5.3.0下多出目录 repodata3. cm安装3.1. 上传cm安装启动程序上传cm安装启动程序到namenode节点的任何目录3.2. 安装cm的install.bin rootnode13 repo5.3.0# chmod -R 755 cloudera-manager-installer.bin关闭node13上面的SELinux查看SELinux当前的状态，使用命令：getenforcevi /etc/selinux/configSELINUX=disabled保存重启机器rootnode13 # getenforceDisabled（显示为Disabled即为修改成功）rootnode13 repo5.3.0# ./cloudera-manager-installer.bin备份提示的文件rootnode13 cloudera-scm-server# mv perties pertiesbak重试回车回车至此安装cm成功，上图中列出了cm访问地址，以及登陆的用户名和密码4. cdh安装4.1. 登陆CM4.2. 指定主机在上图的输入框中输入需要安装的主机的ip地址，多个ip地址之间回车，点击“搜索”按钮检查各个主机的通讯情况。4.3. 群集安装此处没有CDH版本，需要安装Parcel4.4. 安装parcel4.4.1. 配置CDH-5.3.0-1.cdh5.3.0.p0.30-el6.parcel.sha1CDH-5.3.0-1.cdh5.3.0.p0.30-el6.parcel.sha中的数字要和manifest.json中CDH版本一致在官网下载的parcel中有三个文件，需要配置parcel的版本打开manifest.json文件，此文件时json格式，在其中找到parcelName为“CDH-5.3.0-1.cdh5.3.0.p0.30-el6.parcel”对应的hash值将此hash拷贝到CDH-5.3.0-1.cdh5.3.0.p0.30-el6.parcel.sha1文件中4.4.2. 配置parcel配置parcel有二种方式：方式一：使用本地parcel（安装cm的机器）将上面配置好的文件拷贝到 /opt/cloudera/parcel-repo 目录下（此目录会在安装完cm后自动创建），修改cm自动检测parcel的时间，默认是1小时（登录cm