CDH5.1手工安装文档.docx

CDH5.1安装文档1 本文档本文档是通过Cloudera Manager来安装Hadoop的发行版本CDH5.1。测试环境安装包括：1. HDFS2. YARN3. Hive4. Hue5. Oozie6. SqoopSpark由于更新较快，建议单独安装。HBase如果作为线上大数据服务使用，需要单独规划独立的集群来避免和Hive批量数据处理的干扰。2 CDH安装服务器规划安装BI平台的CDH测试环境共需要11台服务器。详细内容见如下表格：服务器名称数量机器配置Zookeeper服务器3虚拟机Hadoop NameNode服务器1物理机Hadoop Secondary NameNode服务器1物理机Hadoop DataNode服务器3（根据实际数据需要）物理机Hadoop YARN服务器1虚拟机Hive服务器1虚拟机，内存12G以上Hue/Oozie/Sqoop1虚拟机3 安装Cloudera Manager 5.13.1 前提条件和准备工作3.1.1 系统环境准备l 支持的硬件及操作系统Centos 6 64位机器三台，机器内存不小于6G，磁盘空间不少于40G，并且机器已安装python2.6或者2.7.l 支持的数据库MySQL5.5 or MySQL5.6（部分元数据需要存储到数据库中）l 支持的JDK版本JDK 7 55版本及以上或者JDK 8 40版本及以上。软件包：l 安装的软件包cloudera-manager-el6-cm5.1.0_x86_64.tar.gz/cdh5/3.1.2 系统环境配置1） 网络配置（所有节点）使用 vi /etc/sysconfig/network来修改网络配置，修改hostname为：NETWORKING=yesHOSTNAME=nn01.hadoop通过service network restart命令来重启网络服务生效。修改所有的主机的网络配置，注意： 每个节点的网络配置的HOSTNAME要区别开来。 2） Hosts配置（所有节点） localhost localhost.localdomain localhost4 localhost4.localdomain45 nn01.hadoop6 dn01.hadoop7 dn02.hadoop3） SSH配置（设置SSH无密码登录）（所有节点）Cloudera Manager在安祖昂以及升级的过程中需要SSH到集群中主机已root账号的权限来操作。最好是安装和升级的过程中先去掉SSH密码配置，安装完和升级完，再恢复。在主节点上执行：ssh-keygen t rsa，一路回车，生成无密码密钥对。将公钥添加到认证文件中：cat /.ssh/id_rsa.pub /.ssh/authorized_keys,并设置authorzied_keys的访问权限：chmod 600 /.ssh/authorized_keys。将authorized_keys拷贝到所有的datanode节点上：scp -P 58422 .ssh/authorized_keys rootdn01.hadoop:/.ssh4） 安装Oracle Java（所有节点）使用：rpm qa|grep java来查看当前系统自带JDK。如果有的话，通过：rpm e 已安装jdk名称 nodeps命令来卸载已有的软件包。使用：rpm ivh oracle-j2sdk1.7.rpm来安装软件包（如果该包没有执行权限，请先执行：chmod 755 oracle-j2sdk1.7.rpm）。安装完成之后，在/usr/java下使用：ln s jdk1.7.0_55-cloudera latest来建立soft link。配置JAVA_HOME全局变量：echo “JAVA_HOME=/usr/java/latest/” /etc/environment 。5） 关闭防火墙和SELINUX(所有节点)由于需要在所在节点开通各种端口，暂时先临时关闭防火墙。命令如下： service iptables stop(临时关闭) chkconfig iptables off(重启后永久生效)关闭SELINUX，命令如下： setenforce 0（临时生效） 修改/etc/selinux/config下的SELINUX=disabled（重启后生效）6） 配置NTP时间同步服务目前linux服务器都已经配置了时间同步服务，无需进行多余设置。7） 安装MySQL服务器由于MySQL5.5与已存在的mysql-libs包: mysql-libs-5.1.66-2.el6_3.x86_64有冲突，使用：rpm -e -nodeps mysql-libs-5.1.66-2.el6_3.x86_64进行卸载。然后使用：rpm -ivh MySQL-server-5.5.43-1.el6.x86_64.rpm安装MySQL5.5.进入到MySQL的安装目录：/usr/share/mysql。使用cp f f命令来根据f的MySQL配置生成一份f配置。在mysqld的下面增加如下配置：ransaction-isolation = READ-COMMITTED# Disabling symbolic-links is recommended to prevent assorted security risks;# to do so, uncomment this line:# symbolic-links = 0key_buffer = 16Mkey_buffer_size = 32Mmax_allowed_packet = 32Mthread_stack = 256Kthread_cache_size = 64query_cache_limit = 8Mquery_cache_size = 64Mquery_cache_type = 1max_connections = 550#log_bin should be on a disk with enough free space. Replace /var/lib/mysql/mysql_binary_log with an appropriate path for your system and chown the specified folder to the mysql user.#log_bin=/var/lib/mysql/mysql_binary_log#expire_logs_days = 10#max_binlog_size = 100M# For MySQL version 5.1.8 or later. Comment out binlog_format for older versions.binlog_format = mixedread_buffer_size = 2Mread_rnd_buffer_size = 16Msort_buffer_size = 8Mjoin_buffer_size = 8M# InnoDB settingsinnodb_file_per_table = 1innodb_flush_log_at_trx_commit = 2innodb_log_buffer_size = 64Minnodb_buffer_pool_size = 4Ginnodb_thread_concurrency = 8innodb_flush_method = O_DIRECTinnodb_log_file_size = 512M设置开机启动MySQL服务器：chkconfig mysql on，并通过service mysql start来启动MySQL服务器。安装MySQL Client：MySQL-client-5.6.24-1.el6.x86_64.rpm。使用：rpm ivh MySQL-client-5.6.24-1.el6.x86_64.rpm命令来安装MySQL Client。然后通过mysqladmin命令来重置root账户的密码，命令如下：mysqladmin u root password Pass1234。8） 创建Cloudera Manager的使用的数据库用户并赋予权限使用：mysql u root p登录到mysql服务器上。RoleDatabaseUserPasswordActivity MonitorAmonAmonPass1234Reports ManagerrManRmanPass1234Hive Metastore ServerMetastoreHivePass1234Sentry ServerSentrySentryPass1234Cloudera NavigatorAudit ServerNavNavPass1234Cloudera NavigatorMetadata ServernavcmsnavcmsPass1234使用如下命令：create database database DEFAULT CHARACTER SET utf8 collate utf8_general_ci;grant all on database.* TO user% IDENTIFIED BY password;授权root用户在主节点拥有的所有数据库的访问权限：grant all privileges on *.* to root% IDENTIFIED BY Pass1234 with grant option;flush privileges;3.2 安装Cloudera Manager Server和Agent。3.2.1 安装Cloudera Manager Server（主节点）1） 解压Cloudera Manager Server tarballs将Cloudera Manager tarballs文件：cloudera-manager-el6-cm5.1.0_x86_64.tar.gz解压到/opt目录下，命令如下：tar xzf cloudera-manager*.tar.gz -C /opt/cloudera-manager2） 创建cloudera-scm用户该用户：cloudera-scm用来管理所有节点上的服务。创建用户命令如下：useradd -system -home=/opt/cloudera-manager/cm-5.1.0/run/cloudera-scm-server/ -no-create-home -shell=/bin/false -comment Cloudera SCM User cloudera-scm3） 配置Couldera Manager Server的数据库配置之前先安装mysql的jdbc库。将mysql的jar包: mysql-connector-java-5.1.35-bin.jar拷贝到/opt/cloudera-manager/cm-5.1.0/share/cmf/lib/。授权scm用户在主节点拥有的所有数据库的访问权限：grant all privileges on *.* to scm% IDENTIFIED BY scm with grant option;flush privileges;使用如下命令来配置数据库：/opt/cloudera-manager/cm-5.1.0/share/cmf/schema/scm_prepare_database.sh mysql -h 71 -P 3306 -uroot -pPass1234 -scm-host nn01.hadoop scm scm scm3.2.2 安装Cloudera Manager Agent1） 安装agent在主节点上修改/opt/cloudera-manager/cm-5.1.0/etc/cloudera-scm-agent/config.ini中的server host为主节点的主机名:nn01.hadoop。使用scp命令将agent安装目录同步到Agent的机器上，命令如下：scp -r -P 58422 /opt/cloudera-manager/cm-5.1.0/ rootdn01.hadoop:/opt/cloudera-manager2） 创建cloudera-scm用户该用户：cloudera-scm用来管理所有节点上的服务。创建用户命令如下：useradd -system -home=/opt/cloudera-manager/cm-5.1.0/run/cloudera-scm-server/ -no-create-home -shell=/bin/false -comment Cloudera SCM User cloudera-scm3.2.3 创建Parcel目录使用命令：mkdir /opt/cloudera/parcel-repo来创建parcel仓库目录，并且跟目录的owner与运行Cloudera Manager的用户一致。使用cp命令将文件：CDH-5.1.0-1.cdh5.1.0.p0.53-el6.parcel，CDH-5.1.0-1.cdh5.1.0.p0.53-el6.parcel.sha，manifest.json拷贝上述创建的parcel仓库目录：/opt/cloudera/parcel-repo。其中，CDH-5.1.0-1.cdh5.1.0.p0.53-el6.parcel.sha中的文件内容必须与manifest.json对应的版本中的hash值一致，否则会找不到parcels包。在所有节点上，创建目录/opt/cloudera/parcels目录。3.2.4 启动Cloudera Manager Server在Clouder Manager Server主机上使用命令：/opt/cloudera-manager/cm-5.1.0/etc/init.d/cloudera-scm-server start。启动需要等一会儿才能在浏览器中打开：nn01.hadoop:7180。3.2.5 启动Cloudera Manager Agent使用命令：/opt/cloudera-manager/cm-5.1.0/etc/init.d/cloudera-scm-server start3.3 使用Cloudera Manager向导安装和配置软件1） 访问地址：5:7180/cmf/login。使用用户名：admin，密码：admin来登录系统。2） 进入如下页面，选择“