Cloudera大数据平台环境搭建傻瓜式说明书

1、Cloudera大数据平台环境搭建（版）版本作者郭维忠发布日期2018-03-10目录Cloudera大数据平台环境搭建 错误!未定义书签。（版） 错误!未定义书签。1. 基础环境 错误!未定义书签。.软件环境 错误!未定义书签。.配置规划 错误!未定义书签。.所需要的软件资源 错误!未定义书签。.修改机器名（所有节点） 错误!未定义书签。.设置防火墙（所有节点） 错误!未定义书签。. 配置免密码登录SSH 错误 !未定义书签。. 关闭SELINUX（所有节点） 错误!未定义书签。. 修改 Linux 内核参数（所有节点） 错 误 !未定义书签。. 其他安装与配置（所有节点） 错 误 !未定义

2、书签。. 配置NTP服务 错误!未定义书签。. 安装 oracle （所有节点） 错 误 !未定义书签。. Mysql 安装（主节点） 错 误 !未定义书签。2. 安装 CM 错误!未定义书签。.传包，解包 错误!未定义书签。.创建数据库 错误!未定义书签。.创建用户 错误!未定义书签。. 制作本地YUMW 错误!未定义书签。.拷贝jar包 错误!未定义书签。.修改cloudera-scm-agent 配置 错误!未定义书签。.启动CMServer和Agent 错误!未定义书签。.访问CM错误!未定义书签。3. 安装 CDH 错误!未定义书签。.登录后界面 错 误 !未定义书签。.选择CM版本

3、 错误!未定义书签。.指定主机 错 误 ! 未定义书签。.选择CDh本 错误!未定义书签。出现 “主机运行状态不良”错误 错误 !未定义书签。.检查主机正确性 错误!未定义书签。.选择安装的服务 错误!未定义书签。.角色分配 错误!未定义书签。.数据库设置 错误!未定义书签。测试连接报错： 错误!未定义书签。.群集设置 错误!未定义书签。.开始安装 错误!未定义书签。.安装完成 错误!未定义书签。警告信息： 错误!未定义书签。4. 常见错误 错误 !未定义书签。.初始化数据库错误： 错误!未定义书签。. 未能连接到Host Monitor 错误 !未定义书签。1 .基础环境1.1. 软件环境本

4、文将介绍 离线安装CD用口 Cloudera Manager过程，软件版本如下:NO.软件名称版本1.操作系统64 位2.JDKjdk-8u151-linux-x643.Clouder Manager4.5.数据库Mysql6.JDBC1.2. 配置规划本次安装共5台服务器，服务器配置及用途如下:NO.机器名称内网IP配置用途1.node168主，CM MysqlDB2.node169从3.node170从4.node171从5.node172从1.3. 所需要的软件资源1) JDK环境：JDK版本：2) 下载地址：包：cMia 本：3) 下载地址：包CDH本：,下载地址：4) 连接jar包:

5、jar包版本：, 下载地址：1.4. 修改机器名(所有节点)1)修改机器名称# hostnamectl set-hostname xxx2)sh/ rootnode169:sh下，如果没有可以新建）：# cat >> /.ssh/authorized_keys如果提示下面信息，则需要创建./ssh目录：# bash: /root/.ssh/authorized_keys: No such file or directorysh目录，再追加公钥内容# mkdir /.ssh# cat >> /.ssh/authorized_keys并设置authorized_keys 的

6、访问权限：# chmod 600 /.ssh/authorized_keys测试：在node168点上执行ssh node169 ,正常情况下，不需要密码就能直接登陆进去了。在node168节点出现下面表示成功登录node169节点：以同样的方式将 公钥拷贝至其他节点服务器上。1.5. 关闭SELINUX（所有节点）关闭linux SELINUX安全内核# setenforce 0（临时生效）修改 /etc/selinux/config 下的 SELINUX=disabled（重启后永久生效）# vi /etc/selinux/config内容增加：SELINUX=disabled重启后生效：

7、# reboot查看SELINUX是否关闭：#sestatus（在Centos7中遇到SELINUX无法关闭的问题，重新启动机器恢复正常）1.6. 修改Linux内核参数（所有节点）为避免安装过程中出现的异常问题，首先调整 Linux内核参数。1） 设置swappiness ,控制换出运行时内存的相对权重，Cloudera 建议将swappiness 设置为10 :7)1)此问题原因：有些网上说是由文件句柄数限制引起，所以按照网上说明进行了修改:在主节点上，修改/opt/文件：查看文件句柄数，显示1024,显然太小# ulimit -n1024/修改限制# vi /etc/security/在文件后加入下面内容：# so