cdh52离线安装部署cloudera manager4配置SSH无密钥访问

ClouderaManager安装部署手ClouderaManager安装部署手 文档概 Centos的基础环境搭 配置ntp时间服务 安装配置SSH无密钥............................................................................................配置ClouderaManager的yum 安装配置Cloudera MySQL的配置方 安装整个CDH4组 ClouderaManageClouderaManager安装部署以及CDH4本文档基于Centos6.564位操作系统和ClouderaManager4.8以及Hive等组件。其中Hadoop为分布式文件系统和计算的基础框架系统，其中包含MapReduce程序，HDFS系统等；HBase为列式的分布式数据库系统；HiveSQL查询功能。Zookeeper为分布式系统的协调系统。CentosCentos系统（CentosLinux版本号：CentosPOINEERDVD_RWDVR-XD111.00（安装盘的名称进入欢迎界面后选择“Installorupgradeanexistingsystem当提示“DiskFound”时，选择“skip”后，按回车键（检查光盘当出现CentOS6的LOGO时，点击Next进入语言选择界面后，选择(Simplified)(中文（简体）)Next进入选择键盘界面，选择默认的英语式，点击下一步按进入设备选择界面，选择基本设备，点击下一步按点击左下角的配置网络按钮，选择Systemeth0勾选自动连接，对所有用户可用，点击IPv41，子网掩码DNS进入城市选择界面选择亚洲/把系统时钟使用UTC时间的对勾去进入分区界面，删除sda选中sda格式化成ext4选中sda102400M，点击确定按钮/opt勾选格式化“ext4选中sdaswap，其他大小设置中，选择指定空间大小，61440M（2倍，点击确定按钮式化选项“swap选中sda钮选格式化选项“ext4选择sdb/data1剩下的分区与sdb如果弹出警告需要/boot/efi分区，则新增/boot/efisdaGPTctrl+alt+f2#>mklabelGPT#mkfs.ext4-F/dev/sdb#mkdir/data1#mount/dev/sdb#echo"/dev/sdb #>mklabelGPT#mkfs.ext4-F/dev/sdb#mkdir/data1#mount/dev/sdb#echo"/dev/sdb defaults 0"安装操作系统所需要添加及删除组件添加组件包WebWebMysqlMysqlPostgresql数据库客户端Postgresql数据库服务FTP1332选择同意证协议，点击前进按输入用户名 Kdump编辑vi将 设置每台机器的切换到root用户下，执行一下命令：开启网络服务：servicenetworkstart关闭：serviceiptablesstop设置网络服务开机启动：chkconfignetworkon设置永久关闭：chkconfigiptablesoff设置selinux将selinux永久处于关闭状态：编辑/etc/selinux/config(该配置完成后需要重启服务器生效ntp配置时间服务器ntp1virestrictdefaultkodnomodifynotrapnopeer同时添加两行：serverpreferlocalfudgestratum将iburstiburstiburstiburstntp 启动ntp服务 将时间服务器开机启动：chkconfigntpd错误信息可查看错误日志 观察启动的端口netstat–tlunp| 显示ntp服务器与上层服务器状态ntpq-(该配置完成后需要重启服务器生效配置时间ntp客户端辑vi *ntpdate为用户指定定时任务，然后重启crondservicecrondrestart指明连接的服务器地址，然后重启crondservicecrond至此则ntpSSH配置集群的hosts文件ssh1cd/root/.sshod644authorized_keys使用scp命令把authorized_keys，id_rsa，id_rsa.pub分发到各节点配置集群的hosts文执行vietc/hosts同时利用scp指令将hosts文件拷贝替换/etc/hosts文件。 sshssh2则主成xinhong-hadoop-12。exit退出登录的xinhong-hadoop-12主机。ClouderaManageryum*0yum配置集群的hosts文0yum源的服务器端在/opt/下创建 执行tarzxvfcreaterepo-0.9.1.tar.gz进入createrepo-0.9.1执行make执行makeclean执行makeinstall ClouderaManager的所有rpm包存在/var/www/html/cloudera-manager将CDH4.4的所有包都存 /var/www/html/CDH下将Centos系统盘里面的 下的所有x86_64的包全部拷贝 在/var/www/html/cloudera-manager下执行：执 程序会创建 ， 包含一些描述软件源的xml文件在/var/www/html/Centos-6.5下执行： 程序会创建 ， 包含一些描述软件源的xml文件httpd服务servicehttpd在浏览器中打开该该httpd -apn|more查看哪个程占用，并killpid,并重启httpd发布的ClouderaManager发布的CDH的安装包数据源：将 下的所有repo文件全部删除，同时 下创建cloudera-manager.repo文件vicloudera-manager.reponame=ClouderaManager,version5.2.0baseurl=gpgcheck=0(CM更新包所需修改 下创建Centos-6.5.repo文件viCentos-6.5.repobaseurl=gpgcheck=0将cloudera-manager-installer.bin放到/opt/cloudera-manager/目 在浏览器中打出现一个登陆界面用户名和均为选择ClouderaStandrad配置root的后，点击继续等待安装完成如果安装失败，大部分情况都是由于缺少包的原因：其中有可能缺少包：由于系统安装包已经全部创建ym上相应的m包，在创建ym源的点上创建ym安装包。创建方。MySQL启动sql：servicemysqld添加root用户：mysqladminurootpassword使用root登录msqlmysqlh1-u设置所有主机都可以用root登录：GRANTALLPRIVILEGESON*.*TOroot'@'%'IDENTIFIEDBY'123456'WITHGRANTOPTION;FLUSH创建数据库createdatabaseamon;createdatabasesmon;createdatabase添加smon，amon，hmon用户(只允许本机)，并分配权限GRANTALLPRIVILEGESON*.*TO'smon'@'localhost'IDENTIFIEDBY'123456'WITHGRANTOPTION;GRANTALLPRIVILEGESON*.*TO'amon'@''localhost''IDENTIFIEDBY'123456'WITHGRANTOPTION;GRANTALLPRIVILEGESON*.*TO'hmon'@''localhost''IDENTIFIEDBY'123456'WITHGRANTOPTION;FLUSH执行exit退出sql执行 on（开机自启动测试连接新创建的三个数据CDH4HDFS服打开clouderamanager系统的首页，点击下图按钮选择HDFS勾选使用自定义数据库，数据库的主机名称是安装服务的节点，端名称以及如图所示：打开clouderamanager系统的首页，点击下图按钮宝贵，所以将zookeeper服务部署到数据节点，点击继续按钮：修改数 及事务日 后点击接受按钮选择YARN修改YARNMapReduce服选择MapReduce修改MapReduceHBASE服选择HBase修改HBase开启HDFS在首页点击HDFS1进入HDFS界面点击右上角操作按钮，点击启用HA指 standby的节点创建namenodeHA等待启动完成后，HA开始MapReduce配 ，点击继续按钮等待启动完成，HA集群的各项性能指标8.9设置服务开机自启