Cloudera大数据平台环境搭建(CDH5.13.1)傻瓜式说明书

1、Cloudera 大数据平台环境搭建（版）版本作者郭维忠发布日期2018-03-10目录Cloudera 大数据平台环境搭建 错误 ! 未定义书签。（版） 错误 ! 未定义书签。1. 基础环境 . 错误 ! 未定义书签。.软件环境 错误! 未定义书签。.配置规划 错误! 未定义书签。.所需要的软件资源 错误! 未定义书签。.修改机器名（所有节点） 错误! 未定义书签。.设置防火墙（所有节点） 错误! 未定义书签。.配置免密码登录 SSH 错误! 未定义书签。.关闭 SELINUX（所有节点） 错误! 未定义书签。.修改 Linux 内核参数（所有节点） . 错误! 未定义书签。.其他安装与配置

2、（所有节点） 错误! 未定义书签。.配置 NTP服务 错误! 未定义书签。.安装 oracle （所有节点） 错误! 未定义书签。.Mysql 安装（主节点） 错误! 未定义书签。2. 安装 CM 错误 ! 未定义书签。.传包，解包 错误! 未定义书签。.创建数据库 错误! 未定义书签。.创建用户 错误! 未定义书签。.制作本地 YUM源 错误! 未定义书签。.拷贝 jar 包 错误! 未定义书签。.修改 cloudera-scm-agent 配置 错误! 未定义书签。.启动 CM Server 和 Agent 错误! 未定义书签。.访问 CM 错误! 未定义书签。3. 安装 CDH 错误 !

3、 未定义书签。.登录后界面 错误! 未定义书签。.选择 CM版本 错误! 未定义书签。.指定主机 错误! 未定义书签。.选择 CDH版本 错误! 未定义书签。出现 “主机运行状态不良”错误 错误! 未定义书签。.检查主机正确性 错误! 未定义书签。.选择安装的服务 错误! 未定义书签。.角色分配 错误! 未定义书签。.数据库设置 错误! 未定义书签。测试连接报错： 错误! 未定义书签。.群集设置 错误! 未定义书签。.开始安装 错误! 未定义书签。.安装完成 错误! 未定义书签。警告信息： 错误! 未定义书签。4. 常见错误 . 错误 !未定义书签。.初始化数据库错误： 错误! 未定义书签。.

4、未能连接到 Host Monitor 错误! 未定义书签。1. 基础环境1.1. 软件环境本文将介绍 离线安装 CDH和 Cloudera Manager 过程，软件版本如下：NO.软件名称版本1.操作系统64 位2.JDKjdk-8u151-linux-x643.Clouder Manager4.5.数据库Mysql6.JDBC1.2. 配置规划本次安装共 5 台服务器，服务器配置及用途如下：NO.机器名称内网 IP配置用途1.node168主， CM， MysqlDB2.node169从3.node170从4.node171从5.node172从1.3. 所需要的软件资源1) JDK 环境

5、：JDK版本：2) 下载地址： 包：CM版本：3) 下载地址： 包CDH版本：，下载地址：4) 连接 jar 包： jar 包版本：， 下载地址：1.4. 修改机器名(所有节点)1) 修改机器名称# hostnamectl set-hostname xxx2)sh/ rootnode169:sh 下，如果没有可以新建）# cat >> /.ssh/authorized_keys如果提示下面信息，则需要创建 ./ssh 目录：-bash: /root/.ssh/authorized_keys: No such file or directorysh 目录 ,再追加公钥内容# mkdi

6、r /.ssh# cat >> /.ssh/authorized keys并设置 authorized_keys 的访问权限：# chmod 600 /.ssh/authorized keys测试：在 node168 点上执行 ssh node169 ，正常情况下，不需要密码就能直接登陆进去了。 在 node168 节点出现下面表示成功登录 node169 节点：以同样的方式将 公钥拷贝至其他节点服务器上 。1.5. 关闭 SELINUX（所有节点）关闭 linux SELINUX 安全内核# setenforce 0临时生效）修改 /etc/selinux/config下的 SE

7、LINUX=disabled （重启后永久生效）# vi /etc/selinux/config内容增加：SELINUX=disabled重启后生效：# reboot查看 SELINUX 是否关闭：#sestatus在 Centos7 中遇到 SELINUX无法关闭的问题，重新启动机器恢复正常）1.6. 修改 Linux 内核参数（所有节点）为避免安装过程中出现的异常问题，首先调整 Linux 内核参数。1） 设置 swappiness ，控制换出运行时内存的相对权重， Cloudera 建议将 swappiness 设置为 10 ：1)4)5)6)7)1)4)to rootlocalhost

8、 identified by 'root' with grant option;grant all on *.* to root"%" Identified by "root"flush privileges;exit;root(?nodel68 parcel-repo# 11oral 1888980rw-rr一 1rootroot1934231261Mar2717:34CDH-5.13.1-1. cdh5.13.1. pO. 2-el7. parcelrw-rr 1rootroot41Mar2717:34CDH-5.13.1-1. cd

9、h5.13.1. pO. 2-el7. parcel. sharw-rr- 1rootroot73766Mar2717:34manifest jsonroot(?nodel68 parcel-repo# .clouctera manager欢迎便用 Ckxxlera Monager MM诃仙uft侣Cte««r»8t*MrdlKmeV«tm>i»IWW6END US0IUCZM2 0M5 “O OOCUIONSTK» K RMS AHO COMOIT)C« (W5f TimtSD APR.V TO VO.R UK (X

10、 THf RKDUCTS 心 CfPhfD BROW) Am«0 列 dOX M (T10lC«AnPlfABf VAD TX!f TRIMS CART FULIYir WUrQiraiXlHTQMSr)FtAM TO J« Merer Y»c VUC9JCTX OM tm«l/ Qt ACC«m»MV M0THDI tMHTXVQUttFWnmf IHM WUMRTX twtovtt Q« AG0T or suer ccwMtrr q* omea rwr-rv; a>a pj s/r rtc altthwt

11、y tc acuft Aiiorne 化« and coNnoits srr roww m an Acctprre ntcutST ； as :etweo 0aOW)AMDrH8l T(IM(COli(C1IVHVJM /“HtflMnCM.MU 0 a>CQMMn<005H( WT¥18v uimo Marx Mooucra »eu «ocmo«i(m( amoao«( that(A. vOUHMf tfADALLOFK TUM>MICO«lCnIO«0 T«M；(£M

12、63;NIqw VOU OHBTMC Ml OF tm rtflim AMS COIMEMS 0* TNB AJilTfMtMT.(o you *cwrr m «r i re* vr noum m all or rx Trws w ccwxTOhs sn Lcwm rim x»r rxNTlFUK>N0T*3«KiiWMAWV0fTM( TfAul QA C0N»T)0M OF T<M TMi VOuM>V l«T U« AX*« TH fmKXTt欢迎使用 Cloudera Manager也0*硒个版本?

13、U ClMters Enlv*n» >MR*CTW»*5*Mr*«5J<nrWOS 2=6 SdLrWr.Clover* Ecprecs7Ctoudera Enterpns Cloudtrs tnt«rpns«Ckxxtora EnMcpnse卉可ii5XWZC；衣FCMMP左.:迂再甘«WTUVW 1砂 FlwEmcn OcoXifcmwcm*XflIMSBMm.COHCleudore7Cleudva KUnoger 爲製功繼Cloudva NedQ«to<*Cloudva NaviQstoc My Tr

14、viut7Cloudi AM>« dr» 爲r cumUt.«Monwz«nw»>*w rr.感谢您选择 Cloudera Manager 和 CDH. 4ehe%m»«w XDE. Jgz VMN I Ap*cM HRim SkCMSAM" AKtM 0(M>» /pacha Hnra Hu.esAwcu>./achaFUiM Cai«i»r» irraia <巧 Aaaeh* I QeZMfy.cheSqcop Ckvikr# 3e»

15、;Kh < 眸耳釣Apeche I 4oh»S(4eiw® a°4.hiqkbsm.切r以y耳7更割黄 csu«.>« f*oc«<d to y l» dtMctif Vw CCH OZ Marto* 規mlGf xterM OtwWt S>«Mv)Cf JwixwrXl M*rm*<* C?JDK (3ckxxJera mahkger为cDH«nc安商定主机.T< i«WnFrt：iis«mw*www - r «n ifqom i仝忑.C

16、3S> a* Doettor.Mw-9- Ro 9>皿仝IgUF尢3 «* Otaxric P Btt.I -oit< * 1 -；OSO冬*qmKMilhNoyvrnMdooCB e *nve»i6MMin3i O crBoociszseW“2nmoYvtn39v e gBoxowraogz/ grMnx>v e里Kjfef MX) U<* (Ltlfil 上 "2K七僅"“ I i tM» l l 4 FM(D i "$wp <T ewh« mL 0畑尸叫W*.OUM4I* O UWM

17、S玄XMUH如昨JU±t齐化旦K»QgTV8M»：V»<Hf C«M3K 'NB!l*a*HM2MI“Wl»»410D9f*砂Ul El Z/ls”>» 鼻* R4Z9a»ui ns>*时fcituuiourerwkiw» »*40WrwMl OlUiw >«4«wt»冬kkr>i * tt«EW exf«皿昕|MNI.Y> g w MV ?広”于FW 9王IA8K5#«HOOQ(v

18、 CSM «<«> gtf W7« m. rvwtog ATXWWA.巾 *wxnr«a. iE.3«rwuwa. 7山BrH>000BQ000止 AfrimrPBfoei»na、“ foxuuDQOO群矢安装ttid bc«»M« Hfi It? 04 «. 0UR.W辞築设IS上安斑 CCHSB.s&M&ffWMg0 WkrHadtxMOe». VAHN ( Ma>Mie J |.Oeato. Z Ml 2 "MiW<*K V

19、M«N ( HM“ 3 ).OM. me. hue 如2fW> ym”r 恢90十乙” m IRXtO，K*jstf»X«KK.o玄in私化o己yctw内2 叙哄*©cw <. M±<me<5 c»< .- wca«ttfc*«Mi£REscma i t»t “1日丘三<»*«二一55)十” *e>gW CDUnCw » 年Hew g*w«?a«w时汇8CW«<e 1 - COH ftOO

20、QOQDHk. V««N < MaHlic. J . TMr, GM,2 «1AUeraiWtHETS. V«flN < * Mas«ie J . Xoc&Mpar. OeoM. t««. Hue 如 3ASpvi WHCm. VM>N ( KAaMHe* J.QeoM. »*. Hue SpartcHOS. MaWie卄.Qeato. ttve. Hue. HBm>. »nM«. Sdi. « SVaUeMm Hd«i杓C<MMNHWf

21、r«3 PWCAflrONM2to-nVMlk.Cto«w.srro.写f Kb可D书fc3. Hit.群集设IS且定义角色分配处R仝乂"血她沁.心C分*不正. WC .分也机上的H色E . Wf穷ME料那gWWJKJt刘己卯仝R邑段*样2至机SftCkxjderaT 0决交分”Q(Zi fpobSSI<re 】心1胡(ZlFoUZogSfr <rdeiedE3 IgaW D*boa m 护与 DM*Modi B OQQOOQ返回N HBase口心<r « l*WQre««< R£$T$vif

22、71; 1口:阳xT"2vr 1-HICJ|Reg"Swfr 4 Vi*noctelftSnodelOO fWctelTO 与DmMod咱月QMDFSLjNamdSoda * 1EZ3 Sdoonddry«iim«Nod« 1«0tElBUnc“ dHEtpFS 1 Mtnode168node168<wdeU8node，70 nzbFsgE i 时1£3 OeKaNode « 4 &HKnodolbO*201121721.& HiveEiGatewy 5 iRttLZM«a«

23、;oce Server 1 *ittZ2 WcbHQrt SemrdlHveSeng 1nodHW172|nodelOOMxUnockioe小X*QHu»S«v« « 1 mttE33dB4w MnodeUSno<Je168y InoekIC0<llKX«B«a9. 齐 C7)MMta«Xd«w«.UWHZH主ISMb»*2i说gAcMf Monitor ygF7e9" ni»Y.MKWXVrlOBM»WLOon«S4fWr£MwS4

24、r«e4«iM XMITliVWXVvW*wwrwd16fe卢aHu<MI»V9n.g«a-4衲阳y*«HrwnoctrootMUtA* Wf Mnwni'crftwt4衲-«»=*«wQCBMrootrootIM" flUZ HMtruct1 qp aueewulu««w»nwi» MQgn «>r mm tm# «swn u«ow« mm口£S群集设還咖際"伍6QHSX疔今.先耐比3

25、创m 3V& CImuBi d CW<inf 祁 bid 3ubeEiKBIU.M,y*V 9uetM»Mnw£ms» fUMM raps >xde168M>5QLht»ero«rootAcbvity MondorMttC力他 no4t!M上却.UM 1愧名鼻M*«TItVMKW mns Z(68MvSOLmorwto-rootwtOozie Server7 $<hcmvMrW»1M ±J7.M«f eww INt热岭：mp«：eW:riufolMM>$Ol

26、ggrootHue7 Suc+ZMUC扑grMUC8.：宾修：用戶册«：r>tttol68MySOlhuerootrootBit tttMMT初董UEEM匝 7: »«n 认a名行 *5用» 主机各存 杠包 wmasdu. 矗色丈于曰-雯机上ooaaQQ««root dirMfWHM 5lAIWWIMW r«pHc«tM>nwr. 3人小afa.Uock u» dfs bk»c>(aAM Cluvte* 1 » 尸th>> (I才0D ) f CluMr

27、1 Ma» ( OMTr x . f*>M ZatM. a mow 别 o.OMsode f©»>e<1 vdurr»e »to«r<ateoXU»Z nMH«“0.83亠.a“ <Mic «* 4carter 1 MOTS <)血I w CkMtw 1 D“N&q CW«M»1 <VO9C*»te< 1 D«i»N8q Oef«vn O*oe >)0®CMmH I Na&#

28、171;neN*tf« OeteaH U*ou*» * /dai«/df«/nr>|曰田c*wcloE dCM计 I Sec<xw>yF4t.nN<M>e Oe««s»v Ooup J | «d«1a*df yrvnI e®>4m A<a«y Meteor 仃 t»v« *TXtM»tor« portdQ.I Mrve 4oe Servwfgup*KM1叭|MAe O»emgn M<3B*

29、vm:主Cxte* 1 *Ooc-wxx* C>e<«uir Gfoo fan i 令 *_| e®“ : f EHi"AJ«rt rubltetwr O»f«uit Orowp yzxA*e»1 AublfhL CXutt Orovp茫- IAl*rl Phlt*h»« CWauIV Of««nUUfaJCJUO苗第设頁C上0e <amflrit Run of tfw following sar«KM >xcessfully； 2o«

30、71;M0«r. kDFS. Mas. Sole. YS |Z Included>. Ky-valu* Stor® Ind*x#r. Sprk. w,E Inp«19 Oorlf. Hue.HwM9««e*t Wrvic*.y匕祁WyHH只2个人 $howJUl9(f4 U Sow Only "心 SP» Slw Or Rixvimj StepeOIf " xpedatf *2 mws arw ««t>Bed on hovlaectt i tt*.O 正DW»Q3IM Ci

31、M*心taccmfullr deplvyH >11 cliert cfivjratiort.3月如24S上H3B»H»46±41iTWie<7»0 色动 gxteSe<sce ZooMew*曲焙貝z tMi-Jfi »W02±*2497«O aKMS"临氏 1 !-«'月如,527上39 92>O GL3 "Kt 2 tr«-胃如207上工34 «0 耐.LYAAN|*7W 已烦农2 tMI-，目如23上27tUO启EM ecK i f

32、1;i-9內如上3202*O己疾1 19M3M6&上*44”o e®iio«w e««K 2 回.jRmtlOWX*44 BU©3 月 SQtllll JH52338e，个Tio & i&SOQQOCOEZIa ex* 3 k*ctouderi man«r所有土机.PF>M>A« >nm>(!«*) >«(««») >ar«x >«>M【as"mtuDEZEMW®S

33、AO.曙carMan WMirnvewtty *«nwrionttuwe*»w z« eMMMe WBJC* W9Bn M*onsM，心mII IUatiO0$gyUM FMH IMnIV OBIM.* 9AS JTIIt IMM»MdSiHt.MMiteum rneH IMM IO««n>M> ,”S JUSia(tMcloudera manager © node172 " Gft*IHSttMMl各财 4.l0 Myqi rnnFrg-For-«*J!u: TMs 1$ for a sys

34、tem with little w»cry (32w mm) wtwe MySQt playst jn inport jnt part 9 or tystovs up to X2Bw uhoro MyQu u&od togothor with other program (such q a web server)# rysou proyarfe look for option riles 1n a sei of# locallom uhlch depend on the depluytient platforti."rou i初 copy this option f

35、 1to onw of xhos*“ locations for inforiMTion about these locations se«:“ http:/dev«ysaTmysql en opricx files.hrrwl#* Tn this file. you can use all long of>tions that a program supports* If you wrarrt to know which apticm a prograr supports run the program* 1诵 the "help* option“ Tfw followlH9 opxlom will X 呻、“ to all /9Q< clientsclienrpasswordyour .passwordp