版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、大数据平台搭建和开发学习计划数据处理平台搭建性能开发性能检索第一章 大数据平台搭建章节目录 1.简介 2. Hadoop平台搭建 3.MapReduce并行计算 4.Spark系统Hadoop平台搭建软件包说明 & 配置主机名XianDian-BigData-v1.0.iso是相关的安装软件包,将安装的软件包放到节点的/opt/目录下,并用mount命令挂载到/mnt目录。# cd /opt# mount -o loop XianDian-BigData-v1.0.iso /mnt/编辑/etc/sysconfig/network修改主机名, HadoopSlave节点的主机名分别为s
2、laver1、slaver2。或者通过即时生效命令使其生效slaver1:# hostname slaver1slaver2# hostname slaver2XianDian-BigData-v1.0.iso是相关的安装软件包,将安装的软件包放到节点的/opt/目录下,并用mount命令挂载到/mnt目录。# cd /opt# mount -o loop XianDian-BigData-v1.0.iso /mnt/编辑/etc/sysconfig/network修改主机名,HadoopMaster的主机名master或者通过即时生效命令使其生效# hostname master在各个节点编
3、辑/etc/hosts文件,添加以下内容:92 master92 slaver194 slaver2验证# ping master# ping slaver1# ping slaver2在各个节点编辑/etc/hosts文件,添加以下内容:92 master92 slaver194 slaver2验证# ping master# ping slaver1# ping slaver2Hadoop平台搭建配置hosts列表配置Yum仓库在有网络的情况下,不需要配置,默认yum源即
4、可。删除/etc/yum.repos.d下的所有文件,手工创建local.repo,配置yum仓库的位置(具体配置参考IaaS文档)。# vi /etc/yum.repos.d/local.repocentosbaseurl=0/centos6.5/gpgcheck=0enabled=1name=centosopenstack-icehousename=OpenStack Icehouse Repositorybaseurl=0/iaas-repo/ gpgcheck=0enabled=1清除缓存# yum clean all配置
5、Yum仓库在有网络的情况下,不需要配置,默认yum源即可。删除/etc/yum.repos.d下的所有文件,手工创建local.repo,配置yum仓库的位置(具体配置参考IaaS文档)。# vi /etc/yum.repos.d/local.repocentosbaseurl=0/centos6.5/gpgcheck=0enabled=1name=centosopenstack-icehousename=OpenStack Icehouse Repositorybaseurl=0/iaas-repo/ gpgcheck=0ena
6、bled=1清除缓存# yum clean allHadoop平台搭建配置Yum仓库Hadoop平台搭建密钥登录配置在节点的终端生成密钥,命令如下# ssh-keygen使用下列命令将密钥分配至各个节点:# ssh-copy-id master# ssh-copy-id slaver1# ssh-copy-id slaver2修改 authorized_keys 文件的权限,命令如下:# chmod 600 /root/.ssh/authorized_keys 无密码登陆验证# ssh master# ssh slaver1# ssh slaver2在节点的终端生成密钥,命令如下# ssh-k
7、eygen这个命令生成一个密钥对:id_rsa(私钥文件)和id_rsa.pub(公钥文件),默认被保存在/root/.ssh/目录下。使用下列命令将密钥分配至各个节点:# ssh-copy-id master# ssh-copy-id slaver1# ssh-copy-id slaver2修改 authorized_keys 文件的权限,命令如下:# chmod 600 /root/.ssh/authorized_keys无密码登陆验证# ssh master# ssh slaver1# ssh slaver2进入到/mnt/Rpms目录,进行JDK的安装:# rpm -ivh jdk-7u67-linux-x64.rpm 使环境变量生效:# source /etc/profile测试配置:# java -version如果出现下图的信息,表示 JDK 安装成功:openjdk version 1.7.0_67进入到/mnt/Rpms目录,进行JDK的安装:# rpm -ivh jdk-7u67-linux-x64.rpm 使环境变量生效:# source /e
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 炼焦煤制备工安全宣传测试考核试卷含答案
- 柠檬酸提取工岗前岗位环保责任制考核试卷含答案
- 花艺环境设计师安全实践能力考核试卷含答案
- 2026年齐齐哈尔理工职业学院高职单招笔试英语历年参考题库含答案解析
- 2026年黑龙江幼儿师范高等专科学校高职单招笔试职业技能测验历年参考题库含答案解析
- 2026年鞍山师范学院高职单招笔试英语历年参考题库含答案解析
- 2026年长春职业技术学院高职单招笔试英语历年参考题库含答案解析
- 2026年重庆三峡医药高等专科学校高职单招笔试数学历年参考题库含答案解析
- 2026年郑州理工职业学院高职单招笔试综合素质历年参考题库含答案解析
- 导猎员合规测试考核试卷含答案
- 【蓝豚医陪】蓝豚医陪陪诊服务发展研究报告
- 2025团校入团培训结业考试题库附完整答案详解(历年真题)
- 【山东省人工智能协会】家庭大脑白皮书2025-智慧生活空间全链路场景体验重塑
- 生鲜供货合同范本5篇
- 【初中+数学】+专题复习课+圆中的折叠课件+苏科版数学九年级上册
- 销钉式连接复合配筋先张法预应力混凝土抗拔管桩
- 《民法典》培训系列课件:第三编 租赁合同
- 2024中考道法时政热点《中国外交大事大盘点》课件
- 浙江博瑞中硝科技有限公司电子含氟气体项目环境影响报告书
- DL∕T 547-2020 电力系统光纤通信运行管理规程
- GB/T 31402-2023塑料和其他无孔材料表面抗菌活性的测定
评论
0/150
提交评论