hadoop数据分析平台第二周作业及答题_第1页
hadoop数据分析平台第二周作业及答题_第2页
hadoop数据分析平台第二周作业及答题_第3页
hadoop数据分析平台第二周作业及答题_第4页
hadoop数据分析平台第二周作业及答题_第5页
全文预览已结束

付费下载

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、作业 1 完成Hadoop 1.x 集群的安装，把安装的过程抓图（不方便抓图的可以用拍照等各种）放在作业 中，作业中应要介绍具体的安装环境和主要安装步骤。 安装过程及环境概要：1、 VMWare Worksion 10；2、 RedHinux AS 5；3、 安装一套较完整Linux 虚拟环境，克隆另外两台试验的虚拟节点机器；4、法启动，报端口异常的错误，后网上查阅资料是Hadoop 集群主机名不能使用下划线字符 ；5、 在计划作为Master 的节点上安装jdk_1.7.0_51；6、 设施SSH 无密钥登录，具体结果如下：在 Master 一台机器配置完成 authorized_keys

2、和 known_hosts，然后使用 scp 拷贝到两个从节点.ssh 目录下；7、将好的 hadoop-1.2.1-bar.gz 文件使用 SFTP 工具上传到 Master 节点，并解压缩；8、更改解压缩包 conf 目录下几个配置文件：1).hadoop-env.sh 修改 JAVA_HOME：配置三台节点 ip 地址以及主机名，主机名的中间不能有”_”字符，不然会导致 hadoop 集群无修改“# export JAVA_HOME=/usr/lib/j2sdk1.5-sun”为“exportJAVA_HOME=/usr/jdk1.7.0_51”2).修改 core-site.xml 配

3、置，增加 2 个参数：hdfs:/hd01:9000hadoop.tmp.dir/home/duangc/hadoop-1.2.1/tmp3).修改 hdfs-site.xml 配置，增加 1 个参数：dfs.replication24).修改 mapred-site.xml 配置，增加 1 个参数：mapred.job.tracker hd01:90015).修改 masters 配置，增加 hadoop 集群主机主机名：hd016).修改 slaves 配置，增加从属机主机名：hd02hd037).修改 hosts 主机配置：增加 hadoop 集群主机 ip 地址和主机名的关系8)几步配置完成的 hadoop 代码等到子节点服务器： scp -r ./hadoop-1.2.1duangc_hd2:/home/duangc9).格式化名称节点：bin/hadoop namenode format10).启动 hadoop 集群守护进程：b

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论