基于Hadoop的云计算平台搭建--毕业设计答辩PPT课件.ppt

西南石油大学XXXX级本科毕业设计答辩 学号 姓名 导师 基于Hadoop的云计算平台搭建 目录 小贴士1 选题背景相关概念研究内容总结致谢 选题背景 云计算与相关技术 选题背景 小贴士1 单机的存储 IO CPU有限 需要可扩展的集群单点故障问题 单点故障是正常现象 但需要处理这种异常 节点有增有减需要好用的 可靠的基础平台来解决 最好是开源的数据太多 需要能存储 快速分析Pb级数据集的平台 Hadoop Why 选题背景 小贴士1 国内用户 相关概念 小贴士1 HDFS 相关概念 小贴士1 MapReduce 研究内容 小贴士1 搭建Hadoop 研究内容 小贴士1 搭建Hadoop 安装CentOS6 2下载并安装CentOS6 2安装JDK从SUN官网下载jdk 6u4 linux i586 rpm binchmod777jdk 6u4 linux i586 rpm bin jdk 6u4 linux i586 rpm binrpm ivhjdk 6u4 linux i586 rpm配置JDK etc profile安装Hadoop下载hadoop 1 0 4 1 x86 64 rpm http archive apache org dist hadoop core hadoop 1 0 4 rpm ihadoop 1 0 4 1 x86 64 rpm 研究内容 小贴士1 配置Hadoop 修改配置文件 etc hadoop hadoop env sh etc hadoop mapred site xml etc hadoop hdfs site xml etc hadoop core site xml格式化文件系统hadoopnamenode format启动相关服务 usr sbin start all sh 研究内容 小贴士1 Web访问 研究内容 小贴士1 FSShell 研究内容 小贴士1 MapReduce程序 mapper py usr bin envpythonimportsys inputcomesfromstdinforlineinsys stdin line line strip remove line line replace line line replace line line replace line line replace line line replace words line split printword 1forwordinwords print s s word 1 reducre py forlineinsys stdin removeWrapline line strip splitwordby wd line split 1 word wd 0 count int wd 1 checkwordinglobalvarliableword countifwordinword count word count word countelse word count word countfork vinword count iteritems printk v 研究内容 小贴士1 ClusterSummary 研究内容 小贴士1 示例结果 all1storage2Hadoop6computation1highly available1its1supplemented1distributed1simple1systems1Apache4clusters1nodes5has2local2replicating1 them1handle1big1framework2using1servers1projects1HDFS2Zookeeper1Pig1large1each1two2library2up1achieves1 to7top1subprojects2system2that4than1main2ecosystem1work1single1value1will1reliability1of8usability1and5 180words 总结 小贴士1 云计算作为2007年底正式提出的一个新的概念 在这一年多的时间内发展迅速 得到了几乎所有的IT行业巨头的青睐 云计算分布式的特点 方便的用户接入使用 高度的可靠性 可扩展性都为其发展带来了巨大的优势 以Google IBM Microsoft Amason等云计算平台为代表的一系列应用迅猛地发展起来 随着越来越多的全球IT产业巨头不断加入云计算的阵营 这一技术正在从当初的抽象构想变成一个巨大的全球产业 云计算反映的是计算 存储 通讯技术的快速发展 CPU GPU的多核进化及虚拟化技术的日趋完善 为信息系统的高性能和低功耗找到了重要的突破点 更大的互联网带宽则使得更多的计算资源和软件可以以服务的形式推送到客户端 而网络拓扑 软件平台等相关