Chapter01基于Hadoop生态系统的大数据解决方案TP01

第一章Hadoop入门,课程地位,2/39,本课目标,学完本门课程后，你能够,了解云计算与大数据的概念,会运行、使用、维护Hadoop,能够在Hadoop上开发分布式计算程序,能够运用Hadoop解决大数据中的简单问题,3/39,课程结构图,4/39,课程项目展示,贯穿案例：音乐排行榜项目案例：天气查询系统,5/39,辅助学习资料推荐,教员备课时根据课程情况在此添加内容，可以是青鸟云课堂推荐资料、也可以是教员积累的的资料，如帮助手册、经典书籍等,此页PPT可选，如果不需要提供辅助学习资料，则可以删除此页。,6/39,课前,浏览预习作业，带着问题读学生用书，并记录疑问即使看不懂也要坚持看完提前将下一章的示例自己动手做一遍，记下问题,课上,认真听讲，做好笔记完成上机练习或项目案例,课后,及时总结，完成学生用书和学习平台布置的作业多模仿，多练习多浏览技术论坛、博客，获取他人的开发经验,学习方法,7/39,预习检查,什么是大数据？常见的大数据处理系统有哪些？Hadoop的核心是什么？简述Hadoop运行环境的安装步骤简述Hadoop开发环境的安装步骤,集中测试,8/39,本章任务,安装Hadoop运行环境安装Hadoop开发环境,9/39,本章目标,了解云计算与大数据了解Hadoop体系结构能够安装Hadoop运行环境熟悉Hadoop开发环境,10/39,为什么学习大数据,应用案例谷歌的云计算平台成功预测了世界杯16强比赛每场比赛的胜利者沃尔玛（零售连锁超市）啤酒与尿不湿百度高考2014年预测押中了全国18套作文考题中的12套其他应用,推荐引擎情感分析风险建模欺诈检测营销活动分析,客户流失分析社交图谱分析用户体验分析网络监控产品设计,11/39,什么是大数据,大数据定义是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合大数据特点体量巨大数据类型多样，以非结构化数据为主价值密度低产生和要求处理速度快大数据处理系统Hadoop、Spark、Stom等,12/39,大数据应该怎么学习,大数据就业方向大数据系统研发工程师大数据应用开发工程师大数据可视化工程师大数据分析师目标：大数据应用开发选择以Hadoop作为解决方案要求掌握Hadoop前置技能Java编程基础Linux基本操作以分布式方式求解问题,13/39,为什么首先学习Hadoop,Hadoop的优势低成本高扩展性高效性高容错性多家厂商支持或者采用Hadoop,14/39,Hadoop简介3-1,DougCutting来自于Yahoo的工程师读了Google相关论文后建立的分布式计算平台“Hadoop”是以他儿子的玩具大象命名Hadoop可以做什么分布式存储（HDFS）分布式计算（MapReduce）更方便的存储数据（HBase）.,15/39,Hadoop简介3-2,更加完整的Hadoop生态圈,16/39,存储管理,基本数据的处理,随机数据读写、实时访问,Hadoop简介3-3,Hadoop发行版本,17/39,准备Hadoop运行环境2-1,所需软件包VMWareWorkstation12CentOS6.5（64位）jdk-7u67-linux-x64.rpmhadoop-2.6.0.tar.gz在Linux中配置Hadoop运行环境创建用户安装JDK（/usr/java/jdk7）配置SSH免密码登录客户端主机（拥有自己的私钥、请求方）服务端主机（拥有别人的公钥、应答方）,18/39,配置SSH免密码登录要求准备三台实验机（node1、node2、node3）实现node1免密码登录至node1、node2、node3步骤在客户端主机中生成公/私钥对ssh-keygen-trsa将客户端主机中的公钥分发给服务端主机ssh-copy-id服务端主机地址在客户端主机上免密码登录至服务端ssh服务端主机地址,准备Hadoop运行环境2-2,19/39,Hadoop完全分布式安装9-1,Hadoop的三种运行方式单机模式、伪分布式、完全分布式完全分布式实验环境完全分布式安装步骤安装Hadoop配置Hadoop：七个XML文件,20/39,Hadoop完全分布式安装9-2,安装Hadoop解压hadoop-2.6.0.tar.gz到用户HOME目录cdtar-zxvfhadoop-2.6.0.tar.gz重命名mvhadoop-2.6.0hadoop配置环境变量：/etc/profileexportHADOOP_HOME=/home/hduser/hadoopexportPATH=$HADOOP_HOME/bin:$PATH,提示,21/39,Hadoop完全分布式安装9-3,Hadoop目录结构bin：执行文件目录etc：Hadoop配置文件都在此目录include：包含C语言接口开发所需头文件lib：包含C语言接口开发所需链接库文件libexec：运行sbin目录中的脚本会调用该目录下的脚本logs：日志目录，在运行过Hadoop后会生成该目录sbin：仅超级用户能够执行的脚本，包括启动和停止dfs、yarn等share：包括doc和hadoop两个目录doc目录包含大量的Hadoop帮助文档hadoop目录包含了运行Hadoop所需的所有jar文件，在开发中用到的jar文件也可在该目录找到,22/39,Hadoop完全分布式安装9-4,Hadoop配置配置文件一：hadoop-env.sh指定JDK路径：exportJAVA_HOME=/usr/java/jdk1.7.0_67配置文件二：yarn-env.sh配置YARN框架以执行MapReduce程序指定JDK路径：exportJAVA_HOME=/usr/java/jdk1.7.0_67配置文件三：slaves选择node2、node3作为从节点,提示,23/39,Hadoop完全分布式安装9-5,Hadoop配置配置文件四：core-site.xmlHadoop的全局配置,示例,fs.defaultFShdfs:/node1:9000hadoop.tmp.dirfile:/home/hduser/hadoop/tmp,24/39,Hadoop完全分布式安装9-6,Hadoop配置配置文件五：hdfs-site.xmlHadoop分布式文件系统HDFS的配置,示例,node.secondary.http-addressnode1:50090.dirfile:/home/hduser/hadoop/dfs/namedfs.datanode.data.dirfile:/home/hduser/hadoop/dfs/datadfs.replication2dfs.webhdfs.enabledtrue,25/39,Hadoop完全分布式安装9-7,Hadoop配置配置文件六：mapred-site.xml,示例,yarnmapreduce.jobhistory.addressnode1:10020mapreduce.jobhistory.webapp.addressnode1:19888,该属性指定使用YARN框架运行MapReduce程序,26/39,Hadoop完全分布式安装9-8,Hadoop配置配置文件七：yarn-site.xml如果在mapred-site.xml配置了使用YARN框架，那么YARN框架使用此文件中的配置配置如下基本属性以指定相关服务地址yarn.resourcemanager.addressyarn.resourcemanager.scheduler.addressyarn.resourcemanager.resource-tracker.addressyarn.resourcemanager.admin.addressyarn.resourcemanager.webapp.address最后将前面七个配置文件从node1复制到node2和node3scp-r/home/hduser/hadoop/etc/hadoop/hdusernode2:/home/hduser/hadoop/etc/scp-r/home/hduser/hadoop/etc/hadoop/hdusernode3:/home/hduser/hadoop/etc/,27/39,Hadoop完全分布式安装9-9,验证Hadoop的安装、配置格式化NameNode关闭各实验机的系统防火墙并重启启动HDFS启动YARN查看Hadoop集群运行状态,28/39,bin/hdfsnamenode-format,sbin/start-dfs.sh,sbin/start-yarn.sh,jpsbin/hdfsdfsadmin-report,第一个MapReduce程序,WordCount单词统计使用MapReduce框架编写实现了对多个文本中单词计数的功能位于hadoop-mapreduce-examples-2.6.0.jar运行MapReduce程序的命令运行WordCount,hadoopjarxxx.jarxxx.MainClassNameinputPathoutputPath,hadoopjar/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jarwordcount/input2/output2/wordcount1,29/39,示例,小结,Hadoop完整的安装过程准备Hadoop运行环境并划分主机角色创建虚拟Linux主机、创建用户、安装JDK、配置SSH登录、修改hostname和hosts文件安装Hadoop解压到合适的目录修改/etc/profile，配置Hadoop环境变量HADOOP_HOME配置Hadoop：hadoop/etc/hadoop目录中的文件hadoop-env.sh、yarn-env.sh、slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml同步所有节点的Hadoop配置验证安装格式化注意正确配置防火墙启动HDFS、YARN,30/39,学员操作安装Hadoop,需求说明完成Hadoop完全分布式安装准备三台Hadoop运行环境安装Hadoop配置Hadoop七个XML文件同步三台实验机的Hadoop配置验证安装并运行WordCount程序,练习,提示,31/39,常见问题及解决办法代码规范问题调试技巧,共性问题集中讲解,32/39,安装Hadoop开发环境,所需软件包eclipse-java-kepler-SR2-linux-gtk-x86_64.tar.gzhadoop-eclipse-plugin-2.6.0.jar安装步骤在node1节点机上解压eclipse至合适目录如：/home/hduser/eclipse将hadoop-eclipse-plugin-2.6.0.jar移到Eclipse插件目录/home/hduser/eclipse/plugins配置hadoop-eclipse-plugin,33/39,学员操作安装Hadoop开发环境,需求说明完成Eclipse在Linux下的安装完成HadoopEclipse插件的安装找到Hadoop提供的源码WordCount.java，在Eclipse创建WordCount并成功运行WordCount源码位于hadoop/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar,练习,提示,34/39,常见问题及解决办法代码规范问题调试技巧,共性问题集中讲解,35/39,总结,大数据Hadoop,Hadoop入门,体量巨大数据类型多样价值密度低产生和要求处理速度快,原则特点,一切都被记录、一切都被数字化（存储）从数字里寻找需求、寻找知识、发掘价值（计算）,体系结构的核心运行环境（Linux+Java）Hadoop的完全分布式安装开发环境,HDFS（解决存储问题）MapReduce（解决计算问题）,EclipseHadoopEclipse插件,hadoop-env.shyarn-env.shslavescore-site.xmlhdfs-site.xmlmapred-s