《大数据平台搭建与运维》教案

41/41任务一Hadoop基本概念（总计2学时）课题情景一大数据中的Hadoop课时2学时教学内容1、大数据基础知识。2、Hadoop基本概念。3、软件清单准备。教学目标1、认知目标：了解大数据、Hadoop的基本概念和关系。2、技能目标：能够上网查找所需软件。3、情感目标：培养学习兴趣、建立课程第一印象。教学重点大数据Hadoop基本概念。教学难点Hadoop系统模式。教学活动及主要语言学生活动一、创设意境，导入新课（4分钟）（设疑法、提问法）导入：同学们，从本学期开始，我们开始来学习大数据专业的核心专业课，今天，我们一起来学习Hadoop。课程注重实践操作，当然，也需要记忆一些理论知识。二、新课教学（总计80分钟）（讲解法、提问法、示范法、练习法）1、大数据的产生伴随互联网+的发展，传统数据呈现爆炸式成长。数据级别：GB-TB-PB-EB-ZB-YB2、大数据的商业价值挖掘数据潜在的规律，影响现在的商业行为。分析现在的数据，预测未来的规律。全球数据产生的价值被Oracle、IBM公司瓜分，中国企业如阿里、腾讯、京东也在大量的使用大数据处理系统。大数据人才需求缺口非常大，专科学生进入需要有扎实的基本功。3、Hadoop（非实时系统的解决之道）当数据体积增大到一定量，传统的数据库系统已经毫无性能可言，甚至无法处理。Hadoop应运而生。Hadoop能够将廉价的PC组合起来，形成具有强大计算和处理能力的集群，协同工作。Hadoop基本上能解决所有的非实时系统的问题，实时系统的问题可以由spark和storm来解决。4、Hadoop系统构建在linux系统中。Hadoop系统的前世今生1）Google公司的三篇论文：GFS\MP\BigTable2）GFS文件系统（到HDFS）3）MapReduce计算机框架JDK1）Java运行核心，因为Hadoop系统就是使用java编写，所以运行Hadoop之前，需要安装JDK。2）JDK版本，目前最新为1.8SSH1）网络安全协议，全名：openssh，是网络主机之间访问的安全规格，主要使用在unix系统中。Hadoop1）核心系统，由一系列的配置文件xml和jar包组成，在配置完成后，需要创建hdfs文件系统包含诸多hdfs操作命令。2）分单机模式、伪分布式模式和分布式模式。JAVA编程Python编程5、获取Hadoop版本：2.7.3网站：/开源：源代码、编译好的系统（hadoop-2.7.3.tar.gz）下载地址：尽量选择国内服务器下载。（互联网公司和大学）可以在机房获取Hadoop相关软件。三、课堂小结（4分钟）（讲解法）大片时间的讲解老师和学生都比较累，建议大家上网将本课提及的软件找到，下载到自己的网盘上。四、课后作业（1分钟）（讲解法）准备软件：JDK、Hadoop、python五、开拓思维，同时提出新的问题（1分钟）（激趣法）下节课我们将正式开始Hadoop的搭建之旅，敬请期待。任务二OracleVirtualBox安装与配置课题情景一VirtualBox安装与配置课时4学时教学内容1、Vbox基本配置。2、虚拟机网络连接。3、Vbox、Xshell实操实操。教学目标1、认知目标：掌握虚拟机常用网络连接模式。2、技能目标：掌握在Vbox下安装和配置虚拟机的一般方法。3、情感目标：抓住学生的兴趣点，激发学习热情。教学重点虚拟机网络连接模式和基本配置教学难点虚拟机网络连接模式教学活动及主要语言学生活动一、创设意境，导入新课（3分钟）（设疑法、提问法）导入：上次课我们学习了与Hadoop相关的理论知识，今天，我们开始实操。二、新课教学（总计80分钟）（讲解法、提问法、示范法、练习法）1、VBox介绍由Oracle公司出品，自由开源软件，可以免费使用，在互联网上随意下载。主要功能：安装虚拟机替代产品：VMware，但VMware需要付费使用。版本：宿主机器配置较好可以用5.0以上版本。2、下载地址官网：/百度上搜国内下载，但要辨别恶意网站。3、虚拟主机的主要网络连接模式桥接：1）虚拟机与主机的关系：可以相互访问，因为虚拟机在真实网络段中有独立IP，主机与虚拟机处于同一网络段中，彼此可以通过各自IP相互访问。2）虚拟机于网络中其他主机的关系：可以相互访问，同样因为虚拟机在真实网络段中有独立IP，虚拟机与所有网络其他主机处于同一网络段中，彼此可以通过各自IP相互访问。3）虚拟机与虚拟机的关系：可以相互访问，原因同上。NAT网路：1）虚拟机与主机的关系：只能单向访问，虚拟机可以通过网络访问到主机，主机无法通过网络访问到虚拟机。2）虚拟机与网络中其他主机的关系：只能单向访问，虚拟机可以访问到网络中其他主机，其他主机不能通过网络访问到虚拟机。3）虚拟机与虚拟机的关系：相互不能访问，虚拟机与虚拟机各自完全独立，相互间无法通过网络访问彼此。内网模式：虚拟机与外网完全断开，只实现虚拟机于虚拟机之间的内部网络模式。1）虚拟机与主机的关系：不能相互访问，彼此不属于同一个网络，无法相互访问。2）虚拟机与网络中其他主机的关系：不能相互访问，理由同上。3）虚拟机与虚拟机的关系：可以相互访问，前提是在设置网络时，两台虚拟机设置同一网络名称。Host-only(主机模式)：（比较复杂的模式）1）虚拟机与主机的关系：默认不能相互访问，双方不属于同一IP段，host-only网卡默认IP段为192.168.56.X子网掩码为，后面的虚拟机被分配到的也都是这个网段。通过网卡共享、网卡桥接等，可以实现虚拟机于主机相互访问。2）虚拟机与网络主机的关系：默认不能相互访问，原因同上，通过设置，可以实现相互访问。3）虚拟机与虚拟机的关系：默认可以相互访问，都是同处于一个网段。4、安装前的准备工作根据宿主机的CPU选择相应的操作系统版本，并下载对应的ISO文件包。5、全局配置虚拟机文件保存目录。导入、导出虚拟机、系统快照。6、创建虚拟机操作系统：linux-ubuntu虚拟磁盘内存大小：1G左右7、虚拟机详细配置常规：共享粘贴板、拖放网络配置：桥接存储：光驱（系统安装的关键所在）共享文件夹（超级有用）实操：安装Ubuntu16简单过程。获取Ubuntu16.04ISO镜像，由于这是一个旧版本，需要从Ubuntu的旧版本存档网站下载。创建虚拟机。打开VirtualBox，点击“新建”按钮，开始配置。名称和操作系统：给你的虚拟机起个名字，比如“Ubuntu16.04”。在“类型”中选择“Linux”，“版本”根据你下载的ISO文件选择“Ubuntu(64-bit)”。内存大小：为虚拟机分配内存，建议至少2GB(2048MB)。虚拟硬盘：选择“现在创建虚拟硬盘”。文件类型：保持默认的VDI(VirtualBox磁盘映像)即可。存储方式：建议选“动态分配”，这样虚拟硬盘会随着使用慢慢变大，比较省空间。文件位置和大小：设置虚拟硬盘的存放位置和大小，20GB是个比较稳妥的选择。加载系统镜像并启动。加载ISO文件：在VirtualBox主界面选中你新建的虚拟机，点击“设置”。进入“存储”选项卡，在“存储设备”下点击空的“光驱”图标，然后在右侧点击光盘图标选择“选择虚拟光盘文件...”，找到并加载你下载的Ubuntu16.04ISO文件。启动虚拟机：点击“启动”按钮。虚拟机启动后会从你加载的ISO镜像引导，并进入Ubuntu的安装界面。安装Ubuntu系统。开始安装：在欢迎界面选择语言（推荐“English”以避免潜在问题），然后点击“InstallUbuntu”。跟随向导：接下来，按照屏幕上的提示一步步操作即可。主要包括：选择键盘布局。选择是否联网更新和安装第三方软件。重要：安装类型这一步，对于新虚拟机，选择“清除整个磁盘并安装Ubuntu”即可。设置你的地理位置。创建用户：设置你的用户名:hadoop、计算机名和密码123456(简单密码需要确认)。完成安装：所有设置完成后，等待安装程序复制文件。完成后，根据提示重启虚拟机即可。后续步骤与提醒。安装增强功能：系统重启后，建议在VirtualBox菜单栏点击“设备”->“安装增强功能...”。这能大幅提升虚拟机性能，比如支持自适应屏幕分辨率、共享剪贴板等。安全提醒：Ubuntu16.04是一个非常老的版本，官方早已停止支持，不再提供安全更新。建议仅在隔离的、非生产环境中用于测试或学习等特定目的。实操：ubuntu中安装openssh服务命令安装服务：sudoapt-getinstallopenssh-server-y启动服务：sudoservicesshstart注意事项安装的时候要保证虚拟机与互联网处于联网状态。Ubuntu18以后的操作系统默认已经安装ssh服务，不需要单独安装。实操：使用xshell连接Ubuntu主机连接参数协议：ssh端口号：22用户名(密码)：hadoop(123456)注意事项xshell中的连接项可以复制，复制后仅修改少量参数即可。深入挖掘xshell的其它功能，如：窗口同步等，可以提供操作效率。三、课堂小结（2分钟）（讲解法）我们借助Vbox能够在自己的电脑中构建一个简易的服务器环境。四、课后作业（0分钟）（讲解法）回到自己宿舍后，在记得笔记本电脑上搭建环境。五、开拓思维，同时提出新的问题（1分钟）后面，我们将学习linux下的常用操作。课题情景二在VBox中安装Ubuntu16课时2学时教学内容打包与还原Vbox中的主机。修改linux主机的网络参数。安装Openssh安全协议，并使用Xshell连接虚拟机。教学目标1、认知目标：了解Vbox的ubuntu主机基础配置。2、技能目标：掌握ubuntu主机的关键配置。3、情感目标：客服畏难情绪，持之以恒。教学重点用两种方式修改linux主机的网络参数教学难点安装Openssh安全协议教学活动及主要语言学生活动一、创设意境，导入新课（3分钟）（设疑法、提问法）导入：了解了模板与库项目基本操作以后，今天做一个模板的实例。二、新课教学（总计80分钟）（讲解法、提问法、示范法、练习法）1、安装前的关键配置内存、硬盘大小：2G/20G设置安装光盘：ISO安装文件设置网络宿主机和虚拟机的连接：桥接2、安装过程中的配置选择安装语言：简体中文创建用户和密码。3、打包和还原Vbox的系统主机。4、Vbox系统快照。5、安装完成之后必须安装的选项安装扩展组件（虚拟机的驱动程序等）1）注意：要以管理员的身份安装2）然后调整屏幕的分辨率。配置网络参数：IP地址、子网掩码、网关，测试是否联通，ifconfig命令、编辑网络配置文件/etc/network/interfaces。Gedit命令cat命令要求使用两种方式修改网络参数：界面/文本测试网络是否联通。Ping命令。关于sudo命令：以管理员的身份执行命令。在线安装openssh安全协议。sudoapt-getupdate（更新软件库对照表）sudoapt-getinstallopenssh-server（安装软件包，注意输入大写的Y）sudoservicesshstart（启动ssh服务）修改ssh的配置文件（端口号）打开"终端窗口"，输入"sudogedit/etc/ssh/sshd_config"-->回车-->把配置文件中的"PermitRootLoginwithout-password"加一个"#"号,把它注释掉-->再增加一句"PermitRootLoginyes"-->保存，修改成功。6、使用Xshell连接虚拟机XShell的基本配置。注意：只有安装好了openssh协议才能连接。设置好端口（默认），用户名和密码。三、课堂小结（2分钟）（讲解法）本节课介绍ubuntu16安装完毕后的关键配置过程。四、课后作业（0分钟）（讲解法）在自己的个人电脑中安装好本节课的内容。五、开拓思维，同时提出新的问题（1分钟）（激趣法）Ubuntu与传统的Windows区别很大，需要记忆大量的命令，你准备好了吗？任务三Ubuntu基本操作命令（总计6学时，包括实训）课题情景一基本操作命令（一）课时2学时教学内容1、文件和目录操作命令。2、强化记忆命令。3、linux下的复制与粘贴功能。教学目标1、认知目标：了解linux目录下的文件目录概念。2、技能目标：熟练掌握基本文件操作命令。3、情感目标：克服全英文界面的操作恐惧症。教学重点文件操作命令。教学难点绝对路径和相对路径。教学活动及主要语言学生活动一、创设意境，导入新课（3分钟）（设疑法、提问法）导入：Ubuntu16已经安装到大家的电脑中了，我们也能够使用xshell连接到主机上。下面，我们来学习ubuntu中的一些操作命令。这些命令与CentOS中的命令有细微区别。二、新课教学（总计80分钟）（讲解法、提问法、示范法、练习法）1、文件和目录默认的目录名称.当前目录..上一级目录~用户的工作目录，为：/home/用户名/根目录绝对目录和相对目录：从根开始/从当前目录开始描述的目录。改变当前目录：cd目录名查看目录：ls(–all)带参数可以查看文件和目录的详细情况。创建新目录：mkdir目录名（必须在当前目录下有写的权限）删除目录：rm–d目录名（带d参数表示是目录，不带的时候表示是文件）r-递归删除，文件带目录一起删除，而且不确认。注意：创建和删除目录必须逐级进行，不能跨目录操作。查看当前路径：pwd复制文件：cp源文件目标文件查看文件内容：cat文件名（一次性查看所有内容）More文件名（一页一页的查看文件内容）创建一个文本文件：cat>>文件名ctrl+d结束2、文件操作练习在用户目录中用键盘输入信息，创建一个文件abc.txt。在/目录下建立一个/2016/bigdata子目录。将abc.txt文件复制到/2016/bigdata子目录中。在用户目录中创建一个名为ccc的子目录，然后将abc.txt复制到ccc子目录中。删除ccc子目录（包含里面的文件，一次性删除）复制粘贴Linux中的复制快捷键为：ctrl+insert粘贴快捷键为：shift+insert宿主与虚拟机之间的复制与粘贴，需要开启虚拟机的剪贴板-双向的功能。linux下的命令联想功能神奇的tab键。键入开头几个字母后再按tab，会自动联想出后面的字幕，英语恐惧症的福音。三、课堂小结（2分钟）（讲解法）建立文件与目录的基本概念是linux学习的入门。四、课后作业（0分钟）（讲解法）熟练再熟练，在个人笔记本电脑上搭建环境实操。五、开拓思维，同时提出新的问题（1分钟）（激趣法）字符界面下的文本编辑具有很强的挑战性，应用面很广，需要熟练操作。课题情景二vi编辑器课时2学时教学内容1、vi的命令模式。2、基本命令。3、练习。教学目标1、认知目标：了解vi在linux中的重要作用。2、技能目标：数量掌握vi的基本操作。3、情感目标：培养克服困难，持之以恒的优良品质。教学重点命令模式下的操作命令。教学难点查找替换操作。教学活动及主要语言学生活动一、创设意境，导入新课（1分钟）（设疑法、提问法）导入：windows环境下的文本编辑器：记事本，今天，我们要学会使用linux版本的文本编辑器：vi。二、新课教学（总计80分钟）（讲解法、提问法、示范法、练习法）1、复制文件命令cp源文件目标文件下载网络文件：wget2、VI编辑器基本模式命令模式：屏幕没有任何提示，默认情况下进入VI就是命令模式。编辑模式：按i进入编辑模式，可以使用编辑模式下的操作。底行模式：按冒号进入底行模式，输入主要命令即可，如：查找、替换、保存、退出等。3、命令模式下的操作进入命令模式：按esc键即可进入命令模式（在其它模式下）基本常用命令：在当前行的下面插入一个空行：o键，并自动切换到编辑模式。前插字符：i后插字符：a删除当前行：dd（连按两下d）ndd删除当前行开始的n行，如：3dd,4dd,5dd。移动光标：上下左右光标键（确保是命令模式）删除字符：x键或delete键复制一行：yy复制多行：nyy例如：3yy,4yy,5yy等。粘贴：p键跳转到指定行：nG，注意n代表数字，G是大写的G小写的不行。4、底行模式：显示行号:setnu退出：q（强制退出加‘!’）保存文件：w（可以连写保存退出：wq）查找替换：%s/源/目标，例如：%s/^M//g，就是清除文本文件的^M末尾符号。5、vi操作练习按照老师给定的图片文档，使用vi写出到文件中。下载地址：04/a2.jpg，请在宿主机器中使用浏览器打开。将上面的文件增加下面的项目。下载地址：04/b1.jpg，请在宿主机器中使用浏览器打开。从以下网址下载abcd文件到本地，要求将每行末尾的^M去掉后保存。下载地址：04/a1，请在虚拟机中使用wget命令下载。三、课堂小结（1分钟）（讲解法）本节课讲解linux中的vi操作，时间关系，这里只列举了常用的命令，详细命令大家可以百度。四、课后作业（10分钟）（讲解法）熟能生巧，请大家回宿舍后继续练习、熟练。五、开拓思维，同时提出新的问题（1分钟）（激趣法）Hadoop中需要用的linux基础知识还有很小一部分，下节课我们继续给大家讲解ubuntu中的文件操作部分。课题情景三Ubuntu基本操作（二）课时2学时教学内容与宿主共享文件夹。修改更新源。文件和目录的权限。文件解压和压缩。教学目标1、认知目标：了解linux系统的文件管理特点。2、技能目标：熟练掌握linux系统的更新源、权限操作方法。3、情感目标：培养永不言弃的优良品质。教学重点文件和目录的权限教学难点文件和目录的权限教学活动及主要语言学生活动一、创设意境，导入新课（3分钟）（设疑法、提问法）导入：上节课学习了linux的基础命令，本节课讲解linux中几个比较关键的操作。二、新课教学（总计80分钟）（讲解法、提问法、示范法、练习法）1、绝对路径和相对路径（复习）2、复制文件命令（复习）3、Vbox中的共享文件夹设置作用：在宿主和虚拟机之间传送文件，超级重要。配置：在Vbox中设置共享文件夹，注意不要使用中文名的文件夹。在ubuntu的media目录下就有一个名为sf_xxx的目录，就是共享目录。因为权限问题，需要在ubuntu中执行以下命令才可以访问。（执行一次即可）：sudousermod–a–Gvboxsfyourusername（注：最后的单词表示你当前的用户名）就是把用户添加到vboxsf组里。4、更新源作用：因linux的很多软件的安装是通过官方网站在线进行（包括系统软件的更新），而官网基本都在国外，国内用户访问受限，所以需要修改更新源，保证更新顺畅。源配置文件及所在：/etc//apt/sources.list先备份：sudocp/etc/apt/sources.list/etc/apt/sources.list.backup修改配置文件sources.list可以用gedit，vi，直接把下载下来的更新源内容覆盖即可。更新生效：sudoapt-getupdate测试：sudoapt-getinstallvim文件和目录的权限可以使用ls–all命令查看文件和目录的权限情况。文件和目录的基本权限：r/w/x（读，写，执行）权限分三组：拥有者u/群组g/其它o,每组三个权限rwx，一共10个权限码，第一个表示文件还是目录。改变命令：chmodrwx421，可以使用数字来代替，比如：777全部权限。-R，是代表目录及子目录和文件（迭代的意思）如：chmod–R777dir或：chmod–Ra+rwxdir练习：在工作目录中创建一个文件夹mydir，此文件设置为主人rwx，其余的都没权限。mkdirmydirchmod–Ru+rwxmydirchmod–Rgo-rwxmydir6、改变目录和文件的拥有者改变命令：chown–Rusernamedirname7、文件解压和加压命令：解压命令：加压命令三、课堂小结（2分钟）（讲解法）五、开拓思维，同时提出新的问题（1分钟）任务四练习（总计2学时，包括实训）课题情景一综合练习课时2学时教学内容创建虚拟机。配置虚拟机。文件操作。教学目标1、认知目标：深入理顺虚拟机安装过程。2、技能目标：熟练掌握整个流程的每一个操作。3、情感目标：整理下思路，为了更好的进行后面的学习。教学重点配置虚拟机。教学难点安装ssh服务并使用xshell连接。教学活动及主要语言学生活动一、创设意境，导入新课（3分钟）（设疑法、提问法）导入：经过3周的学习，大量的命令需要大家记忆，适当的停留一下，回顾加深前面的内容非常必要。二、新课教学（总计80分钟）（讲解法、提问法、示范法、练习法）1、根据给定的ubuntu16.04LTS安装包，在vbox中重新安装1个新的虚拟机，虚拟机的名称注意与其它的区别开来，创建新用户hadoop。2、配置安装好的新虚拟机：设置IP地址，宿主的地址加上150，其余不变。保证此虚拟机与外网联通。3、在虚拟机上安装ssh服务，并能通过Xshell连接到此虚拟机。4、新建一个宿主与虚拟机之间的文件共享，将C盘下esclipse目录下的配置文件复制到/usr/local/abc目录中，并将abc目录的拥有者交给当前用户hadoop。三、课堂小结（2分钟）（讲解法）四、课后作业（0分钟）（讲解法）五、开拓思维，同时提出新的问题（1分钟）（激趣法）任务五安装Hadoop环境（总计6学时，包括实训）课题情景一安装配置JDK课时2学时教学内容1、获取JDK。2、解压与安装JDK。3、编辑环境变量。教学目标1、认知目标：了解安装JDK的基本步骤。2、技能目标：掌握修改环境变量的方法。3、情感目标：客服畏难心理。教学重点安装测试JDK教学难点修改配置文件。教学活动及主要语言学生活动一、创设意境，导入新课（3分钟）（设疑法、提问法）导入：Ubuntu基本操作已经训练完毕，我们开始安装Hadoop的环境，本次任务安装JDK二、新课教学（总计80分钟）（讲解法、提问法、示范法、练习法）1、安装JDK基本思路下载获取JDK后解压到特定目录，将安装目录的权限赋予当前用户。然后配置环境变量，让Java程序能访问JDK。2、下载获取JDK。通过老师的广播软件，将JDK的gz压缩包发送给所有学生。或者通过网络命令wget从局域网或广域网下载本软件包。下载的时候请注意版本（linux和对应位数32或64）。学生通过“共享目录”将Windows环境下的JDK压缩包传送到Ubuntu中。（复制到工作目录）在工作目录中解压JDK，得到JDK文件和目录。3、安装JDK新建/usr/local/jdk目录。将解压后的JDK文件和目录一起复制到/usr/local/jdk目录中。将/usr/local/jdk目录的权限赋予当前用户。sudochown–Rusernamedirname4、配置环境变量编辑配置文件：vi/etc/profile，在最后加入：5、让环境变量立即生效执行命令：source/etc/profile（或者重启系统）6、测试JDKjava–versionjavac以上两个命令执行正确才能通过测试。7、修改系统默认的JDK环境(从openJDK改过来)执行以下命令：sudoupdate-alternatives--install/usr/lib/javajava/usr/local/java/bin/java300sudoupdate-alternatives--install/usr/lib/javacjavac/usr/local/java/bin/javac3009、linux系统中的本地解析修改计算机名：/etc/hostname(或/etc/sysconfig/network)本地解析：/etc/hosts测试：ping主机名三、课堂小结（2分钟）（讲解法）能够一次性通过测试的同学不多，细心、耐心是一个人最优良的品质，大家一定能做到四、课后作业（0分钟）（讲解法）将虚拟机系统用U盘复制后安装到自己的个人电脑中，熟悉各个操作。五、开拓思维，同时提出新的问题（1分钟）（激趣法）课题情景二配置SSH免密登录课时2学时教学内容ssh免密登录原理。制作免密登录凭证。下载获取Hadoop系统文件包。教学目标1、认知目标：了解免密的基本原理。2、技能目标：掌握免密登录的过程。3、情感目标：。教学重点制作免密登录凭证教学难点免密登录原理教学活动及主要语言学生活动一、创设意境，导入新课（3分钟）（设疑法、提问法）导入：集群服务器之间是如何实现快捷登录访问呢？需要借助linux中常用的ssh安全协议。二、新课教学（总计80分钟）（讲解法、提问法、示范法、练习法）1、ssh免密登录在集群环境下，用户需要通过安全的方式快捷登录到不同的服务器，而不需要每次都输入密码。最理想的方案就是生成一个凭证，根据凭证直接登录。Ssh免密登录就是利用了这个原理。2、准备工作在不同的服务器中创建一个相同的用户，比如：hadoop。并设置好相同的密码sudouseradd-mhadoop-s/bin/bash(创建用户)sudopasswdhadoop（设置密码）sudoadduserhadoopsudo(将hadoop设置为管理员)然后注销后，使用hadoop登录（包括Xshell）3、确保Ubuntu中已经安装opensshsudoapt-getinstallopenssh-server4、验证ssh免密登录是否成功：sshlocalhost(登录本机，此时需要输入密码)目标：键入上面的命令后不需要输入密码。5、过程：sshlocalhost(首次登录，输入密码，目的是为了生成.ssh目录)exit（退出ssh登录）cd~/.ssh（进入.ssh目录）ssh-keygen–trsa(生成公钥凭证)cat./id_rsa.pub>>./authorized_keys然后测试是否成功，请观察.ssh目录下的文件变化情况。截图如下：生成的公钥可以复制到其它机器的.ssh目录中，就可以互相登录了。7、获取Hadoop安装包获取方式与上节课JDK相同。将Hadoop解压后安装到/usr/local/hadoop目录下。也需要将目录权限赋予给当前用户：hadoop最后可以切换到bin目录下，执行hadoopversion查看版本三、课堂小结（2分钟）（讲解法）下节课，我们将详细配置hadoop的配置文件。四、课后作业（0分钟）（讲解法）课后在自己的个人电脑上练习。五、开拓思维，同时提出新的问题（1分钟）（激趣法）我们距离Hadoop越来越近了。课题情景三配置Hadoop单机系统课时2学时教学内容Hadoop单机模式的配置。单机模式下运行Hadoop经典案例。教学目标1、认知目标：了解Hadoop工作基本原理。2、技能目标：掌握Hadoop经典案例的命令格式。3、情感目标：初见Hadoop迎难而上。教学重点Hadoop的基本工作原理。教学难点理解记忆运行及输入输出的命令。教学活动及主要语言学生活动一、创设意境，导入新课（3分钟）（设疑法、提问法）导入：今天我们来开始接触Hadoop的运行，我们从简单入手，先看看单机模式。二、新课教学（总计80分钟）（讲解法、提问法、示范法、练习法）1、Hadoop单机模式（非分布式模式）在JDK成功安装，Hadoop文件解压后，就可以运行Hadoop单机模式。非分布式：没有建立HDFS(分布式)文件系统，处理数据在本地进行。Input、Output分别是输入、输出的文件夹，其中output文件的结果需要复制出来，系统不会自动覆盖，而且会报错。基本情况：Hadoop目录下的input目录是输入目录，需要手工创建，素材都复制到这个目录。Hadoop目录下的bin和sbin目录是执行文件目录，特定的时候需要加入到path中。单机模式不需要编写任何配置文件即可运行，测试命令(进入Hadoop目录后)：./bin/HadoopversionHadoop的目录权限要赋予操作者，否则不能创建output目录。2、单机模式hadoop程序测试一（统计文件个数）目标：统计hadoop的所有配置文件中，符合正则dfs[a-z.]的文件个数。mkdirinput(创建输入目录，不要创建output)cp./etc/Hadoop/*.xml./input(将分析的材料复制到input目录中)./bin/hadoopjar./share/Hadoop/mapreduce/Hadoop-mapreduce-examples-*.jargrep./input./output‘dfs[a-z.]’(执行案例里面的jar程序，统计结果)Cat./output/*(查看结果)3、单机模式hadoop程序测试二（统计各个单词出现的次数）给你2个英文文件，复制到目标目录中，统计每个单词出现的次数。bin/hadoopjarhadoop-examples-.jarwordcountinputcount/./outputCount。备注：目标文件由老师提供。三、课堂小结（2分钟）（讲解法）Jar包不需要我们写，（如果你会用java来编写的话就更好），我们只要学会怎么运行案例就OK了。四、课后作业（0分钟）（讲解法）回到宿舍，在个人电脑上运行你的Hadoop案例。五、开拓思维，同时提出新的问题（1分钟）（激趣法）分布式是什么？下节课见。任务六Hadoop分布式（总计8学时，包括实训）课题情景一Hadoop伪分布式课时2学时教学内容Hadoop分布式的工作原理。配置Hadoop伪分布式。3、测试Hadoop伪分布式的案例。教学目标1、认知目标：了解分布式的特点。2、技能目标：掌握配置Hadoop分布式的方法。3、情感目标：爱上Hadoop。教学重点编写hadoop关键的两个配置文件。教学难点配置完成后的开启流程。教学活动及主要语言补充内容一、创设意境，导入新课（3分钟）（设疑法、提问法）导入：单机模式的Hadoop只能让你知道什么是Hadoop，要用Hadoop来解决实际问题，还得是分布式Hadoop，首先接触的是伪分布式。二、新课教学（总计80分钟）（讲解法、提问法、示范法、练习法）1、Hadoop分布式基本知识不管是伪分布还是真分布，在Hadoop中都会创建一个HDFS的分布式文件系统，Hadoop的所有输入输出都在这个HDFS文件系统中。HDFS可以跨接多个物理机器（当然，也可以只在一台物理机器中部署）。Hadoop分布式系统中，存在一个Namenode（名称节点），1个或N个Datanode（数据节点）。伪分布模式就是1个名称节点+1个数据节点，并运行在一台物理机器中。Hadoop分布式需要配置环境变量HADOOP_HOME和bin，sbin的搜索路径到，还有1个用户的环境变量文件：.bashrc。也可以直接在/etc/profile中修改。2、配置环境变量（也可以不配置，运行的时候就需要打全路径，超级麻烦）HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.3PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$HADOOP_HOME/lib:$HIVE_HOME/lib:$CLASSPATHexportPATHHIVE_HOMEJAVA_HOMECLASSPATHHADOOP_HOME3、配置Hadoop专属配置文件core-site.xmlhdfs-site.xml请关注hadoop目录下的tmp目录和dfs/name以及dfs/data目录的权限。最好改为777的权限。4、格式化名称节点，并开启进程./bin/hdfsnamenode–format(格式化成功则成功了一半)./sbin/start-dfs.sh（开启NameNode和DataNode守护进程。）Jps查看进程，看到4个进程则成功。（Second是备份的名称节点）三、课堂小结（2分钟）（讲解法）四、课后作业（0分钟）（讲解法）五、开拓思维，同时提出新的问题（1分钟）（激趣法）调试过程中遗漏，一定要注意：ssh免密登录。Hadoop_env.sh中要重新配置JAVA_HOME，否则，会显示JAVA_HOME没有设置。Tmp目录下，要建立三个目录：data、name、namesecondary，并给777权限和用户（chown）课题情景二伪分布式下运行案例课时2学时教学内容1、hsfs文件系统的基本操作命令。2、web端查看Hadoop运行情况。3、运行案例。教学目标1、认知目标：进一步了解hadoop运行机制。2、技能目标：掌握hdfs文件系统的操作方法。3、情感目标：。教学重点运行案例教学难点Hdfs基本文件操作命令教学活动及主要语言学生活动一、创设意境，导入新课（3分钟）（设疑法、提问法）导入：本次课我们将测试Hadoop的计算功能，了解计算过程。伪分布式Hadoop既能真实模拟计算过程，又能降低系统的复杂度。二、新课教学（总计80分钟）（讲解法、提问法、示范法、练习法）1、启动hadoop系统伪分布式系统需要每次启动hdfs，不需要格式化namenode（格式化一次就够）。./sbin/start-dfs.sh（启动）./sbin/stop-dfs.sh（停止）2、分布式文件系统HDFS在HDFS中创建目录：hdfsdfs–mkdir–p/user/Hadoop(创建用户的工作目录-家目录)第一步首先应该创建的目录。hdfsdfs-mkdirinput(创建input目录)复制文件到hdfs目录中：hdfsdfs–put.etc/Hadoop/*.xmlinput将hdfs目录中的文件复制出来：hdfsdfs–getoutput./output删除分布式文件系统的文件：hdfsdfs–rm–routput列出文件目录hdfsdfs–lsinput直接查看分布式文件系统的文件：hdfsdfs-catoutput/*3、用浏览器查看hdsf文件系统的文件http://localhost:50070（记住端口号）也可以使用IP地址访问。4、在hdfs中运行wordcount案例在分布式文件系统中创建input目录。将英文文本文件复制到hdfs的input目录中。运行命令：Hadoopjar/目录/hadoop-examples-.jarwordcountinputoutput查看结果：5、在hdfs中运行grep案例清除掉hdfs文件系统的input目录。将目标文件复制到input目录中。执行分析命令。取得分析结果。查看分析结果。三、课堂小结（2分钟）（讲解法）伪分布式的hadoop已经很接近集群式，后面我们将连接几台真正的机器组成集群，执行应该程序。四、课后作业（0分钟）（讲解法）无五、开拓思维，同时提出新的问题（1分钟）（激趣法）如何组建集群？课题情景三搭建Hadoop集群课时4学时教学内容VirtualBox中复制虚拟机。Hadoop集群搭建教学目标1、认知目标：了解Hadoop集群的搭建流程2、技能目标：掌握Hadoop集群的搭建方法。3、情感目标：培养克服困难的决心。教学重点搭建集群的准备工作。教学难点编写配置文件。教学活动及主要语言学生活动一、创设意境，导入新课（3分钟）（设疑法、提问法）导入：单机Hadoop和伪分布Hadoop已经配置完毕，下面我们来开始集群Hadoop的配置。二、新课教学（总计80分钟）（讲解法、提问法、示范法、练习法）1、准备工作集群Hadoop需要至少两台服务器，一台充当namenode+datanode，另外一台充当datanode。思路：两台服务器之间必须能ssh免密登录。两天服务器的基本配置相同，名称为master和slaves0，并能够本地互相解析。掌握两台服务器之间的文件复制（因为有一些相同的配置文件需要复制）。2、在VirtualBox中复制虚拟机前提：主机已经能够正常运行伪分布Hadoop。复制前的准备工作：主机和从机的计算机名和IP地址规划。master和slaves0（主机地址+50）/etc/hostname关闭主机，在VirtualBox中执行复制命令（完全复制，刷新mac地址）。启动从机，设置计算机名和IP地址。测试：master、slaves0、宿主机之间能ping通。3、集群Hadoop搭建的准备工作分先后启动两台虚拟机（切记先后，除非你的内存牛B）修改本地的dns解析。/etc/hosts，修改好了以后不用重启就可以ping测试。Linux的网络复制命令：4、两台服务器之间的ssh免密登录在主机中执行sshslaves0，如果需要输入密码，则需要重新在丛机中生成凭证authorized_keys，（先删除），还不行的话，则需从主机中复制公钥id_rsa.pub到从机中再生成凭证。5、编辑集群配置文件（在主机中修改，然后分别复制替换到从机中）需要配置的文件有5个：slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml先修改core-site.xml、hdfs-site.xml需要将localhost改成master。(core-site.xml)(hdfs-site.xml)文件mapred-site.xml（可能需要先重命名，默认文件名为mapred-site.xml.template），然后配置修改如下：文件

yarn-site.xmlSlaves文件修改（丛机的列表）6、运行前的复制和清理工作配置好后，将Master上的/usr/local/Hadoop文件夹复制到各个节点上。因为之前有跑过伪分布式模式，建议在切换到集群模式前先删除之前的临时文件。在Master节点上执行：在Slave1节点上执行：首次启动需要先在Master节点执行NameNode的格式化7、最后的检查：关闭防火墙8、启动Hadoop集群命令：Jps进程（master）,应该还有个datanodeSlaves0进程另外还需要在Master节点上通过命令hdfsdfsadmin-report查看DataNode是否正常启动，如果Livedatanodes不为0，则说明集群启动成功也可以通过Web页面看到查看DataNode和NameNode的状态：http://master:50070/。如果不成功，可以通过启动日志排查原因。9、关闭集群关闭Hadoop集群也是在Master节点上执行的：三、课堂小结（2分钟）（讲解法）本次课程内容比较复杂，请大家耐心，一步步来完成，肯定能成功。四、课后作业（0分钟）（讲解法）在自己个人电脑上测试操作过程。五、开拓思维，同时提出新的问题（1分钟）（激趣法）后面我们将会再次复习这个过程，加深印象。任务七Hadoop调优（总计2学时，包括实训）课题情景一Hadoop基本调优课时2学时教学内容1、运行集群Hadoop两个案例。2、常用调优方法。教学目标1、认知目标：了解调优的基本方式。2、技能目标：掌握常用的调优参数。3、情感目标：掌控思维。教学重点配置文件调优。教学难点各参数项目的实际意义。教学活动及主要语言学生活动一、创设意境，导入新课（3分钟）（设疑法、提问法）导入：集群Hadoop已经搭建完毕，我们来跑跑两个经典案例，然后想想让它们跑的更快。二、新课教学（总计80分钟）（讲解法、提问法、示范法、练习法）1、集群环境下运行案例。Wordcount案例Grep案例。2、Hadoop调优调优目的调整方式命令行调优在执行的命令中加入参数，优先级最高。如：-Dmapreduce.map.memory.mb="1500"\-Dmapreduce.reduce.memory.mb="1500"\配置文件调优在hdfs-site.xml、mapred-site.xml、core-site.xml中写入配置项，对所有的执行都有效。3、常用调优的内容hdfs-site.xml

dfs.block.size=xxx（字节）256X1024X1024=268435456mapred-site.xmlmapred.tasktracker.map.tasks.maximum=xmapred.tasktracker.reduce.tasks.maximum=x这里是map和reducer的最大并发数，一般根据cpu的总核数来设置。请查询你的虚拟机的逻辑cpu的数量（不要查宿主机的cpu）#cat/proc/cpuinfo|grep"processor"|sort-u|wc–l(百度查询具体内容)4、6、8、16等，不要使用其它的数字。两个数字一般设置为相同，也可以map>reducermapred.child.\o"JavaSE知识库"Java.opts=xm这个参数是配置每个map或reduce使用的内存数量。默认的是200M。对于这个参数，我个人认为，如果内存是8G，CPU有8个核，那么就设置成1G就可以了。简单的公式：map/reduce的并发数量(总和不大于CPU核数)×mapred.child.java.opts<该节点机器的总内存。当然也可以等于，不过有点风险而已。单位是M，默认是200MØ

io.sort.mb这个参数是map输出结果在内存里占用buffer的大小，一般是上一个参数的一半。单位也是M，默认为100M。三、课堂小结（2分钟）（讲解法）调优的参数非常多，要经过实践后灵活运用，调优也是测试hadoop是否深入的重要指标。四、课后作业（0分钟）（讲解法）百度去搜查“hadoop调优”关键字。五、开拓思维，同时提出新的问题（1分钟）（激趣法）？任务八Mapreduce（总计8学时，包括实训）课题情景一Mapreduce基础概念课时4学时教学内容1、Mapreduce框架。2、hadoop中运行Mapreduce程序。教学目标1、认知目标：了解Mapreduce框架的运行。2、技能目标：掌握python版Mapreduce的运行方法。3、情感目标：集中你的注意力。教学重点理解Mapreduce计算框架教学难点给定的map和reduce程序runing在Hadoop中。教学活动及主要语言学生活动一、创设意境，导入新课（3分钟）（设疑法、提问法）导入：首先，我们需要将集群的hadoop切换到伪分布模式下，调试程序首选伪分布模式。二、新课教学（总计80分钟）（讲解法、提问法、示范法、练习法）1、什么是Mapreduce？Mapreduce是一个计算框架，既然是做计算的框架，那么表现形式就是有个输入（input），通过本身定义好的计算模型，得到一个输出（output）。在运行一个Mapreduce计算任务时候，任务过程被分为两个阶段：map阶段和reduce阶段，每个阶段都是用键值对（key/value）作为输入（input）和输出（output）。而程序员要做的就是定义好这两个阶段的函数：map函数和reduce函数。2、Mapreduce运行阶段输入分片（inputsplit）map阶段combiner阶段shuffle阶段reduce阶段3、如何运行用Python编写的Mapreduce程序？hadoop-streaming-2.6.0.jar运行包，可以去百度自行下载，有不同版本。也可以直接使用share/tools目录下的这个版本。编写map.py和reducer.py程序。将需要处理的数据提交到hdfs中。提交到Hadoop系统中，运行这两个程序。在hdsf中得到输出结果。4、操作案例（由老师提供已经编写好的map和reduce程序）特别提醒：map和reducer程序在windows中调试好了以后，需要去掉末尾的文件结束符代码如下：map.pyreduce.py运行命令：三、课堂小结（2分钟）（讲解法）在运行过程中，你会碰到很多的问题，请仔细阅读系统出错提示，哪怕只有几个单词也可以。四、课后作业（0分钟）（讲解法）五、开拓思维，同时提出新的问题（1分钟）（激趣法）？调试这两个程序的时候，请先在命令行下测试：echo

"foo

foo

quux

labs

foo

bar

quux"

|

./mapper.py

echo

"foo

foo

quux

labs

foo

bar

quux"

|./mapper.py

|

sort

|./reducer.py

没有问题了再提交hadoop。#!/usr/bin/envpython这句话会让你郁闷几个小时，没办法的情况下请手工写入，并逐句调试。#coding:utf-8课题情景二mapreduce编程课时2学时教学内容mapreduce程序基本结构。解读wordcount的map和reduce程序。教学目标1、认知目标：了解mapreduce程序的程序构成。2、技能目标：掌握调试简单mapreduce程序的方法。3、情感目标：培养兴趣，如果你前面没学好，请再来。教学重点程序基本结构教学难点程序调试方法教学活动及主要语言学生活动一、创设意境，导入新课（3分钟）（设疑法、提问法）导入：我们已经能够让mapreduce程序跑起来了，这些程序到底怎么写呢，我们先来看看结构。二、新课教学（总计80分钟）（讲解法、提问法、示范法、练习法）1、mapreduce程序结构分析#！/usr/bin/envpython程序的第一句，表示程序执行的环境。只能放在第一行。#-*-coding:UTF-8-*-程序第二句，表示程序的字符编码是UTF-8或者：#coding=utf-8ImportxxxxasnameFromxxximportsssss第三部分：引用某模块，并重新取名。直接引用某模块。2、注释语句单句注释：#段落注释：三对单引号或者三队双引号。巧妙利用注释语句，调试程序。3、输入输出的转向标准输入：sys.stdin标准输出：sys.stdout打开文件：f=open(‘文件名’,’r’)#r-读，w-写，a-追加4、解读wordcount的map.py程序调试结果，通过改变输入输出来保证程序无误。5、解读wordcount的reducer.py程序。见上节课教案。6、在ubuntu上运行你的mapreduce程序文件共享目录替换掉末尾的行结束符。在命令行中测试你的mapreducer程序。提交给hadoop运行。三、课堂小结（2分钟）（讲解法）你在运行调试过程中，会碰到很多问题，认真看出错提示，独立解决问题，是学习的最好的途径。四、课后作业（0分钟）（讲解法）回自己的个人电脑，跑跑你的mapreduce程序。五、开拓思维，同时提出新的问题（1分钟）（激趣法）？课题情景三python模块及分析案例课时2学时教学内容1、安装python模块2、使用numpy