Hadoop技术与应用 课件 项目1 大数据平台部署前的环境准备

项目1大数据平台部署前的环境准备点击添加文本点击添加文本点击添加文本点击添加文本在2020年的新冠病毒防控工作中，科技战“疫”方面，大数据技术发挥了重要的作用。为了随时掌握学生的学习，生活状态，学院决定部署大数据平台，采集学生的相关信息，进而对这些数据进行分析，以此为依据更好地为每个学生提供学习指导，就业指导。项目概述点击添加文本点击添加文本点击添加文本点击添加文本需要了解大数据技术的相关概念和特征，了解Hadoop的起源，特点，掌握Hadoop生态圈常用组件及功能，做好部署Hadoop大数据平台前的准备工作。项目背景点击添加文本点击添加文本点击添加文本点击添加文本

熟练使用Hadoop官网，下载需要的Hadoop软件，做好Hadoop大数据平台部署前的环境配置。项目演示点击添加文本点击添加文本点击添加文本点击添加文本思维导图点击添加文本点击添加文本点击添加文本点击添加文本思政聚焦

新型冠状病毒肺炎疫情爆发以来，在大数据技术的协助下，全国人民上下同心，全力落实习近平总书记“坚定信心、同舟共济、科学防治、精准施策”的总要求。

通过大数据技术追踪疾病接触人员动态，探析数据背后隐藏的疫情规律，为精准施策提供科学的参考依据，通过疫情数据的实时播报，帮助人民进行心理疏导，配合各种疫情防控措施。在全国人民的努力下，终于打赢了这场疫情防控狙击战。点击添加文本点击添加文本点击添加文本点击添加文本本项目主要介绍大数据技术概论、特征。大数据在生产实际中的典型应用。Hadoop起源、特点，及其生态圈。Hadoop版本演变。点击添加文本点击添加文本点击添加文本点击添加文本目录任务2获取Hadoop资源任务1探讨大数据技术应用点击添加文本点击添加文本点击添加文本点击添加文本任务1探讨大数据技术应用大数据（BigData），指无法在一定时间范围内使用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。就是提取大数据价值的技术，是根据特定目标，经过数据收集与存储、数据筛选、算法分析与预测、数据分析结果展示等，为精准施策提供依据。1.大数据简介点击添加文本点击添加文本点击添加文本点击添加文本任务1探讨大数据技术应用大数据具有“5V”特征，即Volume(大量)、Velocity(高速)、Variety(多样)、Veracity（真实性）和Value（价值），其核心在于对这些含有意义的数据进行专业化处理。2.大数据的特征点击添加文本点击添加文本点击添加文本点击添加文本任务1探讨大数据技术应用2.大数据的特征（1） 数据体量巨大(volumes)数据量最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。1Byte=8bit1KB=210Bytes1MB=220Bytes1GB=230Bytes1TB=240Bytes（普通用户数据级别）1PB=250Bytes（企业级数据级别）1EB=260Bytes1ZB=270Bytes（全球数据总量级别）1YB=280Bytes1BB=290Bytes1NB=2100Bytes1DB=2110Bytes点击添加文本点击添加文本点击添加文本点击添加文本任务1探讨大数据技术应用2.大数据的特征（2） 数据处理速度快(Velocity)数据增长速度快，处理速度也快，时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到。大数据技术遵循“1秒定律”，可从各种类型的数据中快速获得高价值的信息。在高速网络时代，企业不仅需要了解如何创建实时数据流，还需知道如何对数据进行快速处理、分析并返回给用户，以满足他们的实时需求。点击添加文本点击添加文本点击添加文本点击添加文本任务1探讨大数据技术应用2.大数据的特征（3） 数据类型多(variety)现在的数据不仅是文本、图片、视频、音频，还包括网络日志、社交媒体、互联网搜索、手机通话记录等，这意味着大数据会呈现出多变的形式和类型。点击添加文本点击添加文本点击添加文本点击添加文本任务1探讨大数据技术应用2.大数据的特征（4） 数据真实性(Veracity)高数据真实性高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。数据的真实性和质量是获得真知和思路最重要的因素，是制定成功决策最坚实的基础。点击添加文本点击添加文本点击添加文本点击添加文本任务1探讨大数据技术应用2.大数据的特征（5） 数据商业价值（Value）高因数据采集不及时，不全面等，可能导致数据失真，或可用的数据较少，造成数据价值密度低。以视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。点击添加文本点击添加文本点击添加文本点击添加文本任务1探讨大数据技术应用3.大数据相关概念（1） 集群（2） 分布式（3） 负载均衡点击添加文本点击添加文本点击添加文本点击添加文本任务1探讨大数据技术应用4.大数据的典型应用（1） 商业领域点击添加文本点击添加文本点击添加文本点击添加文本任务1探讨大数据技术应用4.大数据的典型应用（2） 交通运输领域点击添加文本点击添加文本点击添加文本点击添加文本任务1探讨大数据技术应用4.大数据的典型应用（3） 医疗卫生领域点击添加文本点击添加文本点击添加文本点击添加文本任务1探讨大数据技术应用任务实施通过思维导图展示大数据技术的应用点击添加文本点击添加文本点击添加文本点击添加文本任务2获取Hadoop资源Hadoop最早起源于Lucene的子项目Nutch，DougCutting团队设计Nutch项目的目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，他们遇到了数据存储和数据索引问题。正当他们陷入困境中，2003年，2004年，Google将他的解决思路以论文地形式发表出来，这两篇论文就是GFS论文和MapReduce论文，其中GFS用于处理海量网页的存储，MapReduce于处理海量网页的索引计算问题。DougCutting团队看到后，通过java将GFS和MapReduce核心思想开源实现，即使NDFS（NutchDistributedFileSystem），也就是HDFS的前身和MapReduce。1.Hadoop起源点击添加文本点击添加文本点击添加文本点击添加文本任务2获取Hadoop资源1.高可靠性。因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。2.高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，所以集群可以很容易进行节点的扩展，扩大集群。能够处理PB级数据。3.高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。4.高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。5.低成本。Hadoop通过普通廉价的机器组成服务器集群来分发以及处理数据，以至于成本很低。2.Hadoop的特点点击添加文本点击添加文本点击添加文本点击添加文本任务2获取Hadoop资源3.Hadoop生态圈点击添加文本点击添加文本点击添加文本点击添加文本任务2获取Hadoop资源Hadoop经历了三代的版本演变，如表1-2所示。其中Hadoop2.x是目前主流的版本。4.Hadoop版本演变版本特点1.X0.20.x/0.21.x/0.22.x和CDH3。0.20.x最后演化成1.0.x稳定版本。0.21.x和0.22.x则增加了NameNodeHA包括基础库Common、分布式文件系统HDFS和Mapreduce三部分。2.X0.23.x和2.x和CDH4全新的架构包含基础库Common、分布式文件系统HDFS、资源管理框架YARN和运行在YARN上的Mapreduce四部分3.X多Namenode支持。HDFS可擦除编码。MRNativeTask优化,性能提升30%。YARN基于cgroup的内存和磁盘IO隔离。YARNcontainerresizing点击添加文本点击添加文本点击添加文本点击添加文本任务2获取Hadoop资源Hadoop2.0比起Hadoop1.0来说，最大的改进是加入了资源调度框架Yarn，HDFS的Federation（联邦）、HA（HighAvailability，高可用）等。4.Hadoop版本演变点击添加文本点击添加文本点击添加文本点击添加文本任务2获取Hadoop资源Apache版：最原始（最基础）的版本，对于入门学习最好。DKhadoop版：有效的集成了整个HADOOP生态系统的全部组件，并深度优化，重新编译为一个完整的更高性能的大数据通用计算平台，实现了各部件的有机协调。CDH版：CDH（Cloudera’sDistributionIncludingApacheHadoop）是Cloudera公司的Hadoop发行版，完全开源，比ApacheHadoop在兼容性、安全性、稳定性上有增强，在大型互联网企业中用的较多。HDP版：HortonworksDataPlatform(HDP)，也同样是100%开源的产品，其文档较好。HDP包括稳定版本的ApacheHadoop的所有关键组件。HDP包括一个现代化的，直观的用户界面的安装和配置工具Ambari。MAPR版：MapR有免费和商业两个版本，免费版本在功能上有所减少。5.常见的Hadoop的发行版本点击添加文本点击添加文本点击添加文本点击添加文本任务2获取Hadoop资源登录Hadoop官网

，单击Download，单击镜像站点mirrorsite超链接。跳转到版本选择的界面，单击需要的版本，其中src是源码安装，这里下载hadoop-2.7.7.tar.gz。任务实施通过Hadoop官网下载Hadoop软件点击添加文本点击添加文本点击添加文本点击添加文本能力拓展Hadoop部署前的环境配置新建虚拟机安装CentOS操作系统安装SecureCRT点击添加文本点击添加文本点击添加文本点击添加文本小结通过学习，了解大数据技术的发展历程，大数据特征，大数