Hadoop大数据开发基础与案例实战（微课版） 课件 2 走进Hadoop世界

Hadoop大数据项目开发——Hadoop简介目录content0201Hadoop简介Hadoop特点Hadoop简介Hadoop是一个Apache软件基金会旗下的开源软件Hadoop简介Hadoop具有旺盛的生命力免费极大的降低使用的复杂旺盛的生命力它对普通用户屏蔽了技术底层实现的细节，只要按照它提供的接口做一些简单的操作，后台所有的工作全部有它整个系统技术自己去实现。Hadoop简介Hadoop是用Java开发，但支持多种编程语言开发Hadoop是使用Java语言开发，但不是只能用Java语言去写Hadoop的应用，在Hadoop平台上开发它的应用可以使用任意语言。Hadoop简介--两大核心大数据项目的集合体，一整套解决方案的统称分布式并行编程框架MapReduce海量数据的分布式计算分布式文件系统HDFS：海量数据的分布式存储Hadoop简介--解决两大关键问题HDFS：海量数据的分布式存储解决怎么用成百上千乃至上万台机器存储PB乃至EB规模的数据。Hadoop解决了大数据时代最关键的两个难题：MapReduce:海量数据的分布式处理解决上千台服务器同时完成一个任务的分布式并行处理。Hadoop在各个领域得到了非常广泛的应用，满足了许多企业实际的需求，也成为各大知名公司的宠儿。。Hadoop简介--应用国内点击添加标题内容添加关键字Hadoop起源Hadoop平台的两大核心组件均来自于谷歌2008年1月，Hadoop正式成为Apache顶级项目；2008年4月，Hadoop用910个节点构成集群，对1TB的数据进行排序，仅用了209秒，一战成名，Hadoop由此名声大震。Hadoop最早是为了构建一个大型全网搜索引擎。谷歌2004年发布了并行编程框架MapReduce。2005年，Hadoop平台把它作为自己的MapReduce的开源实现。谷歌2003年发布了分布式文件系统GFS，2004年，Hadoop把GFS应用到自己的平台，即HDFS是GFS的开源实现。Hadoop简介Hadoop的名字不是单词的首字母缩写Hadoop不是版本号最高就代表最新这是因为对于任何一个Apache开源项目，当需要开发某个特性时，会专门从主代码线中延伸出一个分支。由于多个分支可能会同时进行研发，因此版本高的分支有时候会先于版本低的分支发布。Hadoop项目负责人曾经这样描述过这个名字：“这是我的孩子给他的黄色毛绒小象玩具起得名字，简短易于读写，没有具体意义且没有被别人使用过，这就是我对于项目命名的原则”。Hadoop特点低成本高效性高容错性高可靠性支持多种编程语言高扩展性Hadoop特点高可靠性Hadoop采用冗余副本机制；当部分机器发生故障时，其他机器也可以保证集群正常对外提供服务。集群中的一台机器有问题，其余机器继续提供服务Hadoop特点高效性Hadoop以并行的方式工作，非常高效的处理海量数据。成百上千台机器一起计算Hadoop特点高扩展性Hadoop实现了线性扩展，可以从单个服务器扩展到数千台计算机，并且每台计算机都提供了数据存储功能和计算功能。Hadoop特点高容错性Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配，当其中一个副本出现故障时，不影响集群的整体运行。Hadoop特点低成本Hadoop使用廉价计算机搭建集群，从而降低了硬件成本，普通用户也可以使用自己的个人计算机搭建和运行Hadoop。个人计算机搭建大数据集群Hadoop特点123支持多种编程语言支持多种编程语言完成Hadoop平台的应用程序开发。

具有很好的跨平台特性；Hadoop是用Java语言开发的。本节小结Hadoop自诞生以来，改变了对数据存储、处理和分析的过程，加速了大数据技术的快速发展，得到了非常广泛的应用。Hadoop大数据项目开发——Hadoop生态系统目录content02MapRedcue01HDFS03YARN04ZooKeeper05Hive07Sqoop06HBase08Kafka09FlumeHadoop生态系统简介Hadoop生态系统图HDFS：分布式文件系统成百上千台服务器完成海量数据存储和管理。可以运行在廉价的个人计算机集群上。HDFS负责整个分布式文件的存储YARN：资源调度YARN负责资源的管理和调度例如内存，CPU，带宽等需要YARN统一调度。海量数据在HDFS存储后，需要进行相关的处理，但是处理之前，需要一个计算的框架去调度资源，底层那么多资源，需要YARN框架进行调度。MapReduce：分布式文件计算不是实时计算，是负责离线，批处理计算的。用户只需实现Map和Reduce两个函数就可以完成分布式计算任务。MapReduce解决海量数据的计算问题Hive：数据仓库Hive是Hadoop的数据仓库。用于离线分析用于企业的决策分析ZooKeeper：协调服务用于统一维护配置信息、域名，提供分布式同步、组服务等可以用来搭建高可用集群。Hive是分布式应用程序协调服务。HBase：非结构化数据库面向列的分布式开源数据库。随机读写，支持实时应用。HBase是非关系型数据库。HBase是Hadoop的非结构化数据库。Flume：日志收集访问阿里巴巴、淘宝时的数据流都是实时生成的，需要进行实时分析，必须有一套工具把它收集过来，Flume就是帮助进行日志收集的。Flume负责日志收集Sqoop：数据导入导出Sqoop专门用于把关系型数据库中的相关产品导入到Hadoop平台上的HDFS、HBASE、HIVE数据库；反之，用Sqoop把Hadoop平台上的HDFS、HBASE、HIVE中的数据导出到关系型数据库中。Sqoop负责数据的导入导出Kafka：