6.1.3 熟悉大数据处理技术-Hadoop数据处理基础

《大数据导论》Hadoop数据处理基础第一：大数据重预测，小数据重决定。第二：大数据重感知，小数据重精准。第三：大数据重相关，小数据重因果。第四：大数据重群体，小数据重个体。

从应用的角度来说，大数据和小数据具有以下几个主要的区别：一、Hadoop的起源Google的低成本之道:（1）不使用超级计算机，不使用存储（淘宝的去i，去e，去o之路）

大量使用普通的pc服务器（去掉机箱，外设，硬盘），提供有冗余的集群服务。（2）全世界多个数据中心，有些附带发电厂。（3）运营商向Google倒付费。一、Hadoop的起源搜索引擎面临的几个难题：（1）大量的网页怎么存储？（2）搜索算法（3）Rank计算问题google的解决方案：1.针对网页存储，Google采用了分布式文件存储和倒排索引（也就是后来Haoop的核心HDFS

）。参考：《搜索引擎-倒排索引基础知识》和《倒排索引-搜索引擎的基石》两篇文章。2.针对网站的搜索算法，Google发明了Rank算法。这个算法就是后来hadoop的另一个核心Map-Redure。参考：《PageRank算法》。一、Hadoop的起源Google带给我们的关键技术和思想包括：HDFS、Map-Reduce。Hadoop名字来源于DougCutting儿子的玩具大象一、Hadoop的起源Hadoop的思想来源：Google目前Hadoop达到的高度：（1）实现云计算的事实标准开源软件（2）包含数十个具有强大生命力的子项目（3）已经能在数千节点上运行，处理数据量和排序时间不断打破世界纪录一、Hadoop的起源HDFS：Hadoop分布式文件系统。MapReduce：并行计算框架。Hbase:类似于GoogleBigTable分布式NoSql数据库。Hive:数据仓库工具，由Facebook贡献。Zookeeper：分布式锁设施，提供类似Googlechubby的功能，由Facebook贡献。Avro:数据序列化与格式传输工具。Pig:大数据分析工具，为用户提供多种接口。Ambari:Hadoop管理工具，可以快捷的监控、部署、管理集群。Sqoop：在HADOOP与传统的数据库间进行数据的传递。Hadoop子项目家族一、Hadoop的起源一、Hadoop的起源Google与开源基础技术的对应关系一、Hadoop的起源（1）高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。（2）高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。（3）高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。（4）高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。此外：Hadoop带有用Java语言编写的框架，因此运行在Linux平台上是非常理想的。Hadoop上的应用程序也可以使用其他语言编写，比如C++。二、Hadoop的优势Cloudera公司的Hadoop发行版三、Hadoop的发行版本（1）Apache版本(最原始的版本，所有发行版均基于这个版本进行改进)（2）Cloudera版本(Cloudera’sDistributionIncludingApacheHadoop，简称CDH)（3）Hortonworks版本(HortonworksDataPlatform，简称“HDP”)

NoSQL数据库：支撑大数据的基础技术，和Hadoop一样受到越来越多关注的。在大数据处理的基础平台中，需要由Hadoop和NoSQL数据库来担任核心角色。

Hadoop的子项目：数据仓库Hive和数据挖掘库Mahout等也可以完成数据分析的所有工作。

延续性：Hadoop和NoSQL数据库，是在现有关系型数据库和SQL等数据处理技术很难有效处理非结构化数据这一背景下，由谷歌、亚马逊、脸书等企业因自身迫切的需求而开发的。因此，作为一般企业不必非要推翻和替换现有的技术，在销售数据和客户数据等结构化数据的存储和处理上，只要使用传统的关系型数据库和数据仓库就可以了。

成本：