哈尔滨理工大学《计算机基础》课件-第3章大数据简述

第三章

大数据概述基础知识案例哈尔滨理工大学《计算机基础》E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B4101.基础知识传统数据处理遇到新问题大数据的四个特征计算机集群E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410传统数据处理遇到新问题一组小规模数据量的数据（比如：20MB）被使用，一组数据保存很久仍然有用（比如：保存了10年），随身携带一台笔记本电脑（我的数据都在我的笔记本电脑中），一个程序运行了两天还没有出结果，用U盘或移动硬盘在计算机之间拷贝数据，新买了一个4TB存储容量的移动硬盘，某一时段办公室中一些硬件资源忙的要死而另一些资源却正闲着。等等，等等。以上情况我们可能习以为常，觉得本来就应该这样。但实际情况正在发生深刻改变。E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410传统数据处理遇到新问题互联网、物联网、移动互联技术及应用迅速普及，用户数量激增，中国大陆目前就有数以亿计的活跃用户。数据随时产生，及时被应用，立马改善用户的体验，并产生商业价值。数据被产生，被传输、被分析、被应用、产生效果的速度之快，令我们瞠目结舌！E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410传统数据处理遇到新问题数据量的单位：1B=8bit，1KB=1024B，1MB=1024KB，1GB=1024MB，1TB=1024GB，1PB=1024TB，1EB=1024PB，1ZB=1024EB，1YB=1024ZB，1BB=1024YB，1NB=1024BB，1DB=1024NB，...截止到2012年，数据量已经从TB（1024GB=1TB）级别跃升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB(1024EB=1ZB)级别。国际数据公司（IDC）的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数量更是高达1.82ZB，相当于全球每人产生200GB以上的数据。而到2012年为止，人类生产的所有印刷材料的数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB。据IBM的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。数据量的不断爆炸式增加正在持续发生着。E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410传统数据处理遇到新问题古人说：读万卷书，行万里路。今天能当书读的还有网页，每一个网页都是一个多媒体信息的整合展示平台，每一个网页上都可能包含有大量的，类型多样化的信息。今天，互联网上的网页数量庞大、种类繁多、更新超快。面对网页人们感觉应接不暇。用程序自动获取网页的数据可以吗？当然可以。但，不仅数量大、数据类型多，而且数据之间的关系非常复杂，数据的结构性差，甚至完全没有结果。怎么在这种情况下，从浩如烟海的数据中快速分析并获取对我们有用的信息，这是一个新课题。E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410传统数据处理遇到新问题教务系统中的一个数据库表包含了教务系统正常工作，为师生提供专业化服务的必备数据资源。此时，任何一点点数据都是重要的。我们将这种情况称之为数据中的信息价值密度很高。传统的数据处理和分析工作，对应的数据集的信息价值密度高是常态。在这方面，今天的情况正在发生变化。如果，数据量迅速增加，数据的形态越来越纷繁复杂，数据中的信息价值密度仍然很高，而且越来越高！常识告诉我们，这个不可能。实际情况是数据中的信息价值密度在迅速下降。就像淘金一样，怎么从大量的数据中查找，筛选，挖掘出对我们有价值的信息，这又是一个新问题。E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410大数据的四个特征从2012年开始，大数据（bigdata）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。大数据带给我们的三个颠覆性观念转变：是全部数据，而不是随机采样；是大体方向，而不是精确制导；是相关关系，而不是因果关系。我们经管类专业的学生需要适应这个“大数据”的发展趋势，要理解大数据的概念、大数据的技术、大数据的方法。E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410大数据的四个特征数据量大（Volume）（大）：第一个特征是数据量大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。类型繁多（Variety）（多）：第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。速度快、时效高（Velocity）（快）：第四个特征是处理速度快，时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。价值密度低（Value）（低）：第三个特征是数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410大数据大数据（维基百科）一系列大规模、高复杂度的数据集合，它的规模和复杂程度已经无法通过现有的数据库管理工具或是传统的数据处理应用在合理的时间内对其进行获取、管理、存储、检索、分享、传输、分析和可视化。大数据技术（IDC）大数据技术作为新一代技术和体系架构，将能够利用较低的成本，通过高速捕获，发现并对超大量、众多类型的数据进行分析，以获得信息的价值。E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410计算机集群大型计算机和分时操作系统系统：一台计算机连接许多终端设备。在分时操作系统的管理和控制之下计算机的主机将工作时间分成一个个的时间片，用一个个的时间片轮番为不同的终端服务。用户在终端目前的感觉是自己“独占”了整个计算机系统。出现这种计算机工作模式的原因是计算机系统太贵。比如：上世纪80年代，IBM公司出售一台IBM中型计算机系统给发展中国家的学校，其售价大约在100万美元的水平。E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410计算机集群微型计算机和单用户操作系统：也就是在上世纪80年代，当时的微型计算机系统的售价已经降到了2万人民币左右。一个人独占一台计算机成为可能，并且这个趋势一直延续到现在。一人一台电脑的时代来临，分时多用户的工作模式慢慢变得不时尚了。计算机厂商要作的就是不断提高计算机的性能以满足用户对存储量、运算量的需求。但遗憾的是，就目前情况来看，许多时候计算机性能的提高赶不上用户需求的提高。单台计算机包打天下的时代开始终结。E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410计算机集群计算机网络：上世纪八、九十年代计算机网络的应用开始加速普及。计算机网络是使用通信技术将独立自主的计算机系统连接了起来。这个计算机网络不仅可以实现计算机之间的信息资源共享，计算机和计算机之间还可以借助网络系统协同工作。比如：一个大文件的数据保存在多台计算机以提高系统的存储量；一个文件的数据形成多个备份保存在不同的计算机上以提高系统的可靠性；多台计算机的处理器协同工作以提高系统的运算能力。等等。E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410计算机集群集群(cluster)是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。通过集群技术,我们可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益,其任务调度则是集群系统中的核心技术。E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410计算机集群Hadoop是一个由Apache基金会所开发的分布式系统基础架构，它实现了一个分布式文件系统（HadoopDistributedFileSystem）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410计算机集群Hadoop的思想E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410计算机集群Hadoop这个名字不是一个缩写，它是一个虚构的名字。该项目的创建者，DougCutting解释Hadoop的得名：“这个名字是我孩子给一个棕黄色的大象玩具命名的。我的命名标准就是简短，容易发音和拼写，没有太多的意义，并且不会被用于别处。小孩子恰恰是这方面的高手。”Hadoop

logo：E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410计算机集群Hadoop发展历程（主要的发展大事记）2005年12月，Nutch移植到新的框架，Hadoop在20个节点上稳定运行。2006年1月，DougCutting加入雅虎。2006年2月，ApacheHadoop项目正式启动以支持MapReduce和HDFS的独立发展。……2009年4月，赢得每分钟排序，59秒内排序500GB（在1400个节点上）和173分钟内排序100TB数据（在3400个节点上）。2011年12月27日，1.0.0版本发布。标志着Hadoop已经初具生产规模。2013年2月，Wandisco推出了世界第一款可用于实际业务环境的ApacheHadoop2-WANdiscoDistro(WDD)。E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410计算机集群Hadoop其他主要开发厂商大型企业和机构在寻求解决棘手的大数据问题时，往往会使用开源软件基础架构Hadoop的服务。由于Hadoop深受欢迎，许多公司都推出了各自版本的Hadoop，也有一些公司则围绕Hadoop提供解决方案。Hadoop的发行版除了社区的Apachehadoop外，cloudera，IBM，ORACLE等都提供了自己的商业版本。商业版主要是提供Hadoop专业的技术支持，这对一些大型企业尤其重要。ClouderaEMC。。。HortonworksE6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410计算机集群Hadoop生态圈E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B4102.案例HDFSMap-ReduceE6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410HDFS文件系统：在计算机中，外部存储器上保存数据是至关重要的。而文件是外部存储器上保存数据的基础。因此，操作系统提供的文件管理系统就成了我们用户使用外部存储器存储数据和访问数据的基础。我们已经熟悉了Windows操作系统、Linux操作系统的文件系统。这些文件系统属于普通的、本地的文件系统。但，针对一台计算机而设计的文件系统还是有许多局限性。比如：数据容量、可靠性等。E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410HDFS分布式文件系统：相对于本机端的文件系统而言，分布式文件系统（英语：Distributedfilesystem,DFS），或是网络文件系统（英语：NetworkFileSystem），是一种允许文件透过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410HDFSHDFS：Hadoop分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410HDFSHDFS采用了主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件的访问操作；集群中的DataNode管理存储的数据。E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410HDFSHDFS读文件流程E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410HDFSHDFS写文件流程E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410HDFSHDFS的优点1.可构建在廉价机器上，设备成本相对低2.高容错性，HDFS将数据自动保存多个副本，副本丢失后，自动恢复，防止数据丢失或损坏3.适合批处理，HDFS适合一次写入、多次查询（读取）的情况，适合在已有的数据进行多次分析，稳定性好4.适合存储大文件，其中的大表示可以存储单个大文件，因为是分块存储，以及表示存储大量的数据E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410HDFSHDFS的缺点1.由于提高吞吐量，降低实时性。2.由于每个文件都会在namenode中记录元数据，如果存储了大量的小文件，会对namenode造成很大的压力3.不合适小文件处理，在mapreduce的过程中小文件的数量会造成map数量的增大，导致资源被占用，而且速度慢。4.不适合文件的修改。E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410Map-Reduce先举一个词频统计的例子如果想统计一下过去10年中计算机论文出现最多的几个单词，看看大家都在研究些什么，那收集好论文后，该怎么办呢？

方法一：我可以写一个小程序，把所有论文按顺序遍历一遍，统计每一个遇到的单词的出现次数，然后按单词出现的次数排一下序，最后就可以知道哪几个单词最热门了。这种方法在数据集比较小的情况下是非常有效的，而且实现起来很简单。但数据集大了就会很费时。方法二：写一个多线程程序，并发遍历论文。这个问题理论上是可以高度并发的，因为统计一个文件时不会影响统计另一个文件。当我们的机器是多核或者多处理器，方法二肯定比方法一高效。但是写一个多线程程序要比方法一困难多了，我们必须自己同步共享数据，比如要防止两个线程重复统计文件。并且，通常这里的多核的“多”，也是非常有限的。总之方法二好，但一般用户作起来难度大，并且有很大的局限性。E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410Map-Reduce方法三：把作业交给多个计算机去完成。我们可以使用方法一的程序，部署到N台机器上去，然后把论文集分成N份，一台机器跑一个作业。这个方法跑得足够快，但是部署起来很麻烦，我们要人工把程序copy到别的机器，要人工把论文集分开，最痛苦的是还要把N个运行结果进行整合（当然我们也可以再写一个程序）。方法四：我们可以借助MapReduce。MapReduce本质上就是方法三，但是如何拆分文件集，如何copy程序，如何整合结果这些都是框架定义好的。我们只要定义好这个任务（用户程序），其它都交给MapReduce。E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410Map-ReduceHadoopMapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。关键词：软件框架，并行处理，可靠且容错，大规模集群（成百上千），海量数据集（T级）。Map是“分”，分开的是数据和数据处理，Reduce是“合”，合并的是处理结果。这就是MapReduce的基本思想。E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410Map-ReduceE6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410Wordcount案例演示1.在hdfs上创建一个文件夹/input，运行命令：$hadoopfs-mkdir/input

2.上传一个文本文件到hdfs的/input文件夹下，命令：$hadoopfs-putLICENSE.txt/input

3.查看hdfs下的文件，命令$hadoopfs-ls/input4.运行命令：$hadoopjar/home/hadoop/hadoop/share/mapreduce/hadoop-mapreduce-examples-2.7.3.jarwordcount/input/output5.查看mapreduce结果$hadoopfs-ls/6.浏览结果文件$hadoopfs-cat/output/part-r-00000注意：根据自己hadoop版本和路径相应的调整

不能在hdfs下不能存在/ouput文件夹E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410大数据洞察的创新领域E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410交通与人口迁移应用E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410上海市各大商圈人流预警系统E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA530FE6909217857F306DDBF2DB6715F2B3FBA7EC24C6B410征信与经融风控应用E6636B02012BD195C019CE06C16E3094C83D0AEC2711A616D0819A1A3DE658F88FED7F03BC41BA965B4FD7F0472B73A72FC0F2BE2AA