大数据处理的基本思想和框架课件高中信息技术浙教版必修1

4.2.1大数据处理的基本思想和框架第四章第四章大数据具有数据量大、数据来源于类型多样、处理速度快等特点，简单的表格处理软件已经无法满足大数据的处理需求，同时，大数据技术、理论和处理方法也在不断发展，为大数据的处理提供了越来越有力的支持。量大速度快，类多价值低大数据的特征★分——将问题分解为规模更小的子问题★治——将规模更小的子问题逐个击破★合——将已解决的子问题合并，最终得出原问题的解大数据处理思想——分治

开发“羊了个羊”小程序写代码画界面设计游戏宣传计算机专业美术专业计算机专业新媒体专业成果分治思想大数据处理分类大数据处理静态数据流数据图数据★静态数据：在处理时已收集完成、在计算式不会发生改变的数据

★流数据：是指不间断地、持续地到达的实时数据，随着时间的流逝，流数据的价值也随之降低，通过实时分析计算可以得到更有价值的分析的结果.★图数据：以社交网络、道路交通等数据为例的众多以图为数据呈现形式的数据，或者转化为图之后再进行分析静态数据——批处理Hadoop是一个运行于计算机集群上的分布式系统基础架构，适用于静态数据的批处理计算。Spark与hadoop相似，应用较广的开源分布式计算架构。Spark启用了内存存储中间结果，运行速度比hadoop快。批处理计算HDFS数据以文件的形式、用多副本保存在不同的存储节点中，并进行分布式管理容错性高，可以部署在廉价的机器中应用：云盘、网盘HBase功能：采用基于列的存储方式，用于存储半结构化和非结构化数据，具有良好的横向扩展能力，可管理PB级的大数据，是BigTable的开源实现。特点：高可靠、高性能、可伸缩、分布式Hbase(数据存储与管理)分布式并行计算模型MapReduceMapReduce主要用于处理大规模数据集的并行运算，由Map（映射）和Reduce（归纳）两部分组成。它的核心思想就是将任务分解并发到多个节点上进行处理，最后汇总输出。批处理计算不间断地、持续地到达的实时数据。流数据的价值会随着时间的流逝而降低。

对采集的数据实时分析和计算并反馈实时结果。经处理系统或处理完成的数据流直接丢弃或存储用户可以实时查询最新数据分析结果，数据不断更新，实时推荐给用户流计算应用：广告推送、个性化推荐、实时交通流计算软件：Heron、Storm、Streams、S4、Puma流数据——流计算

流处理系统处理的是实时的数据，而传统的数据处理系统处理的是预先存储好的静态数据。用户通过流处理系统获取的一般是实时结果，而传统的数据处理方式获取的都是过去某一个历史时刻的快照。流处理系统会实时地把生成的结果不断的推动给用户，传统数据需要用户主动查询才能获取数据。混合平台（批处理&流计算）的整合缩短了批处理与流处理之间的切换延时时间，有利于减少系统的开销，降低使用成本。传统数据与流数据现实世界中以图形式展现的数据。如社交网络、道路交通等。图处理软件：Pregel、GraphX

图数据——图计算练一练1.下列关于流数据的描述不正确的是（

）

A.数据在处理时已经采集完成

B.数据价值随着时间的流逝降低

C.实时分析流数据可以得到更有价值的结果

D.可以采用流计算进行实时分析A练一练2.下列关于Hadoop架构的描述正确的是（

）A.是一个对大数据进行聚合式处理的基础软件框架B.不能运行于大规模计算机集群上C.采用NTFS文件系统管理数据文件D.采用MapReduce编程模型处理大规模数据集D练一练2.下列关于Hadoop架构的描述正确的是（

）A.是一个对大数据进行聚合式处理的基础软件框架

B.不能运行于大规模计算机集群上C.采用NTFS文件系统管理数据文件D.采用MapReduce编程模型处理大规模数据集D练一练3.下列软件主要用于进行流计算的有（

）

A.Hadoop

B.Storm

C.Pregel

D.SparkB练一练4.实时处理与批处理整合的优势有（

）①可以在同一个平台做