大数据应用技术基础 课件 项目一 初识大数据技术

认识大数据及特性（1）抖音平台每天可产生多少体量的数据。（2）天猫、京东等购物网站上每天将存储多少客户的购物数据？（3）请列举你认为每天产生数据最多的行业。1．能描述大数据及特性；2．能说出大数据对思维方式的变革；3．能说出大数据的典型应用4．能说出大数据的产业结构活动1：认识大数据及特性1．大数据的概念大数据是指数据规模大、数据类型多、变化速度快、价值密度低的一类数据集合。硬件技术的发展 大容量存储器 高性能处理器 高速传输技术2．大数据的特性数据量大类型多样处理速度快来源真实价值密度低运营式阶段用户自创式阶段感知式阶段3．大数据生产方式抽样分析向全面分析转变从追求分析的精确性向追求分析的效率转变从重视因果性向重视相关性转变4．对思维方式的改变活动2：大数据技术1．大数据技术指大数据的采集、存储管理、处理分析与数据安全保护的相关技术，它能从巨量数据中，快速获取有价值的信息和知识。（1）数据采集（2）数据存储与管理（3）数据处理与分析（4）数据安全与隐私保护批处理流计算图计算2．大数据计算模式

（1）哪些特性最受客户看重？

（2）与其他商用数据库如DBII、Oracle、MSSQL相比，它的优势是什么？IT基础设施层数据源层数据存储层数据分析层数据平台层数据应用层3．大数据产业的组成1．大数据是

。2．大数据特性有

。3．大数据背景下，思维方式有

方面的适应性变革。4．大数据产业有

层组成。（1）大数据及特性（2）大数据的计算模式及针对的应用（3）大数据产业组成认识大数据技术1．请列举在生活经历中所体验到的数据处理技术。2．说出你所知道的大数据技术的实例。1．能说出大数据应用的相关技术方向；2．能说出大数据环境下的计算模式和应用方向；3．能说出大数据与云计算和物联网的关系。活动1：认识大数据技术1．大数据技术指大数据的采集、存储管理、处理分析与数据安全保护的相关技术，它能从巨量数据中，快速获取有价值的信息和知识。（1）数据采集（2）数据存储与管理（3）数据处理与分析（4）数据安全与隐私保护2．大数据计算模式批处理流计算图计算活动2：认识大数据与云计算和物联网的关系1．云计算技术以虚拟化技术为基础，把数据中心的存储、算力和软件包装后，通过网络为用户提供可定义的、廉价的IT服务产品。础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）典型的服务：虚拟化分布式存储分布式计算云计算涉及的主要技术2．物联网物联网是互联网的扩展，通过置入物中的各类传感器，把感知到的数据经传感网和射频网传入计算机网络，从而实现万物互联。物联网是大数据的重要数据来源，云计算提供分布式处理基础平台，大数据技术处理结果反馈回物联网实现自适应控制。3．关系1．大数据技术包括

几个方面。2．大数据计算模式有

。3．大数据、云计算和物联网有

关系。（1）大数据相关技术（2）大数据的计算模式（3）大数据与云计算和物联网的关系认识大数据处理框架1．请描述在生活中数据处理的全流程经历哪些操作和环节？2．请列出你所知道的大数据技术相关工具。1．能说出大数据处理框架的组成和各组成的逻辑关系；2．能说出大数据处理平台的组成架构；3．能说出大数据处理平台各组件的功能。。活动1：认识大数据技术框架1．认识大数据技术框架数据采集层数据存储层资源管理与服务协调层数据计算层数据分析层数据可视化层2．各层面的作用活动2：认识大数据处理平台的架构1．大数据处理平台的架构础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）典型的服务：2．大数据处理平台各组件的功能服务器及集群：算力，存储，分布式虚拟技术：高效利用硬件和高效管理存储框架：分布、可靠存储计算框架：基本计算网络通信：高速数据传输访问框架：透明访问协同框架：在不同应用间协调数据的访问商业智能：分析、可视化应用1．大数据技术框架

几个层面。2．大数据处理平台框架由

部分组成。3．大数据处理平台框架中的服务器是指

。（1）大数据技术框架的组成；（2）大数据技术框架各层的任务；（3）大数据处理平台的组成架构；（4）大数据处理平台各组件的功能。Hadoop大数据技术1．请列举你听说过的大数据处理技术实现方案。2．传统数据库技术能满足大数据的存储和管理吗？1．能说出Hadoop大数据技术框架的构成；2．能说出Hadoop大数据处理框架的逻辑层的作用；3．能说出各层主要组件的功能。活动1：认识Google大数据技术1．Google大数据技术框架2．各逻辑层功能数据存储层资源管理与服务协调层计算引擎层

数据分析层活动2：认识Hadoop

大数据技术1．Hadoop

大数据技术框架2．各逻辑层的功能 Sqoop Flume Kafka HDFS HBase Kudu YARN ZookeeperMapReduceSparkStormHiveMahout1．Google大数据框架由

组成。2．H