大数据应用技术基础 课件全套 项目1-4 初识大数据技术 -大数据商业应用

认识大数据及特性（1）抖音平台每天可产生多少体量的数据。（2）天猫、京东等购物网站上每天将存储多少客户的购物数据？（3）请列举你认为每天产生数据最多的行业。1．能描述大数据及特性；2．能说出大数据对思维方式的变革；3．能说出大数据的典型应用4．能说出大数据的产业结构活动1：认识大数据及特性1．大数据的概念大数据是指数据规模大、数据类型多、变化速度快、价值密度低的一类数据集合。硬件技术的发展 大容量存储器 高性能处理器 高速传输技术2．大数据的特性数据量大类型多样处理速度快来源真实价值密度低运营式阶段用户自创式阶段感知式阶段3．大数据生产方式抽样分析向全面分析转变从追求分析的精确性向追求分析的效率转变从重视因果性向重视相关性转变4．对思维方式的改变活动2：大数据技术1．大数据技术指大数据的采集、存储管理、处理分析与数据安全保护的相关技术，它能从巨量数据中，快速获取有价值的信息和知识。（1）数据采集（2）数据存储与管理（3）数据处理与分析（4）数据安全与隐私保护批处理流计算图计算2．大数据计算模式

（1）哪些特性最受客户看重？

（2）与其他商用数据库如DBII、Oracle、MSSQL相比，它的优势是什么？IT基础设施层数据源层数据存储层数据分析层数据平台层数据应用层3．大数据产业的组成1．大数据是

。2．大数据特性有

。3．大数据背景下，思维方式有

方面的适应性变革。4．大数据产业有

层组成。（1）大数据及特性（2）大数据的计算模式及针对的应用（3）大数据产业组成认识大数据技术1．请列举在生活经历中所体验到的数据处理技术。2．说出你所知道的大数据技术的实例。1．能说出大数据应用的相关技术方向；2．能说出大数据环境下的计算模式和应用方向；3．能说出大数据与云计算和物联网的关系。活动1：认识大数据技术1．大数据技术指大数据的采集、存储管理、处理分析与数据安全保护的相关技术，它能从巨量数据中，快速获取有价值的信息和知识。（1）数据采集（2）数据存储与管理（3）数据处理与分析（4）数据安全与隐私保护2．大数据计算模式批处理流计算图计算活动2：认识大数据与云计算和物联网的关系1．云计算技术以虚拟化技术为基础，把数据中心的存储、算力和软件包装后，通过网络为用户提供可定义的、廉价的IT服务产品。础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）典型的服务：虚拟化分布式存储分布式计算云计算涉及的主要技术2．物联网物联网是互联网的扩展，通过置入物中的各类传感器，把感知到的数据经传感网和射频网传入计算机网络，从而实现万物互联。物联网是大数据的重要数据来源，云计算提供分布式处理基础平台，大数据技术处理结果反馈回物联网实现自适应控制。3．关系1．大数据技术包括

几个方面。2．大数据计算模式有

。3．大数据、云计算和物联网有

关系。（1）大数据相关技术（2）大数据的计算模式（3）大数据与云计算和物联网的关系认识大数据处理框架1．请描述在生活中数据处理的全流程经历哪些操作和环节？2．请列出你所知道的大数据技术相关工具。1．能说出大数据处理框架的组成和各组成的逻辑关系；2．能说出大数据处理平台的组成架构；3．能说出大数据处理平台各组件的功能。。活动1：认识大数据技术框架1．认识大数据技术框架数据采集层数据存储层资源管理与服务协调层数据计算层数据分析层数据可视化层2．各层面的作用活动2：认识大数据处理平台的架构1．大数据处理平台的架构础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）典型的服务：2．大数据处理平台各组件的功能服务器及集群：算力，存储，分布式虚拟技术：高效利用硬件和高效管理存储框架：分布、可靠存储计算框架：基本计算网络通信：高速数据传输访问框架：透明访问协同框架：在不同应用间协调数据的访问商业智能：分析、可视化应用1．大数据技术框架

几个层面。2．大数据处理平台框架由

部分组成。3．大数据处理平台框架中的服务器是指

。（1）大数据技术框架的组成；（2）大数据技术框架各层的任务；（3）大数据处理平台的组成架构；（4）大数据处理平台各组件的功能。Hadoop大数据技术1．请列举你听说过的大数据处理技术实现方案。2．传统数据库技术能满足大数据的存储和管理吗？1．能说出Hadoop大数据技术框架的构成；2．能说出Hadoop大数据处理框架的逻辑层的作用；3．能说出各层主要组件的功能。活动1：认识Google大数据技术1．Google大数据技术框架2．各逻辑层功能数据存储层资源管理与服务协调层计算引擎层

数据分析层活动2：认识Hadoop

大数据技术1．Hadoop

大数据技术框架2．各逻辑层的功能 Sqoop Flume Kafka HDFS HBase Kudu YARN ZookeeperMapReduceSparkStormHiveMahout1．Google大数据框架由

组成。2．Hadoop大数据框架由

组成。3．在Hadoop中数据最终存储在

中。（1）Google大数据框架的逻辑功能层（2）Hadoop大数据框架的逻辑功能层（3）Hadoop大数据平台主要组件的功能认识Hadoop系统1．请列举你所了解到的Hadoop在大数据领域市场占有情况是如何的？2．你是否知道Hadoop是部署在什么操作系统平台上的？具有Linux系统的哪些知识和操作能力？知识：1．能说出Hadoop系统生态圈的组成；2．能说出Hadoop版本的演进；3．能说出Hadoop不同发行版的特性。技能：1．能选择Hadoop的部署模式；2．能准备Hadoop的部署环境；3．能执行Hadoop的部署操作。活动1：认识Hadoop技术生态圈1．Hadoop技术生态圈2．组件功能Oozie

HueGanglia

ZooKeeper

Ambari

Flume

Sqoop

KafkaHDFS

YARN

MapReduce

Spark

Flink

Hbase

Hive

StormMahout3．Hadoop版本（1）Hadoop1.0存在单点故障、内存受限，缺乏隔离机制的缺陷，制约了集群扩展。（2）Hadoop2.0支持多个NameNode

同时运行，解决了NameNode

单点故障问题。（3）Hadoop3.0支持多个NameNode

同时运行，解决了NameNode

单点故障问题。（1）Cloudera公司的CDH（2）Hortonworks公司的HDP（3）MapR公司的Hadoop4．Hadoop的发行版本活动2：部署Hadoop技术平台1．Hadoop的软件环境CentOS7JDK8Hadoop3.0至少3台高性能服务主机和千兆网络环境。一个作名称节点，另两个充当数据节点。2．硬件环境3．安装环节（1）安装配置Linux系统（2）配置Linux环境（3）安装Hadoop（4）配置Hadoop部署模式Hadoop本地模式

测试环境Hadoop伪分布模式

开发与测试Hadoop全分布模式

生产Hadoop部署模式：1．比较Hadoop三个版本的运作特性。2．Hadoop有

3个发行版本。3．Hadoop有

3种部署模式，它们分别适用场景是

。

4．Hadoop需要

软件平台的支持。1．Hadoop系统生态圈的组成；2．Hadoop版本的演进；3．Hadoop的部署模式；4．Hadoop的部署环节。HDFS文件系统及使用1．请列举所知道的文件系统以及它的功能？2．请描述你使用网盘的情况，它与本地文件系统存储有哪些不同？知识：1．能说出HDFS文件系统的组成结构；2．能描述HDFS文件系统数据存储过程；3．能说出HDFS文件系统的存储特性。技能：1．能在HDFS中管理文件目录；2．能在HDFS中管理文件；3．能在HDFS和本地文件系统中传输文件。活动1：认识HDFS文件系统的组成1．HDFS文件系统的组成2．组件功能NameNode：负责管理HDFS分布式文件系统中的命名空间和客户对文件的访问。DataNode：负责处理客户的文件读写请求，在NameNode

的统一调度下完成文件的创建、读写、删除、复制等操作，并定期向NameNode

发送所存储的块列表数据。活动2：HDFS的工作过程1．文件存储策略文件分块存储，块大小128MB。文件块同时执行读写操作，提高文件的读写效率；文件块存储到不同节点上，突破单节点容量限制；同一文件块同时存储到不同的节点上，提高系统的容错性和可用性维护数据文件FsImage

和EditLog。FsImage存储整个HDFS中的文件目录和文件的文件名、文件各块在DataNode

中的地址等基础数据；EditLog

记录客户对文件执行的创建、读写、删除等操作2．NameNode的作用3．工作过程（1）NameNode

启动时将把FsImage

的内容加载到内存中，然后执行EditLog

中的操作，更新FsImage，进入安全模式，只读不写；（2）创建一个新的FsImage文件和一个空的EditLog

文件，所有更新操作都将写入EditLog

中，而不是直接写入FsImage；3．工作过程（4）新FsImage

发送给NameNode，并用EditLog.new

替换掉原EditLog，减小了EditLog

的大。（5）存取操作继续…活动2：使用HDFS文系统在主节点上执行start-all.sh1．启动HDFS服务2．目录操作hdfsdfs-mkdir/temphdfsdfs-rmdir/tmp3．文件操作hdfsdfs-cp/data/sn.txt/tmphdfsdfs–copyFromLocal./mdata/notababy.txt/tmp1．HDFS文件系统由

组成。2．描述HDFS文件系统的工作过程。3．HDFS文件系统的特征有

。4．展秀在HDFS中文件目录操作。1．HDFS文件系统的组成结构；2．HDFS文件系统数据存储过程；3．HDFS文件系统的存储特性；4．HDFS文件系统的基础应用。认识ZooKeeper服务架构1．试设想在Hadoop系统中部署了多种服务都需要依据实际应用环境进行配置管理是什么景象？2．你请思考在一个指挥系统怎样才能保证一致性和不间断性？知识：1．能说出ZooKeeper服务功能；2．能描述ZooKeeper服务架构组成；3．能描述ZooKeeper的数据存储方式。技能：1．能规划ZooKeeper服务节点和角色；2．能评价ZooKeeper数据及存储特性；活动1：认识ZooKeeper服务架构组成1．ZooKeeper服务架构2．节点的服务功能（1）可靠存储服务的关键数据（2）自动实现Master/Master之间的切换活动2：ZooKeeper

的数据存储1．ZooKeeper

的数据存储持久znode

临时znode持久顺序znode

临时顺序znode

2．ZooKeeper

的数据节点类型及作用ZooKeeper

服务体系架构由

组成。ZooKeeper

的数据存储采用

方式。ZooKeeper

的数据有

四种形式，它们的特点分别是

。1．ZooKeeper

服务功能；2．ZooKeeper服务架构组成；3．ZooKeeper的数据存储方式；4．ZooKeeper的数据节点类型。认识ZooKeeper工作机制1．人工管理方式下，在主控服务发生故障时，是如何切换主控服务的？2．在结构化SQL数据库操作中，为保证数据一致性，会采用锁机制，在分布式环境中又该如何实现呢？知识：1．能描述ZooKeeper的Watcher机制；2．能描述ZooKeeper的分布式锁机制；3．能描述ZooKeeper的Leader选择机制。技能：1．能评价ZooKeeper三种机制实现的管理特性；2．能从故障现象确定机制运作问题。活动1：认识Watcher机制1．Watcher机制2．运作过程（1）client向ZooKeeper服务器注册Watcher，也即在znode中登记Wather相关信息（如地址），同时登记在本地管理器中；（2）ZooKeeper通知客户，客户端则从Watcher管理器中取出相应的Watcher执行；活动2：认识分布式锁机制1．分布式锁机制分布式锁可以在分布环境中保证数据一致性。（1）客户连接到ZooKeeper

服务器，并在相应数据的锁节点下创建一个临时顺序节点；（2）然后查询该并判断自己创建的节点是否是该锁节点下序号最小的节点，如果是，则获得锁，否则监听排在自己前一位的子节点的删除事件；若所监听的子节点被删除，则获得数据锁；（3）执行数据访问业务代码，然后删除自创节点，释放锁。2．实现过程活动2：认识Leader选择机制

Leader是master/slave模式服务群集中的主控服务器，是集群中为客户实际提供服务。。1．Leader（1）一组参与Leader竞争的服务器同时在ZooKeeper

创建指定的znode，谁先创建成功谁就成为Leader；（2）其它服务器向该znode注册Watcher（3）当前Leader失效时，则重新发起Leader竞选。2．选择Leader1．Watcher机制的功能有

。2．分布式锁的作用是

。3．Leader机制的作用是

。1．ZooKeeper的Watcher机制；2．ZooKeeper的分布式锁机制；3．ZooKeeper的Leader选择机制。认识YARN服务组成架构1．想一想如果操作系统没有文件系统服务，我们如何存储与访问数据？2．大数据应用程序直接访问底层和通过一个中间服务层访问数据它有各有什么特点？知识：1．能说出YARN服务提供的功能；2．能说出YARN服务的特性；3．能说出YARN服务的组成架构。技能：1．能评价YARN服务的性能因素；2．能判断YARN服务故障点。活动1：认识YARN服务组成架构1．YARN服务组成架构2．YARN服务的主要功能提供Hadoop环境中的资源管理和调度服务。并能计算框架如Spark、Flink等提供资源的统一管理与调度服务。3．服务特性

提高了系统中资源的利用率，提升的灵活性和扩展性。活动2：认识YARN服务组件的功能1．ResourceManagerYARN服务集群中的主节点，负责各NodeManager节点资源的统一管理和调度。可部署多个ResourceManager节点，在ZooKeeper的协调下选择leader节点实际实施资源管理与调度。系统中每个节点上的资源和任务管理器。它将定时向活动ResourceManager

报告本节点资源使用情况和各Container的运行状态，并接收和处理来自ApplicationMaster

的Container启动/停止等请求。2．NodeManager

ResourceManager

分配资源的基本单位。一个NodeManager

可管理着多个容器，它们相互隔离。3．Container

Hadoop

应用程序都有一个应用程序主管，负责应用程序的管理。负责重启失败的Task。4．ApplicationMaster应用程序分解成的可具体执行任务单位5．Task1．YARN的功能是

。2．YARN的服务节点有

两种。3．YARN的服务的特性有

。1．能说出YARN服务提供的功能；2．能说出YARN服务的特性；3．能说出YARN服务的组成架构。YARN服务工作流程1．思考在SQL数据库管理系统中，我们查询一个数据表时，DBMS做了什么？2．在Windows系统中，一个程序执行无响应时，有哪些处理方法？知识：1．能说出应用程序申请资源的过程；2．能说出YARN服务分配资源的过程；3．能说出管理任务的过程。技能：1．能找出申请资源失败的原因；2．能评价一个YARN服务的服务质量。活动1：认识YARN服务工作流程1．YARN服务工作流程2．Hadoop应用程序的启动（1）用户使用客户端程序向资源管理器提交应用程序；（2）资源管理器为应用程序主管分配资源容器；（3）应用程序主管向资源管理器申请应用程序的运行的容器资源；（4）节点管理器启动容器中的应用程序任务。2．Hadoop应用程序的启动活动2：认识YARN服务监控流程1．ResourceManager资源管理器由应用程序管理器和资源调度器组成。应用程序管理器与应用主管通信来监视应用程序的运行状态。资源调度器与节点管理器通信来实时监测节点资源的使用情况。资源管理器管理应用的整个生命周期。用户可通过资源管理器了解应用程序当前的运行进度和状态。1．ResourceManager

节点管理器按资源管理器的分派为应用任务运行准备容器资源并启动任务运行。监视本节点上各容器运行状态和节点资源使用情况，定时报告给资源管理器。根据应用主管的要求启动或停止任务。2．NodeManager1．一个应用运行需要经

个关键步骤。2．资源管理器是通过

正确有效分配资源。3．节点管理器根据

的命令来启停任务。1．能说出应用程序申请资源的过程；2．能说出YARN服务分配资源的过程；3．能说出管理任务的过程。认识NoSQL数据库1．依据关系型数据库的经验，在传统行业生产或活动产生的数据有哪些特点？2．观察并讨论在互联网上购物、社交平台上产生的数据又会有哪些不一样的特性？知识：1．能说出SQL数据库中数据的特点；2．能区别SQL和NoSQL数据库的特性；3．能描述典型NoSQL数据库的数据存储方式。。技能：1．能图示NoSQL数据库的数据存储方式；2．能评价NoSQL数据库的数据存储方式；3．能确定不同型NoSQL数据库的应用领域。；活动1：认识NoSQL数据库1．关系型数据库中数据的特性2．SQL数据库特性（1）数据结构严谨预先明确定义，所有数据记录的数据很整齐而密集。（2）数据来组织的实际业务活动，具有很高的数据价值。活动2：认识NoSQL典型数据存储模式1．键值存储键—值对是由一个简单字符串（键）和与之绑定的数据（值）组成。键值存储不用为值指定一个特定的数据类型，可以存储任意类型的数据，值统一以BLOB（二进制字节数组）进行存储。键值存储是单纯的存储引擎，键和值都是字节数组，只负责存取而不关心其的含义。2．列簇存储列簇存储通过把若干相关的列组合到一个列簇中，以列簇为数据读写的基本单位进行集中存储。列簇存储的逻辑结构被设计成一张庞大的数据表，可以容纳数十亿行和数百万列。列簇存储中定位数据的要素3.文档存储文档是键—值对的有序集。文档的键和值没有固定的类型和大小，不需要关系数据库预定义的数据模式。一组文档组成集合，集合可视为关系数据库中的表。4．图存储图存储是包含一系列对象节点及其关系的数据集，它描绘了一组对象的关系图。1．比较SQL数据库与NoSQL数据的存储模式。2．NoSQL有

典型的存储模式。3．SQL数据库会不会被淘汰？1．能说出SQL数据库中数据的特点；2．能区别SQL和NoSQL数据库的特性；3．能描述典型NoSQL数据库的数据存储方式。认识Hbase数据模型1．回想在关系数据库中数据模型所发挥的作用？2．讨论数据模式设计的优劣对后续数据管理和使用有何影响？知识：1．能说明HBase的数据模型的组成结构；2．能描述HBase的数据表结构；3．能描述HBase的物理存储模式。技能：1．能评价HBase的数据表的特性；2．能设计HBase的数据表的结构。活动1：认识HBase逻辑数据模型1．HBase逻辑数据模型2．HBase数据表结构（1）行行由行键和若干列组成。行键类似SQL数据表中的主键，在表中是唯一。（2）列簇列簇是对列的分组，由一个或若干个列组成。2．HBase数据表结构（3）列限定符列限定符一般格式为“列簇:列名”。（4）单元格单元格的数据包含值和时间戳。活动2：HBase

的物理存储模式1．HBase

的物理存储HBase

的行都是离散的，分别存储到不同的列簇中，不同的列簇可以分散存储到集群的不同节点上。支持并行处理，可有效提高应用程序性能。使用命名空间来对表进行逻辑分组，命名空间的作用类似于关系数据库中的database，可对不同的用户实现数据隔离。2．HBase

的物理存储优势1．HBase

的数据结构是

。2．HBase数据表中定位一个数据使用的键由

要素组成。3．HBase数据的物理存储模式优点有

。1．能说明HBase的数据模型的组成结构；2．能描述HBase的数据表结构；3．能描述HBase的物理存储模式。使用Hbase数据库1．试回忆MySQL数据库服务模式，用户是通过什么方式去使用数据服务？2．在MySQL数据库有哪些措施可以确保数据的完整性？知识：1．能说出HBase数据库服务架构组成；2．能描述HBase数据库服务组件的功能；3．能描述HBase数据存取的流程。技能：1．能使用HBase的系统工具创建数据库和数据表；2．能访问HBase数据表的数据。；活动1：认识HBase服务架构组成1．HBase服务架构2．服务组件的功能（1）Hmaster管理

HRegionServer节点，监控其工作状态；管理并维护

HBase

的命令空间和表的元数据；响应客户请求，为客户提供数据表的操作接口管理客户对

HBase

的访问权限。（2）HRegionServerHRegionServer节点具体执行数据的读写操作的组件。可以管理1000个HRegion。（3）HRegionHBase使用行键自动把数据表水平切割成若干HRegion，每个HRegion由表中的多行数据组成，HRegion的默认大小是1GB。（4）Store一个HRegion可包含一个或多个Store，一个Store可存储表的一个列簇的数据。Store中包含一个MemStore和若干个HFile数据文件活动2：使用HBase数据服务1．启动并连接到HBasehbaseshell1．启动并连接到HBasehbaseshell2．创建数据表create′emp_tbl′,′base_info′,′etc_info3．输入数据put′emp_tbl′,′62301′,′base_info:name′,′Nicola′3．显示数据scan′emp_tbl′1．hbase服务体系架构采用

模式，主节点是的主要作用是

，从节点的作用是

。2．hbase数据库在底层使用

来存储数据。3．hbase提供了

操作数据表的命令。1．能说出HBase

数据库服务架构组成；2．能描述HBase

服务组件的功能；3．能描述HBase

数据存取的流程。认识Hive的体系架构1．通过咨询分享在Hadoop平台中如何分析处理其中的数据的？2．能不能像在关系型数据中那样的方式来处理NoSQL数据中的数据？知识：1．能说出Hive服务的功能；2．能描述Hive服务架构组成；3．能描述Hive服务各组件的作用。技能：1．能判定Hive服务的业务应用场景；2．能评价Hive服务在数据分析中的优势；3．能使用Hive开展数据处理。活动1：认识Hive服务架构1．Hive的体系架构2．服务组件功能（1）Hive的用户接口 命令行用户接口

Beeline命令行用户接口、

JDBC/ODBCAPI接口

Web用户接口。（2）HiveServer2为远程客户端提供执行Hive查询的服务组件，支持多个客户端并发请求。（3）HiveDriver它是一个语言编译器，其将HQL语言写成的数据分析与处理的命令转换成MapReduce任务。（4）MetaStoreServer是元数据存储服务组件。由关系型数据库服务充当。如MySQL。活动2：Hive服务的数据处理1．Hive支持的数据类型（1）基本数据类型整型：

tinyint,smallint,int,bigint浮点型：

float,double定点型：

decimal(m,p),numeric(m,p)字符型：

char,varchar,string日期时间型：date,timestamp二进制型：

binary布尔型：

boolean（2）复合数据类型数组：arraybase_colorsarray<'red','green','blue'>base_colors[0]映射：mapbooksmap<'string','double'>booksmap<'Hive','59.7'>结构：structmphstruct<brand:string,type:string,price:decimal(7,2)>mph<'vivo','note2',2176.99>mph.price算术：+-*/%div&|~关系：<><=>==isnullisnotnulllikein逻辑：notandor2．Hive的数据运算 数值类型函数：rand()日期类型函数：current_date()字符串类型函数：length()条件函数：if()杂项函数：cast()hash()3.Hive的系统函数1．Hive服务体系架构由

组成。2．Hive使用

来分析处理数据。3．比较Hive与MySQL的数据处理方式有何不同？1．Hive服务的功能；2．Hive服务架构组成；3．Hive服务各组件的作用；4．Hive服务的数据类型与运算。认识Hive的数据模型1．交流介绍数据模型在数据管理及应用中的地位和作用？2．请你思考数据和数据模型的关系？知识：1．能说出Hive数据模型及作用；2．能比较Hive数据模型与SQL数据模型；3．能描述Hive数据表的用途；4．能描述Hive的数据文件。技能：1．能选择需要的Hive数据表类型；2．能说明Hive数据文件的优劣。活动1：认识Hive的数据模型1．Hive的数据模型Hive的数据模型相当于SQL数据库的逻辑数据模型用于描述Hive表的结构。Hive表也是由逻辑行、列组成的，但与数据是分享的，数据存储在HDFS文件系统中2．Hive的数据表（1）内部表由Hive管理的表，也称为管理表。内部表与数据紧密相关。对应HDFS系统中的一个目录。内部表一般用于处理仅需临时存储的数据。（2）自动实现Master/Master之间的切换2．Hive的数据表（1）内部表由Hive管理的表，也称为管理表。内部表与数据紧密相关。对应HDFS系统中的一个目录。内部表一般用于处理仅需临时存储的数据。（2）外部表外部表的数据不由Hive管理，它们可以存储在HDFS中的任何目录中。当删除外部表时，只是删除了外部表的定义，而不会把数据从HDFS系统中删除。类似SQL数据库中的外模式。（3）分区表在Hive中可以根据某一列（字段）的值将表分成若干子表（对应目录），这样的子表就是分区表。静态分区表和动态分区表。分区表可提高查询效率。（4）桶表桶是一种特殊的分区（对应数据文件），表或分区中的数据在Hash函数控制下进一步分成桶。（5）视图视图又称为虚表，在视图中查询的数据要从相关的基数据表中来。视图可以跨多个表建立。视图的主要用途是简化复杂查询任务。活动2：认识Hive数据文件1．行式存储文件（1）文本文件（2）序列化文件（3）Avro文件2．列式存储文件（1）ORC文件（2）Parquet文件ZooKeeper

服务体系架构由

组成。ZooKeeper

的数据存储采用

方式。ZooKeeper

的数据有

四种形式，它们的特点分别是

。1．Hive表格式有

。2．Hive数据文件格式有

。3．Hive默认数据文件是

格式，从数据分析效能来看应选择

格式的数据文件。1．Hive数据模型及作用；2．Hive数据表的用途；3．Hive的数据文件。认识Sqoop服务框架与迁移工具1．结构化SQL数据库存储有巨量的业务数据，由于SQL数据本身性能瓶颈不利于进行数据分析，可有什么好的解决方法？2．数据分析生成的高价值数据体量？变得很小还适宜存储到大数据平台吗？知识：1．能描述Sqoop服务架构组成；2．能说出Sqoop服务工具及作用技能：1．能判别Sqoop服务的应用场景；2．能为应用选择恰当的Sqoop数据迁移工具。活动1：认识Sqoop服务架构组成1．Sqoop服务架构2．数据迁移过程（1）客户使用Sqoop的工具发出的命令；（2）Task转换器翻译成相应的MapReduce程序；（3）在YARN上执行相应MapReduce任务实现在SQL数据库与Hadoop系统之间传输数据。活动2：Sqoop服务数据迁移工具1．数据导入数据导入是指从SQL数据表中把数据迁移到HDFS系统的操作。1．数据导入

sqoopimport

<导入参数>（1）指定目标数据文件格式（2）指定SQL数据表（3）指定查询条件2．数据导出数据导出是指将数据从HDFS系统迁移到SQL数据表的过程。2．数据导出

sqoopexport

<导入参数>（1）指定导出文件的HDFS目录路径（2）设定目的表名（3）设置并行执行的MAP任务数（4）设置数据插入时的更新方式1．Sqoop服务的核心是

。2．Sqoop数据导入过程是

。3．Sqoop数据导出过程是

。1．Sqoop服务架构组成；2．Sqoop服务工具及作用；3．Sqoop服务数据导入过程；4．Sqoop服务数据导出过程。在SQL数据库与HDFS间迁移数据1．交流在MySQL数据库中导出数据表进行的操作经验。其中可进行哪些控制操作？2．为什么需要在不同平台之间迁移数据？请列举你所知道的原因？知识：1．能说出Sqoop迁移数据的基本操作流程；2．能描述数据导入生成的数据文件与记录的关系；3．能描述数据导出时的合并规则。技能：1．能实施数据导入操作；2．能实施数据导出操作。活动1：导入数据1．连接到MySQL服务器并显示其中的数据库sqooplist-databases--connetcjdbc:mysql:/bds001:3306>--usernameroot-P连接通过MySQL数据库的JDBC驱动程序2．导入数据sqoopimport\>"-Dorg.apache.sqoop.splitter.allow_text_splitter=true"\>--connetcjdbc:mysql:/bds001:3306\>--usernameroot-P\>--tablebk_base_info\>--target-dir/sqoop/data2．查看导入生成的数据hdfsdfs-ls/sqoop/datahdfsdfs-cat/sqoop/data/part-m-00001活动2：导出数据1．新建MySQL数据表createtablebk_info(ISBN

char(13)notnull,…);sqoopexport\>--connetc

jdbc:mysql:/bds001:3306\>--usernameroot-P\>--tablebk_info\>--export-dir/sqoop/data/part-m-000012．执行数据导出select*frombk_info3．查看导出结果1．执行导入导出时都要

SQL数据库。2．导入时一个表生成

个数据文件。3．使用

命令可以获得sqoop工具的帮助。1．Sqoop迁移数据的基本操作流程；2．数据导入生成的数据文件与记录的关系；3．数据导入与导出。选择大数据处理方法1．你能列举出生活中使用大数据的案例吗？2．你知道大数据分析有哪两种分析方式吗？3．你知道有哪些工具可能对大数据进行离线处理吗？4.你知道有哪些工具可能对大数据进行离线处理吗？5.你知道对大数据处理有哪些流程吗？1．能描述大数据处理数据的流程；2．能说出大数据处理数据的几种方式；3．能说出大数据的几种离线处理工具及其特点；4.能说出大数据的几种在线处理工具及特点。活动1：大数据处理流程一、大数据处理流程思考：1.请列举生活中的大数据处理案例？这些案例带来了哪些便捷？2.处理的数据从何而来？你有过处理大量数据的经历吗？3.你处理大数据时用到了哪些工具呢？4.你处理大数据时，从获取数据到得到有效数据，经过了哪些过程呢？一、大数据处理流程(1)数据采集：收集需要处理的数据，一是从网络上采集数据，二是从本地采集数据，采集到的数据多为非结构化的数据。(2)数据清洗：清洗脏数据，包含检查数据的一致性、处理无效值和缺失值，常用方法是丢弃部分数据、补全缺失数据、真值转换数据。一、大数据处理流程(3)数据存储：将数据存储到数据仓库中，以便后期数据分析时使用。(4)数据据分析：使用分类、回归、聚类等数据分析分法对数据进行分析。数据可视化：展现数据处理后的结果，可以使用表格、图表（常用）来展现数据。二、大数据处理方式1．离线数据处理离线数据处理是基于硬盘的数据存储处理，即先将数据存储在数据仓库中，然后在固定的时间对数据进行集中批量处理。二、大数据处理方式1．离线数据处理二、大数据处理方式2．在线数据处理在线数据处理即实时数据处理，是基于内存的流式处理。在线数据处理是对产生的实时数据进行处理，要求数据处理组件在实时处理方面的能力非常强。实时数据处理主要用在时效性要求非常高的行业，如证券数据处理、电商数据处理、银行数据处理、预警监控类数据处理等。二、大数据处理方式2．在线数据处理三、离线数据处理与在线数据处理的优缺点1.离线数据处理的优缺点和应用场景优点缺点应用场景数据准确性高吞吐量大计算资源成本较低数据时效性较差计算周期较长离线数据仓库建设历史数据处理财务数据处理用户留存处理……三、离线数据处理与在线数据处理的优缺点2.在线数据处理的优缺点和应用场景优点特点应用场景数据时效性强数据处理速度快数据准确性较差计算资源消耗大时效性要求高的行业实时个性化推荐实时监控实时场景营销……活动2：大数据处理工具一、大数据离线处理工具思考：你知道哪些离线数据处理工具？做一做：请查询并分析MapReduce、Sparkcore、FlinkDataset这几个工具功能、特点及工作的流程。一、大数据离线处理工具（一）MapReduceMapReduce是由Google公司研究提出的一种面向大规模数据处理的并行计算模型和方法。它主要包含“Map（映射）”和“Reduce（归约）”两个过程。一、大数据离线处理工具（一）MapReduce（1）MapReduce的主要功能①数据划分和计算任务调度②数据/代码互定位③系统优化④出错检测和恢复一、大数据离线处理工具（一）MapReduce（2）MapReduce的技术特征①可扩展②具备容错机制③数据迁移④顺序处理数据⑤隐藏系统层细节一、大数据离线处理工具（二）SparkCoreSpark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎，SparkCore是Spark的核心与基础，实现了Spark的基本功能，包含任务调度、内存管理、错误恢复与存储系统交互等模块。SparkCore主要有SparkContext、存储体系、计算引擎、部署模式4个功能板块。一、大数据离线处理工具（二）SparkCore（1）SparkCore的主要功能①SparkContext：每一个Spark应用都是SparkContext实例，一个SparkContext就是一个SparkApplication生命周期。②存储体系：Spark优先考虑使用各节点的内存作为存储。一、大数据离线处理工具（二）SparkCore（1）SparkCore的主要功能③计算引擎：由DAGScheduler（调度器）、RDD以及具体节点上的Executor负责执行的Map和Reduce任务组成。④部署模式：由于单节点不足以提供足够的存储和计算能力。一、大数据离线处理工具（二）SparkCore

（2）MapReduce与Spark比较内容MapReduceSpark数据存储结构使用磁盘hdfs文件系统的split存储数据使用内存构建弹性分布式数据集RDD，对数据进行运营和cache（高速缓存）编程范式Map+ReduceTransformation+action计算中间数据的速度计算中间数据时读写及序列化、反序列化代价大计算中间数据在内存中维护，存取速度是磁盘的多个数量级任务维护方式以进程的方式维护任务，任务启动就需数秒以线程的方式维护任务，对小数据集的读取能达到亚秒级的延迟一、大数据离线处理工具（三）FlinkDatasetApacheFlink是由Apache软件基金会开发的开源批流一体处理框架。Flink是进行批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等的框架模板，即可以进行批处理和流处理。二、大数据在线处理工具（一）实时数据处理框架StormStorm是一个实时数据处理框架，具有低延迟、高可用、易扩展、数据不丢失等特点。二、大数据在线处理工具（一）实时数据处理框架Storm（1）Storm集群结构二、大数据在线处理工具（一）实时数据处理框架Storm（2）Storm的应用场景Storm有许多应用，如实时分析、在线机器学习、连续计算、分布式RPC、ETL等。思考

：根据Storm的特点，你能列举出使用Storm处理数据的案例吗？并简要分析，企业为什么选用此工具分析大数据。二、大数据在线处理工具（二）SparkStreamingSparkStreaming是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据处理。二、大数据在线处理工具（二）SparkStreaming二、大数据在线处理工具（二）SparkStreamingSparkStreaming的执行流程SparkStreaming接收实时输入数据流并将数据分批，然后由Spark引擎处理，以批量生成最终结果流。1．大数据处理流程包含数据采集、数据清洗、

、、

。2．大数据处理方式有两种，对处理时效要求较高时，需要选择

。3．离线数据处理是最初的数据处理方式，是基于

的数据存储处理，即先将数据存储在数据数据仓库中。4．MapReduce是

的数据处理工具。（1）大数据处理的流程（2）大数据处理的方式（3）离线及在线大数据处理工具认识大数据可视化分析工具1．你能列举出3个生活中大数据可视化分析的案例吗？2．你认为数据可视化具有什么作用？3．你知道有哪些可视化分析工具吗？1．能说出大数据可视化分析的作用；2．能描述大数据可视化分析的历程；3．能描述大数据可社化分析的流程；4.能说出常用的大数据可视化分析工具及其特点。活动1：大数据可视化分析的发展历史一、大数据可视化分析的概念及作用（一）大数据可视化分析的概念大数据可视化分析是一种分析方法，是抽取大量数据中的数据元素，形成可视化的分析图表，传递相关的数据信息。

一、大数据可视化分析的概念及作用（二）数据可视化分析的作用

使数据展示更直观、交互性更强、传递速度更快、信息展示维度更多。

一、大数据可视化分析的概念及作用（二）数据可视化分析的作用你知道有哪些数据可视化分析的图表？你认为哪种情况可以使用折线图？你认为哪种情况可以使用饼图？你认为哪种情况可以使用柱形图？你认为哪种情况可以使用条形图？二、大数据可视化的发展历程1.17世纪前：早期地图与图表绘制地图，然后使用观测及测量绘图2.1700—1799年：新的图形形式1765年创造了第一个时间线图，包括饼图、时序图等3.1800—1849年：现代信息图形设计的开端统计图形和专题绘图出现了爆炸式的发展二、大数据可视化的发展历程4.1850—1899年：数据制图的黄金时期数据图形开始出现在书籍、报刊、研究成果和政府报告等正式场合中，且出现了三维的数据表达方式。5.1900—1949年：现代休眠期数据可视化在各个领域得到普遍应用，但是展现数据的方式没有出现根本上的创新。二、大数据可视化的发展历程6.1950—1974年：复苏期数据和计算机的结合让数据可视化迎来了新的发展，出现了数据缩减图、多维标度法MDS、聚类图、树形图等数据可视化形式。7.1975—2011年：动态交互式数据可视化使用多维定量数据的静态图来表现静态数据，并试图实现动态可交互的数据可视化。8.2012年至今：实时交互式数据可视化是用实时、可交互式的大数据可视化方案来表达大规模、不同类型的实时数据。活动2：认识大数据可视化分析工具你知道有哪些数据可视化分析的工具？一、ExcelExcel是微软公司开发的数据处理软件，能使用图表对工作表中的数据进行可视化分析。wps:中国自主研发办公应用软件excel有哪些类型的图表，各类图表应用在哪些类型的数据分析中？以下图表中，包含了哪些图表元素？二、TableauTableau是一款桌面系统中的商业智能工具软件。1.Tableau可视化分析操作方法首先将数据（Data）中的维度（Dimensions）拖放到行（Rows）、列（Columns）中，拖放到行中的Dimensions就显示到横坐标上，拖放到列中的Dimensions就以纵坐标的形式显示。然后再选择度量（Measures），将其拖放到画布上。再选择Marks，设置颜色、尺寸、文本信息等。最后再设置其他信息即可。二、Tableau2.Tableau可视化分析工具的优势Tableau可以处理大量数据；Tableau支持实时数据刷新；Tableau更适合创建交互式仪表板；快速创建交互式可视化。三、ECharts

ECharts最初由百度公司开发，是一款基于JavaScript的数据可视化图表库，提供直观、生动、可交互、可个性化定制的数据可视化图表。三、ECharts

ECharts最初由百度公司开发，是一款基于JavaScript的数据可视化图表库，提供直观、生动、可交互、可个性化定制的数据可视化图表。请查看ECharts的图表类型，你认为他的图表有哪些特点？四、Matplotlib

Matplotlib用于Python脚本、Python和IPython(opensnewwindow)Shell、Jupyter(opensnewwindow)笔记本、Web应用程序服务器和四个图形用户界面工具包。Matplotlib可以绘制线图、散点图、等高线图、条形图、柱状图、3D图形，甚至是图形动画。五、Ggplot2

Ggplot2是R语言的一个绘图包，是由HadleyWickham于2005年创建，于2012年4月进行了重大更新。你还知道哪些数据可视化分析工具，请列举3个，并简述其开发者及图例类型。1．

旨在利用数据可视化技术和数据分析技术，使数据更鲜活、交互性更强，并辅助决策者快速做决策。2．

世纪前，在几何中开始绘图，然后使用观测和测量进行绘图，数据可视化处理萌芽阶段。3．2012年至今，大规模的动态化数据要依靠更有效的处理算法和表达形式传达出有价值的信息，此时的数据可视化目标具有实时和________的特点。4．数据可视化分析的基本流程包括

、

、数据可视化。（1）大数据可视化经历了哪些历程？（2）大数据可视化工具及其特点使用Excel可视化分析数据1．你在使用excel的图表分析数据时，你使用了哪些类型的图表？2．如何对工作表中为数据进行快速的分类统计分析？3．如何使用直观的方向在数据中显示数据的变化趋势？4.你熟悉excel中哪些数据计算工式？1．能说出使用excel进行数据可视化分析的流程；2．能说出excel图表的类型；3.能根据数据分析目的选用图表类型；4.能使用公式计算数据；5.能使用数据透视表来分析数据；6.能设置数据的条件格式。活动1：数据透视表及条件格式设置一、数据透视表（一）数据透视表的基本操作1.创建数据透视表2.更改数据源3.转换为普通表格4.刷新所有数据透视表5.数据透视表排序6.数据透视表插入公式7.套用模板一、数据透视表（二）数据透视表布局格式调整1.计数项改为求和项2.批量隐藏和显示汇总行3.刷新后格式保持不变4.合并行标签5.删除“求和项：”6.标签项重复显示二、条件格式的使用方法（一）常见条件格式1.

自动填充颜色2.为前几名设置颜色3.自动添加边框4.标记重复值5.表格美化二、条件格式的使用方法（二）设置简单的条件格式活动2：图表及公式一、插入及编辑图表你知道有哪些数据可视化分析的工具？二、常用公式举例1.sum()2.average()3.if()4.count()5.max()6.min()7.sumif()1．插入图表的操作步骤是

。2．添加条件格式的操作步骤是

。3.统计某列单元格的个数使用的函数是

。（1）简述使用Excel制作基本饼图的操作步骤。（2）图表及公示信息安全与大数据安全1．你知道哪些信息安全的案例，请列举3个？2．你知道哪些大数据安全的案例，请列举3个？3．你知道大数据安全会带来哪些威胁？4.你认为要保护数据安全，应该从哪些方面入手？1．能描述什么是信息安全；2．能描述什么是大数据安全；3．能说出信息安全的法律法规；4.能描述大数据安全的几个要素。活动1：信息安全一、信息安全的案例分享（1）辽宁公安机关破获石某等人非法获取公民信息注册游戏账号并向未成年人出售案。辽宁公安网安部门侦查查明，山东某网络科技公司从网上购买公民信息，在辽宁阜新石某团伙的技术支撑下，突破游戏公司验证机制，非法注册实名网络游戏账号1.8万余个，向未成年人出售，非法牟利170余万元。一、信息安全的案例分享（2）广东公安机关破获某公司非法获取公民个人信息实施诈骗案。广东公安网安部门侦查查明，珠海某艺术品策划公司从某APP维护人员汪某处购买APP在运营过程中获取的古董持有人员个人信息200万余条，以协助拍卖古董为名，骗取客户服务费、托管费，非法牟利1.9亿余元。该公司员工邝某、黄某为谋取私利，将公司非法获取的个人信息向其他电信网络诈骗团伙贩卖。一、信息安全的案例分享（3）江苏公安机关破获某公司非法获取公民个人信息案。江苏公安网安部门侦查查明，某公司非法搭建5300余个虚假网站，冒用其他公司资质在某自媒体平台发布免费领取男科用药、白酒、保健品等虚假信息，引流至其所建虚假网站，骗取网民的姓名、手机号、收货地址等公民个人信息110余万条并贩卖牟利。一、信息安全的案例分享（4）浙江公安机关破获李某等人非法获取公民快递信息案。浙江公安网安部门侦查查明，犯罪嫌疑人李某指使团伙成员应聘多家快递公司临聘人员，利用整理快递包裹之机，偷拍快递面单2万余张，汇总整理后在网上贩卖。

以上几个案例中，涉及到哪些信息的安全？

以上几个案例中，信息是如何被泄漏的？

针对以上几个案例，请说说如果避免信息泄漏？二、信息安全1.概念为数据处理系统建立和采用的技术、管理上的安全保护，为的是保护计算机硬件、软件、数据不因偶然和恶意的原因而遭到破坏、更改和泄露。

主要目标:是防止信息被非授权泄露、更改、破坏或被非法的系统辨识与控制,确保信息的保密性、完整性、可用性、可控性和可审查性。二、信息安全2.信息安全涉及的内容（1）信息设备安全：（2）数据安全：（3）内容安全：（4）行为安全：二、信息安全3.信息安全的国家政策《网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》《关键信息基础设施安全保护条例》《网络安全审查办法》《个人信息保护法》活动2：大数据安全一、大数据安全的概念及隐私保护措施1．大数据安全的概念大数据在存储、处理、传输等过程中也面临诸多安全风险，需要对用户数据的收集、存储、管理与使用进行监管。大数据安全就是为了保障数据不受到泄漏和非法篡改的安全威胁，使用安全防范技术保障网络数据的完整性、可用性、保密性。一、大数据安全的概念及隐私保护措施2．大数据隐私保护的具体措施匿名保护技术、网络匿名保护技术、网络数据水印技术、加密隐私数据搜索等。一、大数据安全的概念及隐私保护措施3.大数据安全的要素（1）数据安全存储：是指数据在存储过程中的安全，即包含了数据的机密性、完整性和安全性。（2）数据安全传输：对数据进行网络传输安全的管理，包含数据传输加密和网络可用性管理。（3）用户安全认证：使用身份认证技术对信息收发方进行真实身份鉴别。1．信息安全主要包括以下4个方面:

、、

、

和行为安全。2．大数据安全是为保障网络数据的

、可用性、

，不受到信息泄漏和非法篡改的安全威胁。3．大数据安全主要包含

、

和用户安全认证3个要素。（1）信息安全的概念（2）大数据安全的概念（3）大数据安全的要素大数据安全防范技术1．你知道在发送邮件时，如何保护发件人及收件人的个人信息的吗？2．人们使用网络时，尤其关注个人的的信息安全，比如网络平台在保护用户通讯安全时，使用加密的方式来保护用户的电话号码，你能列举出你生活中遇到的实例吗？3．你知道有哪些保护大数据安全的工具呢？他们有什么特点？1．能描述大数据安全的具体防范技术；2．能描述数据隐私安全的具体防范技术；3．能说出数据处理各环节的具体防范措施；4.能列举大数据安全的一些工具并说明其特点。活动1：大数据安全防范技术一、大数据安全防范技术

1.大数据安全防范技术（1）数据水印：数字水印是一种将信息隐藏到载体中的技术，不但可以降低“深度伪造”风险，而且可以帮助面临AI生成内容冲击的艺术家和内容创作者。在其他涉及非AIGC场景的音、视、图、文等多媒体内容的数据安全、数据标注、版权、溯源等场景，阿里的数字水印技术也发挥着重要的作用。一、大数据安全防范技术

1.大数据安全防范技术一、大数据安全防范技术

1.大数据安全防范技术（2）数据血缘：是指数据的全生命周期中，数据从产生、处理、加工、融合、流转到最终消亡，数据之间自然形成一种关系。其记录了数据产生的链路关系，这些关系与人类的血缘关系比较相似，所以被成为数据血缘关系。数据血缘具有:归属性、多源性、可追溯、层次性四个特点。一、大数据安全防范技术

2.数据隐私安全防范技术对大数据中涉及的敏感用户信息或企业信息进行模糊化的过程，达到数据变形的效果。（1）无效化处理

（2）随机值替换（3）数据替换

（4）对称加密（5）平均值

（6）偏移取整在数据加密后，提取数据时，你认为如何还原数据呢？活动2：数据安全保障措施及具体工具一、大数据安全保障措施（1）加密技术:是从数据泄露的源头开始对数据进行保护，在写入数据时进行加密存储、读取数据时进行自动解密。（2）权限管控技术（DRM）:是通过设置特定的安全策略，通过权限访问控制策略防止对敏感数据进行非法复制、泄露和扩散等操作。（3）通道防护技术：是对敏感数据进行特殊标记，对敏感数据外传进行控制。2．数据传输和存储环节的安全技术措施数据传输和存储环节主要通过密码技术保障数据机密性、完整性。通过HTTPS、VPN等技术建立不同安全域间的加密传输链路。3．数据使用环节的安全技术措施（1）账号权限管理建立统一账号权限管理系统，对各类业务系统、数据库等账号实现统一管理。（2）数据安全域运用虚拟化技术搭建一个能够访问、操作数据的安全环境。3．数据使用环节的安全技术措施（3）数据脱敏从保护敏感数据机密性的角度出发，在进行数据展示时，需要对敏感数据进行模糊化处理。（4）日志管理和审计日志管理和审计方面的技术主要是对账号管理操作日志、权限审批日志、数据访问操作日志等进行记录和审计。（5）异常行为实时监控与终端数据防泄漏对数据的非授权访问、数据文件的敏感操作等危险行为进行实时监测。4．数据共享环节的