大数据技术原理与应用教学大纲

4/4大数据技术原理与应用教学大纲大数据技术原理与应用教学大纲

课程概述

入门级大数据课程，适合初学者，完备的课程在线服务体系，可以帮助初学者实现“零基础”学习大数据课程。课程采用厦门大学林子雨老师编著的国内高校第一本系统性介绍大数据知识专业教材《大数据技术原理与应用》。课程紧紧围绕“构建知识体系、阐明基本原理、引导初级实践、了解相关应用”的指导思想，对大数据知识体系进行系统梳理，做到“有序组织、去粗取精、由浅入深、渐次展开”。课程由国内高校知名大数据教师厦门大学林子雨副教授主讲。

授课目标

课程的定位是入门级课程，本课程的目标是为学生搭建起通向“大数据知识空间”的桥梁和纽带。本课程将系统梳理总结大数据相关技术，介绍大数据技术的基本原理和大数据主要应用，帮助学生形成对大数据知识体系及其应用领域的轮廓性认识，为学生在大数据领域“深耕细作”奠定基础、指明方向。

课程大纲

第1讲大数据概述

1.1大数据时代

1.2大数据概念和影响

1.3大数据的应用

1.4大数据的关键技术

1.5大数据与云计算、物联网

本讲配套讲义PPT-第1讲-大数据概述

第1讲大数据概述章节单元测验

第2讲大数据处理架构Hadoop

本讲实验答疑-第2讲-大数据处理架构Hadoop

2.1概述

2.2Hadoop项目结构

2.3Hadoop的安装与使用

2.4Hadoop集群的部署和使用

本讲配套讲义PPT-第2讲-大数据处理架构Hadoop大数据处理架构Hadoop单元测验

第3讲分布式文件系统HDFS

3.1分布式文件系统HDFS简介

3.2HDFS相关概念

3.3HDFS体系结构

3.4HDFS存储原理

3.5HDFS数据读写过程

3.6HDFS编程实践

本讲配套讲义PPT-第3讲-分布式文件系统HDFS分布式文件系统HDFS单元测验

第4讲分布式数据库HBase

4.1HBase简介

4.2HBase数据模型

4.3HBase的实现原理

4.4HBase运行机制

4.5HBase应用方案

4.6HBase安装配置和常用Shell命令

4.7HBase常用JavaAPI及应用实例

本讲配套讲义PPT-第4讲-分布式数据库HBase分布式数据库HBase单元测验

第5讲NoSQL数据库

5.1NoSQL概述

5.2NoSQL与关系数据库的比较

5.3NoSQL的四大类型

5.4NoSQL的三大基石

5.5从NoSQL到NewSQL数据库

5.6文档数据库MongoDB

本讲配套讲义PPT-第5讲-NoSQL数据库NoSQL数据库单元测验

第6讲云数据库

6.1云数据库概述

6.2云数据库产品

6.3云数据库系统架构

6.4AmazonAWS和云数据库

6.5微软云数据库SQLAzure

6.6云数据库实践

本讲配套讲义PPT-第6讲-云数据库

云数据库单元测验

第7讲MapReduce

7.1MapReduce概述

7.2MapReduce的体系结构

7.3MapReduce工作流程

7.4Shuffle过程原理

7.5MapReduce应用程序执行过程

7.6实例分析：WordCount

7.7MapReduce的具体应用

7.8MapReduce编程实践

本讲配套讲义PPT-第7讲-MapReduceMapReduce单元测验

第8讲Hadoop再探讨

8.1Hadoop的优化与发展

8.2HDFS2.0的新特性

8.3新一代资源管理调度框架YARN

8.4Hadoop生态系统中具有代表性的功能组件本讲配套讲义PPT-第9讲-Hadoop再探讨Hadoop再探讨单元测验

第9讲数据仓库Hive

9.1数据仓库概念

9.2Hive简介

9.3SQL转换成MapReduce作业的原理

9.4Impala

9.5Hive编程实践

本讲配套讲义PPT-第9讲-数据仓库Hive

数据仓库Hive单元测验

第10讲Spark

10.1Spark概述

10.2Spark生态系统

10.3Spark运行架构

10.4SparkSQL

10.5Spark的部署和应用方式

10.6Spark编程实践

本讲配套讲义PPT-第10讲-Spark

Spark单元测验

第11讲流计算

11.1流计算概述

11.2流计算处理流程

11.3流计算的应用

11.4开源流计算框架Storm

11.5SparkStreaming、Samza以及三种流计算框架的比较11.6Storm编程实践

本讲配套讲义PPT-第11讲-流计算

流计算单元测验

第12讲Flink

12.1Flink简介

12.2为什么选择Flink

12.3Flink应用场景

12.4Flink技术栈、体系架构和编程模型

12.5Flink的安装与编程实践

本讲配套讲义PPT-第12讲-Flink

Flink单元测验

第13讲图计算

13.1图计算简介

13.2Pregel简介

13.3Pregel图计算模型

13.4Pregel的C++API

13.5Pregel的体系结构

13.6Pregel的应用实例——单源最短路径

13.7Hama的安装和使用

本讲配套讲义PPT-第13讲-图计算

图计算单元测验

第14讲大数据在不同领域的应用

14.1大数据应用概览

14.2推荐系统

14.3大数据在智能医疗和智能物流领域运用

本讲配套讲义PPT-第14讲-大数据在不同领域的应用

大数据在不同领域的应用单元测验

预备知识

面向对象编程（比如Java）、数据库、操作系统

参考资料

林子雨.大数据技术原理与应用（第3版），人民邮电出版社，2020年9月