《大数据基础与应用》教学大纲

《大数据基础与应用》课程教学大纲课程负责人：执笔人：编写日期：2018年1月一、课程基本信息1．课程编码：2.学分：学分3.学时：4.适用专业：计算机及相关专业二、课程教学目标及学生应达到的能力《大数据基础与应用》是计算机及相关专业的一门课程。本课程的任务是培养学生认知大数据并掌握大数据相关技术的能力，为后续学习奠定基础。学生应达到的能力是能够比较熟练地利用相关技术对大数据进行分析处理。三、课程教学内容与基本要求模块1

初识大数据主要内容：1.1

必备知识

1.1.1

大数据概述

1.1.2

大数据的产生和类型

1.1.3

大数据分析工具1.2

扩展知识

1.2.1

大数据的应用

1.2.2

大数据技术概述思考与练习基本要求（1）知道大数据的定义。（2）了解大数据的分析工具。（3）熟悉大数据的应用。（4）熟悉大数据的处理过程。模块2Hadoop基础主要内容：

2.1

必备知识

2.1.1

Hadoop概述

2.1.2

Hadoop的发展史

2.1.3

Hadoop的优势

2.1.4

HDFS的原理

2.1.5

HadoopMapReduce的原理

2.2扩展知识

2.2.1

Hadoop在全球最大超市业者Wal-Mart的应用

2.2.2

Hadoop在Visa的应用

2.2.3

Hadoop在百度的应用2.3

实训思考与练习基本要求（1）熟悉Hadoop与大数据的关系。（2）认知HDFS原理。（3）掌握HadoopMapreduce原理。（4）掌握Hadoop的应用。模块3HDFS的应用主要内容：

3.1

必备知识

3.1.1

命令行常用接口

3.1.2

HDFS操作3.2

扩展知识

3.2.1

数据块的分布

3.2.2

数据流的读取

3.2.3

数据流的写入3.3

实训

3.3.1

以标准输出方式显示Hadoop文件系统中的文件

3.3.2

通过FileSystemAPI读取数据

3.3.3

写入数据

3.3.4

创建目录

3.3.5

删除数据思考与练习基本要求（1）熟悉HDFS常用接口及其应用。（2）掌握HDFS数据流的读取。（3）掌握HDFS数据流的写入。模块4MapReduce分布式编程应用开发主要内容：4.1

必备知识

4.1.1

MapReduce概述

4.1.2

MapReduce的设计方法

4.1.3

HadoopMapReduce架构

4.1.4

MapReduce的优缺点4.2

扩展知识

4.2.1

Spark概述

4.2.2

Spark和MapReduce的区别

4.2.3

Spark的核心概念4.3

实训

4.3.1

MapReduce的配置

4.3.2

MapReduce的应用思考与练习基本要求（1）认知MapReduce的概念。（2）掌握MapReduce的设计方法。（3）熟悉MapReduce的体系架构。（4）了解MapReduce的优缺点。模块5大数据搜索技术主要内容：5.1

必备知识

5.1.1

搜索引擎的产生和发展

5.1.2

搜索引擎的定义与组成

5.1.3

搜索引擎的工作过程

5.1.4

搜索引擎的评价指标5.2

扩展知识

5.2.1

垂直网站与垂直搜索

5.2.2

私有化的Web化数据

5.2.3

大数据流动5.3

实训

5.3.1

搜索引擎的高效利用

5.3.2

搜索引擎营销思考与练习基本要求（1）了解搜索引擎的是如何产生和发展的？（2）熟悉搜索引擎的定义与组成。（3）掌握搜索引擎工作的基本过程及评价指标。（4）认知垂直网站与垂直搜索引擎的含义。模块6大数据的存储主要内容：6.1

必备知识

6.1.1

大数据存储概述

6.1.2

大数据的存储模型

6.1.3

大数据存储的问题

6.1.4

大数据的存储方法6.2

扩展知识

6.2.1

下一代数据容量技术

6.2.2

图形数据库

6.2.3

分布式存储

6.2.4

数据存储管理

6.2.5

云存储技术6.3

实训

6.3.1

常见云盘的使用

6.3.2

大数据存储管理软件的安装思考与练习基本要求（1）认知数据存储的概念。（2）知道有哪些数据存储的方式。（3）知道数据存储如何保证可靠？（4）知道如何使用Oracle数据库？模块7大数据分析和挖掘主要内容：7.1

必备知识

7.1.1

大数据分析概述

7.1.2

大数据挖掘概述7.2

扩展知识

7.2.1

大数据分析法

7.2.2

大数据分析的应用7.3

实训思考与练习基本要求（1）熟悉大数据的定义及相关技术。（2）掌握大数据挖掘的概念及算法。（3）掌握大数据分析方法及应用。模块8大数据的可视化主要内容：8.1

必备知识

8.1.1

可视化技术概述

8.1.2

大数据可视化分析工具8.2

扩展知识

8.2.1

Excel的函数与图表

8.2.2

数据的整理及常见统计量8.3

实训

8.3.1

使用Excel制作学生考试成绩直方图

8.3.2

使用Excel制作学生成绩折线图

8.3.3

使用Excel制作个人消费饼图思考与练习基本要求（1）熟悉可视化可以带来的好处。（2）知道数据如何可视化。（3）知道数据可视化可以采用哪些手段？（4）知道如何使用Excel实现数据的可视化？模块9大数据的安全主要内容：9.1

必备知识

9.1.1

数据安全的定义

9.1.2

数据处理与存储的安全

9.1.3

威胁数据安全的主要因素

9.1.4

安全机制与防护技术

9.1.5

大数据安全的应用9.2

扩展知识

9.2.1

云安全的定义

9.2.2

云安全的思想来源

9.2.3

云安全的问题

9.2.4

云安全的解决方案9.3实训

9.3.1

恶意代码嵌入网页

9.3.2

常见防火墙的使用

9.3.3

ARP病毒的防治思考与练习基本要求（1）认知数据安全的定义。（2）熟悉数据处理安全。（3）了解数据存储安全。（4）知道威胁数据安全的主要因素。（5）熟悉大数