《Spark大数据技术与应用》教学大纲

SparkSpark 大数据技术与应用教学大纲大数据技术与应用教学大纲 课程名称：课程名称：Spark 大数据技术与应用 课程类别：课程类别：必修 适用专业：适用专业：大数据技术类相关专业 总学时：总学时：64 学时 总学分：总学分：4.0 学分 一、一、课课程的性质程的性质 本课程是为大数据技术类相关专业学生开设的课程。 NoSQL 数据库大多具有横向扩展能力强、数据模型灵活等特点，在互联网、电力、电 信、金融以及工业物联网等领域具有广泛应用。作为开源软件，NoSQL 数据库的使用和部 署较为简单，不需要掌握复杂的底层技术原理，适合 ICT 领域中的各个专业人员学习和使 用。 被统称为 “NoSQL”的非关系型数据库，大多具有优秀的分布式部署能力、横向扩展 能力和灵活的数据模型。本课程介绍NoSQL 数据库的起源、基本技术原理、常见存储模式 等知识，介绍 HBase、Cassandra、MongoDB、Neo4j 和 Redis 等热门 NoSQL 软件的技术原 理、架构特点和使用方法，使学生掌握常见NoSQL 数据库的部署和使用方法，理解分布式 大数据系统可能遇到的技术难题和解决方法， 进而更深入的理解大数据领域的开源工具和技 术原理。 二、二、课课程的任务程的任务 通过本课程的学习，使学生掌握 HBase、Cassandra、MongoDB、Neo4j 等热门 NoSQL 软件的基本技术原理、架构特点和使用方法。掌握常见NoSQL 数据库的部署和使用方法， 理解分布式大数据系统可能遇到的技术难题和解决方法， 进而更深入的理解大数据领域的开 源工具和技术原理。 三、三、教教学内容及学时安排学内容及学时安排 序序 号号 章节名称章节名称主要内容主要内容教学目标教学目标 1. 了解数据库的发展历程 2. 了解关系型数据库遇到的 瓶颈 3. 了解 NoSQL 的起源和基本 特点 4. 了解大数据的技术的特点 和技术体系，以及各个环节所 解决的主要问题和解决方式 5. 了解 NoSQL 在大数据技术 体系中的地位和作用 1. 回顾关系数据库的重要机 制，事务、完整性等。 2. 了解关系型数据库的分布 式部署方式 3. 理解分布式数据管理的分 片、多副本等策略和带来的问 题 4. 理解分布式数据管理中的 多副本、分布式事务带来的一 致性问题 5. 掌握 NoSQL 常见的数据存 储模式 6. 了解 NoSQL 的一些重要相 关技术 1. 了解 Hadoop 的历史和特点 2. 掌握 HDFS 的基本原理 3. 掌握HDFS部署和操作方法 4. 了解 Hadoop 的其他相关技 术特点 1. 了解 HBase 的历史和特点 2. 掌握 HBase 的基本数据模 型和拓扑结构 3. 掌握 HBase 部署和操作方 法 4. 掌握 HBase 的编程接口和 编程方法 学时学时 第 1 章 绪论 1 1.1 数据库的相关概念 1.2 关系型数据库管理系统 1.3 NoSQL 的起源和特点 1.4 大数据的技术体系 2 第 2 2章 NoSQL 数据库的基本 原理 2.1关系型数据库的重要机 制回顾 2.2 分布式数据管理的特点 2.3 分布式系统的一致性问题 2.4NoSQL 的常见存储模式 2.5NoSQL 系统其他相关技 术 4 3 3.1. Hadoop 概述 3.2. HDFS 原理 Hadoop3.3. 使用和管理 HDFS 3.4. MapReduce 简介 和 HDFS 简介 3.5. HIVE 简介 第3章 4.1. HBase 概述 4.2. HBase 的数据模型 4.3. HBase 的拓扑结构 4.4. HBase 部署 4.5 子节点伸缩性管理 4.6. Hbase 基本 Shell 操作 4.7 批量导入导出 4.8. 通过 JAVA 的访问 HBase 4.9. 通过 Python 访问 HBase 5 第 4 4章 Hbase 基10 本原理 第 5 5章 HBase 高 级原理 5.1. 水平分区原理 5.2. 列族与 Store 的相关原理 5.3. 数据表的基本设计原则 5.4. HBase 集群的高可用性与 伸缩性 5.5. HBase 的扩展使用 6.1-6.2 Cassandra 基本原理 6.3. Cassandra 部署与配置 6.4. CQL 语言与 cqlsh 环境 6.5. CQL 数据查询与更新 6.6. Cassandra 的维护与扩展 6.7. 通 过JAVA的 访 问 Cassandra 6.8. 通 过Python的 访 问 Cassandra 7.1-7.2.MongoDB 的技术原 理 7.3. 安装配置 MongoDB 7.4. MongoDB 的基本命令行 操作 7.5. 地理信息数据操作 7.6. MongoDB 集群化部署 7.7. 通 过JAVA的 访 问 MongoDB 7.8. 通 过Python的 访 问 MongoDB 1. 掌握 HBase 的数据分区原 理 2. 掌握 HBase 的列族结构与 读写机制 3. 了解 HBase 集群部署与高 可用性方案 4. 了解 HBase 的扩展插件 1. 了解 Cassandra 的历史和特 点 2. 掌握 Cassandra 的基本数据 模型和拓扑结构 3. 掌握 Cassandra 部署和操作 方法 4. 掌握 Cassandra 的编程接口 和编程方法 5 第 6 章 6Cassandra 原 理和使用 8 第 7 章文档 7型数据库原理 和使用简介 1. 了解 MongoDB 的历史和技 术特点 2. 掌握 MongoDB 部署和操作 方法 3. 掌握 MongoDB 的分片和多 副本机制与部署方式 4. 掌握MongoDB的编程接口 和编程方法 8 第 8 章其他 8NoSQL 数据 库简介 8.1 图数据库简介 8.2 Neo4j 的安装与使用 8.3. Redis 和内存数据库 8.4 搜索引擎系统 1. 了解 Neo4j 的技术特点 2. 掌握Neo4j部署和操作方法 3. 掌握Neo4j的编程接口与编 程方法（可选） 4. 了解Redis和搜