大数据存储教学教案

打造数据智能职业教育领军企业打造数据智能职业教育领军企业泰迪智能科技官网：/联系方式迪智能科技官网：/联系方式目1了解大数据教案课程名称：大数据存储课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论28学时，实验36学时）总学分：4.0学分本章学时：3学时材料清单《大数据存储》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标根据大数据发展现状，介绍大数据的概念，特征以及应用领域。然后分析大数据的技术体系。分别阐述了文件系统、数据库和数据仓库3种数据存储工具。紧接着介绍了分布式数据库及其管理系统。最后，对NoSQL数据库的优势与类型进行了说明。基本要求了解大数据的概念。了解大数据的特征。了解大数据的应用领域。熟悉大数据的技术体系。理解大数据的数据存储工具。理解分布式数据库及管理系统的概念。掌握NoSQL数据库的优势与类型。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。什么是大数据？和我们平时说的数据有什么区别？数据的量级有哪些？大数据的量级是怎样的？与传统的数据相比，大数据有哪些特点？大数据技术可以用到哪些领域？数据的处理流程是怎样的？每个流程可能会用到哪些技术？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。数据如何存储？数据库中都能存储哪类数据？当一台服务器的存储空间不够时，如何进行处理？与传统数据库相比，NoSQL数据库的特点是怎样的？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。本班哪些信息适于关系型数据库进行管理？本班哪些信息适于非关系型数据库进行管理？主要知识点、重点与难点主要知识点大数据的概念、特征与应用领域。大数据存储的主要工具。分布式数据库及其管理系统。NoSQL数据库的特点与分类。重点分布式数据库及其管理系统。NoSQL数据库的特点与分类。难点分布式数据库及其管理系统。教学过程设计理论教学过程大数据的概念。大数据的特征。大数据的应用领域。大数据的技术体系。基于文件系统的数据存储。基于数据库的数据存储。基于数据仓库的数据存储。分布式数据的概念。分布式数据库管理系统的概念。NoSQL数据库的特点。NoSQL数据库的分类。教材与参考资料教材谭旭，李程文．大数据存储[M]．北京：人民邮电出版社．2022．参考资料[1] 孟宪伟，许桂秋．大数据导论[M]．北京：人民邮电出版社．2019．[2] 武志学．大数据导论思维、技术与应用[M]．北京：人民邮电出版社．2019．

项目2结构化数据仓库——Hive教案课程名称：大数据存储课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论28学时，实验36学时）总学分：4.0学分本章学时：12学时材料清单《大数据存储》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标首先介绍Hive数据仓库的起源、特点及框架原理；其次介绍Hive的安装与配置流程；接着结合航空公司客户分析案例，详细介绍Hive的基础数据类型、内置函数和Hive自定义函数UDF基础操作等知识；最后使用Hive构建出航空公司客户价值分析的特征数据，实现航空公司客户数据的存储与分析过程。基本要求了解Hive及其架构原理。熟悉Hive的安装流程。了解Hive的基础数据类型。掌握HiveQL语句的基本操作。掌握Hive中UDF的编写方法。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。数据有哪写结构分类？结构化数据库有哪些常用数据库？Hive是什么？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。Hive的安装配置流程是怎样的？对Hive数据库的操作有哪些，怎么实现？对Hive表的操作有哪些，怎么实现对Hive表中数据的增删查改怎么操作？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。Hive是不是万能的？Hive语言用于做数据分析有哪些优势？Hive可与哪些语言交互使用？主要知识点、重点与难点主要知识点Hive的起源、特点和架构。Hadoop集群的搭建。MySQL数据库的配置。Hive的安装与配置。Hive的基础数据类型。Hive数据表的创建与删除，表结构的删除与修改。Hive数据表的数据的导入、导出。Hive表的查询操作。Hive自定义函数UDF的编写与实现。航空客户价值分析的特征数据的构建。重点Hadoop集群的搭建。MySQL数据库的配置。Hive的安装与配置。Hive数据表的创建与删除，表结构的删除与修改。Hive数据表的数据的导入、导出。Hive表的查询操作。Hive自定义函数UDF的编写与实现。难点Hive数据表的创建与删除，表结构的删除与修改。Hive数据表的数据的导入、导出。Hive表的查询操作。教学过程设计理论教学过程Hive的起源、特点和架构。Hive的基础数据类型。Hive数据表的创建与删除，表结构的删除与修改。Hive数据表的数据的导入、导出。Hive表的查询操作。Hive自定义函数UDF的编写与实现。航空客户价值分析的特征数据的构建。实验教学过程Hadoop集群的搭建。MySQL数据库的配置。Hive的安装与配置。Hive数据表的创建与删除，表结构的删除与修改。Hive数据表的数据的导入、导出。Hive表的查询操作。Hive自定义函数UDF的编写与实现。航空客户价值分析的特征数据的构建。教材与参考资料教材谭旭，李程文．大数据存储[M]．北京：人民邮电出版社．2022．参考资料[1] 孟宪伟，许桂秋．大数据导论[M]．北京：人民邮电出版社．2019．[2] 武志学．大数据导论思维、技术与应用[M]．北京：人民邮电出版社．2019．

项目3列存储数据库——HBase教案课程名称：大数据存储课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论28学时，实验36学时）总学分：4.0学分本章学时：12学时材料清单《大数据存储》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标首先介绍了HBase的基础概念、数据模型、基本架构及其各个核心功能模块；接着详细介绍了搭建分布式HBase集群的步骤；最后结合纸币冠字号查询系统案例，介绍HBaseShell命令行用法与HBaseJavaAPI的使用方法，以及利用MapReduce实现HBase与HDFS的数据交互，最终实现钞票交易数据表的创建与管理、表数据查询与分析。基本要求了解HBase的发展历程、功能模块和数据模型。熟悉HBase的基础架构及其各个模块的功能。掌握HBase的安装与配置方法及过程。理解HBase数据表的设计原则。掌握HBaseShell与HBaseJavaAPI的基础语法。掌握利用MapReduce实现HBase与HDFS的数据交互的方法。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。有哪些数据库技术？什么是HBase？HBase适用于什么场景？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。HBase的读写流程是怎样的？Zookeeper如何选举出Leader？HBase的Shell命令可以提供什么操作？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。导入文件系统数据至HBase的方式除了通过MapReduce程序，还有其他方法吗？Hive和HBase可以如何搭配使用？当客户端对一个节点请求大量数据时有可能会产生热点问题，可以对RowKey进行什么操作来避免？主要知识点、重点与难点主要知识点HBase的特点、使用场景。HBase的核心功能模块。HBase的数据模型。Zookeeper的安装与配置。HBase的安装与配置。HBase表结构的设计。HBase表的创建与删除。HBase表数据的增删查找。HBaseJavaAPI的使用。编写MapReduce实现数据交互。重点Zookeeper的安装与配置。HBase的安装与配置。HBase表的创建与删除。HBase表数据的增删查找。HBaseJavaAPI的使用。编写MapReduce实现数据交互。难点HBase表的创建与删除。HBase表数据的增删查找。HBaseJavaAPI的使用。编写MapReduce实现数据交互。教学过程设计理论教学过程HBase的特点、使用场景、HBase的核心功能模块、HBase的数据模型。HBase表结构的设计。HBase表的创建与删除。HBase表数据的增删查找。HBaseJavaAPI的使用。实验教学过程Zookeeper的安装与配置。HBase的安装与配置。HBase表数据的增删查找。HBase开发环境的搭建。HBaseJavaAPI的使用。编写MapReduce实现数据交互。教材与参考资料教材谭旭，李程文．大数据存储[M]．北京：人民邮电出版社．2022．参考资料[1] 孟宪伟，许桂秋．大数据导论[M]．北京：人民邮电出版社．2019．[2] 刘军．Hadoop大数据处理[M]．人民邮电出版社：，201309.299．

项目4文档存储数据库——MongoDB教案课程名称：大数据存储课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论32学时，实验36学时）总学分：4.0学分本章学时：9学时材料清单《大数据存储》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标首先介绍非关系型数据库MongoDB，包括MongoDB的特点、应用场景和数据模型。其次逐步深入地讲解了MongoDB中的分布式部署、数据库的创建和删除、对内部数据的增删查改、数据的简单计算操作，并贴合实际需求使用Java编程演示了MongoDB的开发搭建和数据导入、处理。基本要求了解MongoDB及其数据模型。掌握MongoDB的安装与配置方法。掌握MongoDBshell的基础操作。熟悉MongoDBJava开发环境的搭建过程。能够利用MongoDBJavaAPI完成简单的数据分析任务。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。非关系型数据库有哪些？MongoDB与HBase有什么区别？什么是文档？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。安装MongoDB需要其他Hadoop组件支持吗？如何在MongoDBshell进行文档的操作？如何提高MongoDB查询效率？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。Hive能否把元数据放在MongoDB？如何实现将MongoDB的数据导入到HDFS？MongoDB完全能否替代MySQL？主要知识点、重点与难点主要知识点MongoDB的概述、特点、使用场景。MongoDB的基本术语和常用的数据类型。安装和配置MongoDB。数据库的创建与删除。文档数据的插入、删除、更新与查询操作。MongoDBJavaAPI的使用。重点MongoDB的基本术语和常用的数据类型。数据库的创建与删除。文档数据的插入、删除、更新与查询操作。MongoDBJavaAPI的使用。难点文档数据的插入、删除、更新与查询操作。MongoDBJavaAPI的使用。教学过程设计理论教学过程MongoDB的概述、特点、使用场景。MongoDB的基本术语和常用的数据类型。数据库的创建与删除。文档数据的插入、删除、更新与查询操作。MongoDBJavaAPI的使用。实验教学过程安装和配置MongoDB。访问MongoDBHTTP端口。在MongoDBshell进行数据库与文档的相关操作。搭建MongoDB的开发环境。教材与参考资料教材谭旭，李程文．大数据存储[M]．北京：人民邮电出版社．2022．参考资料[1] 孟宪伟，许桂秋．大数据导论[M]．北京：人民邮电出版社．2019．[2] 梅博．面向电视用户的实时日志采集和处理系统设计与实现[D]．北京邮电大学，2020．

项目5文档存储数据库——ElasticSearch教案课程名称：大数据存储课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论28学时，实验36学时）总学分：4.0学分本章学时：11学时材料清单《大数据存储》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标首先介绍了ElasticSearch的基础概念和相关术语；还介绍了在Hadoop集群上搭建ElasticSearch分布式集群的步骤；此外，还结合电影评分数据查询和聚合示例，介绍了ElasticSearchHead插件和ElasticSearchJavaAPI的基础语法；最后使用ElsticSearchJavaAPI对电影用户评分数据进行存储与分析处理。基本要求了解ElasticSearch的基础概念、术语和特点。掌握ElasticSearch集群的安装过程和配置方法。掌握ElasticSearchHead插件的基础操作。掌握ElasticSearchJavaAPI的基础语法。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。文档存储数据库还有什么？ElasticSearch与MongoDB有什么区别？数据库能否做到实时的数据检索？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。ElasticSearch能否在Web端进行可视化的数据检索？ElasticSearch数据检索常用的操作对象是什么？GetAPI能否被SearchAPI完全替代？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。在ElasticSearch开发环境中如何删除整个索引？如何使用ElasticSearchJavaAPI实现去重查询？主要知识点、重点与难点主要知识点ElasticSearch的概述、术语、特点、应用场景。ElasticSearch的安装配置。Head插件的安装配置。索引的创建与修改。数据的ElasticSearch的开发环境。ElasticSearchJavaAPI的操作。重点索引的创建与修改。数据的ElasticSearchJavaAPI的操作。难点ElasticSearchJavaAPI的操作。教学过程设计理论教学过程ElasticSearch的概述、术语、特点、应用场景。索引的创建与修改。数据的ElasticSearchJavaAPI的操作。实验教学过程ElasticSearch的安装配置。Head插件的安装配置。ElasticSearch的开发环境。教材与参考资料教材谭旭，李程文．大数据存储[M]．北京：人民邮电出版社．2022．参考资料孟宪伟，许桂秋．大数据导论[M]．北京：人民邮电出版社．2019．

项目6数据传输工具——Sqoop教案课程名称：大数据存储课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论28学时，实验36学时）总学分：4.0学分本章学时：9学时材料清单《大数据存储》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标首先介绍了Sqoop的概念，并详细地介绍了如何在Hadoop虚拟机集群上安装与配置Sqoop；其次介绍了Sqoop的基本传输命令；然后结合用户日志数据的传输实例，分点深入介绍了Sqoop常用的eval、import、export、job等传输命令的用法，讲解了MySQL与Hive、HDFS之间的数据传输，最终实现用户日志数据在不同场景下的传输与查询。基本要求了解Sqoop的基础概念及其安装与配置过程。掌握Sqoop的基本传输命令。掌握Sqoop的传输命令与参数的使用方法。掌握用Sqoop实现增量导入、更新输出等操作的方法。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。什么是数据传输？传统关系型数据库能否与Hadoop大数据组件进行数据传输？数据传输工具还有哪些，他们有什么区别？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。安装Sqoop只需要将安装包解压、修改配置文件就好了吗？数据传输时只需输入Sqoop相关传输命令就好了吗？将Hive中的数据导出至MySQL需要通过访问什么？使用Sqoopjob命令创建并保存的Sqoop任务会立刻执行吗？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。如何实现Hadoop组件里的数据库，如HBase与Hive之间的数据传输？使用Sqoop将HBase的数据传输到MySQL的流程是什么？Sqoop的核心理念是将Sqoop命令转换成MapReduce程序，那么是否有maptask、reducetask，任务的个数如何确定？使用Sqoop进行MySQL导入到Hive时能否先不创建相应结构的Hive表，会有什么区别？主要知识点、重点与难点主要知识点Sqoop的简介。Sqoop的安装与配置。Sqoop的基本传输命令和命令参数。Sqoopeval的查询操作。Sqoopimport的基本操作。Sqoopjob的基本操作。Sqoopexport的基本操作。重点Sqoop的基本传输命令和命令参数。Sqoopeval的查询操作。Sqoopimport的基本操作。Sqoopjob的基本操作。Sqoopexport的基本操作。难点Sqoop的基本传输命令和命令参数。教学过程设计理论教学过程Sqoop的简介。Sqoop的基本传输命令和命令参数。Sqoop的数据传输操作。实验教学过程Sqoop的安装与配置。Sqoop的数据传输操作。教材与参考资料教材谭旭，李程文．大数据存储[M]．北京：人民邮电出版社．2022．参考资料[1] 刘淼，陈红，时瑞鹏．Hadoop系统搭建及项目实践[M]．北京：北京邮电出版社．2021．[2] 尹相儒．基于Sqoop的数据转换平台设计与实现[D]．南京师范大学，2018．

项目7广电用户数据存储与分析教案课程名称：大数据存储课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论28学时，实验36学时）总学分：4.0学分本章学时：8学时材料清单《大数据存储》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标根据目前大数据存储的要求，要对多种多样的数据进行大数据存储和分析。本章的任务是先将csv的数据导入至Elasticsearch中，然后导入到Hive进行数据清洗和分析，最后将清洗分析的结果导入MySQL和HBase中。基本要求了解项目需求分析的过程。了解Elasticsearch、Hive、MySQL和HBase在大数据存储的适用范围；掌握csv文件导入Elasticsearch的方法；掌握Elasticsearch数据导