大数据存储技术-课程教学大纲

《大数据存储技术》课程教学大纲【课程名称】《大数据存储技术》【课程类型】专业核心课【授课对象】大数据技术、大数据技术与应用、云计算技术应用及其他计算机相关专业【学时学分】48学时，3学分【课程概况】《大数据存储技术》课程是面向大数据技术及相关专业开设的专业核心课程，课程以零售业大数据应用场景为背景，围绕零售数据的存储、管理、查询与分析，系统介绍分布式大数据平台以及Hive、HBase、Redis、Elasticsearch等典型大数据存储与分析技术。本课程采用“项目—任务—工单”的组织方式，将理论知识、平台部署和应用实践有机结合。学生通过完成从环境配置、集群部署到数据存储与查询分析的连续任务，理解不同大数据存储技术的特点、适用场景和协同关系，形成解决实际数据存储问题的基本能力。本课程要求学生具备Linux操作系统、计算机网络、数据库和程序设计基础，能够进行虚拟机及常用开发工具的基本操作。【课程目标】通过本课程学习，学生应达到以下目标：1．知识目标（1）了解大数据在零售业等行业中的应用方法，理解零售数据的主要特征和大数据应用思维。（2）掌握大数据平台的基本架构、数据处理流程和Hadoop平台的基础知识。（3）理解Hadoop、Hive、Sqoop、HBase、Redis、ZooKeeper和Elasticsearch的基本原理、架构特点及典型应用场景。（4）掌握分布式文件存储、数据仓库、分布式数据库、缓存数据库和搜索引擎等不同存储技术的基本概念。2．技能目标（1）能够根据项目需求设计大数据平台架构，规划集群节点、网络地址、服务分配和资源管理方案。（2）能够完成Hadoop、ZooKeeper等分布式大数据平台基础环境的部署、配置、启动和运行状态检查。（3）能够部署和应用Hive进行数据仓库管理与数据统计分析，使用Sqoop完成数据导入与导出。（4）能够安装、配置和应用HBase、Redis进行数据存储与访问，能够部署和应用Elasticsearch进行数据检索与查询。（5）能够依据任务工单完成操作记录、结果验证、故障排查和实验报告撰写。3．素养目标（1）培养创新意识、实践意识和主动思考、自主学习的能力。（2）培养细致严谨、规范操作、认真负责的工作态度。（3）培养团队协作、沟通协调和解决实际工程问题的能力。（4）培养精益求精的工匠精神，增强数据安全意识和职业责任意识。【课程内容及学时分布】项目教学内容学时任务1

分布式大数据平台部署实战了解零售业大数据应用背景和项目需求；掌握大数据平台架构、Hadoop组件及数据处理流程；完成虚拟机、Linux、Java、Hadoop、ZooKeeper等环境配置，规划集群节点、IP地址和服务分配，完成平台部署、启动与运行验证。12任务2

Hive实战理解Hive的体系结构、数据模型、元数据和执行机制；掌握数据库、数据表、分区、内部表与外部表等对象的创建与管理；完成零售数据导入、清洗、查询和统计分析，使用HiveQL编写典型分析任务。10任务3

HBase实战理解HBase的分布式存储架构、数据模型、表结构、行键和列族；掌握HBase的安装配置、表及数据操作、数据导入和访问方法；结合零售数据完成面向海量数据的存储与查询实践。10任务4

Redis实战理解Redis的内存存储特点、数据类型、持久化机制和应用场景；掌握Redis服务安装、配置、启动及常用命令；完成字符串、列表、集合、哈希等数据结构操作，并结合零售场景实现缓存数据存储与访问。8任务5

Elasticsearch实战理解Elasticsearch的分布式搜索架构、索引、文档、映射和分词机制；掌握服务部署、索引创建、文档管理和查询语法；完成零售数据的索引、检索、条件查询和结果分析。8总计48【课程要求与成绩评定】评定项目要求百分比平时成绩课堂表现、出勤、任务工单完成情况、平台部署与实验操作、实验报告、线上互动和作业。50%期末考试上机考试或综合项目考核，重点考查大数据平台部署、存储配置、数据查询分析、故障排查和综合应用能力。50%课程考核应重视过程性评价。学生须按照任务工单