大数据采集与分析技术-课程教学大纲

《大数据采集与分析技术》课程教学大纲【课程名称】《大数据采集与分析技术》【课程类型】专业核心课【授课对象】大数据技术、大数据技术与应用、计算机科学与技术及其他计算机相关专业【学时学分】64学时，4学分【课程概况】《大数据采集与分析技术》课程是面向大数据技术及相关专业开设的专业核心课程，课程以交通数据统计分析项目为主线，围绕数据采集、数据存储、数据仓库构建、数据清洗与转换、主题加工与分析以及数据可视化，系统介绍大数据项目实施的完整流程。本课程采用项目引领、任务驱动和工单实施的教学方式，结合Hadoop高可用集群、Hive、HDFS、ZooKeeper、Vue.js、ECharts等技术工具，将数据采集、存储、处理、统计分析和可视化展示融入真实业务场景，帮助学生建立从原始数据到分析结果的完整认知。本课程要求学生具备Linux操作系统、计算机网络、数据库和程序设计基础，能够进行虚拟机、命令行工具和常用开发环境的基本操作。【课程目标】通过本课程学习，学生应达到以下目标：1．知识目标（1）掌握数据仓库的分层思想及各层特点，理解数据采集、存储、清洗、转换、加工和分析的基本流程。（2）掌握大数据集群平台、Hadoop高可用集群、HDFS、Hive和ZooKeeper的基础知识。（3）掌握数据迁移工具的基本原理和使用方法，理解批量数据导入、数据仓库构建与数据预处理过程。（4）掌握数据统计分析的常用方法，理解主题加工、指标设计和分析结果表达的基本思路。（5）理解数据可视化的意义、实现方式和仪表盘设计的基本步骤。2．技能目标（1）能够搭建大数据集群平台，完成Hadoop高可用集群、ZooKeeper和Hive基础环境的部署与验证。（2）能够根据项目需求采集交通及天气数据，完成数据存储、数据迁移和数据导入操作。（3）能够使用HiveQL构建数据仓库分层，完成ODS、DWD、DWS等层级的数据清洗、转换和主题加工。（4）能够根据业务需求编写数据分析脚本，统计天气、月份、车辆类型、车辆颜色和驾驶员年龄等指标。（5）能够使用Vue.js、ECharts等技术或工具设计并实现数据可视化图表和分析仪表盘。3．素养目标（1）培养主动学习、积极创新、追求卓越的精神和持续提升专业技能的意识。（2）培养细致严谨、规范操作、认真负责的工作态度和质量意识。（3）树立正确的网络安全观，遵守数据采集、使用、存储和共享相关的法律法规与道德规范。（4）培养想象力、发散思维、团队协作能力和克服困难、解决复杂问题的勇气。【课程内容及学时分布】项目教学内容学时任务1

大数据集群环境搭建了解交通大数据平台项目背景、业务需求和实施流程；掌握虚拟化实验环境、CentOS、Java、Hadoop和ZooKeeper的安装配置；完成Hadoop高可用集群搭建、节点规划、服务配置、集群启动和运行状态验证。12任务2

数据的采集和存储理解数据采集的基本方式、数据源类型和数据安全要求；采集交通事件、车辆、驾驶员及天气等数据，完成数据脱敏、格式整理和临时存储；使用Sqoop等工具将关系型数据库中的数据导入Hadoop/Hive环境。10任务3

数据仓库的构建理解数据仓库、数据仓库分层和Hive的体系结构；掌握贴源层、开发层、明细层和主题层的设计思想；使用Hive建立数据库、数据表、分区和相关管理对象，将交通数据存储至数据仓库并完成基础查询。12任务4

数据的清洗和转换理解数据质量、数据清洗、数据转换和数据预处理的基本方法；使用HiveQL对原始数据进行去重、缺失值处理、格式统一、字段转换和关联处理；构建ODS层、DWD层，形成可供分析使用的明细数据。12任务5

主题加工与分析理解主题域、指标体系和主题数据集市的基本概念；构建DWS层，围绕天气、月份、车辆类型、车辆颜色和驾驶员年龄等主题进行数据加工；编写HiveQL脚本完成指标统计、结果验证和分析结论提炼。10任务6

数据可视化理解数据可视化的意义、基本原则和常见图表类型；根据统计分析结果设计数据可视化仪表盘，使用Vue.js、ECharts等技术实现图表展示、交互筛选和页面布局，完成交通数据分析结果的可视化呈现。8总计64【课程要求与成绩评定】评定项目要求百分比平时成绩课堂表现、出勤、任务工单完成情况、集群部署与实验操作、数据处理脚本、实验报告、线上互动和作业。50%期末考试上机考试或综合项目考核，重点考查大数据集群部署、数据仓库构建、数据清洗分析和可视化综合应用能力。50%课程考核应重视过程性评价。学生须按照任务工单完成环境搭建、数据采