教学大纲-大数据技术与应用

《大数据技术与应用》教学大纲课程名称：大数据技术与应用英文名称：BigDataTechnologyandApplications课程编号：学 分：2总学时/324）课程性质：必修课程开课单位：适应对象：一、课程简介二、课程目标1．掌握大数据核心概念、技术体系与数据处理全流程的关键理论与方法。2．具备运用主流大数据工具进行数据处理、分析并解决实际业务问题的实践能力。3．树立数据安全与伦理观念，培养严谨求实、协作创新的科学精神与职业素养。4．熟悉数据采集、清洗、集成、存储、分析与可视化全流程中所涉及的关键技术和基本方法。三、课程目标与毕业要求对应关系本课程的课程目标对大数据管理与应用专业毕业要求指标点的支撑情况如表1所示：表1 课程目标与毕业要求对应关系毕业要求指标点课程目标毕业要求1：知识要求：1-②④目标2、4毕业要求2：能力要求：2-②③目标1、3、4毕业要求3：素质要求：3-①③目标1四、课程教学安排课程共有5项教学内容，具体安排如下。表2：课程教学安排表序号教学内容思政元素课堂教学学时实验/实践教学学时学时小计1绪论认识数据作为国家基础性战略资源的重要性，树立数字中国的建设使命感。222环境配置培养严谨细致、规范操作的科学态度，在实践中体会“工匠精神”的起点。443大数据生态理解核心技术自主可控的重要性，培养开源精神与协作意识，树立科技报国的志向。224大数据采集与预处理树立数据隐私保护意识，在数据源头恪守法律法规与职业道德，培养去伪存真的求实精神。4265大数据存储意识。336内存计算引擎Spark学习高效协同的计算思想，培养勇于创新、追求卓越的效率意识。447大数据分析断，强调分析结论的社会责任。228数据可视化伦理。3259大数据应用值观。2210大数据安全筑牢技术应用的安全底线与法治红线。22合计28432教学安排1.绪论重点难点：大数据分析过程。教学内容：大数据的发展背景、大数据及其特点、大数据的价值、大数据的分析过程。2.环境配置VMwareUbuntu18.04LinuxLinux教学内容：UbuntuLinux教学要求：了解大数据处理框架Hadoop的特性及Hadoop的各个组件；掌握部署HadoopHDFSMapReduceZooKeeperHadoopHDFSMapReduce和ZooKeeper集群。教学内容：认识Hadoop、部署Hadoop、HDFS、MapReduce、Zookeeper。4.大数据采集与预处理HadoopSpark重点难点：掌握数据预处理的方法，包括数据清洗、格式转换和去重填充等技术；熟悉数据存储与管理策略，为后续Hadoop和Spark分析提供高质量数据。教学内容：数据、数据采集、日志采集组件Flume、数据清洗、数据变换。5.大数据存储概述教学要求：掌握NoSQL数据库的核心特点，能够对比其与关系型数据库的差异；理解BASEACIDNoSQLHBase（重点难点：掌握NoSQL数据库技术体系。区分键值存储、文档存储、列式存储与图存储的适用场景。教学内容：大数据存储概述、NoSQL数据库、列式数据库HBase。6.内存计算引擎SparkSparkSparkSparkSparkSparkSparkSparkSparkSparkSpark7.大数据分析教学要求：了解大数据分析的业务流程；了解大数据建模方法。重点难点：了解大数据分析的业务流程Hive。8.数据可视化FineBI。重点难点：掌握数据可视化的方法。教学内容：数据可视化概述、数据可视化方法、数据可视化工具FineBI。9.大数据应用HadoopSpark1110.大数据安全教学要求：了解大数据安全现状；掌握大数据面临的主要安全威胁；掌握大数据安全防护的主要技术。重点难点：掌握大数据面临的主要安全威胁；掌握大数据安全防护的主要技术。五、课内实践教学内容及要求表3：课内实践教学内容及要求序号教学类型教学内容教学要求1上机PythonFlume/Kafka对采集到的原始数据进行清洗、去重、转换与集成。HDFS1.能够掌握至少一种数据采集方法，并理解其适用场景。2.能够熟练运用Pandas/SparkDataFrame3树立数据隐私与合规意识，仅在法律允许范围内采集和使用数据。2上机EChartsTableauPython（Matplotlib/Seaborn）将分析结果转化为图表。以小组形式完成一个端到端的小型大数据分析项目，涵盖从数据采集到可视化展示的全流程。撰写项目报告并进行成果展示。1.能够独立选择合适的可视化工具，清晰、准确地传达数据洞察。23.恪守信息传达的客观与真实，培养团队协作精神、创新意识与综合职业素养。六、课程考核与评价表4：成绩评定方式表考核环节分值考核/评价细则平时课堂活动，作业30计算平时成绩，再按30%计入总成绩课程实验10主要考核系统分析、系统设计的相关技能，两110%计入总成绩期末考核60考核结构化开发方法的基本方法的应用，并以课程论文的方式体现，按60%计入总成绩合计100七、课程学习资源1．教材：张贵炜主编，《大数据技术与应用》，电子工业出版社，2026，第1版2．参考书目：孔华锋主编，《大