大数据技术导论 第3版（项目化教程）教学大纲、课程标准 程显毅

《大数据技术导论》课程教学大纲一、课程基本信息-课程名称：大数据技术导论（项目式）-课程代码：-学分/课时：2学分/32课时（理论16课时+实验16课时）-适用专业：数据科学与大数据技术、计算机科学与技术、人工智能、软件工程及相关专业-先修课程：计算机基础、程序设计基础-后续课程：Hadoop应用开发、Spark大数据处理、数据挖掘与分析-参考教材：《大数据技术导论（项目式）》第3版，程显毅、孙丽丽主编，机械工业出版社二、课程目标1.知识目标（1）理解大数据基本概念、特征及产业生态，建立数据思维；（2）掌握Linux基础操作与虚拟机部署方法；（3）掌握Hadoop生态体系（HDFS、MapReduce、YARN）及集群部署；（4）掌握Flume数据采集、HBase数据存储、Spark/Hive数据分析等组件原理与应用；（5）了解大数据安全体系及行业应用方案设计方法。2.能力目标（1）具备搭建伪分布式/全分布式Hadoop集群的能力；（2）具备使用Flume采集日志数据、HBase存储海量数据、MapReduce/Spark进行数据处理的能力；（3）具备设计大数据应用解决方案的初步能力；（4）具备备考"大数据运维师"（1+X初级）证书的基础能力。3.素质目标（1）培养数据敏感性、数据伦理意识与数据治理思维；（2）培养团队协作精神与工程实践能力；（3）培养自主学习能力与技术前沿追踪意识。三、教学内容与课时分配课程教学安排表周次项目/内容课时教学形式重点与难点1项目1：数据素养认知2讲授+讨论大数据思维、数据价值认知、1+X证书制度2项目2：准备Linux环境2讲授+实验VMware部署、Linux基本命令3项目3：Hadoop集群部署（基础）2讲授+实验集群规划、网络配置、时钟同步4项目3：Hadoop集群部署（核心）2实验SSH免密、JDK部署、Hadoop安装配置5项目3：Hadoop集群部署（高可用）

项目4：数据采集Flume（入门）2实验+讲授Zookeeper集群、Flume架构原理6项目4：数据采集Flume（应用）4实验Flume采集文件/端口数据到HDFS7项目5：数据存储HDFS/HBase（HDFS）4讲授+实验HDFS架构、Shell操作、数据块机制8项目6：数据预处理MapReduce（实战）4实验WordCount、数据清洗与转换9项目7：大数据分析Spark/Hive4讲授+实验Spark部署、RDD编程、内存计算10项目8：大数据应用创意方案设计4项目实训行业案例剖析、360°创意方案设计11项目9：大数据安全体系

总复习2讲授+研讨安全挑战、区块链技术、1+X考证要点课时小计：32课时四、各项目教学内容详述项目1：数据素养认知（2课时）1.理论内容：-大数据产生的历史背景与必然性（摩尔定律、数据爆炸）-大数据4V/5V特征与小数据的区别-大数据、物联网、人工智能的关系-数据要素市场化配置与数据伦理-大数据产业岗位体系（开发、运维、分析、治理）-1+X证书制度与课证融通路径2.实践任务：-任务1.1：数据价值认知案例分析（如"啤酒与尿布"）-任务1.2：数据敏感度测试（观察生活场景中的数据）-任务1.3：数据分析师职业素养研讨3.思政融入：结合国产大数据平台发展（如阿里云MaxCompute、华为FusionInsight）培养家国情怀。项目2：准备Linux环境（2课时）1.理论内容：-Linux操作系统概述与发行版（CentOS/Ubuntu）-国产操作系统发展（麒麟、统信UOS、欧拉）-虚拟化技术原理与VMware架构2.实验内容：-任务2.1：VMware虚拟机创建（CentOS7.x推荐）-任务2.2：Linux基本操作（文件系统、vi/vim、用户权限、网络配置）-任务2.3：Xshell/Xftp远程连接与文件传输3.考核要点：能独立完成虚拟机克隆、IP静态配置、防火墙设置。项目3：Hadoop集群部署（6课时）1.理论内容：-大数据平台架构（Lambda架构、Kappa架构）-Hadoop生态体系（HDFS、MapReduce、YARN、Common）-分布式计算原理与CAP理论-Zookeeper协调服务机制（ZAB协议、选举机制、监听机制）2.实验内容：-任务3.1：集群规划（3节点：master/slave1/slave2）-任务3.2：网络配置（静态IP、hostname、hosts映射）-任务3.3：时钟同步（NTP服务配置）-任务3.4：SSH免密登录配置-任务3.5：JDK1.8部署与环境变量-任务3.6：Hadoop3.x全分布式安装（core-site、hdfs-site、mapred-site、yarn-site）-任务3.7：Zookeeper3节点集群部署-任务3.8：集群启动与大数据处理验证（pi计算或wordcount）3.重难点：配置文件参数调优、集群启动顺序、日志排查（hadoop/logs/）。项目4：数据采集组件Flume（4课时）1.理论内容：-数据分类（结构化/半结构化/非结构化）-数据采集技术体系（Sqoop、Flume、Kafka、Logstash）-Flume架构（Agent、Source、Channel、Sink、Interceptor）-Flume事务机制与可靠性保障2.实验内容：-任务4.1：Flume单机安装与配置文件编写-任务4.2：监控本地文件实时采集（execsource→filerollsink）-任务4.3：采集数据添加时间戳拦截器-任务4.4：采集端口数据（netcatsource→loggersink）-任务4.5：采集数据保存到HDFS（需配合Hadoop启动）3.重难点：Channel类型选择（MemoryvsFile）、Sink组负载均衡。项目5：数据存储组件HDFS/HBase（4课时）1.理论内容：-数据管理技术演进（关系型→NoSQL→NewSQL）-HDFS架构（NameNode、DataNode、SecondaryNameNode、Block机制、副本策略）-NoSQL数据库分类（KV型、列式、文档型、图型）-HBase架构（RegionServer、Region、StoreFile、MemStore、HLog）-HBase数据模型（Namespace、Table、RowKey、ColumnFamily、Cell）2.实验内容：-任务5.1：HDFSShell基本操作（hdfsdfs-ls/-put/-get/-mkdir/-rm）-任务5.2：HBase伪分布式/全分布式部署（hbase-site.xml配置）-任务5.3：HBaseShell操作（create、put、get、scan、delete、drop）-任务5.4：HBase应用案例（如学生成绩表、电商用户行为表设计）3.重难点：HDFS读写流程、HBaseRowKey设计原则（散列性、唯一性、长度短）。项目6：数据预处理MapReduce（4课时）1.理论内容：-MapReduce编程模型（Split、Map、Shuffle、Reduce阶段）-数据治理框架（DAMA-DMBOK）-数据清洗（缺失值、异常值、重复值处理）-数据变换（归一化、标准化、离散化、特征编码）2.实验内容：-任务6.1：WordCount词频统计（理解MapReduce流程）-任务6.2：数据清洗实战（使用Excel或MapReduce清洗日志数据）-任务6.3：数据去重与排序（SecondarySort机制简介）3.教学建议：鉴于学生编程基础差异，可提供Python或Excel作为MapReduce逻辑的模拟实现，降低门槛。项目7：大数据分析Spark/Hive（4课时）1.理论内容：-数据分析类型（描述性、诊断性、预测性、规范性）-业务理解方法（5W2H、思维导图）-数据分析指标设计（绝对数、相对数、平均数、变异指标）-Spark内存计算原理（RDD、DAG、Lineage、Lazy计算）-Hive数据仓库架构（Metastore、Driver、Compiler、ExecutionEngine）-Hive与传统数据库对比2.实验内容：-任务7.1：SparkLocal/Standalone模式部署-任务7.2：SparkShell/RDD编程实战（wordcount、filter、map操作）-任务7.3：SparkSQL与DataFrame操作-任务7.4：Hive部署（内嵌/本地/远程Metastore模式）-任务7.5：Hive实战（DDL/DML操作、分区表、桶表、JOIN查询）-任务7.6：Hive与Spark整合（SparkSQL访问Hive）3.重难点：SparkShuffle机制、Hive分区与分桶策略、HQL优化。项目8：大数据应用创意方案设计（4课时）1.理论内容：-行业大数据应用场景：-零售大数据（用户画像、精准营销、供应链优化）-交通大数据（智能调度、拥堵预测、自动驾驶）-医疗大数据（辅助诊断、疫情监测、医保控费）-农业大数据（精准种植、产量预测、溯源体系）-环保大数据（污染监测、碳排放管理）-教育大数据（个性化学习、学业预警）2.实训任务：-任务8.1：分组完成"智慧校园/智慧农业/智慧文旅"等360°创意方案-要求包含：数据来源、技术架构（采集-存储-分析-展示）、预期效益3.成果形式：PPT汇报+方案文档，培养团队协作与方案设计能力。项目9：大数据安全体系（2课时）-大数据六大安全挑战（隐私泄露、数据孤岛、算法偏见等）-大数据安全技术（脱敏、加密、访问控制、审计、区块链）-区块链技术原理（分布式账本、共识机制、智能合约）及其在大数据溯源中的应用-数据伦理与法律法规（《数据安全法》《个人信息保护法》）五、考核方式与评价标准1.成绩构成（建议）（1）平时成绩（30%）：出勤、课堂表现、Linux/Hadoop实验报告（2）项目实训（40%）：Flume+HBase+Spark综合实验（占比20%）+创意方案设计（占比20%）（3）期末考核（30%）：1+X考证样卷笔试或综合项目答辩2.1+X课证融通教学进度与"大数据运维师"（初级）考纲对接，重点覆盖：（1）Hadoop集群部署与配置（30%）。（2）HDFS与Hive操作（25%）。（3）数据采集与处理（20%）。（4）系统监控与故障处理（15%）。（5）数据安全与备份（10%）。六、教学资源与建议1.实验环境配置（1）硬件：建议机房配置Inteli5以上、内存16GB以上（可支持VMware运行3台虚拟机）（2）软件：VMwareWorkstation16+、CentOS7.9、Hadoop3.3.x、Hive3.1.x、Spark3.3.x（3）替代方案：若硬件资源不足，可采用章鱼大数据云平台（教材配套）。2.教学方法建议（1）项目驱动：每个项目按"目标-描述-分析-准备-实施-总结"六步法教学；（2）可视化教学：使用动画演示HDFS写流程、MapReduceShuffle过程；（3）分层教学：基础弱的学生先用Excel完成数据分析，再过渡到HiveSQL；（4）企业案例：引入阿里云/华为云真实控制台截图，对比开源方案与商业方案。3.参考资源（1）教材配套：微课视频、PPT课件、数据集、配置文件模板。（2）官方文档：ApacheHadoop/Hive/Spark官方文档（英文）。（3）在线平台：头歌实践教学平台、博思智慧学习平台。《大数据技术导论》课程标准一、课程基本信息项目内容课程名称大数据技术导论（项目式）课程代码课程类型□公共基础课□专业基础课☑专业核心课□专业拓展课适用专业数据科学与大数据技术、计算机科学与技术、人工智能、软件工程及相关专业学分/学时2学分/32学时（理论16学时+实践16学时）开设学期第1学期或第2学期（建议具备计算机基础后开设）先修课程计算机导论、程序设计基础后续课程Hadoop应用开发、Spark大数据处理、数据挖掘与机器学习、大数据综合实训参考教材《大数据技术导论（项目式）》第3版，程显毅、孙丽丽主编，机械工业出版社，2026-01制定依据高等职业教育专科/本科专业教学标准、"大数据运维师"职业技能等级标准（1+X初级）二、课程性质与任务（一）课程性质本课程是数据科学与大数据技术专业的专业核心课程，是连接计算机基础与大数据专业技术的桥梁课程。课程秉持"项目导向、思维引领"理念，以九大真实项目为载体，覆盖大数据全流程技术栈，培养学生的大数据思维、基础技术能力与职业素养。（二）课程任务1.知识传授：建立大数据技术体系认知，理解Hadoop生态核心组件原理；2.技能培养：具备Linux环境配置、Hadoop集群部署、数据采集存储与分析的实操能力；3.思维塑造：培养数据敏感性、数据治理意识与数据伦理素养；4.课证融通：对接"大数据运维师"（1+X初级）证书标准，提升就业竞争力。三、课程目标与要求（一）总体目标通过本课程学习，学生能够完成从"数据素养认知"到"大数据安全体系"的完整知识建构，具备搭建伪分布式Hadoop集群、使用Flume采集数据、利用HBase存储数据、运用MapReduce/Spark处理数据的基础能力，形成数据思维与工程实践素养，为后续专业课程学习与职业发展奠定基础。（二）具体目标目标维度具体要求知识目标1.阐述大数据4V/5V特征、数据要素概念及产业生态；

2.说明Linux操作系统基础命令与国产操作系统发展现状；

3.描述Hadoop架构（HDFS、MapReduce、YARN）及集群部署流程；

4.解释Flume、HBase、Spark、Hive等组件的工作原理与适用场景；

5.概述大数据安全挑战、技术体系及区块链技术应用。能力目标1.能独立完成VMware虚拟机部署与Linux基础环境配置；

2.能规划并部署3节点Hadoop全分布式集群（含Zookeeper）；

3.能配置Flume实现日志数据采集并写入HDFS；

4.能使用HBaseShell完成数据定义与操作；

5.能编写MapReduce程序或SparkRDD程序完成基础数据处理；

6.能使用HiveSQL完成数据查询与分析；

7.能设计简单的大数据应用解决方案。素质目标1.具备数据敏感性，能从生活场景中识别数据价值；

2.具备数据伦理意识，理解数据隐私保护与社会责任；

3.具备团队协作精神，能在项目中承担角色并配合完成目标；

4.具备自主学习能力，能追踪大数据技术前沿动态；

5.具备家国情怀，认同国产大数据平台发展战略。四、课程内容与学时安排（一）课程内容结构本课程采用项目化课程设计，围绕9大项目展开，每个项目包含"目标-描述-分析-准备-实施-总结-考核-评价"完整闭环。序号项目名称学时对应1+X证书能力模块项目1数据素养认知2职业素养与法律法规项目2准备Linux环境2操作系统基础项目3Hadoop集群部署6Hadoop集群规划与部署项目4数据采集组件Flume部署及应用4数据采集与传输项目5数据存储组件HDFS/HBase部署及应用4分布式存储管理项目6数据预处理组件MapReduce部署及应用4批处理计算项目7大数据分析组件Spark/Hive部署及应用4内存计算与数据仓库项目8大数据应用创意方案设计4综合应用与方案设计项目9大数据安全体系2数据安全与治理合计-32-（二）详细教学内容与学时分配项目1：数据素养认知（4学时）模块教学内容学时教学要求理论1.1无处不在的大数据（生活、商业、政务场景）

1.2大数据产生的历史必然（技术驱动、数据爆炸）

1.3大数据概念与4V/5V特征

1.4大数据与小数据的区别与联系

1.5大数据时代带来的变革（思维变革、商业模式创新）

1.6大数据处理目标（Volume、Velocity、Variety、Value）

1.7大数据产业生态与岗位体系（开发、运维、分析、治理）

1.8大数据、物联网、人工智能的关系

1.9数据要素市场化配置与数据伦理1能阐述大数据特征；能区分大数据与小数据；能列举3个以上大数据岗位；理解数据作为生产要素的意义实践任务1.1数据价值认知（案例分析：啤酒与尿布、谷歌流感预测）

任务1.2数据敏感认知（校园场景数据识别）

任务1.3数据分析师基本技能与素养研讨1能分析案例中的数据思维；能识别身边的数据资源；能制定个人大数据学习规划思政融入点：结合国家大数据战略、国产数据库发展历程（如华为GaussDB、阿里OceanBase），培养科技自信与家国情怀。项目2：准备Linux环境（4学时）模块教学内容学时教学要求理论2.1Linux操作系统概述（发展史、发行版、开源精神）

2.2国产操作系统（麒麟、统信UOS、欧拉、龙蜥）1了解Linux内核与发行版关系；知晓国产操作系统发展现状实践任务2.1Linux基本操作（文件系统、目录结构、vi/vim、用户权限）

任务2.2VMware虚拟机部署（创建、克隆、快照、网络配置）1能熟练使用20个以上Linux命令；能独立完成虚拟机安装与网络配置（静态IP、hostname、防火墙）教学条件：机房需安装VMwareWorkstation16+，建议配置CentOS7.9镜像。项目3：Hadoop集群部署（12学时）模块教学内容学时教学要求理论3.1大数据平台架构（Lambda、Kappa架构）

3.2Hadoop概述（发展史、版本演进、核心组件）

3.3Hadoop生态（Hive、HBase、Spark、Flume等）

3.4Hadoop应用场景

3.5集群概念与类型（单机、伪分布、全分布、高可用）

3.6分布式计算原理（分而治之、CAP理论）

3.7Hadoop集群架构（NameNode、DataNode、ResourceManager、NodeManager）

3.8Zookeeper集群（选举机制、监听机制、应用场景）2能绘制Hadoop生态图谱；能解释HDFS读写流程；能理解Zookeeper在HA中的作用实践任务3.1集群规划（3节点：master/slave1/slave2角色分配）

任务3.2网络配置与时钟同步（静态IP、hosts映射、NTP服务）

任务3.3通信免密（SSH密钥生成与分发）

任务3.4JDK部署（安装、环境变量配置）

任务3.5Hadoop安装与部署（解压、配置文件编写、格式化、启动）

任务3.6部署Zookeeper（zoo.cfg配置、myid设置、集群启动）

任务3.7集群处理大数据（运行PI计算或WordCount验证）4能独立完成3节点全分布式集群部署；能排查常见启动故障；能使用WebUI监控集群状态重难点：配置文件参数（core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml）的理解与调优；集群启动顺序与日志排查。项目4：数据采集组件Flume部署及应用（6学时）模块教学内容学时教学要求理论4.1数据分类（结构化、半结构化、非结构化）

4.2数据采集技术（Sqoop、Flume、Kafka、Logstash、Scribe）

4.3Flume架构（Agent、Source、Channel、Sink、Interceptor、ChannelSelector、SinkProcessor）

4.4Flume可靠性机制（事务、复制/多路复用）2能区分不同采集工具适用场景；能绘制FlumeAgent内部数据流图实践任务4.1采集文件数据保存到日志（ExecSource+FileRollSink）

任务4.2采集文件数据保存到HDFS（SpoolingDirSource+HDFSSink）

任务4.3对采集数据添加时间戳拦截器

任务4.4采集端口数据保存到日志（NetCatSource+LoggerSink）2能编写Flume配置文件；能启动Agent并监控采集过程；能验证HDFS中数据写入结果教学条件：需提前启动Hadoop集群，确保HDFS可正常写入。项目5：数据存储组件HDFS/HBase部署及应用（8学时）模块教学内容学时教学要求理论5.1数据管理技术演进（关系型→NoSQL→NewSQL）

5.2HDFS架构（NameNode、DataNode、SecondaryNameNode、Block、副本机制、机架感知）

5.3非关系型数据库（KV型、列式、文档型、图型数据库对比）

5.4HBase架构（RegionServer、Region、Store、MemStore、StoreFile、HLog、Zookeeper协调）

5.5HBase数据模型（Namespace、Table、RowKey、ColumnFamily、ColumnQualifier、Cell、Timestamp）2能解释HDFS副本放置策略；能对比行式存储与列式存储优劣；能设计合理的HBase表结构实践任务5.1HDFS基本操作（Shell命令：ls、mkdir、put、get、rm、cat、tail）

任务5.2HBase部署（解压、配置hbase-site.xml、与Zookeeper/HDFS整合）

任务5.3HBaseShell基本操作（create、list、describe、put、get、scan、delete、drop）

任务5.4HBaseShell应用案例（学生信息表、电商订单表设计）2能熟练使用HDFSShell管理文件；能独立完成HBase部署；能使用Shell完成CRUD操作；能设计合理的RowKey重难点：HBaseRowKey设计原则（散列性、唯一性、长度短、查询模式匹配）；HDFS小文件问题与解决方案。项目6：数据预处理组件MapReduce部署及应用（6学时）模块教学内容学时教学要求理论6.1MapReduce逻辑结构（InputFormat、Mapper、Partitioner、Shuffle、Sort、Reducer、OutputFormat）

6.2数据治理（DAMA-DMBOK框架、数据标准、数据质量、元数据管理）

6.3数据清洗（缺失值处理、异常值检测、重复值删除、格式标准化）

6.4数据变换（归一化、标准化、离散化、特征编码、主成分分析）2能描述MapReduce完整执行流程；能列举5种以上数据清洗方法；能理解数据治理体系框架实践任务6.1统计词频（WordCount：Map阶段分割+Reduce阶段汇总）

任务6.2数据清洗（使用MapReduce或Excel完成日志数据清洗）2能理解WordCount程序逻辑；能使用HadoopStreaming或Python完成简单MapReduce任务；能完成实际数据集清洗教学建议：鉴于学生编程基础差异，可提供Python版MapReduce程序或Excel模拟实现，降低编程门槛。项目7：大数据分析组件Spark/Hive部署及应用（10学时）模块教学内容学时教学要求理论7.1数据分析概述（类型：描述性、诊断性、预测性、规范性；流程：业务理解→数据认知→数据准备→建模→评估→部署）

7.2业务理解方法（5W2H、思维导图、利益相关者分析）

7.3数据认知（数据探索、统计量计算、可视化）

7.4分析指标设计（绝对数、相对数、平均数、变异指标、指数）

7.5数据建模（回归、分类、聚类、关联规则简介）

7.6Spark内存计算引擎（RDD概念、Transformation/Action操作、DAG调度、Lineage容错、Shuffle机制、SparkSQL）

7.7数据仓库Hive（架构、Metastore、HQL语法、分区/分桶、优化策略）2能描述数据分析完整流程；能设计业务分析指标体系；能解释Spark与MapReduce性能差异原因；能区分Hive与传统数据库实践任务7.1Spark部署（Local模式、Standalone模式、配置Spark环境变量）

任务7.2Spark实战（SparkShell使用、RDD编程：wordcount、filter、map、reduceByKey；SparkSQL操作）

任务7.3Hive部署（内嵌模式、本地模式、远程模式Metastore配置）

任务7.4Hive实战（DDL：创建数据库/表/分区；DML：加载数据/查询/多表JOIN；视图与索引）2能独立完成SparkStandalone部署；能编写RDD程序完成基础数据处理；能使用SparkSQL进行数据分析；能部署Hive并编写HQL完成复杂查询重难点：SparkRDD惰性求值与缓存机制；Hive分区与分桶策略选择；HQL执行计划优化。项目8：大数据应用创意方案设计（4学时）模块教学内容学时教学要求理论8.1零售大数据（用户画像、精准营销、供应链优化、推荐系统）

8.2交通大数据（智能调度、拥堵预测、路径规划、自动驾驶）

8.3医疗大数据（辅助诊断、药物研发、疫情监测、医保控费）

8.4农业大数据（精准种植、产量预测、病虫害预警、溯源体系）

8.5环保大数据（污染监测、碳排放管理、生态修复）

8.6教育大数据（个性化学习、学业预警、就业预测）

8.7政府大数据（智慧城市、政务公开、应急指挥）2能分析至少2个行业的大数据应用场景；能识别场景中的数据来源与价值点实践任务8.1智慧生活360°创意方案设计（分组完成：智慧校园/智慧农业/智慧文旅/智慧社区等方案）2能完成包含数据源、技术架构、组件选型、预期效益的完整方案；能进行PPT汇报与答辩成果要求：方案需包含数据流程图（采集→存储→处理→分析→展示）、技术选型说明、可行性分析。项目9：大数据安全体系（4学时）模块教学内容学时教学要求理论9.1大数据应用面临的六大挑战（隐私泄露、数据孤岛、算法偏见、安全漏洞、伦理风险、人才短缺）

9.2大数据带来的机遇（产业升级、治理现代化、科学研究范式变革）

9.3大数据安全（安全体系框架：物理层、网络层、系统层、数据层、应用层、管理层）

9.4大数据安全技术（身份认证、访问控制、数据加密、数据脱敏、安全审计、隐私计算）

9.5区块链技术（分布式账本、哈希链、共识机制、智能合约、在大数据溯源中的应用）1能列举大数据安全威胁；能描述数据脱敏与加密原理；能理解区块链不可篡改特性实践任务9.1建设大数据安全体系方案设计（针对某行业场景设计安全策略）1能识别场景安全风险；能设计包含技术与管理措施的安全方案思政融入点：结合《数据安全法》《个人信息保护法》，强调数据安全法律责任与职业道德。（三）学时分配汇总表项目理论学时实践学时小计占比项目1数据素养认知2026.25%项目2准备Linux环境1126.25%项目3Hadoop集群部署24618.75%项目4数据采集Flume2249.4%项目5数据存储HDFS/HBase22412.5%项目6数据预处理MapReduce22412.5%项目7大数据分析Spark/Hive22412.5%项目8应用创意方案设计22412.5%项目9大数据安全体系1126.25%合计161632100.0%*注：机动学时用于国庆/中秋等假期调休、阶段性复习或1+X考证辅导。*五、教学实施建议（一）教学条件项目具体要求师资要求主讲教师应具备大数据相关领域企业工作经历或1+X证书培训讲师资格；熟悉Hadoop生态组件部署与调优；具备数据治理或数据分析项目经验实训环境1.硬件：机房PC配置Inteli5以上CPU、16GB以上内存、100GB以上硬盘（支持同时运行3台虚拟机）

2.软件：VMwareWorkstation16+、CentOS7.9、Hadoop3.3.x、Zookeeper3.7.x、Flume1.11.x、HBase2.4.x、Spark3.3.x、Hive3.1.x

3.替代方案：章鱼大数据云平台（教材配套，支持浏览器访问，降低硬件要求）教学资源教材配套资源：微课视频、PPT课件、实验指导书、数据集、配置文件模板、1+X考证样卷（二）教学方法与手段1.项目驱动教学法：每个项目按"目标-描述-分析-准备-实施-总结-考核-评价"七环节组织实施，强化"做中学"；2.案例教学法：引入"啤酒与尿布"、谷歌流感预测、Netflix推荐系统等经典案例阐释数据思维；3.可视化教学：使用动画演示HDFS写流程、MapReduceShuffle过程、SparkDAG调度等抽象机制；4.分层教学：基础薄弱学生先用Excel完成数据分析任务，再过渡到HiveSQL；编程能力强学生可尝试Java/Python编写MapReduce/Spark程序；5.线上线下混合：利用教材配套微课视频支持课前预习与课后复习，课堂聚焦实操指导与问题排查；6.企业专家讲座：邀请大数据平台运维工程师或数据分析师开展1-2次行业前沿讲座。（三）教材与参考资料1.主教材：程显毅,孙丽丽.大数据技术导论（项目式）[M].第3版.北京:机械工业出版社,2026.2.