大数据技术导论 第3版（项目化教程）教学大纲、课程标准、习题及答案 程显毅

《大数据技术导论》课程教学大纲一、课程基本信息-课程名称：大数据技术导论（项目式）-课程代码：-学分/课时：2学分/32课时（理论16课时+实验16课时）-适用专业：数据科学与大数据技术、计算机科学与技术、人工智能、软件工程及相关专业-先修课程：计算机基础、程序设计基础-后续课程：Hadoop应用开发、Spark大数据处理、数据挖掘与分析-参考教材：《大数据技术导论（项目式）》第3版，程显毅、孙丽丽主编，机械工业出版社二、课程目标1.知识目标（1）理解大数据基本概念、特征及产业生态，建立数据思维；（2）掌握Linux基础操作与虚拟机部署方法；（3）掌握Hadoop生态体系（HDFS、MapReduce、YARN）及集群部署；（4）掌握Flume数据采集、HBase数据存储、Spark/Hive数据分析等组件原理与应用；（5）了解大数据安全体系及行业应用方案设计方法。2.能力目标（1）具备搭建伪分布式/全分布式Hadoop集群的能力；（2）具备使用Flume采集日志数据、HBase存储海量数据、MapReduce/Spark进行数据处理的能力；（3）具备设计大数据应用解决方案的初步能力；（4）具备备考"大数据运维师"（1+X初级）证书的基础能力。3.素质目标（1）培养数据敏感性、数据伦理意识与数据治理思维；（2）培养团队协作精神与工程实践能力；（3）培养自主学习能力与技术前沿追踪意识。三、教学内容与课时分配课程教学安排表周次项目/内容课时教学形式重点与难点1项目1：数据素养认知2讲授+讨论大数据思维、数据价值认知、1+X证书制度2项目2：准备Linux环境2讲授+实验VMware部署、Linux基本命令3项目3：Hadoop集群部署（基础）2讲授+实验集群规划、网络配置、时钟同步4项目3：Hadoop集群部署（核心）2实验SSH免密、JDK部署、Hadoop安装配置5项目3：Hadoop集群部署（高可用）

项目4：数据采集Flume（入门）2实验+讲授Zookeeper集群、Flume架构原理6项目4：数据采集Flume（应用）4实验Flume采集文件/端口数据到HDFS7项目5：数据存储HDFS/HBase（HDFS）4讲授+实验HDFS架构、Shell操作、数据块机制8项目6：数据预处理MapReduce（实战）4实验WordCount、数据清洗与转换9项目7：大数据分析Spark/Hive4讲授+实验Spark部署、RDD编程、内存计算10项目8：大数据应用创意方案设计4项目实训行业案例剖析、360°创意方案设计11项目9：大数据安全体系

总复习2讲授+研讨安全挑战、区块链技术、1+X考证要点课时小计：32课时四、各项目教学内容详述项目1：数据素养认知（2课时）1.理论内容：-大数据产生的历史背景与必然性（摩尔定律、数据爆炸）-大数据4V/5V特征与小数据的区别-大数据、物联网、人工智能的关系-数据要素市场化配置与数据伦理-大数据产业岗位体系（开发、运维、分析、治理）-1+X证书制度与课证融通路径2.实践任务：-任务1.1：数据价值认知案例分析（如"啤酒与尿布"）-任务1.2：数据敏感度测试（观察生活场景中的数据）-任务1.3：数据分析师职业素养研讨3.思政融入：结合国产大数据平台发展（如阿里云MaxCompute、华为FusionInsight）培养家国情怀。项目2：准备Linux环境（2课时）1.理论内容：-Linux操作系统概述与发行版（CentOS/Ubuntu）-国产操作系统发展（麒麟、统信UOS、欧拉）-虚拟化技术原理与VMware架构2.实验内容：-任务2.1：VMware虚拟机创建（CentOS7.x推荐）-任务2.2：Linux基本操作（文件系统、vi/vim、用户权限、网络配置）-任务2.3：Xshell/Xftp远程连接与文件传输3.考核要点：能独立完成虚拟机克隆、IP静态配置、防火墙设置。项目3：Hadoop集群部署（6课时）1.理论内容：-大数据平台架构（Lambda架构、Kappa架构）-Hadoop生态体系（HDFS、MapReduce、YARN、Common）-分布式计算原理与CAP理论-Zookeeper协调服务机制（ZAB协议、选举机制、监听机制）2.实验内容：-任务3.1：集群规划（3节点：master/slave1/slave2）-任务3.2：网络配置（静态IP、hostname、hosts映射）-任务3.3：时钟同步（NTP服务配置）-任务3.4：SSH免密登录配置-任务3.5：JDK1.8部署与环境变量-任务3.6：Hadoop3.x全分布式安装（core-site、hdfs-site、mapred-site、yarn-site）-任务3.7：Zookeeper3节点集群部署-任务3.8：集群启动与大数据处理验证（pi计算或wordcount）3.重难点：配置文件参数调优、集群启动顺序、日志排查（hadoop/logs/）。项目4：数据采集组件Flume（4课时）1.理论内容：-数据分类（结构化/半结构化/非结构化）-数据采集技术体系（Sqoop、Flume、Kafka、Logstash）-Flume架构（Agent、Source、Channel、Sink、Interceptor）-Flume事务机制与可靠性保障2.实验内容：-任务4.1：Flume单机安装与配置文件编写-任务4.2：监控本地文件实时采集（execsource→filerollsink）-任务4.3：采集数据添加时间戳拦截器-任务4.4：采集端口数据（netcatsource→loggersink）-任务4.5：采集数据保存到HDFS（需配合Hadoop启动）3.重难点：Channel类型选择（MemoryvsFile）、Sink组负载均衡。项目5：数据存储组件HDFS/HBase（4课时）1.理论内容：-数据管理技术演进（关系型→NoSQL→NewSQL）-HDFS架构（NameNode、DataNode、SecondaryNameNode、Block机制、副本策略）-NoSQL数据库分类（KV型、列式、文档型、图型）-HBase架构（RegionServer、Region、StoreFile、MemStore、HLog）-HBase数据模型（Namespace、Table、RowKey、ColumnFamily、Cell）2.实验内容：-任务5.1：HDFSShell基本操作（hdfsdfs-ls/-put/-get/-mkdir/-rm）-任务5.2：HBase伪分布式/全分布式部署（hbase-site.xml配置）-任务5.3：HBaseShell操作（create、put、get、scan、delete、drop）-任务5.4：HBase应用案例（如学生成绩表、电商用户行为表设计）3.重难点：HDFS读写流程、HBaseRowKey设计原则（散列性、唯一性、长度短）。项目6：数据预处理MapReduce（4课时）1.理论内容：-MapReduce编程模型（Split、Map、Shuffle、Reduce阶段）-数据治理框架（DAMA-DMBOK）-数据清洗（缺失值、异常值、重复值处理）-数据变换（归一化、标准化、离散化、特征编码）2.实验内容：-任务6.1：WordCount词频统计（理解MapReduce流程）-任务6.2：数据清洗实战（使用Excel或MapReduce清洗日志数据）-任务6.3：数据去重与排序（SecondarySort机制简介）3.教学建议：鉴于学生编程基础差异，可提供Python或Excel作为MapReduce逻辑的模拟实现，降低门槛。项目7：大数据分析Spark/Hive（4课时）1.理论内容：-数据分析类型（描述性、诊断性、预测性、规范性）-业务理解方法（5W2H、思维导图）-数据分析指标设计（绝对数、相对数、平均数、变异指标）-Spark内存计算原理（RDD、DAG、Lineage、Lazy计算）-Hive数据仓库架构（Metastore、Driver、Compiler、ExecutionEngine）-Hive与传统数据库对比2.实验内容：-任务7.1：SparkLocal/Standalone模式部署-任务7.2：SparkShell/RDD编程实战（wordcount、filter、map操作）-任务7.3：SparkSQL与DataFrame操作-任务7.4：Hive部署（内嵌/本地/远程Metastore模式）-任务7.5：Hive实战（DDL/DML操作、分区表、桶表、JOIN查询）-任务7.6：Hive与Spark整合（SparkSQL访问Hive）3.重难点：SparkShuffle机制、Hive分区与分桶策略、HQL优化。项目8：大数据应用创意方案设计（4课时）1.理论内容：-行业大数据应用场景：-零售大数据（用户画像、精准营销、供应链优化）-交通大数据（智能调度、拥堵预测、自动驾驶）-医疗大数据（辅助诊断、疫情监测、医保控费）-农业大数据（精准种植、产量预测、溯源体系）-环保大数据（污染监测、碳排放管理）-教育大数据（个性化学习、学业预警）2.实训任务：-任务8.1：分组完成"智慧校园/智慧农业/智慧文旅"等360°创意方案-要求包含：数据来源、技术架构（采集-存储-分析-展示）、预期效益3.成果形式：PPT汇报+方案文档，培养团队协作与方案设计能力。项目9：大数据安全体系（2课时）-大数据六大安全挑战（隐私泄露、数据孤岛、算法偏见等）-大数据安全技术（脱敏、加密、访问控制、审计、区块链）-区块链技术原理（分布式账本、共识机制、智能合约）及其在大数据溯源中的应用-数据伦理与法律法规（《数据安全法》《个人信息保护法》）五、考核方式与评价标准1.成绩构成（建议）（1）平时成绩（30%）：出勤、课堂表现、Linux/Hadoop实验报告（2）项目实训（40%）：Flume+HBase+Spark综合实验（占比20%）+创意方案设计（占比20%）（3）期末考核（30%）：1+X考证样卷笔试或综合项目答辩2.1+X课证融通教学进度与"大数据运维师"（初级）考纲对接，重点覆盖：（1）Hadoop集群部署与配置（30%）。（2）HDFS与Hive操作（25%）。（3）数据采集与处理（20%）。（4）系统监控与故障处理（15%）。（5）数据安全与备份（10%）。六、教学资源与建议1.实验环境配置（1）硬件：建议机房配置Inteli5以上、内存16GB以上（可支持VMware运行3台虚拟机）（2）软件：VMwareWorkstation16+、CentOS7.9、Hadoop3.3.x、Hive3.1.x、Spark3.3.x（3）替代方案：若硬件资源不足，可采用章鱼大数据云平台（教材配套）。2.教学方法建议（1）项目驱动：每个项目按"目标-描述-分析-准备-实施-总结"六步法教学；（2）可视化教学：使用动画演示HDFS写流程、MapReduceShuffle过程；（3）分层教学：基础弱的学生先用Excel完成数据分析，再过渡到HiveSQL；（4）企业案例：引入阿里云/华为云真实控制台截图，对比开源方案与商业方案。3.参考资源（1）教材配套：微课视频、PPT课件、数据集、配置文件模板。（2）官方文档：ApacheHadoop/Hive/Spark官方文档（英文）。（3）在线平台：头歌实践教学平台、博思智慧学习平台。《大数据技术导论》课程标准一、课程基本信息项目内容课程名称大数据技术导论（项目式）课程代码课程类型□公共基础课□专业基础课☑专业核心课□专业拓展课适用专业数据科学与大数据技术、计算机科学与技术、人工智能、软件工程及相关专业学分/学时2学分/32学时（理论16学时+实践16学时）开设学期第1学期或第2学期（建议具备计算机基础后开设）先修课程计算机导论、程序设计基础后续课程Hadoop应用开发、Spark大数据处理、数据挖掘与机器学习、大数据综合实训参考教材《大数据技术导论（项目式）》第3版，程显毅、孙丽丽主编，机械工业出版社，2026-01制定依据高等职业教育专科/本科专业教学标准、"大数据运维师"职业技能等级标准（1+X初级）二、课程性质与任务（一）课程性质本课程是数据科学与大数据技术专业的专业核心课程，是连接计算机基础与大数据专业技术的桥梁课程。课程秉持"项目导向、思维引领"理念，以九大真实项目为载体，覆盖大数据全流程技术栈，培养学生的大数据思维、基础技术能力与职业素养。（二）课程任务1.知识传授：建立大数据技术体系认知，理解Hadoop生态核心组件原理；2.技能培养：具备Linux环境配置、Hadoop集群部署、数据采集存储与分析的实操能力；3.思维塑造：培养数据敏感性、数据治理意识与数据伦理素养；4.课证融通：对接"大数据运维师"（1+X初级）证书标准，提升就业竞争力。三、课程目标与要求（一）总体目标通过本课程学习，学生能够完成从"数据素养认知"到"大数据安全体系"的完整知识建构，具备搭建伪分布式Hadoop集群、使用Flume采集数据、利用HBase存储数据、运用MapReduce/Spark处理数据的基础能力，形成数据思维与工程实践素养，为后续专业课程学习与职业发展奠定基础。（二）具体目标目标维度具体要求知识目标1.阐述大数据4V/5V特征、数据要素概念及产业生态；

2.说明Linux操作系统基础命令与国产操作系统发展现状；

3.描述Hadoop架构（HDFS、MapReduce、YARN）及集群部署流程；

4.解释Flume、HBase、Spark、Hive等组件的工作原理与适用场景；

5.概述大数据安全挑战、技术体系及区块链技术应用。能力目标1.能独立完成VMware虚拟机部署与Linux基础环境配置；

2.能规划并部署3节点Hadoop全分布式集群（含Zookeeper）；

3.能配置Flume实现日志数据采集并写入HDFS；

4.能使用HBaseShell完成数据定义与操作；

5.能编写MapReduce程序或SparkRDD程序完成基础数据处理；

6.能使用HiveSQL完成数据查询与分析；

7.能设计简单的大数据应用解决方案。素质目标1.具备数据敏感性，能从生活场景中识别数据价值；

2.具备数据伦理意识，理解数据隐私保护与社会责任；

3.具备团队协作精神，能在项目中承担角色并配合完成目标；

4.具备自主学习能力，能追踪大数据技术前沿动态；

5.具备家国情怀，认同国产大数据平台发展战略。四、课程内容与学时安排（一）课程内容结构本课程采用项目化课程设计，围绕9大项目展开，每个项目包含"目标-描述-分析-准备-实施-总结-考核-评价"完整闭环。序号项目名称学时对应1+X证书能力模块项目1数据素养认知2职业素养与法律法规项目2准备Linux环境2操作系统基础项目3Hadoop集群部署6Hadoop集群规划与部署项目4数据采集组件Flume部署及应用4数据采集与传输项目5数据存储组件HDFS/HBase部署及应用4分布式存储管理项目6数据预处理组件MapReduce部署及应用4批处理计算项目7大数据分析组件Spark/Hive部署及应用4内存计算与数据仓库项目8大数据应用创意方案设计4综合应用与方案设计项目9大数据安全体系2数据安全与治理合计-32-（二）详细教学内容与学时分配项目1：数据素养认知（4学时）模块教学内容学时教学要求理论1.1无处不在的大数据（生活、商业、政务场景）

1.2大数据产生的历史必然（技术驱动、数据爆炸）

1.3大数据概念与4V/5V特征

1.4大数据与小数据的区别与联系

1.5大数据时代带来的变革（思维变革、商业模式创新）

1.6大数据处理目标（Volume、Velocity、Variety、Value）

1.7大数据产业生态与岗位体系（开发、运维、分析、治理）

1.8大数据、物联网、人工智能的关系

1.9数据要素市场化配置与数据伦理1能阐述大数据特征；能区分大数据与小数据；能列举3个以上大数据岗位；理解数据作为生产要素的意义实践任务1.1数据价值认知（案例分析：啤酒与尿布、谷歌流感预测）

任务1.2数据敏感认知（校园场景数据识别）

任务1.3数据分析师基本技能与素养研讨1能分析案例中的数据思维；能识别身边的数据资源；能制定个人大数据学习规划思政融入点：结合国家大数据战略、国产数据库发展历程（如华为GaussDB、阿里OceanBase），培养科技自信与家国情怀。项目2：准备Linux环境（4学时）模块教学内容学时教学要求理论2.1Linux操作系统概述（发展史、发行版、开源精神）

2.2国产操作系统（麒麟、统信UOS、欧拉、龙蜥）1了解Linux内核与发行版关系；知晓国产操作系统发展现状实践任务2.1Linux基本操作（文件系统、目录结构、vi/vim、用户权限）

任务2.2VMware虚拟机部署（创建、克隆、快照、网络配置）1能熟练使用20个以上Linux命令；能独立完成虚拟机安装与网络配置（静态IP、hostname、防火墙）教学条件：机房需安装VMwareWorkstation16+，建议配置CentOS7.9镜像。项目3：Hadoop集群部署（12学时）模块教学内容学时教学要求理论3.1大数据平台架构（Lambda、Kappa架构）

3.2Hadoop概述（发展史、版本演进、核心组件）

3.3Hadoop生态（Hive、HBase、Spark、Flume等）

3.4Hadoop应用场景

3.5集群概念与类型（单机、伪分布、全分布、高可用）

3.6分布式计算原理（分而治之、CAP理论）

3.7Hadoop集群架构（NameNode、DataNode、ResourceManager、NodeManager）

3.8Zookeeper集群（选举机制、监听机制、应用场景）2能绘制Hadoop生态图谱；能解释HDFS读写流程；能理解Zookeeper在HA中的作用实践任务3.1集群规划（3节点：master/slave1/slave2角色分配）

任务3.2网络配置与时钟同步（静态IP、hosts映射、NTP服务）

任务3.3通信免密（SSH密钥生成与分发）

任务3.4JDK部署（安装、环境变量配置）

任务3.5Hadoop安装与部署（解压、配置文件编写、格式化、启动）

任务3.6部署Zookeeper（zoo.cfg配置、myid设置、集群启动）

任务3.7集群处理大数据（运行PI计算或WordCount验证）4能独立完成3节点全分布式集群部署；能排查常见启动故障；能使用WebUI监控集群状态重难点：配置文件参数（core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml）的理解与调优；集群启动顺序与日志排查。项目4：数据采集组件Flume部署及应用（6学时）模块教学内容学时教学要求理论4.1数据分类（结构化、半结构化、非结构化）

4.2数据采集技术（Sqoop、Flume、Kafka、Logstash、Scribe）

4.3Flume架构（Agent、Source、Channel、Sink、Interceptor、ChannelSelector、SinkProcessor）

4.4Flume可靠性机制（事务、复制/多路复用）2能区分不同采集工具适用场景；能绘制FlumeAgent内部数据流图实践任务4.1采集文件数据保存到日志（ExecSource+FileRollSink）

任务4.2采集文件数据保存到HDFS（SpoolingDirSource+HDFSSink）

任务4.3对采集数据添加时间戳拦截器

任务4.4采集端口数据保存到日志（NetCatSource+LoggerSink）2能编写Flume配置文件；能启动Agent并监控采集过程；能验证HDFS中数据写入结果教学条件：需提前启动Hadoop集群，确保HDFS可正常写入。项目5：数据存储组件HDFS/HBase部署及应用（8学时）模块教学内容学时教学要求理论5.1数据管理技术演进（关系型→NoSQL→NewSQL）

5.2HDFS架构（NameNode、DataNode、SecondaryNameNode、Block、副本机制、机架感知）

5.3非关系型数据库（KV型、列式、文档型、图型数据库对比）

5.4HBase架构（RegionServer、Region、Store、MemStore、StoreFile、HLog、Zookeeper协调）

5.5HBase数据模型（Namespace、Table、RowKey、ColumnFamily、ColumnQualifier、Cell、Timestamp）2能解释HDFS副本放置策略；能对比行式存储与列式存储优劣；能设计合理的HBase表结构实践任务5.1HDFS基本操作（Shell命令：ls、mkdir、put、get、rm、cat、tail）

任务5.2HBase部署（解压、配置hbase-site.xml、与Zookeeper/HDFS整合）

任务5.3HBaseShell基本操作（create、list、describe、put、get、scan、delete、drop）

任务5.4HBaseShell应用案例（学生信息表、电商订单表设计）2能熟练使用HDFSShell管理文件；能独立完成HBase部署；能使用Shell完成CRUD操作；能设计合理的RowKey重难点：HBaseRowKey设计原则（散列性、唯一性、长度短、查询模式匹配）；HDFS小文件问题与解决方案。项目6：数据预处理组件MapReduce部署及应用（6学时）模块教学内容学时教学要求理论6.1MapReduce逻辑结构（InputFormat、Mapper、Partitioner、Shuffle、Sort、Reducer、OutputFormat）

6.2数据治理（DAMA-DMBOK框架、数据标准、数据质量、元数据管理）

6.3数据清洗（缺失值处理、异常值检测、重复值删除、格式标准化）

6.4数据变换（归一化、标准化、离散化、特征编码、主成分分析）2能描述MapReduce完整执行流程；能列举5种以上数据清洗方法；能理解数据治理体系框架实践任务6.1统计词频（WordCount：Map阶段分割+Reduce阶段汇总）

任务6.2数据清洗（使用MapReduce或Excel完成日志数据清洗）2能理解WordCount程序逻辑；能使用HadoopStreaming或Python完成简单MapReduce任务；能完成实际数据集清洗教学建议：鉴于学生编程基础差异，可提供Python版MapReduce程序或Excel模拟实现，降低编程门槛。项目7：大数据分析组件Spark/Hive部署及应用（10学时）模块教学内容学时教学要求理论7.1数据分析概述（类型：描述性、诊断性、预测性、规范性；流程：业务理解→数据认知→数据准备→建模→评估→部署）

7.2业务理解方法（5W2H、思维导图、利益相关者分析）

7.3数据认知（数据探索、统计量计算、可视化）

7.4分析指标设计（绝对数、相对数、平均数、变异指标、指数）

7.5数据建模（回归、分类、聚类、关联规则简介）

7.6Spark内存计算引擎（RDD概念、Transformation/Action操作、DAG调度、Lineage容错、Shuffle机制、SparkSQL）

7.7数据仓库Hive（架构、Metastore、HQL语法、分区/分桶、优化策略）2能描述数据分析完整流程；能设计业务分析指标体系；能解释Spark与MapReduce性能差异原因；能区分Hive与传统数据库实践任务7.1Spark部署（Local模式、Standalone模式、配置Spark环境变量）

任务7.2Spark实战（SparkShell使用、RDD编程：wordcount、filter、map、reduceByKey；SparkSQL操作）

任务7.3Hive部署（内嵌模式、本地模式、远程模式Metastore配置）

任务7.4Hive实战（DDL：创建数据库/表/分区；DML：加载数据/查询/多表JOIN；视图与索引）2能独立完成SparkStandalone部署；能编写RDD程序完成基础数据处理；能使用SparkSQL进行数据分析；能部署Hive并编写HQL完成复杂查询重难点：SparkRDD惰性求值与缓存机制；Hive分区与分桶策略选择；HQL执行计划优化。项目8：大数据应用创意方案设计（4学时）模块教学内容学时教学要求理论8.1零售大数据（用户画像、精准营销、供应链优化、推荐系统）

8.2交通大数据（智能调度、拥堵预测、路径规划、自动驾驶）

8.3医疗大数据（辅助诊断、药物研发、疫情监测、医保控费）

8.4农业大数据（精准种植、产量预测、病虫害预警、溯源体系）

8.5环保大数据（污染监测、碳排放管理、生态修复）

8.6教育大数据（个性化学习、学业预警、就业预测）

8.7政府大数据（智慧城市、政务公开、应急指挥）2能分析至少2个行业的大数据应用场景；能识别场景中的数据来源与价值点实践任务8.1智慧生活360°创意方案设计（分组完成：智慧校园/智慧农业/智慧文旅/智慧社区等方案）2能完成包含数据源、技术架构、组件选型、预期效益的完整方案；能进行PPT汇报与答辩成果要求：方案需包含数据流程图（采集→存储→处理→分析→展示）、技术选型说明、可行性分析。项目9：大数据安全体系（4学时）模块教学内容学时教学要求理论9.1大数据应用面临的六大挑战（隐私泄露、数据孤岛、算法偏见、安全漏洞、伦理风险、人才短缺）

9.2大数据带来的机遇（产业升级、治理现代化、科学研究范式变革）

9.3大数据安全（安全体系框架：物理层、网络层、系统层、数据层、应用层、管理层）

9.4大数据安全技术（身份认证、访问控制、数据加密、数据脱敏、安全审计、隐私计算）

9.5区块链技术（分布式账本、哈希链、共识机制、智能合约、在大数据溯源中的应用）1能列举大数据安全威胁；能描述数据脱敏与加密原理；能理解区块链不可篡改特性实践任务9.1建设大数据安全体系方案设计（针对某行业场景设计安全策略）1能识别场景安全风险；能设计包含技术与管理措施的安全方案思政融入点：结合《数据安全法》《个人信息保护法》，强调数据安全法律责任与职业道德。（三）学时分配汇总表项目理论学时实践学时小计占比项目1数据素养认知2026.25%项目2准备Linux环境1126.25%项目3Hadoop集群部署24618.75%项目4数据采集Flume2249.4%项目5数据存储HDFS/HBase22412.5%项目6数据预处理MapReduce22412.5%项目7大数据分析Spark/Hive22412.5%项目8应用创意方案设计22412.5%项目9大数据安全体系1126.25%合计161632100.0%*注：机动学时用于国庆/中秋等假期调休、阶段性复习或1+X考证辅导。*五、教学实施建议（一）教学条件项目具体要求师资要求主讲教师应具备大数据相关领域企业工作经历或1+X证书培训讲师资格；熟悉Hadoop生态组件部署与调优；具备数据治理或数据分析项目经验实训环境1.硬件：机房PC配置Inteli5以上CPU、16GB以上内存、100GB以上硬盘（支持同时运行3台虚拟机）

2.软件：VMwareWorkstation16+、CentOS7.9、Hadoop3.3.x、Zookeeper3.7.x、Flume1.11.x、HBase2.4.x、Spark3.3.x、Hive3.1.x

3.替代方案：章鱼大数据云平台（教材配套，支持浏览器访问，降低硬件要求）教学资源教材配套资源：微课视频、PPT课件、实验指导书、数据集、配置文件模板、1+X考证样卷（二）教学方法与手段1.项目驱动教学法：每个项目按"目标-描述-分析-准备-实施-总结-考核-评价"七环节组织实施，强化"做中学"；2.案例教学法：引入"啤酒与尿布"、谷歌流感预测、Netflix推荐系统等经典案例阐释数据思维；3.可视化教学：使用动画演示HDFS写流程、MapReduceShuffle过程、SparkDAG调度等抽象机制；4.分层教学：基础薄弱学生先用Excel完成数据分析任务，再过渡到HiveSQL；编程能力强学生可尝试Java/Python编写MapReduce/Spark程序；5.线上线下混合：利用教材配套微课视频支持课前预习与课后复习，课堂聚焦实操指导与问题排查；6.企业专家讲座：邀请大数据平台运维工程师或数据分析师开展1-2次行业前沿讲座。（三）教材与参考资料1.主教材：程显毅,孙丽丽.大数据技术导论（项目式）[M].第3版.北京:机械工业出版社,2026.2.参考教材：林子雨.大数据技术原理与应用[M].第3版.北京:人民邮电出版社,2021.3.在线资源：（1）ApacheHadoop官方文档：/docs/（2）头歌实践教学平台：/（3）章鱼大数据云平台（教材配套）六、课程考核与评价（一）考核方式采用过程性评价与终结性评价相结合的方式，注重实践能力考核与1+X证书融通。课程考核信息表考核项目权重考核内容评价标准平时成绩20.0%出勤、课堂表现、课后作业全勤10分，课堂互动5分，作业质量5分项目实训40.0%Linux/Hadoop实验报告（10%）

Flume+HBase综合实验（15%）

Spark/Hive综合实验（15%）按实验完成度、报告规范性、故障排查能力评分项目设计20.0%大数据应用创意方案（项目8）方案完整性（40%）、技术可行性（30%）、汇报表现（30%）期末考核20.0%1+X考证样卷笔试或综合项目答辩按1+X初级标准或答辩评分表评定（二）1+X课证融通实施-融通内容：课程项目3-7直接覆盖"大数据运维师"（初级）80%以上考点；-融通方式：学生完成课程学习后，可直接参加1+X证书考试；-成绩认定：获得1+X证书的学生，期末考核成绩可认定为优秀（或按学校政策置换学分）。（三）评分标准（百分制）等级分数区间能力描述优秀90-100能独立完成Hadoop全分布式集群部署，能排查复杂故障，能设计创新的大数据应用方案，具备考取1+X证书的能力良好80-89能独立完成各组件部署与基础操作，能完成方案设计，具备较好的数据思维中等70-79能在指导下完成集群部署，能使用各组件完成指定任务，理解基本的大数据概念及格60-69能完成部分组件部署，能使用Shell/SQL完成基础操作，了解大数据技术体系不及格<60无法完成基本的环境配置与组件部署，不具备继续学习专业课程的基础七、课程思政实施建议项目思政融入点实施方式项目1国家大数据战略、数字中国建设结合"十四五"数字经济发展规划讲解项目2国产操作系统自主可控、开源精神对比Windows与国产操作系统，介绍欧拉、龙蜥社区项目3华为、阿里等国产大数据平台发展展示国内厂商Hadoop发行版（FusionInsight、MaxCompute）项目4-7工匠精神、工程伦理强调配置文件的严谨性、集群操作的安全性项目8乡村振兴、智慧城市引导学生设计服务社会的大数据应用方案项目9数据安全法、个人信息保护法、职业道德结合法规条文与典型案例（如数据泄露事件）讲解八、其他说明1.课程衔接：本课程为后续《Hadoop应用开发》《Spark大数据处理》等课程奠定环境部署与基础操作能力；2.版本更新：Hadoop生态组件更新较快，建议教师关注Apache官网，适时更新实验环境版本；3.硬件不足应对：若机房硬件无法支持全分布式集群，可采用伪分布式模式或章鱼云平台完成教学；4.编程基础差异：对于无编程基础班级，MapReduce/Spark项目可采用教材提供的Excel或可视化工具替代，确保"零基础可学"；5.本标准制定依据：高等职业教育专科/本科专业教学标准、《大数据运维师职业技能等级标准》（1+X初级）、教材第3版内容结构。制定人：[姓名]审核人：[姓名]制定日期：2026年4月项目11、单选题（1）以下哪个是大数据的特点（）。A.数据体量巨大B.数据类型单一C.价值密度高D.数据变化慢（2）无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合称为（）。A.大数据B.数据库C.数据仓库D.非结构化数据（3）以下不属于非结构化数据的是（）A.数字B.语音C.图像D.文本（4）以下属于结构化数据的数据是（）A.PDFB.OWLC.网页D.数据库（5）数据度量单位从小到大的正确顺序是（）。A.EB、GB、PB、TBB.GB、TB、PB、EBC.EB、TB、PB、GBD.TB、PB、GB、EB（6）（）不是大数据价值的关键词。A.额外收入B.减少支出C.降低风险D.体量大（7）大数据产业链不包括（）。A.综合应用B.基础支撑C.数据服务D.数据可视化（8）感知式系统的广泛使用，导致了大量数据产生，这一阶段的数据产生方式属于（A）式的。A.自动B.被动C.主动D.手动（9）大数据思维不包括()。A.整体思维B.相关思维C.容错思维D.形象思维（10）我们只需要知道是什么，不需要知道为什么,这种思维属于（）。A.整体思维B.相关思维C.容错思维D.形象思维2、填空题（1）（）思维就是根据全部样本中得到的结论。（2）大数据时代出现了与“目标驱动型决策”思维不同的另一种思维模式，即（）驱动型决策。（3）在大数据时代，数据不仅是一种“资源”，而更是一种重要的（）。（4）从企业角度看，价值来自三个方面：增加额外收入、减少支出和（）。3、判断题（1）有价值的数据一定会带来收入。（2）如果一个客户流失预警模型，准确度为75%，说明模型很差。（3）数据思维比科学思维形成得更早。（4）容错思维让我们可以利用95%的非结构化数据，帮助我们进一步接近事实的真相。（5）一个数据产品能否帮助客户带来收入是判断数据价值的金标准。（6）判断数据价值的标准之一，一个数据产品即使没有现在的收入，那也得有未来可预期的收入。（7）收入的增加往往具有很强的不确定性，但是成本的控制相对而言却可以做到非常准确。4、简单题（1）什么是数据要素？答：“数据要素”就是决定数据是否有价值、如何定价、怎样流通的一套规则体系。（2）大数据与小数据的本质区别是什么？小数据是抽样、静态、有目的采集的数据，存在信息不对称；大数据是全样本、动态、自动产生的数据，强调数据间的相关关系而非因果关系，数据成为重要资产。项目21、单选题（1）查看主机IP的Linux命令是（）。A．pwdB．jpsC．ifconfigD．ls（2）解压.tar.gz结尾的HBase压缩包使用的Linux命令是（）。A．tar-zxvfB．tar-zxfvC．tar-zfxvD．tar-xzvf（3）在Linux中，如果要查看当前目录可以使用（）命令。A．pwdB．ifconfigC．viD．jps（4）Linux下使用tar命令解压*.gz文件，一般需要指定参数（）。A．-xzvfB．-zxfvC．-zxvfD．-vzxf（5）用户查看某一文件的权限为660，则该用户对此文件有（）权限。A．可读、可写、可执行B．可读、不可写、不可执行C．不可读、可写、可执行D．可读、可写、不可执行（6）（）不是Windows环境下Linux仿真工具。A．CentOSB．VMwareWorkstationC．SecureCRTD．SecureFX（7）Linux操作系统的关机指令为（）。A．rebootB．shutdownC．quitD．exit（8）在CentOS7中，可以使用（）命令查看隐藏目录或文件。A．ls-aB．ls-lC．ls-bD．ls-C（9）在CentOS7中，如果要查看本机的IP地址，可以使用（）命令。A．ipcatB.ifconfigC．IPD．ping2、填空题（1）编辑文件hosts.txt的Linux命令为（）。（2）在Linux下用vi编辑文件后保存退出的命令为（）。（3）将文件hosts.txt改名为hosts.xml的Linux命令为（）。（4）查看文件hosts.txt的Linux命令为（）。（5）查看当前目录的Linux命令为（）。（6）查看进程的Linux命令为（）。（7）复制文件hosts.txt到/usr的Linux命令为（）。（8）显示当前目录下信息的Linux命令为（）。（9）建立test目录的Linux命令为（）。（10）返回根目录的Linux命令为（）。3、判断题1.CentOS是RHEL的社区免费克隆版。√原文：“CentOS（RHEL的社区复制版本，免费版本）”。2.FedoraCore的稳定性优于RHEL，因此更适合做服务器系统。×原文明确说“FedoraCore的稳定性较差，最好只用于桌面应用”，而RHEL/CentOS“稳定性非常好，适合服务器”。3.国产COSIX系统基于Linux内核开发。×原文说COSIX是“基于Unix的中文开放式操作系统”，并未采用Linux内核。4.微软黑屏事件是指盗版Windows用户桌面每小时被换成纯黑背景。√原文描述“每一小时就会出现一次纯黑背景”，俗称“黑屏事件”。5.银河麒麟在2006年发布的首个版本即采用Linux作为内核。×原文指出2006年银河麒麟“整合了mach、FreeBSD、Linux、Windows四种系统优势”，直到2009年的3.0版才“开始使用Linux作为内核”。6.统信UOS与Deepin的关系是：UOS面向商业，Deepin面向社区，二者同源。√原文：“武汉深之度继续发行Deepin社区版本，面向社区用户，而统信UOS则面向商业用户，相当于Deepin的商业版”。4、简答题1.简述RedHat系列与Debian系列在包管理上的核心差异。答：RedHat用RPM包与YUM/DNF二进制安装；Debian用DEB包与APT，可在线获取源码或二进制，依赖解析更精细，APT被YUM借鉴。2.CCDOS在国产系统史上的两大贡献是什么？答：首次让PC显示汉字并兼容MS-DOS；公开源码，为后续UCDOS等中文系统提供模板，推动个人电脑在国内普及。3.统信UOS如何解决应用生态不足？答：自建商店上架800+原生应用，Wine兼容层运行Windows软件，同时适配六大CPU架构，联合厂商做迁移适配，缩短生态差距。项目31、单选题（1）（）不是VMware的网络连接模式。A．桥接模式B．NAT模式C．仅主机模式D．本机模式（2）虚拟机和真实物理机在同一网段，属于（）模式。A．桥接模式B．NAT模式C．仅主机模式D．对等模式（3）（）不是网络连接模式。A．桥接模式B．NAT模式C．仅主机模式D．对等模式（4）使用虚拟交换机的属于（）网络连接模式。A．桥接模式B．NAT模式C．仅主机模式D．对等模式（5）桥接模式的网络配置在（）位置。A．VMNet1B．VMNet2C．VMNet4D．VMNet8（6）命令systemctldisablechronyd的作用是禁止启用（）。A．同步时钟B．防火墙C．网络D．路由（7）命令chkconfigntpdon的作用是启用（）。A．同步时钟B．防火墙C．网络D．路由（8）命令servicenetworkrestart的作用是启用（）。A．同步时钟B．防火墙C．网络D．路由（9）NTP服务是（）。A．上网模式B．防火墙C．时钟同步D．免密（10）页面丢失状态码是（）。A．301B．403C．404D．500（11）服务器错误状态码是（）。A．301B．403C．404D．500（12）配置同步ntp-server时间的文件是（）A．ntpB．ifcfg-eth0C．ntp-serverD．ntp.conf（13）配置网络的文件是（）。A．networkB．ifcfg-eth0C．hostsD．ntp.conf（14）密钥存放位置（）。A．/usrB．/root/.ssC．/rootD．/etc（15）生成的密钥有（）种。A．1B．2C．3D．4（16）通过SSH访问客户端，默认端口为（）。A．10B．11C．20D．22（17）配置Hadoop时，JAVA_HOME包含在（）配置文件中。A．mapred-site.xmlB．hadoop-env.shC．core-site.xmlD．hdfs-site.xml（18）一般情况下，启动Hadoop组件的脚本存放在组件安装路径的（）下。A．confB．binC．sbinD．sys（19）Hadoop是用（）语言开发的。A.pythonB.javaC.CD.C#（20）分布式调度器组件名称是（）。A.YARNB.ZookeeperC.HBaseD.Hive（21）数据仓库组件是（）。A.YARNB.ZookeeperC.HBaseD.Hive（22）分布式的海量日志采集组件名称是（）。A.YARNB.ZookeeperC.HBaseD.Flume（23）非关系型的列式数据库组件名称是（）。A.YARNB.ZookeeperC.HBaseD.Hive（24）以下关于HDFS特性叙述中错误的是（）。A.兼容廉价的硬件设备B.关注横向扩展。C.适应大文件访问D.适应动态数据访问。（25）以下关于HDFS特性叙述中错误的是（）。A.兼容廉价的硬件设备B.关注纵向扩展。C.适应大文件访问D.适应静态数据访问。2、填空题（1）CentOS7中，在root用户下查看firewalld防火墙状态，使用的命令是systemctl（）。（2）时钟同步组件相关组件（）。（3）网络配置文件所在的目录是/etc/sysconfig/（）。（4）在CentOS7中，root用户下查看firewalld防火墙状态，使用的命令是systemctl（）firewalld。（5）HTTPS是由SSL+（）构建的可进行加密传输、身份认证的网络协议，比HTTP安全。（6）免密测试命令关键词（）。（7）在配置SSH密钥时，在.ssh目录下（）文件为公钥，id_dsa文件为私钥。（1）搭建完Hadoop集群后，在（）节点上进行格式化集群。提示：格式化集群：haddopnamenode-format（在主节点上进行）。（2）启动Hadoop集群时，在Hadoop的安装目录下使用sbin/（）启动所有集群。（3）启动Hadoop集群的命令在Hadoop的安装目录下的（）目录下。（4）搭建完Hadoop集群后，在主节点上使用命令haddopnamenode-（）进行格式化集群。3、判断题（1）桥接模式上网需要地址转换器NAT。（）（2）生产环境上网使用NAT模式。（）（3）HTTPS需要到CA申请证书，一般免费证书很少，需要交费。（）（4）生成私钥需要发给自己。（）（5）生成公钥需要发给其他节点。（）（6）SSH可在不安全的网络中为网络服务提供安全的传输环境。（）4、简答题（1）Google“三驾马车”对应Hadoop生态的哪三大核心组件？答：GFS→HDFS负责分布式存储；MapReduce→HadoopMapReduce负责分布式计算；BigTable→HBase提供列式非关系数据库，三者构成Hadoop最初雏形。（2）Hadoop设计目标里为何强调“横向扩展”而非“纵向扩展”？答：横向扩展通过增加廉价商用节点即可线性提升存储与计算能力，成本低且避免单点瓶颈；纵向扩展需高价小型机，容量与性能上限固定，不符合海量GB-TB级数据低成本处理需求。（3）集群与分布式计算在同一套Hadoop平台如何互补？答：分布式把采集/存储/计算模块解耦到不同节点，提升开发效率；集群让多节点承担同一模块，实现负载均衡与容错。二者叠加既解耦又冗余，兼顾高吞吐与高可用。（4）批处理与流式计算在数据特征上有何根本差异？答：批处理面向“有界、持久、大量”静态数据集，一次装入后离线计算；流式计算面对“无界、实时”数据，每到来一条记录即刻处理并持续输出结果，强调低延迟。（5）Zookeeper的Observer角色相比Follower有何特殊之处？答：Observer同样接收客户端读请求并转发写请求给Leader，但不参与投票，不决定事务提交与Leader选举，仅用于水平扩展读性能，避免增加投票节点影响写吞吐量。项目41、单选题（1）下列关于Flume可靠性的描述，错误的是（）。A．当节点出现故障时，日志能够被传送到其他节点上而不丢失B．收到数据的Agent，首先将Even写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以重新发送C．当数据接收方崩溃时，将数据写到本地，待恢复后，继续发送D．数据发送到接收方后，还要进行确认，如果没接收成功还会再次发送（2）下列关于Flume组件中Channel的描述，错误的是（）。A．Channel是连接Suorce和Sink的组件，是位于Suorce和Sink之间的数据缓冲区B．Channel数据的写入是靠Source来完成的，数据的读取是靠Sink来完成的C．Channel是非线程安全的，同一时刻只能处理一个Source的写入操作和Sink的读取操作D．当Source接收到一个Event时，Source会把这个Event存储在一个或多个Channel中（3）Hadoop生态中的Flume属于（）组件。A．分布式存储B．数据仓库C．内存计算D．数据采集（4）高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统模块名称是（）。A．YARNB．ZookeeperC．HBaseD．Flume130大数据运维图解教程（5）监控指定目录内数据变化的Source类型是（）。A．AvroB．ThiftC．SpoolingDerictoryD．exec（6）采集UNIX的command在标准输出设备上的数据，使用的Source类型是（）。A．AvroB．ThiftC．SpoolingDerictoryD．exec（7）数据采集工具不包括（）。A.FlumeB.KafkaC.HBaseD.Sqoop2、填空题（1）Sink负责持久化日志或者把事件推向另一个（）。（2）Flume可靠性保障最弱方案是（）。3、判断题（1）一个Agent就是一个JVM。（）（2）为了保证输送一定成功，在送到目的地之前，会先缓存数据到Channel，待数据真正到达目的地后，删除自己缓存的数据。（）（3）拦截器的位置在Channel和Sink之间。4、简答题（1）如何区分维度与度量？答：可参与求和、平均等聚合的数值型字段为度量（如订单金额）；仅用于分组或筛选的字段为维度（如地区、年龄）。同一字段可按分析需求角色互换。（2）为何说“裸数据→专家数据”是采集环节最耗时步骤？答：裸数据常含缺失、异常、多源异构；需结合业务理解做清洗、补全、归一，才能得到高质量专家数据，整个过程依赖人工规则与反复验证。（3）Sqoop底层用MapReduce而非普通JDBC批量导数据的好处？答：MR天然并行切片，容错高；可把大表按主键范围拆到多节点并发导入/导出，充分利用集群带宽，避免单机瓶颈，且失败可自动重试。（4）Kafka相比Flume在日志场景的核心优势？答：Kafka以分布式日志结构持久化多副本，支持海量Topic并行写入与回溯消费；能解耦生产速率与消费速率，实现实时流式处理，而Flume侧重单次采集转发。项目51、单选题（1）HBase来源于哪篇博文（）？ATheGoogleFileSystemBMapReduceCBigTableDChubby（2）下面（）不是HBase的特性？A

高可靠性B

高性能C

面向列D预先定义模式（3）以下有关NoSQL叙述中，错误的是()。A.不需要事先定义数据模式，预定义表结构。B.数据中的每条记录都可能有不同的属性和格式。C.当插入数据时，并不需要预先定义它们的模式。D.所有数据存储到网络中服务器上。（4）以下（）是键值对数据库产品。A.RedisB.Neo4jC.HBaseD.MongoDb（5）以下（）是列式数据库产品。A.RedisB.Neo4jC.HBaseD.MongoDb（6）以下（）是图数据库产品。A.RedisB.Neo4jC.HBaseD.MongoDb（7）以下（）是文档数据库产品。A.RedisB.Neo4jC.HBaseD.MongoDb（8）为了在HBase中确定一个单元格，需要（）参数。A.1B.2C.3D.4（9）下列不属于HBase基本元素的一项是（）。 A.表  B.记录  C.行键  D.单元格（10）HDFS的是基于流数据模式访问和处理超大文件的需求而开发的，具有高容错、高可靠性、高可扩展性、高吞吐率等特征，适合的读写任务是（）。A.一次写入，少次读写B.多次写入，少次读写C.一次写入，多次读写D.多次写入，多次读写（11）不参与投票的节点是（）。A.ObserverB.LeaderC.FollowerD.Looking（12）HDFS由NameNode、DataNode、secondaryNameNode组成，其中，DataNode的个数为（）。A.1B.2C.3D.不限（13）HDFS由NameNode、DataNode、secondaryNameNode组成，其中，NameNode的个数为（）。A.1B.2C.3D.不限（14）HDFS由NameNode、DataNode、secondaryNameNode组成，其中secondaryNameNode是NameNode的（）。A.同步备份B.备份C.热备份D.冷备份（15）以下关于HDFS设计理念叙述中错误的是（）。A.兼容廉价的硬件设备B.关注横向扩展。C.适应大文件访问D.适应动态数据访问。（16）以下关于HDFS设计理念叙述中错误的是（）。A.兼容廉价的硬件设备B.关注纵向扩展。C.适应大文件访问D.适应静态数据访问。（17）以下关于NameNode节点叙述中错误的是（）。A.存储元数据：文件、块与DataNode之间的映射；B.元数据保存在HDFS；C.NameNode由FsImage、EditLog两个文件组成。FsImage保存文件、块的目录结构、EditLog保存对文件、块的操作，如:创建、删除等；D.在NameNode统一调度下进行数据块的创建、删除和复制等操作。（18）在HDFS中，元数据保存在（）；A.NameNodeB.DataNodeC.从节点D.slave（19）以下关于HDFS存放数据策略的叙述中错误的是（）。A.第一个副本放置在一台磁盘不太满、CPU不太忙的节点上。B.第二个副本放置在与第一个副本不同的机架的节点上。C.第三个副本与第一个副本相同机架的其他节点上。D.更多副本随机节点。2、填空题（3）Hadoop的核心模块HDFS的中文含义是（）。（4）在HDFS中，文件、块与DataNode之间的映射称为（）。（5）NameNode由FsImage和（）两个文件组成。（6）SecondaryNameNode称为从元数据节点，是名称节点的（）。（7）HDFS存放数据的基本单位是（）。（8）一个数据块通常要备份（）份。（9）DataNode定时向（）发送状态信息（心跳，Heartbeats）。（10）NoSQL中的复制，往往是基于（）的异步复制。（11）（）谷歌BigTable的开源实现。（12）HBase中“四维坐标”，指[行键,列族,列限定符,（）]。（13）HBase包含（）个Master主服务器。（14）HBase包含（）个Region服务器。（15）HBase存储的最小单位是()。3、判断题（1）Hadoop安装完成后，需要在所有结点格式化集群命令:haddopnamenode–format。（3）HDFS支持数据的随机读写。（4）写文件时，数据经过NameNode传递给DataNode。（5）HDFS的NameNode保存了一个文件包括哪些数据块，分布在哪些数据节点上，这些信息也存储在硬盘上。

（6）HDFS操作的路径可以是绝对路径，也可以是相对路径。（7）大数据时代下，数据管理需要NoSQL技术。（）（8）管理的粒度比操作系统要细，基本操作是对文件名的增、删、改、查。（）（9）传统关系型数据库是基于行式存储的。（）（10）成功的NoSQL必然会取代传统的SQL。（）4、简答题（1）HDFS把块大小设为128MB的主要动机是什么？答：远大于传统文件系统，最小化寻址开销，使传输时间远大于定位时间，提高顺序读写吞吐量，适合大文件顺序批处理。（2）SecondaryNameNode的“冷备份”能否直接顶替故障NameNode？答：不能。它仅定期合并fsimage与edits减小日志体积，不接收实时写；需人工把合并后的fsimage拷回NameNode才能恢复，无法秒级切换。（3）HBase的四维坐标指哪四个元素？答：[行键，列族，列限定符，时间戳]，唯一定义一个单元格，支持多版本存储与快速列式检索。（4）NoSQL的“无共享架构”相比传统集中式数据库有何优势？答：数据分散在本地节点，无需共享存储，避免单点瓶颈；可在线弹性扩容缩容，故障影响范围小，并行度高，适应海量高并发场景。（5）列式存储为何比行式更适合OLAP分析？答：同一列数据连续存放，压缩比高；仅读取查询涉及列，减少I/O；便于向量化计算与聚合，提高批量分析性能，而行存需整行读取开销大。项目61、单选题（1）下面关于MapReduce的描述，正确的是（）。A．MapReduce程序必须包含Mapper和ReducerB．MapReduce程序的MapTask可以任意指定C．MapReduce程序的ReduceTask可以任意指定D．MapReduce程序的默认数据读取组件是TextInputFormat（2）在MapReduce中，（）组件是用户不指定也不会有默认的。A．CombinerB．TextOutputFormatC．PartitionerD．InputFormat（3）下列关于MapReduce工作流程的描述，正确的是（）。A．所有的数据交换都是通过MapReduce框架自身去实现的B．不同的Map任务之间会进行通信C．不同的Reduce任务之间可以发生信息交换D．用户可以显式地从一台机器向另一台机器发送消息（4）（）不是MapReduce体系结构的主要部分。A．ClientB．JobTrackerC．TaskTracker以及TaskD．Job（5）下列关于MapReduce体系结构的描述，错误的是（）。A．用户可通过Client提供的一些接口查看作业运行状态B．用户编写的MapReduce程序通过Client提交到JobTracker端C．JobTracker负责资源监控和作业调度D．JobTracker会跟踪任务的执行进度、资源使用量等信息，并将这些信息告诉任务调度器（TaskScheduler）（6）下列关于MapReduce体系结构的描述，错误的是（）。A．Task分为MapTask和ReduceTask两种，分别由JobTracker和TaskTracker启动B．slot分为Mapslot和Reduceslot两种，分别供MapTask和ReduceTask使用C．TaskTracker使用slot等量划分本节点上的资源量（CPU、内存等）D．TaskTracker会周期性接收JobTracker发送过来的命令并执行相应的操作（如启动新任务、杀死任务等）（7）下列说法有误的是（）。A．MapReduce是Google三驾马车之一B．MapReduce具有非共享式、容错性好特点C．MapReduce适用批处理、实时处理D．MapReduce采用“分而治之”策略（8）一个作业的Map个数是由（）确定的。A．属性mapred.map.tasks的设定B．JobTracker计算得出C．Inputsplit分片个数D．partition提示：一般情况下，在输入源是文件的时候，一个task的Map数量由splitSize来决定一个task的Reduce数量由partition来决定。（9）在MapReduce体系结构中，JobTracker的主要任务是（）。A．负责资源监控和作业调度，监控所有TaskTracker与Job的健康状况B．使用slot等量划分本节点上的资源量（CPU、内存等）C．会周期性地通过“心跳”将本节点上资源的使用情况和任务的运行进度汇报给TaskTrackerD．会跟踪任务的执行进度、资源使用量等信息，并将这些信息告诉TaskScheduler（10）MapReduce全过程会产生（）组键-值对。A．1B．2C．3D．4（11）MapReduce的Map函数产生很多的（）。A．keyB．valueC．<key,value>D．Hash（12）在MapReduce计算架构中，（）组件运行在NameNode节点上，提供集群资源的分配和工作调度管理。A．ClientB．JobTrackerC．TaskTrackerD．Task（13）在MapReduce计算架构中，（）组件运行在DataNode上，具体管理本节点计算任务的执行。A．ClientB．JobTrackerC．TaskTrackerD．Task（14）下列关于JobTracker叙述不正确的一项为（）。A．MapReduce框架的使用者B．协调MapReduce作业C．分配任务D．监控任务（15）下列关于Map/Reduce计算流程叙述不正确的一项为（）。A．Mapper读取分派给它的输出split，并生成相应的本地缓存B．Mapper执行计算处理任务，将中间结果输出保存到本地缓存C．ApplicationMaster调度Reducer读取Mapper