大数据分析技术期末考试真题及答案

大数据分析技术期末考试真题及答案一、单项选择题（共15小题，每小题2分，共30分。每小题只有一个符合题意的正确答案，错选、不选均不得分）1.下列关于大数据“4V”特征的描述，错误的是（）A.Volume指数据规模巨大，处理量级从TB级别跃升至PB、EB级别B.Velocity指数据产生速度快，要求处理响应速度与之匹配C.Variety指数据类型多样，包含结构化、半结构化、非结构化数据D.Value指数据价值密度高，数据量越大单位数据的价值越高2.Hadoop生态系统中，负责分布式资源调度与管理的核心组件是（）A.HDFSB.YARNC.MapReduceD.HBase3.MapReduce计算模型的核心执行阶段分为（）A.数据读取阶段和数据写入阶段B.Map阶段和Reduce阶段C.Shuffle阶段和Sort阶段D.拆分阶段和合并阶段4.HBase属于以下哪种类型的NoSQL数据库（）A.键值存储数据库B.文档存储数据库C.列族存储数据库D.图存储数据库5.Spark生态的核心底层数据抽象是（）A.RDD（弹性分布式数据集）B.DataFrameC.DataSetD.DStream6.下列数据预处理操作中，不属于数据清洗范畴的是（）A.填充缺失值B.删除重复数据C.处理异常值D.数据标准化7.Apriori算法主要用于挖掘以下哪种类型的知识（）A.分类规则B.关联规则C.聚类模式D.时序预测8.下列机器学习算法中，属于无监督学习的是（）A.决策树B.逻辑回归C.K-MeansD.支持向量机9.数据仓库的基本特征不包括（）A.面向主题B.集成性C.实时事务性D.时变性10.下列关于OLTP与OLAP的描述，正确的是（）A.OLTP面向业务操作人员，OLAP面向分析决策人员B.OLTP处理历史聚合数据，OLAP处理实时事务数据C.OLTP的数据规模远大于OLAPD.OLTP采用星型/雪花模型，OLAP采用实体关系模型11.下列大数据可视化工具中，属于开源交互式可视化库的是（）A.TableauB.EChartsC.PowerBID.FineBI12.下列不属于数据质量核心评价维度的是（）A.准确性B.完整性C.一致性D.可读性13.Python生态中，专门用于结构化表格数据处理与分析的核心库是（）A.NumPyB.PandasC.MatplotlibD.Scikit-learn14.大数据分析全流程中，处于核心地位的环节是（）A.数据采集B.数据预处理C.数据建模分析D.结果可视化15.下列应用场景中，不属于大数据分析典型应用的是（）A.电商平台个性化商品推荐B.金融机构风控反欺诈识别C.城市智慧交通流量预测D.企业人事档案电子化归档二、多项选择题（共10小题，每小题2分，共20分。每小题有两个及以上符合题意的正确答案，多选、少选、错选、不选均不得分）1.大数据采集的主要技术方式包括（）A.网络爬虫采集B.物联网传感器采集C.用户行为埋点采集D.系统日志采集2.下列属于Hadoop生态系统组件的有（）A.Hive数据仓库工具B.HBase分布式数据库C.Flume日志采集工具D.Kafka消息队列3.MapReduce计算框架的优势包括（）A.编程模型简单，易于上手B.支持水平扩展，可处理PB级数据C.高容错性，节点故障可自动恢复D.适合毫秒级实时计算场景4.数据预处理的核心任务包括（）A.数据清洗B.数据集成C.数据变换D.数据归约5.下列算法中，属于监督学习分类算法的有（）A.K近邻（KNN）B.随机森林C.DBSCAND.朴素贝叶斯6.数据仓库常见的维度模型包括（）A.星型模型B.雪花模型C.网状模型D.星座模型7.下列关于Spark与MapReduce的对比，描述正确的有（）A.Spark基于内存计算，处理速度远高于MapReduceB.Spark的编程模型更灵活，支持多种计算场景C.Spark不支持交互式查询，MapReduce支持D.Spark提供了SQL、流处理、机器学习等一体化组件8.大数据可视化的核心作用包括（）A.直观呈现数据分布与规律B.辅助业务决策制定C.快速识别数据异常点D.完全替代数据分析建模9.下列属于NoSQL数据库适用场景的有（）A.数据模型灵活，需求频繁变动B.需要支撑高并发读写请求C.要求严格的事务一致性D.海量数据的分布式存储与查询10.大数据分析在以下哪些领域有典型应用（）A.精准营销B.医疗健康C.智慧交通D.工业互联网三、判断题（共10小题，每小题1分，共10分。正确的填“√”，错误的填“×”）1.大数据的价值密度与数据规模呈正相关，数据量越大，单位数据的价值越高。（）2.HDFS采用主从架构，NameNode负责存储实际数据块，DataNode负责管理元数据。（）3.MapReduce的Shuffle阶段发生在Map阶段之后、Reduce阶段之前，主要负责数据的分区、排序、合并等操作。（）4.K-Means聚类算法中，K值代表聚类的簇数，其取值对最终聚类结果没有影响。（）5.数据仓库主要面向业务事务处理，支持高频的增删改查操作。（）6.RDD（弹性分布式数据集）具有可分区、可计算、可容错的核心特性。（）7.数据预处理仅需要处理缺失值和异常值，无需考虑数据的量纲差异问题。（）8.Apriori算法的先验原理指出：如果一个项集是频繁的，则它的所有子集都是频繁的。（）9.Tableau是一款开源免费的大数据可视化工具，支持多种数据源接入。（）10.监督学习需要带标签的训练数据，无监督学习不需要预先标注的训练数据。（）四、简答题（共4小题，每小题5分，共20分）1.请简述大数据分析的基本流程。2.请简述HDFS的架构组成及各核心组件的功能。3.请简述分类与聚类的核心区别。4.请简述数据仓库与传统OLTP关系型数据库的主要区别。五、实操分析题（共2小题，每小题10分，共20分）1.某电商平台积累了近3年的用户交易数据，包含用户ID、交易时间、交易金额、商品类别、订单状态等字段。运营部门希望通过大数据分析识别高价值用户群体，制定差异化的精准运营策略，提升用户留存率和平台营收。请结合所学知识回答以下问题：（1）请选择合适的用户价值分析模型，并说明模型的核心维度含义。（4分）（2）请简述该分析项目的完整实施步骤。（4分）（3）请列举3种针对不同层级用户的落地运营策略。（2分）2.某连锁超市拥有10万条用户购物篮交易记录，每条记录包含用户单次购买的所有商品集合。运营方希望通过关联规则挖掘商品之间的潜在关联，优化商品陈列和促销策略。已知通过Apriori算法挖掘得到以下结果：{牛奶,面包}的支持度为8%，{牛奶,面包,鸡蛋}的支持度为5%，规则“牛奶→面包”的置信度为60%，规则“牛奶,面包→鸡蛋”的置信度为62.5%，且牛奶的整体支持度为10%，面包的整体支持度为12%。请回答以下问题：（1）请解释关联规则中支持度、置信度、提升度三个核心评价指标的含义。（3分）（2）请计算规则“牛奶→面包”的提升度，并判断该规则是否具有实际指导意义。（4分）（3）请列举3种该超市可基于关联规则优化运营的具体应用场景。（3分）参考答案一、单项选择题1.D解析：大数据的Value特征指价值密度低，数据量越大，无效数据占比越高，单位数据的价值越低，因此D选项描述错误。2.B解析：YARN是Hadoop2.0引入的分布式资源调度框架，负责集群资源的统一管理和调度；HDFS负责分布式存储，MapReduce负责分布式计算，HBase是分布式数据库。3.B解析：MapReduce的核心执行阶段分为Map阶段（负责数据的初步处理与中间结果输出）和Reduce阶段（负责中间结果的聚合与最终结果输出），Shuffle和Sort是连接两个阶段的中间过程。4.C解析：HBase是基于HDFS的分布式列族存储数据库，适合存储海量半结构化、结构化数据，支持高并发随机读写。5.A解析：RDD是Spark的核心底层抽象，是一种可分区、可计算、可容错的分布式数据集，DataFrame、DataSet、DStream都是基于RDD封装的高层API。6.D解析：数据标准化属于数据变换的范畴，主要用于统一数据量纲；数据清洗主要处理缺失值、重复值、异常值等数据质量问题。7.B解析：Apriori是经典的关联规则挖掘算法，用于从事务数据中挖掘频繁项集与关联规则。8.C解析：K-Means是无监督聚类算法，不需要带标签的训练数据；决策树、逻辑回归、支持向量机均属于监督学习分类算法。9.C解析：数据仓库的特征包括面向主题、集成性、相对稳定性、时变性，主要面向分析场景，不支持实时事务性的增删改操作。10.A解析：OLTP（联机事务处理）面向业务操作人员，处理实时事务数据，采用实体关系模型，数据规模相对较小；OLAP（联机分析处理）面向分析决策人员，处理历史聚合数据，采用星型/雪花模型，数据规模大。11.B解析：ECharts是百度开源的前端交互式可视化库；Tableau、PowerBI、FineBI均为商业付费可视化工具。12.D解析：数据质量的核心评价维度包括准确性、完整性、一致性、及时性、唯一性等，可读性不属于数据质量的核心维度。13.B解析：Pandas是Python中专门用于结构化表格数据处理的核心库，提供DataFrame等数据结构，支持数据清洗、变换、统计等操作；NumPy用于数值计算，Matplotlib用于可视化，Scikit-learn用于机器学习。14.C解析：数据建模分析是大数据分析的核心环节，通过构建算法模型挖掘数据价值，输出分析结论；其他环节均为支撑性环节。15.D解析：企业人事档案电子化归档属于传统的事务性信息管理，不涉及海量数据的分析挖掘，不属于大数据分析的典型应用。二、多项选择题1.ABCD解析：大数据采集的主要方式包括网络爬虫采集（Web数据）、物联网传感器采集（物理世界数据）、用户行为埋点采集（App/网站用户行为数据）、系统日志采集（业务系统运行数据）等。2.ABCD解析：Hive、HBase、Flume、Kafka均属于Hadoop生态系统的常用组件，分别负责数据仓库、分布式数据库、日志采集、消息传输功能。3.ABC解析：MapReduce的优势包括编程简单、扩展性强、容错性高，适合批处理海量离线数据；但其基于磁盘计算，延迟高，不适合实时计算场景。4.ABCD解析：数据预处理的四大核心任务为数据清洗、数据集成、数据变换、数据归约，共同作用是提升数据质量，为后续建模提供可用数据。5.ABD解析：K近邻、随机森林、朴素贝叶斯均属于监督学习分类算法；DBSCAN是基于密度的无监督聚类算法。6.ABD解析：数据仓库的维度模型常见类型为星型模型、雪花模型、星座模型；网状模型是传统数据库的逻辑模型，不属于数据仓库模型。7.ABD解析：Spark基于内存计算，速度更快，编程模型更灵活，提供了SparkSQL、SparkStreaming、MLlib等一体化组件，支持交互式查询；MapReduce不支持交互式查询，因此C选项错误。8.ABC解析：数据可视化的作用包括直观展示数据规律、辅助决策、发现异常等，但其是分析结果的呈现方式，无法完全替代数据分析建模过程。9.ABD解析：NoSQL数据库适合数据模型灵活、高并发读写、海量数据存储的场景，大多不支持严格的事务一致性，采用最终一致性模型；严格事务一致性是关系型数据库的适用场景。10.ABCD解析：大数据分析已广泛应用于精准营销、医疗健康、智慧交通、工业互联网、金融风控等多个领域。三、判断题1.×解析：大数据的价值密度与数据规模呈负相关，数据量越大，无效信息占比越高，单位数据的价值密度越低。2.×解析：HDFS主从架构中，NameNode负责管理文件系统元数据，DataNode负责存储实际的数据块，两者功能表述颠倒。3.√解析：Shuffle阶段是MapReduce的中间环节，负责将Map输出的中间结果按key分区、排序、合并后传输给Reduce节点。4.×解析：K值是K-Means算法的核心参数，代表预期聚类的簇数，其取值直接影响最终的聚类结果。5.×解析：数据仓库主要面向分析决策场景，以批量查询为主，很少进行单条数据的增删改操作；面向事务处理、支持高频增删改查的是OLTP关系型数据库。6.√解析：RDD（弹性分布式数据集）的核心特性包括可分区、可计算、可容错，是Spark的底层核心抽象。7.×解析：数据预处理不仅包括缺失值、异常值处理，还包括数据变换环节，其中标准化、归一化等操作就是为了消除数据量纲差异。8.√解析：Apriori算法的先验原理是核心基础，即频繁项集的所有子集都是频繁的，反之，非频繁项集的所有超集都是非频繁的，可用于剪枝减少计算量。9.×解析：Tableau是商业付费可视化工具，并非开源免费。10.√解析：监督学习与无监督学习的核心区别在于是否需要带标签的训练数据，监督学习需要，无监督学习不需要。四、简答题1.大数据分析的基本流程可分为5个核心阶段：（1）需求分析与目标定义：明确业务场景的核心诉求，确定分析要解决的问题、预期产出，制定分析方案与评估标准。（1分）（2）数据采集：根据分析目标，通过埋点、爬虫、传感器、业务系统导出等方式，采集多源异构的原始数据，确保数据的相关性与覆盖度。（1分）（3）数据预处理：对原始数据进行清洗（处理缺失、重复、异常数据）、集成（合并多源数据并统一格式）、变换（标准化、编码、离散化等）、归约（降维、采样等），提升数据质量与可用性。（1分）（4）数据建模分析：根据问题类型选择合适的分析方法（描述性、诊断性、预测性、处方性分析）与算法（分类、聚类、关联规则、时序预测等），构建模型并通过调参、验证优化模型效果。（1分）（5）结果可视化与落地应用：将分析结果通过可视化图表、分析报告等形式直观呈现，输出可落地的决策建议，并结合业务反馈持续迭代优化分析模型。（1分）2.HDFS采用主从（Master/Slave）架构，核心组件包括NameNode、DataNode、SecondaryNameNode，各组件功能如下：（1）NameNode（主节点）：是HDFS的核心管理者，负责维护文件系统的元数据（包括目录树结构、文件与数据块的映射关系、数据块的存储位置等），处理客户端的文件操作请求（如创建、删除、读取文件），分配数据存储的节点位置。（2分）（2）DataNode（从节点）：负责实际存储数据块，按照NameNode的指令执行数据块的写入、读取、复制、删除等操作，定期向NameNode上报自身的存储状态与数据块健康信息。（2分）（3）SecondaryNameNode（辅助节点）：作为NameNode的辅助组件，定期合并NameNode的fsimage镜像文件与edits操作日志，更新元数据快照，辅助NameNode进行元数据备份与故障恢复，但其不具备NameNode的核心管理功能，无法直接替代NameNode工作。（1分）3.分类与聚类是两类核心的数据分析方法，核心区别主要体现在以下5个方面：（1）学习类型不同：分类属于监督学习，聚类属于无监督学习。（1分）（2）数据要求不同：分类算法需要使用带有明确标签的训练数据进行模型学习；聚类算法不需要预先标注的数据，仅基于数据的特征相似度进行分组。（1分）（3）分析目标不同：分类的目标是学习得到分类边界，将未知数据映射到预先定义的类别中；聚类的目标是挖掘数据的内在结构，将相似度高的数据划分为同一簇，发现数据的自然分布规律。（1分）（4）评价指标不同：分类的评价指标主要包括准确率、精确率、召回率、F1值、AUC等；聚类的评价指标分为内部指标（如轮廓系数、DB指数）和外部指标（如兰德指数、互信息）。（1分）（5）应用场景不同：分类适用于类别明确的场景，如垃圾邮件识别、信用评分、疾病诊断等；聚类适用于探索性分析、类别未知的场景，如用户分群、异常检测、文本主题挖掘等。（1分）4.数据仓库与传统OLTP关系型数据库的核心区别主要体现在以下5个方面：（1）定位与面向对象不同：OLTP数据库面向业务操作人员，用于支撑日常事务处理；数据仓库面向分析决策人员，用于支撑数据分析与决策制定。（1分）（2）数据内容不同：OLTP数据库存储当前的、实时的业务交易明细数据；数据仓库存储历史的、集成的、多时间段的聚合分析数据。（1分）（3）操作特性不同：OLTP数据库以高频的增删改查事务操作为主，要求严格的ACID特性；数据仓库以批量查询分析为主，写入操作多为定期批量加载，极少进行单条数据的更新删除。（1分）（4）数据模型不同：OLTP数据库采用实体关系（E-R）模型，遵循三范式，减少数据冗余；数据仓库多采用星型、雪花型、星座型等维度模型，适当冗余以提升查询分析效率。（1分）（5）数据规模不同：OLTP数据库的数据规模通常为GB到TB级别；数据仓库的数据规模通常为TB到PB级别，支持海量数据的复杂关联查询。（1分）五、实操分析题1.参考答案：（1）适合采用RFM用户价值分析模型，该模型是经典的客户价值分层模型，核心包含三个维度：①最近一次消费（Recency）：指用户距离当前时间最近一次交易的时间间隔，间隔越短，用户活跃度越高，价值越高。（1分）②消费频率（Frequency）：指用户在统计周期内的交易次数，次数越多，用户忠诚度越高，价值越高。（1分）③消费金额（Monetary）：指用户在统计周期内的累计交易金额，金额越高，用户贡献度越高，价值越高。（1分）通过三个维度的评分可将用户划分为不同价值层级，实现精准识别高价值用户的目标。（1分）（2）该分析项目的完整实施步骤如下：①数据准备与清洗：从电商交易系统中提取近3年的有效交易数据，过滤退款、取消等无效订单，提取用户ID、交易时间、交易金额等所需字段，处理缺失值、异常值（如异常高额的测试订单）。（1分）②指标计算：以分析日期为基准，计算每个用户的R（最近一次消费距今天数）、F（统计周期内消费次数）、M（统计周期内累计消费金额）三个核心指标，构建用户RFM特征表。（1分）③用户分层建模：采用分箱法对三个维度进行评分（如按百分位分为5档，1-5分），结合业务需求设定各维度权重，计算每个用户的RFM综合得分；也可结合K-Means聚类算法对RFM特征进行聚类，将用户划分为高价值用户、重要发展用户、重要保持用户、重要挽留用户、一般用户等不同层级。（1分）④用户特征分析与策略制定：对不同层级的用户进行特征画像，分析其消费品类偏好、活跃时段、地域分布等特征，针对性制定运营策略，并通过A/B测试验证策略效果，持续优化分层模型与运营方案。（1分）（3）落地运营策略示例：①高价值用户：提供专属会员权益（如免邮、专属折扣、优先发货）、定制化商品推荐、专属客服通道，提升用户忠诚度与留存率。（0.7分）②重要发展用户（R高、F低、M高）：推送品类关联满