2025年公需科目《大数据》考试题库(含标准答案)

2025年公需科目《大数据》考试题库(含标准答案)一、单项选择题1.下列哪项不属于大数据的“5V”特征？（）A.大量（Volume）B.高速（Velocity）C.多样（Variety）D.可变性（Volatility）答案：D解析：大数据的“5V”特征为大量（Volume）、高速（Velocity）、多样（Variety）、低价值密度（Value）、真实性（Veracity），可变性（Volatility）不属于核心特征。2.Hadoop生态中，负责资源管理和任务调度的组件是（）。A.HDFSB.MapReduceC.YARND.HBase答案：C解析：YARN（YetAnotherResourceNegotiator）是Hadoop的资源管理系统，负责集群资源的统一管理和任务调度；HDFS是分布式文件系统，MapReduce是计算框架，HBase是列式数据库。3.数据挖掘的核心步骤是（）。A.数据清洗B.模型构建C.结果评估D.数据预处理答案：B解析：数据挖掘的流程包括数据理解、数据准备、模型构建、模型评估和结果部署，其中模型构建是核心，直接决定分析效果。4.以下哪种技术适用于实时数据流处理？（）A.HiveB.SparkSQLC.FlinkD.HBase答案：C解析：Flink是专为流处理设计的框架，支持低延迟、高吞吐的实时数据处理；Hive是批处理工具，SparkSQL侧重离线分析，HBase是存储系统。5.数据仓库（DataWarehouse）与传统数据库的主要区别是（）。A.支持事务处理B.面向主题C.实时更新D.结构固定答案：B解析：数据仓库面向主题（如销售、客户），用于支持决策分析；传统数据库面向事务（如订单处理），支持实时增删改。6.下列哪项属于非结构化数据？（）A.Excel表格B.关系型数据库记录C.视频文件D.财务报表答案：C解析：非结构化数据无固定格式，如文本、图片、视频；结构化数据（Excel、数据库记录）和半结构化数据（XML、JSON）有明确格式。7.隐私计算中，“联邦学习”的核心目标是（）。A.集中所有数据训练模型B.在不共享原始数据的前提下联合建模C.加密所有数据后存储D.提高模型训练速度答案：B解析：联邦学习通过加密通信在多个参与方间联合训练模型，避免原始数据流出，保护隐私。8.大数据分析中，“关联规则挖掘”常用的算法是（）。A.K-meansB.AprioriC.SVMD.决策树答案：B解析：Apriori算法用于发现数据项之间的关联关系（如“买啤酒的人常买尿布”）；K-means是聚类算法，SVM和决策树用于分类。9.下列哪项不属于大数据安全的关键问题？（）A.数据泄露B.数据主权C.数据可视化D.数据篡改答案：C解析：数据可视化是分析结果的呈现方式，不属于安全问题；数据泄露、主权、篡改均涉及数据安全与隐私保护。10.智慧城市中，大数据技术最核心的应用是（）。A.交通流量预测B.智能路灯控制C.垃圾清运调度D.市民信息登记答案：A解析：交通流量预测通过实时采集传感器、GPS等数据，结合模型分析优化交通调度，是智慧城市的核心应用之一。二、多项选择题1.大数据技术体系主要包括（）。A.数据采集B.数据存储C.数据处理D.数据应用答案：ABCD解析：大数据技术体系涵盖从采集（如Flume、Kafka）、存储（如HDFS、NoSQL）、处理（如Spark、Flink）到应用（如机器学习、可视化）的全流程。2.数据清洗的主要内容包括（）。A.处理缺失值B.检测异常值C.删除重复数据D.转换数据格式答案：ABCD解析：数据清洗是提高数据质量的关键步骤，包括处理缺失值（填充/删除）、检测异常值（如Z-score法）、删除重复数据（如去重算法）、转换格式（如日期统一）等。3.下列属于NoSQL数据库的有（）。A.MySQLB.HBaseC.RedisD.MongoDB答案：BCD解析：NoSQL（NotOnlySQL）包括列式（HBase）、键值（Redis）、文档（MongoDB）等类型；MySQL是关系型数据库。4.大数据隐私保护技术包括（）。A.匿名化（Anonymization）B.脱敏（DataMasking）C.差分隐私（DifferentialPrivacy）D.区块链存证答案：ABCD解析：匿名化（如K-匿名）、脱敏（如替换敏感字段）、差分隐私（添加噪声保护个体）、区块链（防篡改）均是常见隐私保护技术。5.大数据在医疗领域的应用场景包括（）。A.疾病预测模型B.电子病历整合C.药物研发优化D.医院财务统计答案：ABC解析：医疗大数据应用包括疾病预测（如通过历史病历预测流行病）、电子病历整合（打破数据孤岛）、药物研发（分析化合物数据加速试验）；医院财务统计属于传统业务，非大数据核心应用。6.流式计算的特点包括（）。A.数据实时处理B.数据批量处理C.低延迟D.无限数据流答案：ACD解析：流式计算处理持续到达的实时数据流（如传感器数据），要求低延迟；批量处理是离线计算的特点。7.数据湖（DataLake）与数据仓库（DataWarehouse）的区别在于（）。A.数据存储格式B.数据结构灵活性C.面向用户群体D.数据质量要求答案：ABCD解析：数据湖存储原始、多格式数据（如文本、视频），结构灵活，面向数据科学家；数据仓库存储结构化、清洗后的数据，结构固定，面向业务分析人员。8.大数据伦理问题主要涉及（）。A.算法歧视B.数据滥用C.隐私侵犯D.技术垄断答案：ABCD解析：大数据伦理包括算法歧视（如招聘算法对特定群体的偏见）、数据滥用（如过度收集用户信息）、隐私侵犯（如未经授权的数据共享）、技术垄断（如平台垄断数据资源）。9.机器学习中，监督学习的常见任务有（）。A.分类B.回归C.聚类D.关联规则答案：AB解析：监督学习需要标注数据，任务包括分类（如垃圾邮件识别）、回归（如房价预测）；聚类（无监督）、关联规则（无监督）无需标注。10.云计算与大数据的关系是（）。A.云计算为大数据提供计算资源B.大数据为云计算提供应用场景C.两者相互独立D.大数据依赖云计算的弹性扩展能力答案：ABD解析：云计算（如AWS、阿里云）提供弹性计算、存储资源，支撑大数据处理；大数据的分析需求推动云计算技术优化，二者协同发展。三、判断题1.大数据的核心是拥有海量数据，而非分析能力。（）答案：×解析：大数据的核心是通过分析海量数据挖掘价值，数据量是基础，分析能力是关键。2.HBase是一种关系型数据库，支持SQL查询。（）答案：×解析：HBase是列式NoSQL数据库，不支持SQL，适合实时读写海量稀疏数据。3.数据可视化的主要目的是让数据更美观，而非传递信息。（）答案：×解析：数据可视化的核心是通过图表直观传递数据背后的信息（如趋势、异常），美观是辅助。4.实时数据流处理要求数据必须在秒级内完成处理。（）答案：√解析：实时处理（如实时推荐、监控）通常要求低延迟（秒级或毫秒级），区别于离线批处理（小时级）。5.数据主权是指个人对自身数据的所有权。（）答案：×解析：数据主权是国家对境内数据的管辖权力，个人对数据的权利属于数据权（如GDPR中的被遗忘权）。6.决策树算法既可以用于分类，也可以用于回归。（）答案：√解析：决策树通过划分特征空间，分类任务输出类别，回归任务输出连续值（如预测温度）。7.数据湖适合存储经过清洗、结构化的数据。（）答案：×解析：数据湖存储原始、未加工的数据（如日志、传感器数据），数据仓库存储清洗后的结构化数据。8.Kafka是一种分布式消息队列，主要用于数据采集和流数据传输。（）答案：√解析：Kafka通过主题（Topic）实现高吞吐、低延迟的数据流传输，是大数据采集层的核心工具。9.联邦学习需要所有参与方使用相同的硬件和软件环境。（）答案：×解析：联邦学习通过加密协议实现跨环境协作，参与方硬件、软件可不同，只需满足通信要求。10.大数据时代，“样本等于总体”意味着无需抽样，直接分析全量数据。（）答案：√解析：传统统计依赖抽样，大数据可获取全量数据（如全体用户行为），分析更全面，但需注意数据质量。四、简答题1.简述大数据“5V”特征的具体含义。答案：（1）大量（Volume）：数据规模从TB级跃升至PB、EB级（如全球每天产生的社交数据）；（2）高速（Velocity）：数据产生和处理速度快（如实时交易记录、传感器数据流）；（3）多样（Variety）：数据类型复杂，包括结构化（数据库）、半结构化（JSON）、非结构化（文本、视频）；（4）低价值密度（Value）：海量数据中有效信息占比低（如监控视频中仅几秒有用）；（5）真实性（Veracity）：数据可能存在噪声、偏差，需验证可靠性（如用户虚假定位数据）。2.列举Hadoop生态的5个核心组件，并说明其功能。答案：（1）HDFS：分布式文件系统，将大文件分块存储在集群中，提供高容错性；（2）YARN：资源管理系统，负责集群内存、CPU等资源的分配和任务调度；（3）MapReduce：分布式计算框架，将任务拆分为Map（映射）和Reduce（归约）阶段，处理海量数据；（4）Hive：数据仓库工具，支持通过类SQL语言（HiveQL）查询HDFS数据，底层转换为MapReduce任务；（5）HBase：基于HDFS的列式数据库，支持实时读写海量稀疏数据（如用户行为日志）。3.数据清洗的主要步骤有哪些？答案：（1）缺失值处理：通过删除记录、均值/中位数填充、模型预测等方法处理缺失字段；（2）异常值检测：使用统计方法（如Z-score）、机器学习（如孤立森林）识别偏离正常范围的数据；（3）重复数据删除：通过哈希算法、记录匹配技术去除完全重复或近似重复的记录；（4）格式标准化：统一日期格式（如“2023/10/1”改为“2023-10-01”）、单位（如“kg”与“公斤”统一）；（5）一致性检查：修正逻辑矛盾（如“出生日期”晚于“入职日期”）。4.简述隐私计算的常见技术及应用场景。答案：常见技术：（1）联邦学习：多参与方在不共享数据的情况下联合训练模型（如银行与电商合作风控，不交换用户数据）；（2）安全多方计算（MPC）：通过加密协议协同计算，如多方联合统计销售额而不泄露各自数据；（3）同态加密：在加密数据上直接计算（如医院在加密病历上统计疾病分布）；（4）差分隐私：添加可控噪声保护个体信息（如政府发布人口统计数据时模糊具体值）。应用场景：医疗数据共享、金融联合风控、政务数据协同分析、互联网企业跨平台建模。5.大数据驱动的决策与传统决策的主要区别是什么？答案：（1）数据基础：传统决策依赖抽样数据或经验，大数据决策基于全量、多源数据（如用户行为、社交数据）；（2）分析方式：传统决策以定性分析（如专家判断）为主，大数据决策通过机器学习、关联分析等定量方法挖掘规律；（3）响应速度：传统决策周期长（如月度报表分析），大数据决策支持实时调整（如电商实时调整推荐策略）；（4）覆盖维度：传统决策关注单一业务维度（如销售业绩），大数据决策整合多维度（如销售、用户评价、供应链）关联分析；（5）预测能力：大数据通过历史数据训练预测模型（如销量预测、风险预警），传统决策侧重事后总结。五、案例分析题案例1：某电商平台用户行为数据分析某电商平台收集了用户浏览、点击、加购、下单等行为数据（日均数据量50TB），希望通过大数据分析提升用户转化率（当前为2.3%）。问题：（1）该平台需搭建哪些大数据技术组件？（2）如何通过数据挖掘提升转化率？请提出具体分析步骤。答案：（1）技术组件：数据采集：使用Kafka收集实时行为日志，Flume采集服务器日志；数据存储：HDFS存储原始数据，HBase存储用户实时行为（如最近浏览商品），ClickHouse用于高并发查询；数据处理：Spark进行离线分析（如用户分群），Flink处理实时数据流（如实时推荐）；模型应用：MLlib训练分类模型（预测用户下单概率），TensorFlow构建深度学习推荐模型；可视化：Superset或Tableau展示转化率、用户流失等指标。（2）提升转化率的分析步骤：①数据清洗：处理缺失的用户ID、去重重复点击记录、修正异常停留时间（如超过1小时的浏览记录）；②特征工程：构建用户特征（如浏览频次、加购商品类别）、商品特征（如价格、销量）、场景特征（如访问时段、设备类型）；③模型训练：使用逻辑回归或XGBoost训练“下单概率预测模型”，识别高潜力用户（如加购后未下单的用户）；④策略优化：对高潜力用户推送个性化优惠券、弹窗提醒（如“您加购的商品库存仅剩2件”）；