2025年继续教育公需科目大数据技术及应用题库及答案

2025年继续教育公需科目大数据技术及应用题库及答案一、单项选择题（每题2分，共30题）1.下列哪项不属于大数据的“4V”特征？A.大量（Volume）B.高速（Velocity）C.多样（Variety）D.高价（Value）答案：D（大数据的核心价值是低价值密度，而非高价）2.Hadoop生态中，负责资源管理和任务调度的组件是？A.HDFSB.YARNC.MapReduceD.HBase答案：B（YARN（YetAnotherResourceNegotiator）是Hadoop的资源管理系统）3.数据清洗的主要目的是？A.增加数据量B.消除数据中的错误、冗余和不一致C.转换数据格式D.提升数据存储效率答案：B（数据清洗是为了提高数据质量，确保后续分析的准确性）4.以下属于流计算框架的是？A.HiveB.SparkStreamingC.HBaseD.Pig答案：B（SparkStreaming是基于Spark的流计算框架，支持实时数据处理）5.数据仓库（DataWarehouse）的典型特点是？A.面向事务处理B.支持实时更新C.面向主题D.数据结构动态变化答案：C（数据仓库是面向主题、集成的、非易失的、随时间变化的数据集合）6.下列哪类数据属于非结构化数据？A.关系型数据库表B.传感器实时采集的温度数值C.社交媒体中的用户评论D.财务报表中的结构化字段答案：C（非结构化数据无固定格式，如文本、图片、视频等）7.分布式文件系统（如HDFS）的核心设计目标是？A.支持小文件高效存储B.保证数据高可靠性和高吞吐量C.提供实时事务处理D.降低存储成本答案：B（HDFS通过多副本机制保证可靠性，适合大文件的批量读写）8.数据可视化工具Tableau的主要功能是？A.数据清洗与转换B.实时流数据处理C.交互式数据图表展示与分析D.分布式数据库管理答案：C（Tableau专注于将数据转化为可视化图表，支持用户交互探索）9.以下属于NoSQL数据库的是？A.MySQLB.OracleC.MongoDBD.SQLServer答案：C（MongoDB是文档型NoSQL数据库，不依赖关系模型）10.数据湖（DataLake）与数据仓库的主要区别是？A.数据湖存储结构化数据，数据仓库存储非结构化数据B.数据湖在存储时不定义模式（Schema-on-Read），数据仓库在存储前定义模式（Schema-on-Write）C.数据湖仅用于实时分析，数据仓库用于历史分析D.数据湖的存储成本更高答案：B（数据湖采用“读时模式”，允许存储原始数据后再定义结构；数据仓库需提前定义结构）11.下列哪项技术用于解决大数据的实时计算需求？A.HadoopMapReduceB.SparkSQLC.FlinkD.Hive答案：C（Flink是专为流计算设计的框架，支持低延迟、高吞吐的实时处理）12.大数据平台中，元数据（Metadata）的主要作用是？A.存储原始业务数据B.记录数据的来源、结构、血缘等信息C.加速数据查询速度D.提供数据可视化接口答案：B（元数据是“关于数据的数据”，用于描述数据的上下文信息，支持数据管理和溯源）13.数据脱敏技术主要用于解决？A.数据存储效率问题B.数据隐私保护问题C.数据一致性问题D.数据实时性问题答案：B（脱敏通过替换、模糊化等方式隐藏敏感信息，防止隐私泄露）14.下列哪项属于大数据分析中的预测性分析？A.用户消费行为聚类B.销售趋势预测C.商品分类统计D.日志异常检测答案：B（预测性分析通过历史数据建立模型，预测未来趋势）15.分布式计算中，“分片（Sharding）”的主要目的是？A.提高数据存储的可靠性B.将大数据集分散到多个节点并行处理C.减少数据传输延迟D.统一数据访问接口答案：B（分片通过将数据划分为多个片段分布存储，支持并行计算以提升效率）16.以下不属于大数据采集技术的是？A.网络爬虫B.传感器数据接入C.关系型数据库ETLD.数据可视化渲染答案：D（数据可视化属于分析展示层，非采集技术）17.机器学习中，监督学习与无监督学习的主要区别是？A.监督学习需要标签数据，无监督学习不需要B.监督学习处理分类问题，无监督学习处理回归问题C.监督学习适用于小数据，无监督学习适用于大数据D.监督学习基于统计，无监督学习基于神经网络答案：A（监督学习通过带标签数据训练模型，无监督学习从无标签数据中发现模式）18.数据湖通常采用的存储格式是？A.关系型表结构B.列式存储（如Parquet、ORC）C.纯文本文件（如CSV）D.图形数据库结构答案：B（列式存储支持高效压缩和查询，适合大数据分析）19.下列哪项是大数据时代“数据主权”的核心关注点？A.数据存储硬件的所有权B.数据产生主体对数据的控制和收益权C.数据处理算法的专利归属D.数据传输网络的带宽分配答案：B（数据主权强调数据主体对自身数据的支配权，包括采集、使用、共享等环节）20.实时数据处理中，“事件时间（EventTime）”是指？A.数据到达处理系统的时间B.数据实际发生的时间C.数据被存储的时间D.数据被分析的时间答案：B（事件时间是数据产生的原始时间，区别于处理系统的接收时间）21.大数据平台的“可扩展性”主要指？A.支持多种数据格式的存储B.随数据量增长可灵活添加节点C.提供丰富的分析工具接口D.保证数据的高可用性答案：B（可扩展性指系统能通过横向扩展（添加节点）应对数据量和计算量的增长）22.以下属于大数据质量评估指标的是？A.数据存储成本B.数据完整性、准确性、一致性C.数据处理延迟D.数据可视化美观度答案：B（数据质量通常从完整性、准确性、一致性、时效性等维度评估）23.区块链技术与大数据结合的典型应用是？A.提升数据计算速度B.实现数据的不可篡改与可追溯C.降低数据存储成本D.优化数据可视化效果答案：B（区块链的分布式账本特性可确保数据记录的真实性和可追溯性）24.数据中台的核心功能是？A.集中存储所有业务数据B.提供数据采集与清洗工具C.沉淀通用数据能力，支持业务快速复用D.替代传统数据仓库答案：C（数据中台通过整合数据、算法、工具，为前端业务提供标准化的数据服务）25.下列哪项属于大数据伦理问题？A.数据存储架构设计B.数据歧视（如算法偏见）C.数据压缩算法优化D.数据传输协议选择答案：B（伦理问题涉及数据使用的公平性、隐私保护、算法透明性等）26.流计算中的“窗口（Window）”机制主要用于？A.限制数据处理的时间范围B.划分数据存储的物理空间C.优化数据传输的网络带宽D.提高数据查询的响应速度答案：A（窗口机制将无限的流数据划分为有限的时间或事件区间，便于批量处理）27.数据血缘（DataLineage）分析的主要作用是？A.统计数据的存储量B.追踪数据从产生到最终使用的全流程C.优化数据索引结构D.评估数据的价值密度答案：B（数据血缘用于记录数据的来源、转换过程和关联关系，支持问题定位和合规审计）28.以下属于非关系型数据库（NoSQL）适用场景的是？A.高一致性要求的银行交易系统B.需要复杂关联查询的ERP系统C.海量非结构化数据的快速读写（如社交动态）D.严格遵循ACID特性的订单系统答案：C（NoSQL适合高并发、数据结构灵活、一致性要求较低的场景）29.大数据分析中，“特征工程”的主要任务是？A.设计数据可视化图表B.从原始数据中提取有价值的特征变量C.优化机器学习模型的训练速度D.管理数据存储的元信息答案：B（特征工程通过数据清洗、转换、降维等手段，提升模型的预测性能）30.边缘计算与大数据结合的主要优势是？A.减少数据中心的计算压力B.提高数据的全局分析精度C.降低数据存储成本D.增强数据的安全性答案：A（边缘计算在数据产生的边缘节点进行初步处理，减少需要传输到中心的数据量）二、多项选择题（每题3分，共10题）1.大数据技术体系主要包括以下哪些层次？A.数据采集层B.数据存储层C.数据处理层D.数据分析层答案：ABCD（完整体系包括采集、存储、处理、分析、应用等层次）2.Hadoop生态中属于分布式存储组件的有？A.HDFSB.HBaseC.YARND.Hive答案：AB（HDFS是分布式文件系统，HBase是基于HDFS的分布式数据库）3.数据预处理的主要步骤包括？A.数据清洗B.数据集成C.数据转换D.数据规约答案：ABCD（预处理包括清洗（去噪）、集成（多源合并）、转换（格式调整）、规约（降维/采样））4.以下属于实时数据处理典型场景的是？A.电商大促期间的实时销量统计B.银行交易的实时风控C.月度用户行为分析报告D.传感器异常数据实时报警答案：ABD（实时处理需低延迟，月度报告属于批处理）5.大数据安全技术包括？A.数据加密（如AES、RSA）B.访问控制（如RBAC）C.数据脱敏（如匿名化、泛化）D.漏洞扫描与入侵检测答案：ABCD（安全技术涵盖加密、权限管理、隐私保护、安全监测等）6.机器学习在大数据分析中的典型应用包括？A.客户分群（聚类）B.垃圾邮件分类（分类）C.销量预测（回归）D.图像识别（深度学习）答案：ABCD（机器学习覆盖分类、回归、聚类等任务，深度学习是其分支）7.数据湖与数据仓库的区别包括？A.数据湖存储原始数据，数据仓库存储经过清洗的结构化数据B.数据湖支持Schema-on-Read，数据仓库支持Schema-on-WriteC.数据湖主要服务于数据科学家，数据仓库服务于业务分析师D.数据湖仅用于离线分析，数据仓库仅用于实时分析答案：ABC（数据湖和数据仓库均支持离线/实时分析，D错误）8.以下属于分布式计算框架的是？A.SparkB.FlinkC.HadoopMapReduceD.Redis答案：ABC（Redis是内存数据库，非计算框架）9.非关系型数据库（NoSQL）的特点包括？A.支持灵活的数据模型B.强调CAP理论中的AP（可用性与分区容错性）C.支持复杂的JOIN操作D.适合海量数据的高并发读写答案：ABD（NoSQL通常不支持复杂JOIN，C错误）10.大数据伦理需要关注的问题包括？A.算法歧视（如招聘算法对特定群体的偏见）B.隐私侵犯（如未经同意采集用户位置数据）C.数据垄断（如平台滥用数据优势排除竞争）D.数据准确性（如错误数据导致决策失误）答案：ABC（数据准确性属于数据质量问题，非伦理问题，D错误）三、判断题（每题1分，共10题）1.大数据的核心是数据量“大”，因此数据量小的场景不属于大数据范畴。（）答案：×（大数据的核心是通过技术挖掘数据价值，数据量只是特征之一）2.HDFS（Hadoop分布式文件系统）适合存储大量小文件。（）答案：×（HDFS设计为存储大文件，小文件会占用NameNode内存，影响性能）3.数据清洗仅需处理缺失值问题。（）答案：×（数据清洗还需处理重复值、异常值、格式不一致等问题）4.流计算（如Flink）适合处理实时性要求高的场景，批计算（如MapReduce）适合处理大规模历史数据。（）答案：√（流计算低延迟，批计算处理量大但延迟高）5.数据仓库（DataWarehouse）是动态更新的，支持实时事务处理。（）答案：×（数据仓库主要用于分析，数据定期加载，不支持实时更新）6.NoSQL数据库严格遵循ACID特性。（）答案：×（NoSQL通常牺牲强一致性（C），强调可用性（A）和分区容错性（P））7.数据可视化的主要目的是让数据“好看”，无需关注信息传达的准确性。（）答案：×（可视化需在美观的基础上确保数据真实、信息清晰）8.MapReduce框架适合处理实时计算任务。（）答案：×（MapReduce是批处理框架，延迟较高，不适合实时计算）9.数据湖（DataLake）可以存储结构化、半结构化和非结构化数据。（）答案：√（数据湖支持多种数据格式，存储原始数据）10.数据脱敏（如将身份证号部分隐藏）属于加密技术。（）答案：×（脱敏是隐私保护手段，加密是通过算法隐藏数据内容，二者目的不同）四、简答题（每题5分，共6题）1.简述大数据的“5V”特征及其含义。答案：大数据的“5V”特征包括：大量（Volume）：数据规模巨大，从TB级跃升至PB、EB级；高速（Velocity）：数据产生和处理速度快，需实时或准实时分析；多样（Variety）：数据类型复杂，包括结构化、半结构化（如JSON）、非结构化（如文本、图像）；低价值密度（Value）：海量数据中有效信息占比低，需通过分析挖掘价值；真实性（Veracity）：数据质量参差不齐，需验证数据的准确性和可靠性。2.说明Hadoop生态中HDFS和YARN的核心作用。答案：HDFS（Hadoop分布式文件系统）：提供高可靠性、高吞吐量的分布式存储服务，通过多副本机制（默认3副本）保证数据不丢失，适合存储大文件；YARN（YetAnotherResourceNegotiator）：负责集群的资源管理和任务调度，将资源管理（ResourceManager）与任务调度（NodeManager）分离，支持MapReduce、Spark等多种计算框架运行。3.数据清洗的主要任务有哪些？答案：数据清洗的核心是提高数据质量，主要任务包括：处理缺失值（如删除、插补、热卡填充）；纠正错误值（如通过业务规则或统计方法识别异常值并修正）；消除重复值（删除冗余记录）；解决格式不一致（如统一日期格式“2023/10/1”与“2023-10-01”）；处理数据倾斜（平衡不同分区的数据量，避免计算任务不均）。4.流计算与批计算的主要区别是什么？答案：数据处理模式：流计算处理持续到达的实时数据流（无界数据），批计算处理静态的历史数据（有界数据）；延迟：流计算延迟低（毫秒级），批计算延迟高（分钟/小时级）；应用场景：流计算适用于实时监控、实时风控等；批计算适用于月度报表、历史趋势分析等；典型框架：流计算如Flink、KafkaStreams；批计算如HadoopMapReduce、SparkCore。5.数据仓库与传统数据库的主要区别有哪些？答案：目的：数据库面向事务处理（OLTP），支持日常业务操作（如下单、查询）；数据仓库面向分析处理（OLAP），支持决策分析（如销售趋势、用户分群）；数据结构：数据库存储当前业务数据，结构规范化（减少冗余）；数据仓库存储历史数据，结构可能反规范化（优化查询）；更新频率：数据库支持实时增删改；数据仓库定期加载（如每日/每周），一般不更新；数据量：数据库数据量较小（GB级）；数据仓库数据量较大（TB/EB级）。6.简述大数据安全的关键技术。答案：大数据安全需覆盖数据全生命周期，关键技术包括：数据加密：静态加密（存储时加密）、传输加密（如TLS协议）、应用加密（如数据库字段加密）；访问控制：基于角色的访问控制（RBAC）、属性基访问控制（ABAC），限制不同用户的数据操作权限；隐私保护：数据脱敏（如匿名化、泛化）、差分隐私（添加噪声保护个体信息）；安全审计：记录数据访问、修改的日志，追溯操作行为；漏洞防护：定期扫描系统漏洞，修复SQL注入、XSS攻击等安全隐患；区块链存证：通过不可篡改的特性，确保数据操作记录的真实性。五、案例分析题（共20分）背景：某电商平台计划利用大数据技术优化用户购物体验，需分析用户浏览、点击、加购、支付等行为数据，挖掘用户偏好，实现个性化推荐，并防范虚假交易。问题：1.该平台需要采集哪些类型的用户行为数据？请列举至少5类。（5分）2.若需实时分析用户实时行为（如“用户5分钟内连续点击3个同类商品”），应选择哪种大数据处理技术？说明理由