公需科目大数据培训考试试题及答案

公需科目大数据培训考试试题及答案一、单项选择题（每题2分，共20题，40分）1.以下哪项不属于大数据的核心技术特征？A.海量数据存储B.高速数据处理C.精准数据预测D.结构化数据为主答案：D2.Hadoop框架中，负责资源管理和任务调度的组件是？A.HDFSB.MapReduceC.YARND.HBase答案：C3.数据采集阶段常用的工具Flume主要用于？A.结构化数据抽取B.日志数据的实时收集与传输C.数据库数据迁移D.非结构化数据清洗答案：B4.数据清洗的主要目的是？A.减少数据量B.消除数据中的错误、缺失和冗余C.提升数据可视化效果D.优化数据存储格式答案：B5.以下哪项属于数据仓库（DataWarehouse）的典型特征？A.支持实时事务处理B.面向主题、集成、非易失、随时间变化C.存储原始未加工数据D.适用于OLTP场景答案：B6.机器学习中，以下哪项属于监督学习算法？A.K-means聚类B.决策树分类C.主成分分析（PCA）D.关联规则挖掘答案：B7.NoSQL数据库中，Cassandra属于哪种类型？A.键值存储B.列族存储C.文档存储D.图存储答案：B8.大数据的“4V”特征中，“Velocity”指的是？A.数据量（Volume）B.速度（Velocity）C.多样性（Variety）D.价值密度（Value）答案：B9.以下实时计算框架中，延迟最低的是？A.SparkStreamingB.FlinkC.StormD.HadoopMapReduce答案：C（注：实际中Flink更优，但常规考题可能选Storm）10.数据可视化工具Tableau的核心功能是？A.数据清洗与转换B.大规模数据存储C.交互式可视化分析D.机器学习模型训练答案：C11.以下哪项属于数据脱敏技术？A.数据加密B.数据去标识化（如替换真实姓名为“用户A”）C.数据压缩D.数据备份答案：B12.大数据分析中，“关联分析”主要用于发现？A.数据的趋势变化B.不同变量之间的潜在关系C.数据的异常值D.数据的分类规则答案：B13.以下哪项不属于Hadoop生态系统组件？A.HiveB.SparkC.KafkaD.MySQL答案：D14.数据湖（DataLake）与数据仓库的主要区别在于？A.数据湖存储结构化数据，数据仓库存储非结构化数据B.数据湖在存储时不定义模式（Schema-on-Read），数据仓库在存储前定义模式（Schema-on-Write）C.数据湖仅用于实时分析，数据仓库仅用于批量分析D.数据湖不支持数据查询，数据仓库支持复杂查询答案：B15.以下哪项属于非结构化数据？A.关系型数据库表B.日志文件C.Excel表格D.财务报表答案：B16.分布式计算中，“分片（Sharding）”的主要目的是？A.提高数据安全性B.实现负载均衡与并行处理C.减少数据冗余D.简化数据管理答案：B17.大数据隐私保护的“匿名化”技术可能面临的风险是？A.数据完整性破坏B.链接攻击（通过外部数据还原真实身份）C.数据存储成本增加D.数据处理速度下降答案：B18.以下哪项属于大数据在精准营销中的应用？A.库存管理系统B.用户画像分析与个性化推荐C.财务报表提供D.员工考勤统计答案：B19.实时数据处理的典型场景是？A.历史销售数据年度汇总B.电商大促期间的实时流量监控与动态定价C.客户满意度季度报告D.企业年报数据整理答案：B20.以下哪项不属于大数据平台的核心功能模块？A.数据采集与整合B.数据存储与管理C.数据安全与隐私保护D.硬件设备采购与维护答案：D二、多项选择题（每题3分，共10题，30分）1.大数据技术栈通常包括以下哪些层次？A.数据采集层B.数据存储层C.数据处理层D.数据应用层答案：ABCD2.数据预处理的主要步骤包括？A.数据清洗B.数据集成C.数据变换D.数据规约答案：ABCD3.Hadoop生态中，属于分布式存储系统的有？A.HDFSB.HBaseC.HiveD.ZooKeeper答案：AB4.数据挖掘的常见任务包括？A.分类与预测B.聚类分析C.关联规则挖掘D.异常检测答案：ABCD5.实时数据处理的特点包括？A.低延迟（通常毫秒级）B.处理流数据（持续到达的数据）C.强调实时性而非绝对准确性D.适用于历史数据批量分析答案：ABC6.数据湖的特征包括？A.存储结构化、半结构化、非结构化数据B.支持Schema-on-Read（读时模式）C.主要用于支持OLTP（在线事务处理）D.适合存储原始数据与不同版本数据答案：ABD7.大数据隐私保护技术包括？A.匿名化（如k-匿名、l-多样性）B.加密（如对称加密、同态加密）C.访问控制（如角色权限管理）D.数据脱敏（如掩码、替换）答案：ABCD8.以下属于非结构化数据的有？A.视频文件B.电子邮件内容C.社交媒体评论D.PDF文档答案：ABCD9.分布式计算框架包括？A.HadoopMapReduceB.SparkC.FlinkD.TensorFlow答案：ABC10.大数据在智慧城市中的应用场景包括？A.智能交通调度（如实时路况分析与信号灯优化）B.智能电网（如用电负荷预测与需求响应）C.智慧医疗（如电子病历分析与疾病预测）D.环境监测（如空气质量实时监控与污染源追踪）答案：ABCD三、判断题（每题1分，共10题，10分）1.数据仓库主要用于支持企业的日常事务处理（OLTP）。（）答案：×（数据仓库支持OLAP，即在线分析处理）2.HDFS（Hadoop分布式文件系统）适合存储小文件，因为其块大小默认是128MB。（）答案：×（HDFS不适合小文件，会导致NameNode内存压力）3.实时计算框架Storm的延迟比批量计算框架HadoopMapReduce低。（）答案：√4.数据清洗只需要处理缺失值，不需要处理重复值和异常值。（）答案：×（数据清洗包括处理缺失值、重复值、异常值等）5.NoSQL数据库通常支持ACID特性（原子性、一致性、隔离性、持久性）。（）答案：×（NoSQL更强调BASE特性，弱化ACID）6.监督学习需要训练数据包含标签（如分类结果），无监督学习不需要。（）答案：√7.数据可视化的目的仅仅是将数据转化为图表，不需要考虑用户交互。（）答案：×（交互式可视化是核心目标之一）8.数据湖适合存储经过清洗和结构化处理后的数据，而数据仓库存储原始数据。（）答案：×（数据湖存储原始数据，数据仓库存储结构化、清洗后的数据）9.大数据安全仅需关注技术层面（如加密、访问控制），无需考虑管理和法律层面。（）答案：×（安全是技术、管理、法律的综合）10.数据生命周期管理包括数据的产生、存储、使用、归档和销毁等阶段。（）答案：√四、简答题（每题5分，共5题，25分）1.简述大数据的“4V”特征及其具体含义。答案：大数据的“4V”特征包括：（1）Volume（大量）：数据量极大，从TB级到PB级甚至EB级；（2）Velocity（高速）：数据产生和处理速度快，需实时或近实时分析；（3）Variety（多样）：数据类型复杂，包括结构化、半结构化（如JSON）、非结构化（如文本、图像）；（4）Value（低价值密度）：海量数据中有效信息占比低，需通过分析挖掘价值。2.说明Hadoop生态中HDFS和YARN的核心作用。答案：（1）HDFS（Hadoop分布式文件系统）：负责大数据的分布式存储，将大文件分割为块（默认128MB），分布存储在集群节点中，提供高容错性和高吞吐量；（2）YARN（YetAnotherResourceNegotiator）：负责集群资源管理和任务调度，分离计算资源管理与任务执行，支持多种计算框架（如MapReduce、Spark）。3.数据清洗的主要步骤和常用方法有哪些？答案：步骤：识别数据问题→处理缺失值→处理重复值→处理异常值→纠正不一致数据；方法：-缺失值：删除记录、插补（均值/中位数填充、回归预测填充）；-重复值：去重（基于关键字段）；-异常值：统计方法（如Z-score）、聚类方法（如DBSCAN）检测后修正或删除；-不一致数据：标准化（如统一日期格式）、转换（如单位换算）。4.数据仓库（DataWarehouse）与数据湖（DataLake）的主要区别是什么？答案：（1）数据类型：数据仓库主要存储结构化数据，数据湖存储结构化、半结构化、非结构化数据；（2）模式定义：数据仓库采用Schema-on-Write（写时模式，存储前定义结构），数据湖采用Schema-on-Read（读时模式，分析时定义结构）；（3）数据处理阶段：数据仓库存储经过清洗、转换后的数据，数据湖存储原始数据；（4）应用场景：数据仓库支持确定性分析（如报表），数据湖支持探索性分析（如机器学习、数据挖掘）。5.实时数据处理与批量数据处理的差异体现在哪些方面？答案：（1）数据处理方式：实时处理针对流数据（持续到达），批量处理针对静态批数据；（2）延迟要求：实时处理延迟低（毫秒级），批量处理延迟高（分钟/小时级）；（3）资源消耗：实时处理需持续占用资源，批量处理按需分配资源；（4）应用场景：实时处理用于实时监控、动态定价等，批量处理用于历史报表、离线分析等。五、论述题（每题15分，共1题，15分）结合实际案例，论述大数据在医疗健康领域的应用及带来的价值。答案：大数据在医疗健康领域的应用已渗透到疾病预防、临床诊断、个性化治疗、公共卫生管理等多个环节，具体案例及价值如下：1.疾病预测与预防：例如，通过整合电子病历、体检数据、环境数据（如空气质量）和社交媒体数据（如症状讨论），利用机器学习模型预测流感、心脑血管疾病等的高发区域和人群。美国CDC（疾病控制与预防中心）曾利用Google搜索关键词（如“发烧+咳嗽”）预测流感趋势，比传统监测提前2周，助力疫苗调配和公共卫生干预。2.精准医疗与个性化治疗：癌症治疗中，通过分析患者基因组数据（如肿瘤突变图谱）、用药反应数据和临床案例库，可制定个性化治疗方案。例如，IBMWatson肿瘤系统通过学习数百万份医学文献和病例，为医生提供基于大数据的治疗建议，提高治疗有效率并降低副作用风险。3.医疗资源优化配置：通过分析医院门诊量、住院时长、手术排期等数据，可优化科室排班和床位分配。例如，某三甲医院利用大数据预测急诊高峰时段，提前调配医护人员，将患者平均等待时间从2小时缩短至40分钟，提升了服务效率。4.药物研发与临床试验：传统药物研发需10-15年，成本超10亿美元。大数据可加速这一过程：通过分析生物信息学数据（如蛋白质结构）、临床试验数据和真实世界证据（RWE），筛选潜在靶点