大数据技术与数据科学应用考试 选择题 62题

大数据技术与数据科学应用考试选择题62题1.下列关于大数据4V特征的描述，错误的是（）A.Volume指数据体量巨大，通常达到PB级甚至EB级规模B.Velocity指数据产生和处理速度快，对低时延要求高C.Variety指数据类型单一，全部为结构化关系型数据D.Value指数据价值密度低，需要通过挖掘提取高价值信息正确答案：C。解析：Variety指大数据类型多样性，涵盖结构化数据（关系型表数据）、半结构化数据（JSON、XML等带结构标签数据）、非结构化数据（视频、音频、文本、图片等），并非仅包含结构化数据，其余选项均符合4V特征的标准定义。2.数据科学的核心研究流程不包含以下哪个环节（）A.数据采集与清洗B.探索性数据分析C.模型构建与评估D.硬件设备的底层电路设计正确答案：D。解析：数据科学是融合统计学、计算机科学、领域知识的交叉学科，核心流程围绕数据价值挖掘展开，硬件底层电路设计属于微电子、硬件工程领域的研究范畴，不属于数据科学流程。3.下列数据类型中，属于半结构化数据的是（）A.关系型数据库中存储的用户订单表B.带标签的XML格式电商商品评论数据C.监控摄像头采集的无标注视频流D.纸质版客户签字的合同扫描件正确答案：B。解析：半结构化数据具备一定的结构标签，但不符合关系型数据库的严格范式要求，XML、JSON是典型半结构化数据；选项A为结构化数据，选项C、D为非结构化数据。4.当前主流大数据技术架构中，实现“流批一体”能力的核心目标是（）A.用同一套计算引擎同时处理实时数据流和历史批量数据，降低架构冗余B.完全替代传统关系型数据库的事务处理能力C.将所有数据全部存储在内存中以追求极致性能D.实现数据从采集端到应用端的零延时传输正确答案：A。解析：流批一体架构旨在解决传统Lambda架构下流处理、批处理两套独立代码维护成本高、指标口径不一致的问题，通过统一计算引擎同时支撑实时、离线数据处理，降低架构复杂度；受物理定律限制，数据传输不可能实现绝对零延时，流批一体也并非为了替代所有数据库的事务能力。5.下列关于数据、信息、知识、智慧的DIKW金字塔模型，表述正确的是（）A.数据是经过加工处理、带有特定场景含义的符号记录B.信息是对数据进行关联解释后形成的、具备决策参考意义的内容C.知识是不依赖任何数据和信息形成的先验判断D.智慧是简单的知识堆积，不需要结合场景进行推理正确答案：B。解析：DIKW模型中，原始数据是未加工的离散符号记录；信息是对数据进行关联、解释后赋予含义的内容；知识是对大量信息归纳提炼形成的规律性认知；智慧是结合具体场景灵活运用知识做出最优决策的能力，是认知的最高层级。6.大数据场景下，传统单机数据处理架构面临的核心瓶颈不包括（）A.单机存储容量上限无法适配PB级数据增长需求B.单机计算能力有限，处理海量数据时延过高C.单机硬件故障概率高，数据可靠性难以保障D.单机系统无法支持最简单的SQL查询操作正确答案：D。解析：传统单机数据库（如单机版MySQL）完全支持标准SQL查询操作，单机架构的核心瓶颈集中在存储容量、计算能力、高可用能力三个层面，无法匹配海量数据处理需求。7.下列关于CAP理论的表述，分布式系统中无法同时完全满足的三个特性是（）A.一致性、可用性、分区容错性B.兼容性、可用性、持久性C.一致性、原子性、分区容错性D.可扩展性、原子性、持久性正确答案：A。解析：CAP理论是分布式系统的基础理论，指在网络分区（节点之间网络断开）无法完全避免的现实前提下，分布式系统无法同时做到强一致性（所有节点同一时间看到的数据完全一致）、高可用性（每个请求都能获得非错响应），需要根据业务场景做权衡。8.在大数据系统选型时，面向高并发随机读写、海量稀疏数据存储的场景，优先选择下列哪类存储组件（）A.关系型数据库MySQLB.列式分布式数据库HBaseC.分布式文件系统HDFSD.消息队列Kafka正确答案：B。解析：HBase是基于HDFS构建的分布式列族NoSQL数据库，支持毫秒级随机读写，可支撑百亿行、百万列的稀疏数据存储，适配高并发访问场景；HDFS仅适合大文件顺序读写，不支持低延时随机访问；MySQL单机容量和并发上限不足，无法适配海量稀疏数据存储；Kafka是分布式消息队列，核心定位是数据传输缓冲而非持久化随机查询存储。9.数据科学项目中，通常将数据集划分为训练集、验证集、测试集三类，其中测试集的核心作用是（）A.用于模型训练过程中的参数拟合B.用于训练过程中调整模型超参数、防止过拟合C.用于模型训练完成后评估模型在未见过数据上的泛化能力D.用于替代生产环境的全量数据进行模型迭代正确答案：C。解析：训练集用于模型的参数拟合过程；验证集用于训练过程中调整超参数、选择最优模型；测试集是完全不参与训练和调参过程的独立数据集，用于评估模型对未知数据的泛化能力，避免模型过拟合。10.下列大数据应用场景中，属于典型实时计算场景的是（）A.电商平台基于历史3年订单数据做年度用户消费画像B.银行信用卡交易过程中的欺诈交易实时拦截C.零售企业每月末生成的门店销售业绩统计报表D.科研机构基于近10年气象数据做长期气候变化趋势分析正确答案：B。解析：实时计算场景要求数据处理时延在毫秒到秒级，信用卡欺诈拦截需要在交易完成前判断风险，属于典型实时场景；其余场景的处理时延要求在小时到天级，属于离线批处理场景。11.下列关于分布式系统数据分片的描述，错误的是（）A.数据分片是将海量数据按照一定规则拆分到多个节点存储，突破单机容量限制B.常见的分片策略包括范围分片、哈希分片、一致性哈希分片等C.数据分片后，跨分片的关联查询复杂度会显著降低D.合理的分片策略可以避免数据倾斜导致的部分节点负载过高问题正确答案：C。解析：数据分片后，跨节点的关联、聚合、排序操作需要通过网络传输不同节点上的数据，查询复杂度会显著升高，因此分片设计需要尽可能将关联紧密的数据放在同一分片，降低跨节点操作开销。12.数据伦理与数据合规是大数据应用的核心前提，下列行为符合《中华人民共和国数据安全法》《个人信息保护法》要求的是（）A.未经用户授权私自采集用户通讯录、位置信息用于商业营销B.对收集的个人信息进行去标识化、匿名化处理后用于合法的统计分析C.将平台收集的用户个人信息批量转售给第三方广告机构获利D.在提供服务时强制要求用户授权与服务无关的个人信息权限，否则拒绝服务正确答案：B。解析：经过去标识化、匿名化处理且无法复原识别到特定自然人的数据，可在合规范围内用于统计分析；其余选项均属于侵犯用户个人信息权益的违规行为，违反相关法律要求。13.Hadoop分布式架构的核心组件不包括下列哪一项（）A.分布式文件系统HDFSB.分布式计算框架MapReduceC.资源调度组件YARND.分布式SQL查询引擎Presto正确答案：D。解析：Hadoop原生核心组件包括HDFS、MapReduce、YARN三类，Presto是独立的开源分布式交互式SQL查询引擎，不属于Hadoop原生核心组件。14.下列关于HDFS架构的描述，错误的是（）A.HDFS采用主从架构，主节点为NameNode，从节点为DataNodeB.NameNode负责存储文件系统的元数据，包括目录树、文件块位置映射等C.DataNode负责存储实际的数据块，定期向NameNode上报心跳和块状态D.HDFS适合存储大量小文件，存储小文件时元数据开销极低正确答案：D。解析：HDFS不适合存储大量小文件，因为每个文件、每个数据块的元数据都需要存储在NameNode的内存中，大量小文件会快速耗尽NameNode内存资源，元数据开销极高。15.Hadoop2.x/3.x生产环境版本中，HDFS默认的文件块大小是（）A.64MBB.128MBC.1GBD.4KB正确答案：B。解析：Hadoop1.x版本默认块大小为64MB，Hadoop2.x及3.x版本默认块大小为128MB，用户可根据集群节点规模和业务场景调整块大小；4KB是通用本地文件系统的默认块大小。16.HDFS为了保障数据可靠性，默认对每个数据块保存的副本数量是（）A.1个B.2个C.3个D.5个正确答案：C。解析：HDFS默认采用三副本存储策略，三个副本分别存储在同机架的不同节点、跨机架的不同节点，兼顾数据可靠性、读写性能和存储成本。17.下列关于MapReduce计算模型的执行流程，顺序正确的是（）A.Map阶段→Shuffle阶段→Reduce阶段B.Reduce阶段→Shuffle阶段→Map阶段C.Shuffle阶段→Map阶段→Reduce阶段D.Map阶段→Reduce阶段→Shuffle阶段正确答案：A。解析：MapReduce的执行流程首先由各个节点并行执行Map任务，处理本地数据分片输出中间结果；随后通过Shuffle阶段完成中间数据的分区、排序、合并、跨节点拉取；最后由Reduce节点对拉取到的同分区数据进行聚合计算输出最终结果。18.MapReduce计算模型的核心局限性不包括（）A.每次计算都需要频繁读写磁盘，迭代计算场景性能低下B.仅支持Map和Reduce两类编程算子，复杂算法实现难度高C.Hadoop1.x版本中资源调度和计算逻辑耦合，集群资源利用率低D.无法实现分布式并行计算，所有计算必须在单个节点完成正确答案：D。解析：MapReduce本身就是为分布式并行计算设计的框架，可将计算任务拆分到集群上百个节点并行执行；其余选项均为MapReduce的固有局限，也是Spark等新一代内存计算框架对其替代的核心原因。19.Hadoop生态中YARN组件的核心功能是（）A.存储海量非结构化文件数据B.负责整个集群的资源统一调度和管理，为各类计算任务分配CPU、内存资源C.提供类SQL的查询接口，将SQL语句转换为MapReduce任务执行D.实现分布式场景下的节点状态一致性协调正确答案：B。解析：YARN（YetAnotherResourceNegotiator）是Hadoop集群的统一资源调度层，支持MapReduce、Spark、Flink等多种计算框架共享集群资源，大幅提升集群资源利用率；选项A是HDFS的功能，选项C是Hive的功能，选项D是ZooKeeper的核心功能。20.下列关于Hive组件的描述，正确的是（）A.Hive是面向OLTP场景的分布式关系型数据库，支持毫秒级事务响应B.Hive提供HiveSQL查询接口，本质是将SQL语句转换为分布式计算任务在Hadoop集群上运行C.Hive的数据全部存储在自身的专有存储系统中，不依赖HDFSD.Hive适合低延时的交互式查询场景，查询响应时间通常在秒级以内正确答案：B。解析：Hive是基于Hadoop构建的数据仓库工具，面向OLAP离线统计场景，数据默认存储在HDFS上，核心能力是将类SQL语句转换为分布式计算任务执行，由于底层依赖磁盘IO，查询延时较高，通常在分钟级以上，不适合低延时交互查询和高频事务处理。21.HBase架构中，负责处理用户的读写请求、管理实际数据存储的核心节点是（）A.HMasterB.RegionServerC.NameNodeD.ResourceManager正确答案：B。解析：HBase采用主从架构，HMaster是管控节点，负责元数据管理、Region分配、集群状态监控等工作；RegionServer是从节点，部署在工作节点上，负责响应客户端读写请求，管理本地存储的Region数据；NameNode是HDFS主节点，ResourceManager是YARN主节点，均不属于HBase组件。22.ZooKeeper作为分布式协调组件，提供的核心能力不包括（）A.统一命名服务B.分布式锁服务C.集群节点状态监控与主节点选举D.大规模分布式数据集的批量计算正确答案：D。解析：ZooKeeper是分布式协调服务组件，不承担大规模数据计算职责，其核心能力包括统一命名、配置管理、分布式锁、主节点选举、状态监控等，是HBase、Kafka等分布式组件实现高可用的基础依赖。23.下列关于Hadoop生态中Kafka组件的定位，描述正确的是（）A.分布式消息队列，主要用于高吞吐场景下的数据缓存和传输解耦B.分布式文件系统，用于存储海量大文件C.分布式计算引擎，用于实时流数据处理D.分布式数据仓库，用于离线报表统计正确答案：A。解析：Kafka是高吞吐、低延时、可持久化的分布式消息队列，作为数据传输管道实现数据采集层与计算层的解耦，支持流量削峰，是大数据实时架构中核心的数据缓冲组件；其余选项分别对应HDFS、Flink/SparkStreaming、Hive的功能定位。24.Hive中用于定义数据结构、存储数据与HDFS文件映射关系的核心组件是（）A.MetastoreB.ExecutorC.DriverD.NameNode正确答案：A。解析：Metastore是Hive的元数据管理模块，存储表结构、字段类型、分区信息、数据存储路径、序列化方式等核心元数据，是Hive运行的核心基础；Executor是任务执行器，Driver是SQL解析驱动，NameNode是HDFS的主节点。25.下列关于MapReduce中Shuffle过程的描述，错误的是（）A.Shuffle过程包含Map端的溢写、分区、排序、合并操作B.Shuffle过程包含Reduce端的数据拉取、归并排序操作C.Shuffle过程全程在内存中完成，不需要读写磁盘D.Shuffle过程的性能直接影响整个MapReduce任务的执行效率正确答案：C。解析：Shuffle过程涉及多次磁盘读写操作，包括Map端中间结果溢写到磁盘、磁盘文件归并，Reduce端拉取数据后落盘归并等，大量磁盘IO是MapReduce计算性能较低的核心原因。26.HDFS存储数据时，当某个DataNode节点发生故障导致存储的数据块副本数量不足时，系统会触发什么机制保障数据可靠性（）A.副本自动复制机制，从其他持有该块副本的节点复制数据到正常节点，补足副本数B.立即停止整个集群的对外服务，等待故障节点恢复C.直接删除丢失的数据块，释放存储空间D.将NameNode切换为备用节点，忽略块丢失问题正确答案：A。解析：DataNode会定期向NameNode上报心跳和存储的块列表，当NameNode检测到某数据块的副本数低于配置值时，会自动指令其他正常节点从持有副本的节点复制数据，补足副本数量，整个过程自动完成，不需要停止集群服务。27.下列关于YARN架构中ApplicationMaster的核心职责，描述正确的是（）A.负责整个集群的全局资源调度，响应所有应用的资源申请B.负责单个应用程序的任务调度、状态监控，向ResourceManager申请资源并分配给内部任务C.负责存储实际的应用数据，提供数据读写服务D.负责节点上的资源隔离，管控节点上所有Container的生命周期正确答案：B。解析：每个提交到YARN的应用都会启动独立的ApplicationMaster进程，负责应用内部的任务拆分、调度、状态监控和容错，向ResourceManager申请运行任务所需的Container资源；选项A是ResourceManager的职责，选项C是DataNode的职责，选项D是NodeManager的职责。28.大数据采集流程中，下列工具属于网页数据采集（网络爬虫）常用工具的是（）A.SqoopB.FlumeC.ScrapyD.Logstash正确答案：C。解析：Scrapy是Python生态下开源的分布式网络爬虫框架，支持定制化网页数据爬取、解析、存储；Sqoop用于关系型数据库与Hadoop生态之间的批量数据传输；Flume、Logstash是常用的日志采集工具。29.下列采集工具中，专门用于实现关系型数据库与Hadoop生态之间数据批量导入导出的是（）A.FlumeB.SqoopC.KafkaD.ZooKeeper正确答案：B。解析：Sqoop是Hadoop生态的原生数据传输工具，可通过JDBC连接关系型数据库，基于MapReduce实现数据的并行批量导入导出；Flume用于日志采集，Kafka用于消息缓冲，ZooKeeper用于分布式协调。30.数据预处理环节是数据科学项目中耗时占比最高的环节，行业通用经验表明该环节通常占整个项目工作量的（）A.10%以下B.20%-30%C.60%-80%D.100%正确答案：C。解析：原始业务数据普遍存在缺失值、异常值、格式不一致、关联关系混乱等问题，数据清洗、集成、转换、归约等预处理工作往往占据整个数据科学项目60%-80%的工作量，预处理质量直接决定后续模型和分析结果的准确性。31.数据清洗过程中，针对数据集中存在的缺失值，下列处理方式不恰当的是（）A.当缺失值占比极低时，可以直接删除包含缺失值的样本B.对于数值型特征的缺失值，可以使用特征均值、中位数进行填充C.对于有明确业务含义的缺失值，可以结合业务规则填充，比如用户未填写的消费金额按0填充D.无论缺失值占比多高，都必须保留所有样本，绝对不能删除任何数据正确答案：D。解析：缺失值处理需要结合缺失比例、业务含义选择方案，当某特征或样本的缺失比例过高（如超过80%）时，数据本身已经失去统计意义，可直接删除，盲目保留大量缺失数据会引入严重噪声，影响分析结果可靠性。32.下列关于数据异常值（离群点）的处理，描述错误的是（）A.异常值一定是错误数据，所有场景下都必须直接删除B.可以通过3σ原则、箱线图法、聚类算法、孤立森林等方式识别异常值C.部分场景下异常值本身包含高价值信息，比如信用卡欺诈交易识别中的异常交易D.对于确认是录入错误导致的异常值，可以通过修正、删除等方式处理正确答案：A。解析：异常值是指偏离数据整体分布的极端值，并不一定是错误数据，在欺诈识别、设备故障检测等场景中，异常值恰恰是需要重点关注的核心对象，需要结合业务场景判断处理方式，不能一概删除。33.Flume作为分布式日志采集工具，其核心架构不包含以下哪个组件（）A.Source（数据源组件，负责接收日志数据）B.Channel（通道组件，负责缓存Source接收到的数据）C.Sink（下沉组件，负责将Channel中的数据发送到下游存储或计算系统）D.NameNode（文件系统元数据节点）正确答案：D。解析：Flume的核心数据流模型为Source→Channel→Sink，支持多节点级联部署满足大规模日志采集需求；NameNode是HDFS的核心组件，不属于Flume架构范畴。34.数据预处理中的数据标准化操作（如将特征缩放到均值为0、方差为1的标准正态分布），其核心目的是（）A.删除数据中的异常值B.消除不同特征之间的量纲差异，提升模型收敛速度和精度C.增加数据的维度，丰富特征信息D.对数据进行加密，保障数据安全正确答案：B。解析：Z-Score标准化是常用的特征缩放方法，对于基于距离计算的机器学习模型（如K-Means、SVM、线性回归等），不同特征的量纲差异会导致模型被大数值特征主导，标准化可消除量纲影响，加快模型收敛速度，提升模型精度。35.下列关于数据采集过程中的数据质量校验维度，不包括（）A.完整性：校验数据是否存在缺失记录、缺失字段B.一致性：校验同一数据在不同系统中的取值是否一致，不存在逻辑冲突C.准确性：校验数据取值是否符合业务规则、是否在合理区间内D.可移植性：校验数据是否可以在不同操作系统之间迁移正确答案：D。解析：数据采集阶段的核心质量校验维度包括完整性、一致性、准确性、及时性、唯一性，可移植性是软件系统的技术特性，不属于数据质量校验范畴。36.当使用Canal工具进行数据采集时，其核心实现原理是（）A.模拟MySQL从节点，解析MySQL的binlog日志实现增量数据实时采集B.定时全量扫描关系型数据库表，抽取全量数据C.通过爬虫方式爬取数据库前端页面展示的数据D.读取HDFS上的历史文件数据进行格式转换正确答案：A。解析：Canal是开源的CDC（变更数据捕获）工具，通过模拟MySQL从节点的通信协议，拉取主库的binlog变更日志并解析，实现数据库增删改操作的实时捕获，是实时数仓场景常用的增量采集工具。37.数据预处理中的特征编码操作，比如将类别型特征（性别、省份、职业）转换为数值形式，其核心原因是（）A.数值形式的数据占用存储空间更小B.绝大多数机器学习模型无法直接处理字符串类型的类别特征，需要转换为数值输入C.编码后的数据可以直接删除原始列，减少数据量D.编码操作可以提升数据的安全性，防止敏感信息泄露正确答案：B。解析：绝大多数机器学习模型的输入要求为数值型矩阵，字符串类型的类别特征无法直接参与模型计算，需要通过标签编码、独热编码等方式转换为数值形式才能输入模型。38.下列关于Spark计算框架的描述，错误的是（）A.Spark基于内存计算模型，在迭代计算场景下性能比MapReduce高10-100倍B.Spark提供了SparkCore、SparkSQL、SparkStreaming、MLlib、GraphX等多个组件，覆盖批处理、SQL查询、流计算、机器学习、图计算等场景C.Spark支持使用Scala、Java、Python、R等多种语言进行开发D.Spark所有计算任务必须完全在内存中完成，不支持读写磁盘正确答案：D。解析：Spark优先利用内存进行计算，当内存资源不足时会自动将部分数据溢写到磁盘存储，并非完全不能读写磁盘；其余选项均为Spark的核心特性。39.Spark的核心数据抽象RDD指的是（）A.弹性分布式数据集，是一个可并行操作、支持容错的不可变数据集合B.关系型分布式数据表，支持标准SQL事务操作C.实时分布式消息流，支持低延时数据传输D.分布式文件块，存储在HDFS上的最小数据单元正确答案：A。解析：RDD（ResilientDistributedDataset，弹性分布式数据集）是Spark最核心的底层数据抽象，具备自动容错、并行计算、内存与磁盘自动切换等特性，是Spark上层组件实现的基础。40.SparkSQL中用于结构化数据处理的核心数据抽象是（）A.RDDB.DataFrame/DatasetC.DStreamD.StreamGraph正确答案：B。解析：DataFrame/Dataset是SparkSQL中带Schema约束的结构化数据抽象，类似关系型数据库中的表，内置Catalyst优化器对执行计划进行优化，相比原生RDD具备更高的执行效率和更简洁的编程接口；DStream是SparkStreaming的流数据抽象。41.下列关于Flink计算框架的核心特性，描述正确的是（）A.Flink是纯批处理计算引擎，不支持流数据处理B.Flink基于事件驱动模型，是原生流处理引擎，将批处理看作有界的特殊流C.Flink不支持状态计算，所有计算必须无状态D.Flink的处理时延高于SparkStreaming，无法满足毫秒级实时场景需求正确答案：B。解析：Flink是原生流处理引擎，遵循“流是核心、批是有界流”的设计理念，原生支持有状态计算，处理时延可达毫秒级，配合Checkpoint机制可实现端到端精确一次的一致性语义，实时性优于SparkStreaming的微批处理模型。42.Flink为了实现精确一次（Exactly-Once）的状态一致性语义，核心依赖的机制是（）A.检查点（Checkpoint）机制，基于Chandy-Lamport分布式快照算法实现状态持久化B.三副本存储机制，所有数据保存三个副本C.数据库事务机制，所有计算结果写入支持事务的关系型数据库D.重试机制，任务失败后自动重启重新计算所有数据正确答案：A。解析：Flink的Checkpoint机制通过在数据流中周期性插入屏障，对齐各个算子的处理进度，快照算子状态并持久化到外部存储，当任务故障时可从最近完成的检查点恢复状态，结合可重放的数据源和支持事务的下游Sink，实现端到端的精确一次语义。43.Flink支持的时间语义中，基于数据本身携带的事件产生时间进行计算、能够解决网络延迟导致的数据乱序问题的是（）A.处理时间（ProcessingTime）B.事件时间（EventTime）C.摄入时间（IngestionTime）D.系统时间（SystemTime）正确答案：B。解析：事件时间是数据产生时自带的时间戳，基于事件时间的计算配合水位线（Watermark）机制，可以有效处理网络传输导致的数据乱序、迟到问题，是实时计算中保障计算结果准确性最常用的时间语义；处理时间是数据到达算子被处理时的服务器本地时间，受网络延迟影响大，无法解决乱序问题。44.下列关于Spark和Flink的对比，描述错误的是（）A.Spark的流计算模型是微批处理，将流数据切分为小的批次进行处理B.Flink是原生流处理，数据以事件为单位持续流动处理C.Spark比Flink更适合做需要毫秒级响应的纯实时低延时场景D.Spark在机器学习、大规模离线批处理场景的生态完善度更高正确答案：C。解析：Flink的原生流模型处理时延可达毫秒级，更适合低延时实时场景；SparkStreaming采用微批模型，处理时延通常在百毫秒到秒级，更适合离线批处理和实时性要求不高的流处理场景。45.Spark运行架构中，负责在工作节点上执行具体计算任务、以线程形式运行在Executor进程中的最小执行单元是（）A.DriverB.TaskC.ApplicationMasterD.ResourceManager正确答案：B。解析：Task是Spark执行计算的最小单元，以线程形式运行在工作节点的Executor进程中；Driver是运行用户应用主函数的进程，负责创建SparkContext、生成执行计划、提交任务；ApplicationMaster和ResourceManager是YARN层面的资源管控组件。46.Flink中用于处理迟到时间超出水位线允许范围的数据的机制是（）A.侧输出流（SideOutput），将迟到数据发送到单独的流中进行后续处理B.直接丢弃所有迟到数据，不做任何处理C.重启整个计算任务，重新处理所有数据D.将迟到数据自动合并到之前的计算结果中，不需要额外处理正确答案：A。解析：Flink通过水位线设置允许的最大迟到时间，超出时间仍未到达的迟到数据不会被强制丢弃，可通过侧输出流单独收集，用于后续补算、审计等处理，避免数据丢失。47.下列关于流计算中的窗口操作，描述错误的是（）A.滚动窗口的窗口长度固定，窗口之间不重叠、无间隙B.滑动窗口的窗口长度固定，设置滑动步长，窗口之间可以重叠C.会话窗口根据数据的活动间隙划分窗口，没有固定的窗口长度D.窗口操作只能在批处理任务中使用，流处理任务不支持窗口正确答案：D。解析：窗口是流处理的核心操作，用于将无限持续的数据流切分为有限大小的数据块进行聚合计算，流处理框架普遍支持滚动窗口、滑动窗口、会话窗口等多种窗口类型。48.下列数据分析方法中，属于描述性统计分析范畴的是（）A.基于历史销售数据预测下季度的产品销售额B.统计用户群体的平均年龄、消费金额分布、不同地域的用户占比C.构建分类模型识别高价值流失用户D.通过关联规则挖掘购物篮中商品的购买关联关系正确答案：B。解析：描述性统计分析通过均值、分布、占比、频次等指标对已有数据的特征进行汇总描述，回答“数据是什么样的”问题；选项A属于预测性分析，选项C属于分类建模，选项D属于关联规则挖掘，均为更高阶的分析方法。49.下列机器学习算法中，属于无监督学习算法的是（）A.逻辑回归（用于二分类预测）B.K-Means聚类（用于用户群体划分）C.决策树（用于欺诈识别分类）D.线性回归（用于房价预测）正确答案：B。解析：无监督学习的训练数据没有预先标注的标签，算法通过学习自动发现数据中的内在结构，K-Means聚类是典型无监督算法；其余选项均为有监督学习算法，需要带标签的训练数据完成模型拟合。50.在分类模型评估指标中，能够表示“所有实际为正类的样本中，被模型正确预测为正类的比例”的指标是（）A.精确率（Precision）B.召回率（Recall）C.准确率（Accuracy）D.F1值正确答案：B。解析：召回率（查全率）=真正例/(真正例+假负例)，衡量模型找全所有正类样本的能力；精确率衡量模型预测为正类的结果中真正为正类的比例；准确率衡量所有样本中预测正确的比例；F1值是精确率和召回率的调和平均值，用于综合衡量模型性能。51.数据可视化中，要展示不同类别数据的占比关系，最适合选择的图表类型是（）A.折线图B.饼图/环形图C.散点图D.雷达图正确答案：B。解析：饼图/环形图通过扇形面积直观展示各部分占总体的比例关系；折线图适合展示数据随时间变化的趋势；散点图适合展示两个连续变量之间的相关关系；雷达图适合展示多维度指标的横向对比。52.下列关于过拟合问题的描述，正确的是（）A.过拟合是指模型在训练集上表现很差，在测试集上表现也很差B.过拟合是指模型过度学习了训练集中的噪声和偶然细节，导致在测试集上泛化能力差C.过拟合问题无法通过任何方式缓解D.增加模型复杂度、减少训练数据量可以有效缓解过拟合正确答案：B。解析：过拟合的典型表现是模型在训练集上指标表现极好，但在未见过的测试集上表现很差，本质是模型把训练集中的噪声当成了普遍规律；可通过增加训练数据、加入正则化、降低模型复杂度、早停等方式缓解过拟合。53.关联规则挖掘中，“购买了啤酒的用户中有很大概率同时购买尿布”这类规则，用于衡量规则可信度的指标是（）A.支持度B.置信度C.提升度D.相似度A.SQL因为语法简单、表达能力强，是大数据分析领域最常用的查询语言B.Hive、SparkSQL、Presto、FlinkSQL等大数据组件都支持标准SQL语法C.大数据场景下的SQL查询可以自动分布式执行，处理PB级数据D.SQL只能在传统单机关系型数据库中使用，大数据系统不支持SQL正确答案：D。解析：当前主流大数据计算引擎均提供SQL接口，SQL已成为大数据分析最主流的编程方式，大幅降低了大数据技术的使用门槛，分析师无需编写复杂的分布式代码即可完成海量数据查询分析。55.A/B测试是数据驱动业务决策的核心方法，下列关于A/B测试的设计原则，描述错误的是（）A.需要将用户随机分流到不同实验组，保证各组用户特征分布一致B.实验组和对照组除了待验证的策略差异外，其他环境变量需要保持一致C.测试过程中不需要统计显著性检验，只要指标有差异就可以判定策略有效D.需要保证样本量足够，避免小样本随机波动导致的结论偏差正确答案：C。解析：A/B测试需要通过统计显著性检验判断组间指标差异是由策略导致还是随机波动导致，仅凭数值差异直接下结论极大概率会出现误判。56.数据湖架构的核心特点是（）A.提前定义严格的数据模型，只存储清洗加工后的结构化数据B.以原始格式存储企业各类结构化、半结构化、非结构化数据，支持多种计算引擎按需访问C.只存储实时流数据，不存储历史批量数据D.全部采用内存存储，提供最高的查询性能正确答案：B。解析：数据湖是企业级集中式数据存储架构，可存储任意类型、任意格式的原始数据，不需要提前定义Schema，支持批处理、流处理、机器学习、交互式查询等多种计算