2026年山东省大数据专业中级职称（大数据系统研发专业）考试必做试题库

2026年山东省大数据专业中级职称（大数据系统研发专业）考试必做试题库一、单项选择题（共250题）1.以下哪个不是大数据的主要特征（4V）？A.Volume（大量）B.Velocity（高速）C.Veracity（准确性）D.Variety（多样）答案：C解析：大数据的4V特征通常为Volume（大量）、Velocity（高速）、Variety（多样）和Value（价值）。Veracity（真实性）有时被提及，但不是核心4V定义中的特征。2.Hadoop的核心组件不包括：A.HDFSB.MapReduceC.YARND.Spark答案：D解析：Hadoop的核心组件包括HDFS（分布式文件系统）、MapReduce（分布式计算框架）和YARN（资源管理器）。Spark是独立的分布式计算引擎，不属于Hadoop核心组件。3.HDFS默认的数据块大小（Hadoop2.x/3.x）通常是：A.64MBB.128MBC.256MBD.512MB答案：B解析：Hadoop2.x之后，HDFS的默认块大小由64MB改为128MB，以减少元数据开销并提高大文件处理效率。4.在MapReduce中，负责执行用户自定义的map函数，并将输出写入磁盘的阶段是：A.MapTaskB.ReduceTaskC.ShuffleD.Sort答案：A解析：MapTask负责调用用户编写的map函数处理输入数据，生成中间键值对并写入本地磁盘。5.YARN中负责管理集群资源、监控节点健康的守护进程是：A.ApplicationMasterB.NodeManagerC.ResourceManagerD.Container答案：C解析：ResourceManager是YARN的主守护进程，负责全局资源调度和集群管理。NodeManager是每台机器上的代理。6.下列哪种文件格式在大数据生态中具有高压缩比且支持列式存储？A.TextFileB.SequenceFileC.ParquetD.JSON答案：C解析：Parquet是列式存储格式，具有高压缩比和高效的编码方式，非常适合于分析型查询。7.ZooKeeper在分布式系统中最主要的作用是：A.数据存储B.分布式协调服务C.流计算D.资源调度答案：B解析：ZooKeeper提供配置管理、命名服务、分布式锁、集群选举等协调服务，是分布式系统的“胶水”。8.HBase的底层数据存储是基于哪个文件系统？A.NTFSB.FAT32C.HDFSD.Ext4答案：C解析：HBase的数据最终存储在HDFS上，利用其高可靠、高扩展的特性。9.在Spark中，用于表示不可变、可分区的元素集合的抽象是：A.RDDB.DataFrameC.DataSetD.DStream答案：A解析：RDD（弹性分布式数据集）是Spark最核心的数据抽象，具有容错和并行计算特性。DataFrame和DataSet是更高层的抽象，DStream用于流处理。10.下列哪个命令用于在HDFS上查看文件列表？A.hdfsdfs-catB.hdfsdfs-lsC.hdfsdfs-putD.hdfsdfs-mv答案：B解析：`-ls`用于列出目录或文件信息；`-cat`查看内容；`-put`上传；`-mv`移动。11.关于Hive，以下描述正确的是：A.Hive是一个OLTP数据库B.Hive使用HQL，会自动编译为MapReduce/Tez等执行C.Hive不支持分区D.Hive的数据直接存储在本地文件系统答案：B解析：Hive是数据仓库工具，将HQL编译为分布式计算任务（如MapReduce、Tez、Spark）执行，支持分区和分桶，数据通常存储在HDFS。12.Flume的核心组件不包括：A.SourceB.ChannelC.SinkD.Broker答案：D解析：Flume由Source（数据源）、Channel（缓冲区）、Sink（下沉地）组成。Broker是Kafka中的概念。13.Kafka中的消息按照主题进行划分，每个主题可以分为多个：A.QueueB.PartitionC.BucketD.Segment答案：B解析：每个Kafka主题可划分为多个分区（Partition），以实现并行处理和水平扩展。14.Spark中的窄依赖（NarrowDependency）是指：A.父RDD的每个分区被子RDD的多个分区使用B.父RDD的每个分区最多被子RDD的一个分区使用C.多对多的依赖关系D.需要shuffle操作答案：B解析：窄依赖不产生shuffle，父分区数据直接流入子分区。宽依赖（ShuffleDependencies）则涉及数据重分布。15.以下哪种调度器不是YARN支持的？A.FIFOSchedulerB.CapacitySchedulerC.FairSchedulerD.PriorityScheduler答案：D解析：YARN内置了FIFO、Capacity和Fair三种调度器。PriorityScheduler非原生支持。16.在HBase中，通过什么来唯一标识一行数据？A.ColumnFamilyB.ColumnQualifierC.RowKeyD.Timestamp答案：C解析：RowKey是HBase中行的唯一标识，数据按RowKey字典序排序存储。17.数据仓库建模中，星型模型的核心是什么？A.多个事实表和多个维度表B.一个事实表周围环绕多个维度表C.只有维度表D.规范化到第三范式答案：B解析：星型模型由中心的一个事实表和四周的多个维度表组成，维度表直接与事实表关联，结构呈星状。18.下列哪个算法不是用于处理数据倾斜的？A.增加reduce任务数量B.自定义分区器C.使用CombinerD.将key加上随机前缀答案：A解析：单纯增加reduce数量不能解决数据倾斜，因为倾斜是由key分布不均导致的。常用方法包括自定义分区、加盐（随机前缀）和Combiner局部聚合。19.Spark中，将RDD持久化到内存中的操作是：A.collect()B.cache()C.saveAsTextFile()D.reduce()答案：B解析：`cache()`将RDD标记为持久化，默认存储级别为内存中。`persist()`可以指定存储级别。`collect()`是行动操作，将数据拉取到Driver端。20.在Hive中，删除整张表（包括元数据和数据）的命令是：A.DROPTABLEB.DELETETABLEC.TRUNCATETABLED.REMOVETABLE答案：A解析：`DROPTABLE`删除元数据和数据；`TRUNCATETABLE`仅删除表数据，保留表结构。21.下列哪个组件通常用于实时的流式数据处理？A.MapReduceB.ApacheFlinkC.ApacheHiveD.HDFS答案：B解析：Flink是真正的流式处理引擎，支持事件时间和状态管理。MapReduce和Hive主要面向批处理。22.下列关于NameNode的描述，错误的是：A.存储文件的元数据B.维护文件系统树C.直接存储文件数据块D.记录每个文件对应的数据块位置答案：C解析：NameNode管理元数据，实际数据块存储在DataNode中，NameNode不存储数据。23.SparkSQL中的DataFrame和RDD相比，最大的优势是：A.类型安全B.可以直接调用Java方法C.提供了schema信息和优化器（Catalyst）D.不支持序列化答案：C解析：DataFrame有schema，可以通过Catalyst优化器进行逻辑和物理优化，并能利用Tungsten执行引擎，性能优于RDD。DataSet更强调类型安全。24.要在大数据环境中实现“一次写入、多次读取”，最适合的存储组件是：A.HDFSB.MySQLC.RedisD.MongoDB答案：A解析：HDFS的设计原则就是WriteOnce,ReadMany，适合批处理和分析场景，不支持随机修改。25.在Kafka中，负责消费消息的客户端叫做：A.ProducerB.BrokerC.ConsumerD.Zookeeper答案：C解析：生产者（Producer）发送消息，消费者（Consumer）拉取消息，Broker是Kafka服务节点。26.Hive中的分区字段在底层对应什么？A.文件中的某一行B.HDFS上的子目录C.数据库索引D.一个独立文件答案：B解析：Hive分区在HDFS上表现为带有分区字段键值的子目录，例如/dt=2023/。27.SparkonYARN模式中，负责为应用程序申请资源并启动Executor的是：A.SparkContextB.ClusterManagerC.ApplicationMasterD.Worker答案：C解析：在YARN模式下，ApplicationMaster（对于Spark来说是ExecutorLauncher）负责向ResourceManager申请资源并启动Executor。28.以下哪种不是大数据的处理模式？A.批处理B.流处理C.交互式查询D.单机串行处理答案：D解析：大数据处理通常包括批处理（MapReduce、Spark）、流处理（Flink、SparkStreaming）和交互式查询（Impala、Presto）。单机串行处理不属于大数据处理范畴。29.ApacheFlink中用于保证状态一致性的核心机制是：A.CheckpointB.SavepointC.WatchpointD.Log答案：A解析：Checkpoint是Flink自动触发的分布式快照，用于故障恢复，保证exactly-once语义。Savepoint是手动触发的备份。30.关于MapReduce的Combiner，描述正确的是：A.是Reduce端的一个组件B.对Map输出进行局部聚合以减少网络传输C.必须和Reducer逻辑完全一致D.不会影响最终结果答案：B解析：Combiner在Map端执行局部合并，可以有效减少shuffle的数据量。通常可以和Reducer使用相同的类，但必须满足交换律和结合律。31.HDFS中SecondaryNameNode的作用是：A.在NameNode故障时立即取代B.合并FsImage和EditLog，生成检查点C.存储第二份数据备份D.作为客户端接口答案：B解析：SecondaryNameNode并非热备，它的主要工作是定期合并编辑日志和镜像文件，防止编辑日志过大，并保存元数据检查点。32.下列哪种数据类型在Hive中是不支持的？A.INTB.STRINGC.ARRAYD.IMAGE答案：D解析：Hive支持基本类型和复杂类型（ARRAY,MAP,STRUCT），但没有专门的图像类型。33.Spark中的shuffle操作通常产生于：A.mapB.filterC.reduceByKeyD.flatMap答案：C解析：`reduceByKey`需要对相同key的数据进行聚合，必然会触发shuffle。`map`、`filter`、`flatMap`都是窄依赖操作。34.Kafka为了保证高吞吐量，采用了哪种数据持久化技术？A.写入关系型数据库B.顺序写入磁盘C.写入内存缓存D.通过网络存储答案：B解析：Kafka利用顺序磁盘I/O的高效性，将消息追加写入文件末尾，极大地提高了读写性能。35.在HBase中，列簇（ColumnFamily）需要在何时定义？A.写入数据时B.读取数据时C.创建表时D.任何时候答案：C解析：HBase的表在创建时必须指定列族，列限定符可以在插入数据时动态指定。36.以下哪个命令可以查看Spark应用的执行历史和日志？A.spark-shellB.spark-submitC.spark-history-serverD.spark-sql答案：C解析：HistoryServer可以查看已完成的Spark应用的详细执行日志和指标。37.在数据清洗中，处理缺失值的方法通常不包括：A.删除记录B.均值填充C.不做任何处理D.中位数填充答案：C解析：缺失值一般需要处理，如删除、填充（均值、中位数、众数等）。完全不处理可能会导致分析错误。38.以下关于YARNContainer的描述，不正确的是：A.Container是YARN中资源的抽象B.每个Container包含一定量的CPU和内存C.Container只能运行一个进程D.一个NodeManager可以有多个Container答案：C解析：Container封装了机器上的多维度资源，可以运行一个或多个任务，不仅是单个进程，但它是由AM分配的资源单位。39.Spark中，将数据从Driver分发到所有Executor的共享变量是：A.累加器B.广播变量C.RDDD.DataFrame答案：B解析：广播变量（BroadcastVariable）将较小的只读数据高效分发到每个Executor的内存中，避免重复传输。累加器用于聚合。40.用于将结构化数据流式输出到控制台的Spark方法是：A.writeStream.format("console").start()B.write.format("console")C.writeStream.text()D.console().write()答案：A解析：StructuredStreaming使用`writeStream.format("console").start()`将结果打印到控制台。41.Hive中内部表和外部表的区别是：A.内部表数据在删除表时会被删除，外部表不会B.外部表支持分区，内部表不支持C.内部表由HDFS管理，外部表由Hive管理D.没有区别答案：A解析：删除内部表（ManagedTable）时，Hive会同时删除元数据和HDFS上的数据；而删除外部表仅删除元数据，数据文件保留。42.大数据平台中，负责权限管理和认证的组件通常是：A.FlumeB.Ranger/SentryC.KafkaD.Oozie答案：B解析：ApacheRanger和Sentry提供细粒度的安全访问控制、审计和权限管理。Oozie是工作流调度器。43.对于Spark的宽依赖，哪个描述正确？A.父RDD的一个分区只被一个子RDD分区使用B.父RDD的一个分区被子RDD的多个分区使用C.不需要shuffleD.可以使用pipeline执行答案：B解析：宽依赖（ShuffleDependence）中，父RDD的分区数据需要被多个子分区使用，需要跨节点传输数据。44.Hadoop的序列化框架Writable具有什么特点？A.庞大且慢B.紧凑、快速、可扩展C.只能序列化文本D.基于XML答案：B解析：Writable序列化机制紧凑、速度快，但不易跨语言。Avro等序列化框架更通用。45.要查看HDFS中某个文件的数据块分布，应使用：A.hdfsfsck/B.hdfsdfs-statC.hdfsdfs-lsD.hdfsdfs-count答案：A解析：`hdfsfsck`命令可以检查文件系统健康状况，并显示文件的块信息和位置。46.下面哪个不是Kafka作为消息系统的优势？A.高吞吐量B.持久化存储C.严格的事务支持（早期版本不支持，后续版本支持但非核心优势描述）D.分布式可扩展答案：C解析：Kafka早期以高吞吐、持久化和分布式闻名，事务在0.11后引入，但其核心优势一直是高性能消息传递。47.Flink的窗口函数中，基于处理时间的窗口是：A.事件时间窗口B.摄入时间窗口C.处理时间窗口D.计数窗口答案：C解析：处理时间窗口使用机器系统时间触发计算，延迟低但数据准确性受乱序影响。48.SparkRDD的transformation操作具有什么特性？A.立即执行B.惰性执行C.只能执行一次D.不能组合答案：B解析：所有RDD的转换操作都是惰性的，遇到行动操作才会触发实际计算，从而构建DAG。49.为HBaseRowKey设计添加盐值，主要是为了防止：A.数据丢失B.Region热点问题C.列族过多D.权限泄露答案：B解析：加盐（Salting）将连续的RowKey分散，避免个别Region承载过多读写压力，解决热点问题。50.MapReduce中的Partitioner主要负责什么？A.将输入数据分片B.决定Map输出数据被哪个ReduceTask处理C.对Reduce输出进行排序D.合并中间文件答案：B解析：Partitioner根据key决定map输出的中间数据发往哪个reducetask。51.下列哪个是ApacheSpark的标准流处理模块？A.SparkSQLB.SparkStreaming/StructuredStreamingC.MLlibD.GraphX答案：B解析：Spark提供了SparkStreaming（DStream）和StructuredStreaming两种流式处理API。52.在Hive中，为了提高JOIN性能，可以将小表放入内存并广播到所有节点的优化是：A.MapJoinB.SMBJoinC.CommonJoinD.SkewJoin答案：A解析：MapJoin（Map端Join）适用于大表和小表的连接，将小表加载到每个Map的内存中直接关联，避免了shuffle。53.Flume的Agent由哪三部分组成？A.Source,Channel,SinkB.Producer,Broker,ConsumerC.Map,Shuffle,ReduceD.Master,Slave,ZooKeeper答案：A解析：一个FlumeAgent包含Source、Channel、Sink三个核心组件，完成数据采集、缓冲和转发。54.HDFS设计中，一次写入多次读取的模型主要针对什么场景优化？A.频繁的随机写入B.流式数据访问C.低延迟随机读取D.事务处理答案：B解析：HDFS为高吞吐量的流式数据访问和批处理设计，不擅长低延迟或随机写入。55.下列框架中，哪个不是资源调度框架？A.YARNB.MesosC.KubernetesD.HDFS答案：D解析：YARN、Mesos和K8s都是集群资源管理器。HDFS是分布式文件系统。56.关于Kafka的分区，下列说法正确的是：A.一个分区内消息是无序的B.不同分区之间保证全局有序C.分区内消息是有序的D.分区数不能更改答案：C解析：Kafka保证单个分区内消息的顺序，但不保证跨分区的全局顺序。57.Spark中，用于累加数值的共享变量是：A.广播变量B.累加器C.RDD缓存D.Checkpoint答案：B解析：累加器（Accumulator）在多个任务中安全地聚合值，常用于计数或求和。58.HDFS数据冗余机制中，默认的副本因子是多少？A.1B.2C.3D.4答案：C解析：HDFS默认将每个数据块复制为3份，存储在不同节点上，提供容错性。59.在Spark中，想要过滤出RDD中满足条件的数据，使用：A.mapB.flatMapC.filterD.reduce答案：C解析：`filter`转换操作保留使布尔函数返回true的元素。60.数据治理中，元数据管理的核心不包括：A.技术元数据B.业务元数据C.操作元数据D.硬件配置信息答案：D解析：元数据通常包括技术元数据（如表结构）、业务元数据（指标定义）和操作元数据（运行日志）。硬件信息不属于元数据管理范畴。61.MapReduce编程模型中，`setup`和`cleanup`方法在哪个类中可用？A.MapperB.ReducerC.PartitionerD.以上都是答案：D解析：Mapper和Reducer都有setup和cleanup方法，分别在任务开始和结束时调用一次。62.以下哪种不是Hive的文件存储格式？A.TEXTFILEB.SEQUENCEFILEC.ORCD.CSVFILE（原生内置格式）答案：D解析：Hive内置支持TEXTFILE,SEQUENCEFILE,ORC,PARQUET,RCFILE等，没有名为CSVFILE的内置格式，但可以通过SerDe支持CSV。63.在Spark中，用于输出Action的有：A.countB.collectC.saveAsTextFileD.以上都是答案：D解析：count、collect、saveAsTextFile都会触发实际计算，属于行动操作。64.关于ZooKeeper的Znode，说法不正确的是：A.可以存储数据B.有持久节点和临时节点C.临时节点在会话结束时会删除D.不支持顺序节点答案：D解析：ZooKeeper支持持久节点、临时节点、持久顺序节点和临时顺序节点。65.在实时数据处理中，关于事件时间和处理时间的描述，正确的是：A.事件时间是事件实际发生的时间，处理时间是系统处理事件的时间B.处理时间总是先于事件时间C.事件时间由系统时钟决定D.Flink无法处理事件时间答案：A解析：事件时间嵌入数据记录中，处理时间取决于系统时钟。两者存在偏差，Flink通过Watermark机制处理乱序。66.以下哪个命令可以启动Spark的Scala交互式环境？A.spark-shellB.spark-submitC.pysparkD.sparkR答案：A解析：spark-shell启动ScalaREPL，pyspark启动Python交互环境。67.HBase属于哪种类型的数据库？A.关系型数据库B.列式存储数据库C.键值对数据库D.图数据库答案：B解析：HBase是面向列的分布式NoSQL数据库，基于BigTable模型，数据按列族存储。68.在Hadoop集群中，负责存储数据块的节点是：A.NameNodeB.DataNodeC.SecondaryNameNodeD.ResourceManager答案：B解析：DataNode是实际存储数据块的节点，响应客户端的读写请求，并向NameNode报告块信息。69.对于Spark的Stage划分，依据是什么？A.数据源类型B.Shuffle依赖C.RDD数量D.Action操作答案：B解析：DAGScheduler根据宽依赖（Shuffle）划分Stage，遇到shuffle就切分Stage，Stage内部为窄依赖管道执行。70.以下哪项不是SparkSQL的优化器Catalyst的工作？A.分析逻辑计划B.优化逻辑计划C.物理计划生成D.执行任务序列化答案：D解析：Catalyst负责SQL/DataFrame的解析、优化和物理计划生成。任务序列化由SparkCore完成。71.下列哪个选项可以解决Spark数据倾斜？A.提高并行度（repartition）B.使用reduceByKey代替groupByKeyC.将key加盐D.以上都可以答案：D解析：数据倾斜的解决方案包括：增加分区数、使用聚合类算子、加盐打散key、使用mapjoin等。reduceByKey有map端预聚合，比groupByKey更优。72.在YARN上运行Spark应用时，可以通过什么参数指定executor内存？A.--executor-memoryB.--driver-memoryC.--total-executor-coresD.--num-executors答案：A解析：`--executor-memory`设置每个executor进程的内存，`--driver-memory`设置driver内存。73.HadoopMapReduce中，InputFormat的作用不包括：A.验证输入数据的规范性B.把输入文件切分成逻辑上的InputSplitC.提供RecordReader读取数据D.数据排序答案：D解析：InputFormat负责数据切分和记录读取。排序是由Shuffle和Sort阶段完成。74.关于Flume的Channel，描述正确的是：A.是数据目的地B.用于存储Event的缓冲区C.是数据源D.只能使用内存通道答案：B解析：Channel是连接Source和Sink的桥梁，临时存储Event。支持MemoryChannel和FileChannel等。75.Kafka的生产者发送消息时可以指定key，目的是：A.提高消息可读性B.根据key的哈希决定发送到哪个分区C.key是必须的字段D.用于消息加密答案：B解析：如果指定了key，producer会根据key的哈希值将消息路由到特定分区，保证同一key的消息顺序。76.在Spark中，`map`和`flatMap`的区别是：A.map返回一个元素，flatMap返回多个元素或无元素B.map可以过滤，flatMap不可以C.flatMap一定会产生shuffleD.两者没有区别答案：A解析：`map`是一对一转换；`flatMap`是一对多转换，返回一个可迭代对象并压平。77.Hive中，`ORDERBY`和`SORTBY`的区别是：A.ORDERBY保证全局有序，SORTBY保证每个Reducer局部有序B.SORTBY比ORDERBY慢C.两者完全相同D.ORDERBY不产生shuffle答案：A解析：`ORDERBY`导致所有数据进入一个Reducer全局排序，效率低；`SORTBY`在各Reducer内排序，可与`DISTRIBUTEBY`配合控制分发。78.下列属于数据仓库特性的选项是：A.面向主题、集成、不可变、时变B.面向事务、实时写入C.无模式的D.适用于OLTP答案：A解析：数据仓库具有面向主题、集成、数据相对稳定、随时间变化四大特征。79.HDFS的NameNode高可用（HA）通常通过什么实现？A.SecondaryNameNodeB.多个DataNodeC.活动NameNode和备用NameNode，依赖JournalNodeD.自动故障转移不需要任何依赖答案：C解析：HA方案使用两个NameNode（Active/Standby），通过JournalNode集群共享编辑日志，通过ZooKeeper实现故障转移。80.SparkStreaming的微批处理间隔通常由哪个参数决定？A.spark.streaming.blockIntervalB.batchDuration（在创建StreamingContext时指定）C.spark.sql.shuffle.partitionsD.windowDuration答案：B解析：StreamingContext创建时传入的Duration决定了微批处理的间隔，如Seconds(1)。81.在Hive中，使用`LATERALVIEW`与`explode`函数可以：A.将一行拆分成多行B.将多行合并为一行C.删除列D.执行JOIN答案：A解析：`LATERALVIEWexplode(array)`将包含数组的一行展开为多行，配合侧视图使用。82.关于Hadoop集群的安全模式（SafeMode），描述正确的是：A.在该模式下可以正常写入文件B.是NameNode启动时的只读状态，等待DataNode汇报数据块C.永远不会自动退出D.由DataNode控制答案：B解析：安全模式下文件系统只读，NameNode收集DataNode的块报告直到满足最小副本条件。83.下列哪个不是Spark的运行模式？A.LocalB.StandaloneC.YARND.MapReduce答案：D解析：Spark支持Local、Standalone、YARN、Mesos和Kubernetes模式。MapReduce是计算模型。84.Kafka中，同一个消费者组内，一条消息会被几个消费者消费？A.所有消费者B.一个消费者C.零个D.根据分区数量决定答案：B解析：消费者组内，每个分区只能被组内的一个消费者消费，保证消费互斥。85.在数据清洗流程中，处理不一致格式的日期数据通常采用：A.直接删除B.正则表达式匹配并转换C.填充默认值D.不做修改答案：B解析：对格式不一致的数据，通常通过模式匹配、函数转换等标准化。86.MapReduce中的环形缓冲区默认大小是多少？A.10MBB.64MBC.100MBD.128MB答案：C解析：Map任务输出的环形缓冲区默认大小为100MB（`mapreduce.task.io.sort.mb`），达到阈值会溢出写入磁盘。87.在Spark中，将RDD转为DataFrame需要导入什么？A.不需要导入B.spark.implicits._C.spark.sqlD.spark.session答案：B解析：导入`spark.implicits._`可以启用隐式转换，如将RDD通过`.toDF()`转为DataFrame。88.HBase的写入流程首先会写入哪个组件？A.StoreFileB.HFileC.MemStoreD.HDFS答案：C解析：数据先写入内存中的MemStore，同时写入WAL日志，达到阈值后刷写到磁盘生成StoreFile（HFile）。89.以下哪个工具常用于大数据生态中的工作流调度？A.Oozie/ApacheAirflowB.ZookeeperC.HDFSD.Impala答案：A解析：Oozie和Airflow是常见的工作流调度工具，可编排Hadoop、Spark等任务。90.ApacheFlink中，`keyBy`的作用是：A.对数据流进行过滤B.根据key对数据流进行逻辑分区C.窗口操作D.输出数据答案：B解析：`keyBy`将DataStream按照某个key划分到不同的逻辑分区，后续算子可以并行处理不同key的数据。91.分布式文件系统中，机架感知（RackAwareness）的主要作用是：A.提高数据存储的可靠性，将副本放置在不同机架上B.减少网络带宽消耗，优先读取本地或同机架数据C.监控节点温度D.增加数据块大小答案：A解析：机架感知策略使HDFS将副本分布在不同机架，防止机架故障导致数据不可用，同时优化读取性能。92.在Spark中，`repartition`和`coalesce`的区别是：A.repartition只能减少分区数，coalesce可以增加B.coalesce可以增加分区，repartition不可以C.repartition可以增加或减少分区（会产生shuffle），coalesce通常用于减少分区（可避免shuffle）D.两者完全相同答案：C解析：`repartition`一定会产生shuffle，可用于增减分区；`coalesce`默认不shuffle，用于高效减少分区。93.关于Hive的SerDe，描述正确的是：A.用于数据压缩B.用于序列化和反序列化数据C.管理元数据D.执行SQL优化答案：B解析：SerDe是Serializer/Deserializer，解析和生成文件中的行数据，支持不同格式读写。94.Kafka的消息过期删除策略是基于什么？A.消息大小B.保留时间或分区大小C.消费者偏移量D.随机答案：B解析：Kafka可以通过`retention.ms`（时间）和`retention.bytes`（分区大小）来配置清理过期消息。95.HBase中，数据查询最快的访问方式是：A.全表扫描B.通过RowKey单条GetC.基于列值过滤D.使用二级索引（原生支持有限，需借助Phoenix等）答案：B解析：HBase为RowKey设计了LSM-Tree和BloomFilter，通过RowKey直接Get效率最高。96.以下哪个不是Spark的部署模式？A.LocalB.StandaloneC.HadoopD.Mesos答案：C解析：Hadoop本身是生态系统，非Spark部署模式。Spark可以运行在Standalone,YARN,Mesos,K8s和Local。97.Flink的StateBackend不包括以下哪种？A.MemoryStateBackendB.FsStateBackendC.RocksDBStateBackendD.HBaseStateBackend答案：D解析：Flink内置MemoryStateBackend、FsStateBackend和RocksDBStateBackend三种状态后端。98.在Hadoop中，可以通过`distcp`工具实现什么？A.大规模集群内或集群间的数据拷贝B.压缩文件C.运行MapReduce作业D.格式化NameNode答案：A解析：DistCp是分布式拷贝工具，利用MapReduce并行传输数据，适合大数据集的迁移。99.SparkSQL中，`explode`函数属于哪类函数？A.聚合函数B.生成器函数（Generator）C.窗口函数D.数学函数答案：B解析：`explode`将数组或映射中的每个元素生成新的一行，是典型的生成器函数。100.关于Hadoop的推测执行（SpeculativeExecution），描述正确的是：A.提前启动Reduce任务B.为运行缓慢的任务启动一个备份任务C.只在Map阶段启用D.会降低整个作业效率答案：B解析：推测执行会识别执行缓慢的任务，并在另一个节点启动相同的任务副本，谁先完成就采用其结果，提高容错和整体执行效率。101.在Spark的DStream中，`updateStateByKey`操作实现了什么？A.无状态转换B.跨批次的全局状态维护C.窗口聚合D.过滤答案：B解析：`updateStateByKey`允许跨批处理时间维护key的状态，实现全局累加。102.下列哪项是Hive中的外部表特征？A.删除表时同时删除数据B.创建时需要`EXTERNAL`关键字C.数据一定存储在默认仓库路径D.不能被TRUNCATE答案：B解析：外部表使用`CREATEEXTERNALTABLE`创建，删除时只删元数据，数据文件保留。也可以TRUNCATE外部表（Hive4.0+支持）。103.Flink中，窗口函数`TumblingWindow`的特点是：A.窗口间有重叠B.窗口大小固定，窗口之间不重叠C.窗口长度由数据量决定D.只有一个窗口答案：B解析：滚动窗口长度固定，一个事件只属于一个窗口，没有重叠。104.HDFS客户端读取文件时，会首先联系哪个节点获取数据块位置？A.DataNodeB.NameNodeC.SecondaryNameNodeD.ZooKeeper答案：B解析：客户端读取文件需先与NameNode交互，获取该文件的块列表和DataNode地址，然后直接连接DataNode读数据。105.在Spark中，对数据排序并需要全局有序应使用：A.sortByB.orderByC.sortByKey并设置分区数为1，或使用range分区D.repartitionAndSortWithinPartitions答案：C解析：实现全局有序需要确保所有数据汇聚到单个分区进行排序，`sortBy`配合`coalesce(1)`或使用`rangePartition`。106.以下哪个命令可以查看Kafka的主题列表？A.kafka-topics--listB.kafka-console-consumerC.kafka-producerD.kafka-server-start答案：A解析：`kafka-topics.sh--list--bootstrap-server...`列出所有主题。107.在数据湖架构中，通常用于存储原始数据格式的技术是：A.ParquetB.ORCC.Avro/JSOND.CSVonly答案：C解析：数据湖的原始层（RawZone）通常存储数据原生格式，如JSON、Avro，保留所有元数据。处理层再转换为列式格式。108.SparkSQL中，用于创建临时视图的函数是：A.createTempViewB.saveAsTableC.registerTableD.load答案：A解析：`df.createTempView("view_name")`或`createOrReplaceTempView`创建临时视图供SQL查询。109.在Hive中，用户自定义函数的分类不包括：A.UDFB.UDAFC.UDTFD.UDWF答案：D解析：Hive支持UDF（一进一出）、UDAF（聚合函数）、UDTF（表生成函数）。没有UDWF。110.关于Kafka的ISR（In-SyncReplicas），描述错误的是：A.ISR是与Leader保持同步的副本集合B.只有ISR中的副本才能被选为新LeaderC.如果副本落后太多，会被从ISR中移除D.ISR中没有Leader答案：D解析：ISR包含Leader和所有跟上Leader节奏的Follower副本。111.MapReduce的`InputSplit`是什么概念？A.物理文件块B.逻辑数据块，定义单个Map任务处理的数据单元C.输出数据块D.压缩包答案：B解析：InputSplit是逻辑分片，通常与HDFSBlock对应，但可以跨块。一个Split启动一个Map任务。112.在Spark中，`reduceByKey`与`groupByKey`的性能对比，通常哪个更优？A.groupByKey更优B.reduceByKey更优，因为它会先在Map端进行合并C.两者完全相同D.取决于数据量答案：B解析：`reduceByKey`会在shuffle前进行map端的本地聚合，大大减少传输数据量；`groupByKey`直接传输全部键值对。113.关于HDFS的读写流程，正确的是：A.客户端写数据直接发送给所有DataNodeB.写数据时采用流水线复制策略C.读数据只能从NameNode读取D.客户端向NameNode写入数据块答案：B解析：客户端写数据时，数据包以流水线方式从一个DataNode发送到下一个DataNode，形成副本链。114.在数据治理中，“数据血缘”是指什么？A.数据的大小B.数据的起源、流转和演变过程C.数据的压缩方式D.数据加密算法答案：B解析：数据血缘跟踪数据从源头到目的地的全流程，包括转换和依赖关系。115.HBase中，`flush`操作是将什么中的数据写入磁盘？A.HLogB.MemStoreC.BlockCacheD.HFile答案：B解析：`flush`将内存中MemStore的数据刷写到磁盘形成新的HFile（StoreFile）。116.在Spark中，以下哪个操作不是shuffle操作？A.reduceByKeyB.joinC.repartitionD.map答案：D解析：`map`是窄依赖，不涉及shuffle。`join`、`reduceByKey`和`repartition`都可能产生shuffle。117.关于ApacheHive的ORC格式，错误的是：A.是一种列式存储格式B.支持轻量级索引和预聚合C.不支持压缩D.能显著提高查询性能答案：C解析：ORC支持多种压缩算法（如ZLIB,Snappy），具有压缩和编码优势。118.在Flink中，`Watermark`的作用是：A.记录水位B.解决乱序数据，触发窗口计算C.清理状态D.收集日志答案：B解析：Watermark是一种衡量事件时间进度的机制，告知算子不再会有时间戳小于水位线的事件，从而触发窗口。119.YARN中NodeManager的主要职责不包括：A.管理单个节点上的资源B.监控容器执行C.向ResourceManager汇报心跳D.全局资源调度答案：D解析：全局资源调度由ResourceManager负责。NodeManager是单节点代理。120.以下哪种场景适合使用SparkMLlib的`Pipeline`？A.数据采集B.数据存储C.机器学习工作流构建D.可视化绘图答案：C解析：MLlibPipeline将特征转换、模型训练等多个步骤串联成工作流。121.KafkaConnect的主要功能是：A.流式聚合B.连接外部系统进行数据导入导出C.存储消息D.监控偏移答案：B解析：KafkaConnect为可扩展的数据集成框架，通过Connector从文件、数据库等系统拉取或推送数据。122.在Spark中，使用`persist(MEMORY_AND_DISK)`意味着：A.仅在内存中缓存B.先尝试内存，内存不足则写入磁盘C.仅存储在磁盘D.序列化后存储答案：B解析：`MEMORY_AND_DISK`首先尝试将数据存储在内存中，不足时溢出到磁盘，避免重新计算。123.以下关于ZooKeeper集群的描述，正确的说法是：A.集群中只要有一个节点存活，服务就可用B.集群通常配置奇数个节点，半数以上存活即可用C.只有Leader节点处理写请求，Follower不能处理读请求（实际上可处理读）D.集群节点数无限制答案：B解析：ZK集群遵循过半存活原则，因此奇数个节点更经济。Follower也能处理读请求，写请求转发给Leader。124.大数据系统中，OLAP和OLTP的根本区别在于：A.数据量大小B.面向分析还是面向事务处理C.是否使用SQLD.硬件平台答案：B解析：OLAP面向复杂查询和分析；OLTP面向高并发事务处理。125.对Hive表进行`ANALYZETABLE...COMPUTESTATISTICS`是为了：A.备份数据B.收集表或分区的统计信息以优化查询C.删除无效数据D.重建索引答案：B解析：统计信息帮助基于成本的优化器（CBO）选择更高效的执行计划。126.SparkStructuredStreaming中，`OutputMode`包括哪几种？A.Append,Update,CompleteB.Insert,DeleteC.Batch,Real-timeD.Map,Reduce答案：A解析：StructuredStreaming支持Append（仅追加新行）、Update（更新变更行）和Complete（输出全量结果）。127.MapReduce中，对输出结果进行压缩的参数是：A.pressB.mapreduce.input.fileinputformat.split.maxsizeC.mapreduce.job.reducesD.yarn.app.mapreduce.am.resource.mb答案：A解析：设置该参数为true并指定压缩编码，可压缩MR输出文件。128.HBase的表被划分为多个Region，分区依据是：A.ColumnFamilyB.RowKey范围C.版本数D.列的数量答案：B解析：HBase表按RowKey的区间水平分割成Region，Region是分布式存储和负载均衡的最小单位。129.在Hadoop中，`hadooparchive`命令的作用是：A.创建HAR档案，减少小文件造成的元数据压力B.压缩日志文件C.归档数据库D.合并NameNode答案：A解析：HadoopArchives将大量小文件打包为HAR文件，缓解NameNode内存压力。130.Spark中，`DataFrame`与`RDD`相比，具有以下优势：A.类型安全B.内置Schema和Catalyst优化C.不支持结构化查询D.速度慢答案：B解析：DataFrame是带有模式信息的分布式数据集合，通过Catalyst进行优化。类型安全方面DataSet更优。131.以下哪种场景不适合使用HBase？A.实时随机读写B.需要海量数据存储和高扩展性C.复杂的SQL关联查询D.键值对检索答案：C解析：HBase不擅长复杂的多表JOIN和SQL分析，这类需求更适合Hive或SparkSQL。132.在Kafka中，消费者提交偏移量（Offset）的方式不包括：A.自动提交B.手动同步提交C.手动异步提交D.通过JMS提交答案：D解析：Kafka消费者支持自动提交、commitSync和commitAsync。JMS是Java消息服务。133.Flink的`KeyedProcessFunction`可以访问什么？A.当前key和状态B.仅当前keyC.整个窗口数据D.所有状态答案：A解析：`KeyedProcessFunction`提供了对keyedstate和定时器的访问，实现更细粒度的处理逻辑。134.Hive中，将表从非分区表转为分区表，正确做法是：A.ALTERTABLE...ADDPARTITIONB.重建表，导入数据C.使用CONVERTTABLED.直接插入分区字段即可答案：B解析：非分区表无法直接转换为分区表，需要创建新的分区表然后加载数据。135.在Spark中，`spark.sql.shuffle.partitions`参数的默认值是：A.100B.200C.10D.根据集群自动设置答案：B解析：该参数默认200，用于设置执行shuffle后的分区数，影响JOIN和聚合时的并发度。136.关于YARN的ApplicationMaster，描述正确的是：A.每个集群只有一个B.每个应用程序有一个，负责任务调度和监视C.就是NodeManagerD.只在MapReduce框架中存在答案：B解析：每个YARN应用都会启动一个专属的ApplicationMaster，与ResourceManager协商资源，并协调任务的执行。137.下列哪个不是数据脱敏的方法？A.替换B.混淆C.加密D.备份答案：D解析：数据脱敏包括替换、混淆、掩码、加密等。备份属于数据保护而非脱敏。138.SparkStreaming的Receiver模式从Kafka读取数据，偏移量存储在哪个组件？A.Kafka本身B.ZooKeeperC.SparkCheckpointD.可以是ZooKeeper或Kafka本身答案：D解析：旧ReceiverAPI偏移量可存ZooKeeper；DirectAPI偏移量由SparkCheckpoint或Kafka管理。139.在大数据开发中，Parquet格式的哪种特性支持谓词下推？A.行组级别的统计信息（min/max）B.压缩编码C.嵌套结构D.按行存储答案：A解析：Parquet在每个行组的页脚存储列的统计信息（min、max等），查询引擎可根据过滤条件下推，跳过无关行组。140.Hadoop生态环境中，用于数据挖掘和分析的库是：A.Mahout/SparkMLlibB.HBaseC.FlumeD.Sqoop答案：A解析：Mahout和SparkMLlib是机器学习算法库。Sqoop用于数据转移。141.HDFS的`dfs.blocksize`参数设置文件块大小，这个参数是：A.客户端级别配置B.集群全局配置，但可在创建文件时按文件指定C.不可修改D.只能由DataNode决定答案：B解析：可以全局配置默认块大小，也可以通过`hdfsdfs-Ddfs.blocksize=...`在上传文件时指定。142.关于Spark的懒加载（LazyEvaluation），理解错误的是：A.转换操作不会立即计算B.行动操作触发实际计算C.可以优化整个计算流程D.转换操作会立即返回计算结果答案：D解析：转换操作返回新的RDD/Dataset，但不立即执行，只有遇到行动操作才计算。143.HBase的`compaction`主要目的是：A.合并StoreFile，清除过期数据B.备份数据C.分裂RegionD.恢复数据答案：A解析：Compaction将多个小的StoreFile合并为较大的文件，并删除被标记为删除或过期的数据，优化读性能。144.在Hive中，`LATERALVIEW`通常与哪个函数一起使用？A.explodeB.countC.avgD.concat答案：A解析：`LATERALVIEWexplode(...)`将一行中数组或映射展开为多行。145.下列哪个选项是Flink中与Kafka连接器相关的API？A.FlinkKafkaConsumer/FlinkKafkaProducerB.KafkaSource/KafkaSinkC.FlinkKafkaStreamD.KafkaDataStream答案：A解析：传统`flink-connector-kafka`提供了FlinkKafkaConsumer和FlinkKafkaProducer等。146.对于Spark的DAG，Stage的边界取决于：A.map操作B.filter操作C.ShuffleDependencyD.union操作答案：C解析：DAGScheduler遇到ShuffleDependency就会划分新的Stage。147.HiveMetastore的主要作用是：A.存储Hive表和分区的元数据B.执行HQL查询C.压缩数据D.管理YARN资源答案：A解析：Metastore是Hive的元数据中心，通常存储在关系型数据库中。148.关于数据仓库的缓慢变化维（SCD）类型，错误的是：A.Type1直接覆盖旧值B.Type2添加新行保留历史C.Type3添加新列保留部分历史D.Type0不保留任何数据答案：D解析：SCD包括Type1覆盖、Type2新增行、Type3新增列等策略。没有标准的Type0。149.以下哪个不是流处理中的时间语义？A.事件时间B.处理时间C.摄入时间D.存储时间答案：D解析：流处理中常见的时间语义为事件时间、处理时间和摄入时间。150.Spark中，`Dataset`相比`DataFrame`的优势是：A.弱类型B.编译时类型安全C.无需编码器D.仅支持Scala答案：B解析：Dataset是强类型的，提供编译时类型检查，DataFrame是未绑定的Dataset[Row]。151.Hive中创建桶表（BucketedTable）的主要目的是：A.提高抽样和JOIN效率B.分区数据C.修改数据类型D.删除列答案：A解析：桶表将数据哈希分桶，可加快抽样查询和SMBJoin。152.关于Kafka中的零拷贝（Zero-Copy）技术，描述正确的是：A.将数据从内核态直接传输到网络而不经过用户态B.将数据拷贝到JVM堆内存再发送C.减少内存使用但增加CPU消耗D.只在生产者端使用答案：A解析：Kafka利用`sendfile`系统调用实现零拷贝，直接从文件系统缓存传输到网络，大幅提高性能。153.在MapReduce中，`Counter`的功能是：A.记录自定义统计指标B.控制任务数量C.增加Reduce数量D.排序数据答案：A解析：Counter可用于统计错误记录数、处理行数等自定义指标，便于监控。154.Spark的`WholeStageCodeGeneration`优化属于哪项技术？A.向量化B.全阶段代码生成，将多个算子编译成一个Java函数C.数据压缩D.广播变量答案：B解析：Tungsten的全阶段代码生成将物理计划中的多个算子融合编译，减少虚函数调用。155.数据安全法规定，从事数据交易中介服务的机构要求：A.无需任何资质B.应当要求数据提供方说明数据来源C.必须免费提供服务D.可以随意转卖数据答案：B解析：《数据安全法》规定中介服务提供方应审核数据来源，并留存审核和交易记录。156.HDFS联邦（Federation）的设计主要解决了什么问题？A.数据副本问题B.单个NameNode的内存扩展瓶颈和命名空间隔离C.DataNode存储不足D.计算慢答案：B解析：Federation通过多个NameNode管理不同的命名空间卷，提高扩展性和隔离性。157.以下哪个命令是用于将Hive查询输出到本地文件？A.INSERTOVERWRITEDIRECTORYB.SELECT...INTOOUTFILEC.EXPORTTABLED.PUTFILE答案：A解析：Hive使用`INSERTOVERWRITE[LOCAL]DIRECTORY`将结果写入指定目录。158.关于Flink的状态后端（RocksDBStateBackend），描述正确的是：A.状态仅存储在内存中B.将状态存储在RocksDB中，可以支撑大量状态C.不支持增量checkpointD.速度比内存状态后端更快答案：B解析：RocksDBStateBackend将状态存在磁盘上的RocksDB实例中，适合状态庞大的作业，支持增量checkpoint。159.在SparkStreaming中，`WindowOperations`需要两个参数：A.窗口长度和滑动间隔B.并行度和内存C.分区和副本D.数据源和格式答案：A解析：窗口操作如`reduceByKeyAndWindow`需指定窗口长度和滑动步长。160.Hadoop的`SequenceFile`是：A.文本文件B.二进制键值对文件C.列式文件D.JSON文件答案：B解析：SequenceFile是Hadoop的二进制压缩文件格式，存储可序列化的键值对。161.在Hive中，`TRANSFORM`关键字用于：A.创建索引B.调用自定义脚本（如Python）处理数据C.转换表结构D.删除数据答案：B解析：`TRANSFORM`可以让用户在map/reduce脚本中调用外部程序，实现多语言处理。162.以下哪种工具常用于将关系数据库数据导入Hadoop？A.SqoopB.FlumeC.KafkaD.Hive答案：A解析：Sqoop（SQL-to-Hadoop）专为RDBMS和Hadoop之间高效传输数据设计。163.在大数据开发中，`UDAF`的全称是：A.UserDefinedAggregationFunctionB.UserDefinedAnalyticFunctionC.UniversalDataAccessFormatD.UniqueDataAggregationFormat答案：A解析：UDAF是用户自定义聚合函数，处理多行输入返回单个值。164.Spark的`DAG`是：A.有向无环图，描述RDD的依赖关系B.数据分配图C.数据库关系图D.网络拓扑图答案：A解析：DAG记录了RDD之间的转换依赖，用于Stage划分和容错。165.在HDFS中，如果DataNode宕机，NameNode会如何处理？A.立即删除所有数据块B.检测到心跳丢失后，通知其他DataNode复制副本低于阈值的块C.不做任何操作D.重启该节点答案：B解析：NameNode定期接收心跳，若超时则标记该节点死亡，并开始复制其上的数据块以维持副本数。166.关于ApacheFlink的`TimeCharacteristic`，在1.12之后默认时间特性是：A.ProcessingTimeB.IngestionTimeC.EventTimeD.由用户强制指定答案：C解析：从1.12版本开始，Flink默认使用事件时间（EventTime）语义。167.SparkSQL中，`StringType`、`IntegerType`等属于：A.数据源B.数据类型C.函数D.配置答案：B解析：这些是`DataTypes`中定义的数据类型，用于构建Schema。168.关于Kafka生产者的`acks`参数，设置为`all`表示：A.不等待任何确认B.等待Leader写入成功C.等待所有ISR同步完成才确认D.忽略错误答案：C解析：`acks=all`（或-1）要求所有ISR中的副本都成功写入后才返回确认，保证最高可靠性。169.HBase中，列族`ColumnFamily`内的列限定符可以有多少？A.固定100个B.动态无限制（受限于行大小）C.必须提前定义D.每个表最多3个答案：B解析：列限定符可以动态添加，数量没有硬性限制，但要考虑单行数据大小。170.在SparkStandalone模式下，负责为Driver提供资源的组件是：A.WorkerB.MasterC.ExecutorD.ClusterManager答案：B解析：Master负责整个集群的资源调度，包括为Driver分配资源。171.Hive上的自定义函数`GenericUDF`相比简单`UDF`的优势是：A.只能处理简单类型B.可以访问泛型，通过反射处理复杂类型，且性能更好C.不需要编写Java代码D.无法返回复杂类型答案：B解析：GenericUDF框架可处理复杂输入输出类型，通过ObjectInspector解析，效率较高。172.数据湖与数据仓库的主要区别是：A.数据湖存储结构化数据，数据仓库存储非结构化B.数据湖通常存储原始数据，支持多种数据类型和读时Schema，而数据仓库是写时SchemaC.完全一致D.数据湖不支持SQL查询答案：B解析：数据湖采用读时模式，容纳原始数据；数据仓库是写时模式，数据需事先定义结构和清洗。173.在大数据平台中，负责日志采集的组件通常是：A.Flume/FilebeatB.HiveC.HBaseD.Spark答案：A解析：Flume和Filebeat常用于收集日志数据并传输到Kafka或HDFS。174.Spark的`mapPartitions`操作的主要优势是：A.按行处理B.初始化开销分摊到整个分区的数据，如数据库连接C.自动过滤D.能产生shuffle答案：B解析：`mapPartitions`对每个分区运行一次函数，适合需要昂贵初始化操作的场景。175.HDFS快照（Snapshot）的作用是：A.数据压缩B.在某个时间点对文件系统进行只读备份C.实时复制D.提高写入性能答案：B解析：快照是一种瞬间完成的元数据保护机制，用于数据恢复。176.在MapReduce中，`RecordReader`的作用是：A.划分InputSplitB.从InputSplit中读取键值对提供给MapperC.合并输出文件D.压缩答案：B解析：RecordReader将InputSplit中的字节数据解析为可遍历的键值对。177.关于Flink的`BroadcastStatePattern`，描述正确的是：A.用于在流之间广播动态规则或配置B.只用于无状态操作C.状态不保存在TaskManagerD.只能广播静态数据答案：A解析：BroadcastState允许将一个流（规则）广播到所有算子实例，与另一流关联处理。178.在Hive中，动态分区默认是关闭的，需要设置：A.hive.exec.dynamic.partition=trueB.hive.mapred.mode=strictC.hive.enforce.bucketing=trueD.hive.auto.convert.join=false答案：A解析：需设置`hive.exec.dynamic.partition=true`开启动态分区功能，并可能配合非严格模式。179.Spark的Tungsten执行引擎主要优化了：A.内存管理和CPU效率（堆外内存、代码生成）B.SQL解析C.文件格式D.网络传输答案：A解析：Tungsten通过显式内存管理、缓存友好的数据布局和代码生成提升执行效率。180.关于Kafka的`LogCompaction`，描述正确的是：A.根据消息大小删除B.保证每个key至少保留最新的值C.立刻删除过期数据D.用于提高写入速度答案：B解析：LogCompaction保留每个key的最新value，用于维护状态快照。181.在数据建模的星型模型中，事实表主要存储什么？A.维度描述B.度量值和指向维度表的外键C.层次关系D.元数据答案：B解析：事实表包含业务过程的度量事实和连接维度表的外键。182.Spark中，`reduceByKey`和`combineByKey`的关系是：A.reduceByKey是combineByKey的简化B.完全不同C.combineByKey不能用于聚合D.reduceByKey可以改变值类型答案：A解析：`reduceByKey`内部通过`combineByKeyWithClassTag`实现，提供了更简洁的聚合接口。183.在Hadoop安全认证中，Kerberos的作用是：A.压缩数据B.提供网络级的身份认证C.管理YARN任务D.存储数据答案：B解析：Kerberos是Hadoop集群中强身份认证的核心，基于票据验证用户和服务。184.关于ApacheHiveonTez，以下描述正确的是：A.Tez只能运行在Hive之外B.Tez将HQL编译为DAG任务，比MapReduce更高效C.Tez不支持HiveD.HiveonTez性能低于MapReduce答案：B解析：HiveonTez将作业表示为TezDAG，减少不必要的shuffle和I/O，性能显著提升。185.Flink中，`CumulateWindow`是一种：A.窗口尺寸固定的窗口B.窗口按步长逐步扩展，直到最大窗口的窗口C.会话窗口D.全局窗口答案：B解析：累积窗口在固定步长下，窗口起点不变，终点逐步延长，例如“从当天0点至今”。186.Spark的`checkpoint`操作的主要目的是：A.加速任务执行B.截断RDD血统，提高容错性C.保存数据到HiveD.产生shuffle答案：B解析：Checkpoint将RDD数据保存到可靠存储（如HDFS），切断长血统链，避免重算开销。187.以下关于Hive的`VIEW`，正确的说法是：A.视图存储实际数据B.视图只是逻辑查询，不存储数据C.视图可以建立索引D.视图不能用于查询答案：B解析：Hive视图是存储在Metastore中的查询定义，查询视图时展开重写，不存储数据。188.数据治理中，数据标准化的主要目标不包括：A.统一数据定义B.提高数据一致性C.消除数据冗余D.增加数据冗余答案：D解析：标准化旨在减少不一致、消除冗余、建立统一规范。189.在HDFS中，修改文件副本数可以使用命令：A.hdfsdfs-setrepB.hdfsdfs-chownC.hdfsdfs-chmodD.hdfsdfs-count答案：A解析：`hdfsdfs