大数据实时计算工程师岗位招聘考试试卷及答案

大数据实时计算工程师岗位招聘考试试卷及答案一、填空题（共10题，每题1分）1.ApacheFlink中处理无限数据流的核心抽象是______。2.实时计算中切分连续数据流为有限数据集的操作是______。3.Kafka中存储消息的基本单元是______。4.Flink实现Exactly-Once语义的核心机制是______。5.SparkStreaming的核心抽象是______。6.处理乱序数据的常用机制是______（水位线）。7.ZooKeeper在Kafka集群中主要用于______。8.FlinkCEP用于处理______事件模式。9.Kafka生产者发送消息的默认acks级别是______。10.实时计算中保证消息至少处理一次的语义是______。二、单项选择题（共10题，每题2分）1.支持真正流处理（低延迟+Exactly-Once）的框架是？A.SparkStreamingB.FlinkC.MapReduceD.HadoopStreaming2.Kafka一个Partition只能被同一消费者组中的______消费者消费。A.1个B.2个C.任意多个D.0个3.Flink中基于事件时间的窗口类型是？A.TumblingWindowB.SlidingWindowC.EventTimeWindowD.SessionWindow4.消息至少被处理一次的语义是？A.AtMostOnceB.AtLeastOnceC.ExactlyOnceD.None5.SparkStreaming默认微批间隔是？A.100msB.500msC.1sD.5s6.KafkaController角色由______承担。A.任意BrokerB.主BrokerC.从BrokerD.ZooKeeper7.Flink状态管理的核心是？A.CheckpointB.SavepointC.StateBackendD.Window8.不属于实时数据源的是？A.KafkaB.HDFSC.RabbitMQD.TCPSocket9.实现Flink端到端Exactly-Once的前提不包括？A.外部系统支持事务B.开启CheckpointC.使用内存StateBackendD.两阶段提交10.实时计算延迟来源不包括？A.数据传输延迟B.计算延迟C.存储延迟D.批处理延迟三、多项选择题（共10题，每题2分）1.Flink支持的窗口类型包括？A.TumblingWindowB.SlidingWindowC.SessionWindowD.GlobalWindow2.实时计算语义级别包括？A.AtMostOnceB.AtLeastOnceC.ExactlyOnceD.PerfectOnce3.Kafka集群核心组件包括？A.BrokerB.ZooKeeperC.ConsumerD.Producer4.Flink状态一致性机制包括？A.CheckpointB.SavepointC.两阶段提交D.Watermark5.实时计算应用场景包括？A.实时监控B.实时推荐C.实时报表D.离线分析6.SparkStreaming与Flink的差异包括？A.Flink是真正流处理，Spark是微批B.Flink原生Exactly-OnceC.Flink支持事件时间D.Flink延迟更低7.Kafka消息保留时间由______配置决定？A.retention.msB.log.retention.hoursC.log.retention.bytesD.log.segment.bytes8.FlinkCEP核心组件包括？A.PatternB.PatternStreamC.CEPStreamD.Event9.处理乱序数据的方法包括？A.WatermarkB.AllowedLatenessC.事件时间D.处理时间10.可用于实时计算的框架包括？A.FlinkB.SparkStreamingC.KafkaStreamsD.MapReduce四、判断题（共10题，每题2分）1.Flink是基于微批处理的流框架。（）2.KafkaPartition越多，并行度越高。（）3.Exactly-Once比AtLeastOnce更严格。（）4.SparkStreaming的DStream不可变。（）5.ZooKeeper不是Kafka集群必需组件。（）6.FlinkCheckpoint是轻量级快照。（）7.事件时间比处理时间更可靠。（）8.Kafkaacks=all表示等待所有Broker确认。（）9.FlinkSessionWindow需设置会话间隔。（）10.实时计算延迟比离线计算高。（）五、简答题（共4题，每题5分）1.简述FlinkExactly-Once语义实现原理。2.对比SparkStreaming与Flink的核心差异。3.Kafka在实时计算中的作用是什么？4.实时计算中如何处理乱序数据？六、讨论题（共2题，每题5分）1.某电商实时订单监控需满足：延迟≤1s、订单不重复不丢失、10万订单/秒，设计技术方案及理由。2.实时计算任务出现数据延迟，如何排查与优化？---答案一、填空题1.DataStream2.窗口3.消息4.Checkpoint5.DStream6.Watermark7.集群协调8.复杂9.110.AtLeastOnce二、单项选择题1.B2.A3.C4.B5.C6.B7.C8.B9.C10.D三、多项选择题1.ABCD2.ABC3.ABCD4.ABC5.ABC6.ABCD7.AB8.ABCD9.AB10.ABC四、判断题1.×2.√3.√4.√5.×6.√7.√8.√9.√10.×五、简答题1.FlinkExactly-Once原理：本地语义通过Checkpoint实现：JobManager触发Barrier，Task暂停处理并快照状态，Barrier对齐保证数据一致性；端到端需外部系统支持事务（如Kafka事务），通过两阶段提交（预提交→确认提交/回滚），确保消息不重复不丢失。2.SparkStreamingvsFlink：①处理模型：Spark微批（1s间隔），Flink真正流处理；②语义：Spark默认AtLeastOnce，Flink原生Exactly-Once；③时间：Spark默认处理时间，Flink支持事件时间+Watermark；④延迟：Flink毫秒级，Spark秒级；⑤状态：Flink支持键控/算子状态，Spark较弱。3.Kafka的作用：①高吞吐量（百万级消息/秒）；②持久化存储（消息保留）；③解耦上下游（生产者/消费者分离）；④并行处理（Partition支持多消费者）；⑤容错（多副本机制），是实时计算的核心数据源/汇点。4.乱序数据处理：①Watermark：定义“最大事件时间-延迟阈值”，触发窗口计算；②AllowedLateness：窗口允许的延迟时间，超期数据可侧输出；③事件时间语义：按实际发生时间处理，避免处理时间干扰；④侧输出：将乱序数据单独处理，不影响主窗口。六、讨论题1.电商实时监控方案：①数据源：Kafka（高吞吐量、多副本）；②计算：Flink（流处理低延迟、Exactly-Once）；③状态：RocksDB（大数据量状态）；④汇点：Redis（实时指标）+MySQL（关键订单）；⑤协调：ZooKeeper（集群管理）。理由：Flink满足低延迟+语义要求，Kafka支撑高并发，R