流处理系统工程师考试试卷及答案

流处理系统工程师考试试卷及答案一、填空题（每题1分，共10分）1.ApacheFlink的核心架构中，______负责接收和处理数据流，是任务执行的基本单元。2.Kafka中用于存储消息的基本单元是______。3.SparkStreaming的微批处理间隔单位通常是______（秒级）。4.Flink的状态管理中，持久化状态的后端包括RocksDB、______和文件系统等。5.流处理系统中，______表示从错误中恢复并确保数据不丢失的机制。6.Kafka的生产者默认的消息投递语义是______。7.Flink的窗口类型中，基于时间的滚动窗口英文缩写是______。8.SparkStreaming与Flink的本质区别：Flink是______处理，SparkStreaming是微批处理。9.流处理中，______是指将数据流划分为有限的片段进行处理的机制。10.Kafka的消费者组中，每个消费者负责消费一个或多个______的消息。二、单项选择题（每题2分，共20分）1.以下哪个是流处理系统？A.HadoopB.FlinkC.MySQLD.Redis2.Flink中，以下哪种窗口支持重叠？A.滚动窗口B.滑动窗口C.会话窗口D.全局窗口3.Kafka中，主题的分区数由谁决定？A.生产者B.消费者C.管理员D.自动分配4.SparkStreaming的核心抽象是？A.DStreamB.DataSetC.DataFrameD.RDD5.以下哪种语义能确保数据不重复不丢失？A.At-Most-OnceB.At-Least-OnceC.Exactly-OnceD.None6.Flink的状态后端中，哪种适合大状态？A.MemoryB.RocksDBC.FileSystemD.Heap7.Kafka的消费者偏移量默认存储在哪里？A.ZooKeeperB.Kafka内部主题C.本地文件D.HDFS8.以下哪个不是流处理的应用场景？A.实时数据分析B.日志处理C.离线报表D.实时监控9.Flink的并行度默认由什么决定？A.算子并行度B.任务管理器数量C.核心数D.配置文件10.SparkStreaming的微批处理最小间隔是？A.100msB.500msC.1sD.5s三、多项选择题（每题2分，共20分）1.流处理系统的核心特性包括？A.低延迟B.高吞吐量C.状态管理D.离线计算2.Flink支持的窗口类型有？A.滚动窗口B.滑动窗口C.会话窗口D.全局窗口3.Kafka的核心组件包括？A.BrokerB.TopicC.PartitionD.ConsumerGroup4.以下属于流处理框架的是？A.ApacheFlinkB.ApacheStormC.ApacheSparkStreamingD.ApacheKafka5.Exactly-Once语义实现的关键技术包括？A.事务B.偏移量跟踪C.检查点D.批处理6.Flink的部署模式包括？A.LocalB.StandaloneC.YARND.Kubernetes7.SparkStreaming的输入源包括？A.KafkaB.FlumeC.SocketD.HDFS8.流处理中状态管理的作用是？A.存储中间结果B.支持窗口计算C.实现Exactly-OnceD.提高吞吐量9.Kafka生产者的配置参数包括？A.bootstrap.serversB.acksC.retriesD.group.id10.以下关于Flink和SparkStreaming的说法正确的是？A.Flink是连续流处理B.SparkStreaming是微批处理C.Flink支持Exactly-OnceD.SparkStreaming不支持Exactly-Once四、判断题（每题2分，共20分）1.Flink的算子都是并行执行的。2.Kafka的主题可以动态增加分区。3.SparkStreaming的DStream是不可变的。4.Exactly-Once语义比At-Least-Once更可靠。5.Flink的状态只能存在于内存中。6.Kafka的消费者可以属于多个消费者组。7.SparkStreaming的微批处理间隔越小，延迟越低。8.Flink的窗口计算不需要状态管理。9.Kafka的消息是按分区有序的。10.流处理系统只能处理实时数据，不能处理历史数据。五、简答题（每题5分，共20分）1.简述Flink的Exactly-Once语义实现原理。2.比较Flink和SparkStreaming的核心差异。3.简述Kafka的工作流程。4.流处理系统中状态管理的重要性是什么？六、讨论题（每题5分，共10分）1.在实际项目中，如何选择Flink或SparkStreaming作为流处理框架？2.如何优化Kafka的性能以满足高吞吐量流处理需求？---答案部分一、填空题1.算子（Operator）2.主题（Topic）3.BatchInterval4.内存（Memory）5.Exactly-Once（精确一次）6.At-Least-Once（至少一次）7.TumblingWindow8.流（连续）9.窗口（Window）10.分区（Partition）二、单项选择题1.B2.B3.C4.A5.C6.B7.B8.C9.A10.B三、多项选择题1.ABC2.ABCD3.ABCD4.ABC5.ABC6.ABCD7.ABCD8.ABC9.ABC10.ABC四、判断题1.对2.对3.对4.对5.错6.错7.对8.错9.对10.错五、简答题1.FlinkExactly-Once实现原理：通过检查点（Checkpoint）和状态快照实现。定期为算子状态生成快照，存储在可靠系统（如HDFS）；故障时从最近检查点恢复，同步回滚算子状态和输入源偏移量。与外部系统交互时，通过两阶段提交确保操作与检查点一致，避免数据重复/丢失。核心是状态与偏移量绑定，恢复时同步回滚。2.Flink与SparkStreaming核心差异：①处理模型：Flink是连续流，SparkStreaming是微批（固定间隔切分）；②语义支持：Flink原生Exactly-Once，SparkStreaming需结合外部系统实现；③状态管理：Flink支持RocksDB等大状态后端，SparkStreaming依赖RDD性能受限；④窗口灵活性：Flink支持会话、全局窗口，SparkStreaming窗口基于微批。3.Kafka工作流程：①生产：生产者向主题发送消息，按分区存储；②存储：Broker将分区消息顺序持久化到磁盘，多副本备份；③消费：消费者组内的消费者消费一个/多个分区，通过偏移量跟踪位置，偏移量存储在Kafka内部主题。核心是分区有序、负载均衡。4.状态管理重要性：①支持复杂计算（窗口聚合、连续查询）；②实现Exactly-Once语义（状态与偏移量绑定）；③避免重复计算（复用历史状态）；④满足有状态流场景（如用户行为分析、累计指标）。无状态管理无法完成复杂实时应用。六、讨论题1.框架选择依据：①延迟需求：低延迟（<100ms）选Flink，高延迟（>500ms）选SparkStreaming；②生态整合：已用Spark生态选SparkStreaming；③语义要求：复杂Exactly-Once需求选Flink；④团队技能：熟悉Spark选SparkStreaming，需流处理深度优