2026年腾讯公司大数据工程师面试题及解析

2026年腾讯公司大数据工程师面试题及解析一、编程题（共3题，每题20分，总分60分）1.题目：编写一个Python函数，实现以下功能：给定一个包含多个字符串的列表，返回一个新列表，其中包含原列表中所有字符串的长度。如果字符串为空，则在新列表中对应位置为0。示例输入：`["hello","world","","data","engineer"]`示例输出：`[5,5,0,4,9]`要求：-不能使用内置的`len()`函数。-代码需考虑性能优化，避免不必要的重复计算。答案与解析：答案：pythondefstring_lengths(strings):result=[]forsinstrings:ifnots:result.append(0)else:count=0for_ins:count+=1result.append(count)returnresult解析：-题目要求不使用`len()`函数，因此需要手动统计字符串长度。-通过遍历每个字符并计数实现长度统计。-判断空字符串时直接返回0，避免无效计算。-时间复杂度为O(nm)，其中n是列表长度，m是字符串的平均长度。对于大数据场景，需注意长字符串的处理效率。2.题目：使用HadoopMapReduce的伪代码（Python模拟）实现以下逻辑：给定一个文本文件，统计每行中单词出现的次数，并输出结果。示例输入：helloworldworldhellohello示例输出：hello3world2要求：-Map阶段和Reduce阶段需分别实现。-忽略大小写和标点符号（可简化为直接删除空格分隔）。答案与解析：答案：pythonMap阶段defmap_phase(line):words=line.lower().split()return[(word,1)forwordinwords]Reduce阶段defreduce_phase(mapped_data):counts={}forword,countinmapped_data:ifwordincounts:counts[word]+=countelse:counts[word]=countreturncounts模拟输入input_data=["helloworld","worldhello","hello"]mapped=[map_phase(line)forlineininput_data]flattened_mapped=[itemforsublistinmappedforiteminsublist]result=reduce_phase(flattened_mapped)print(result)解析：-Map阶段：将每行文本转为小写并按空格分隔，生成键值对（单词，1）。-Reduce阶段：合并相同键的值并累加。-HadoopMapReduce的核心思想是分布式处理，这里用Python模拟简化了并行逻辑。-实际场景中需考虑多行输入和分布式存储（如HDFS）。3.题目：使用SparkSQL实现以下功能：给定一个DataFrame，包含列`id`（用户ID）、`score`（分数）和`category`（分类），筛选出`category`为"VIP"且`score`大于80的用户，并按`score`降序排序，最后返回前10条记录。示例输入：|id|score|category||-|-|-||1|85|VIP||2|90|VIP||3|78|VIP||4|92|Normal||5|88|VIP|示例输出：|id|score|category||-|-|-||2|90|VIP||5|88|VIP||1|85|VIP|要求：-使用SparkSQL语法。-代码需考虑大数据量下的性能。答案与解析：答案：pythonfrompyspark.sqlimportSparkSession初始化Sparkspark=SparkSession.builder.appName("example").getOrCreate()示例数据data=[(1,85,"VIP"),(2,90,"VIP"),(3,78,"VIP"),(4,92,"Normal"),(5,88,"VIP"),]columns=["id","score","category"]创建DataFramedf=spark.createDataFrame(data,columns)使用SparkSQL筛选并排序result=df.sql("SELECTFROM(SELECTid,score,categoryFROMdfWHEREcategory='VIP'ANDscore>80ORDERBYscoreDESC)subWHERErow_number()OVER(ORDERBYscoreDESC)<=10")result.show()解析：-使用`row_number()`窗口函数实现TopN筛选，适用于大数据量场景。-先按`score`降序排序，再取前10条。-SparkSQL的`OVER()`语法适用于复杂排序和分组需求。-注意实际场景中需考虑分区和广播优化。二、系统设计题（共2题，每题25分，总分50分）1.题目：设计一个高并发的短链接系统，要求支持百万级QPS，并满足以下需求：-输入任意长URL，生成固定长度（如6位）的短链接。-支持通过短链接快速跳转回原URL。-系统需具备高可用性和分布式扩展能力。要求：-说明核心组件设计。-提出至少两种优化方案。答案与解析：答案：核心组件设计：1.URL编码服务（分布式）-使用哈希算法（如SHA256）将长URL生成唯一标识，再通过Base62编码压缩为6位短码。-可用Redis集群存储映射关系，支持快速读写。2.反向解析服务（负载均衡）-用户访问短链接时，通过DNS轮询或负载均衡器分发请求到多个后端节点。-后端节点查询Redis缓存，若无则查询数据库。3.数据库（分片）-使用MySQL或TiKV分片存储长链接数据，按短码前缀分片。-索引优化：短码作为主键。优化方案：1.缓存预热-预先加载热点短链接到Redis，减少数据库查询。-可结合用户访问日志动态调整缓存策略。2.异步写入-使用Kafka或Pulsar缓冲URL映射请求，后端异步批量写入数据库。解析：-分布式Redis集群保证高并发读写能力。-Base62编码（a-z,A-Z,0-9）减少短码冲突概率。-分片数据库提升扩展性，适合百万级数据量。-异步写入缓解高峰压力，Kafka可应对突发流量。2.题目：设计一个实时用户行为分析系统，要求满足以下需求：-输入来源：用户访问日志（每秒数万条）、点击流（每秒数百万条）。-处理流程：实时统计UV、PV、热门商品Top10等指标。-输出：支持分钟级数据查询和实时大屏展示。要求：-描述数据处理架构。-说明如何保证数据准确性。答案与解析：答案：数据处理架构：1.数据采集（Kafka）-日志和点击流接入Kafka集群，按来源分区。-生产者端设置批处理+异步发送，防超载。2.实时计算（Flink/Flink）-使用Flink进行窗口计算：-UV/PV统计：滑动窗口（5秒）去重统计。-热门商品：TopN算法（维护有序数组）。-结果缓存到Redis，支持快速查询。3.离线补全（Hadoop/ClickHouse）-滚动日志存入HDFS或ClickHouse，用于全量分析。-每小时触发离线计算，更新Redis指标。数据准确性保障：1.幂等写入-Kafka生产者开启幂等性，防重复数据。2.校验机制-Flink检查数据完整性（如统计数是否等于输入数）。-定时校准Redis与数据库数据。解析：-Flink的窗口计算适合实时指标统计，支持状态管理。-ClickHouse优化了宽表查询，适合分钟级数据聚合。-幂等性设计防写入失败导致数据丢失。-离线与实时结合兼顾时效性和准确性。三、综合题（共1题，25分）1.题目：假设腾讯云某业务需要处理海量用户画像数据（每用户约1GB，包含标签、消费、社交等多维信息），要求实现以下功能：-每日生成用户画像报告，包含“高价值用户”（消费金额Top10%）和“活跃用户”（近期交互频次Top20%）名单。-报告需支持动态更新：当有新数据接入时，实时重新计算指标。要求：-描述数据处理方案。-比较实时与离线方案的优缺点。答案与解析：答案：数据处理方案：1.实时方案（Flink+Redis）-用户行为数据接入Kafka，Flink实时聚合：-消费金额：使用窗口函数计算Top10%用户。-交互频次：滑动窗口统计最近7天请求。-结果存入Redis，支持定时触发报告生成。2.离线方案（Spark+ClickHouse）-每日全量数据存入HDFS，SparkMR处理：-分区计算消费金额Top10%和交互频次Top20%。-结果写入ClickHouse，支持SQL查询。实时vs离线方案对比：|方案|优点|缺点|||--|--||实时|及时性高，动态