2026年腾讯云大数据工程师认证考试真题题库

2026年腾讯云大数据工程师认证考试真题题库一、单项选择题1.以下关于腾讯云数据仓库TDSQL（分析型）的描述，错误的是？A.采用存储与计算分离的架构，可独立扩展计算节点和存储节点。B.完全兼容PostgreSQL语法，支持标准的SQL2003规范。C.其底层存储引擎基于HDFS，支持列式存储和高效数据压缩。D.支持通过弹性MapReduce（EMR）服务无缝接入Hive、Spark等开源大数据生态。答案：C解析：腾讯云数据仓库TDSQL（分析型）的底层存储引擎并非基于HDFS，而是腾讯云自研的分布式存储系统。它采用存算分离架构，兼容PostgreSQL/Greenplum语法（B选项正确），并支持与EMR等服务的生态集成（D选项正确）。C选项将TDSQL-A的存储描述为基于HDFS是不准确的。2.在腾讯云弹性MapReduce（EMR）中，若需对Hive表`user_behavior`的`dt`分区（格式为`yyyyMMdd`）进行数据清洗，并输出到新表`user_behavior_cleaned`的对应分区，最推荐使用以下哪种计算引擎？A.HadoopMapReduceB.SparkonYARNC.FlinkonYARND.Tez答案：B解析：对于Hive表的数据清洗和ETL任务，SparkonYARN因其内存计算、DAG执行引擎带来的显著性能优势（相比传统的MapReduce），成为最常用和推荐的选择。Tez（D）也是Hive的一种执行引擎，性能优于MapReduce，但生态和易用性上通常不及Spark。Flink（C）更擅长流处理，虽然批处理能力也很强，但在纯批处理场景下，Spark的成熟度和生态更占优。MapReduce（A）因性能问题已不推荐用于常规ETL。3.使用腾讯云消息队列CKafka将数据同步至云数据仓库CDW（ClickHouse版）时，为实现近实时（秒级延迟）的数据导入，应优先选择哪种方案？A.使用DataIntegration（数据集成）的离线同步任务，定时调度。B.使用FlinkSQL创建作业，消费CKafka数据并实时写入CDW。C.使用SparkStreaming消费数据，通过JDBC批量写入CDW。D.将CKafka数据先归档到COS，再通过CDW的COS外表功能加载。答案：B解析：题目要求“近实时（秒级延迟）”。A选项的离线同步和D选项的COS归档加载延迟较高（分钟级或以上）。C选项SparkStreaming结合JDBC批量写入，虽然可实现准实时，但延迟和稳定性通常不如Flink的流式处理。B选项使用FlinkSQL，利用Flink强大的流处理能力和对CKafka、CDW（ClickHouse）的良好连接器支持，是实现低延迟数据同步的最佳实践。4.在腾讯云数据湖计算DLC中，跨源查询腾讯云对象存储COS上存储的Parquet格式日志文件时，需要执行以下哪项关键操作？A.在DLC中创建对应的HiveMetastore数据库和表。B.将COS上的Parquet文件先加载到云数据仓库中。C.使用DLC的数据目录功能，注册COS数据路径并定义表结构。D.通过数据开发治理平台WeData的数据同步任务进行转换。答案：C解析：腾讯云数据湖计算DLC的核心能力之一是免迁移、跨源直接分析。对于COS上的Parquet文件，无需创建Hive元数据库（A）或先加载到数仓（B），而是通过DLC的“数据目录”功能，添加COS数据源，指定文件路径和格式（Parquet），并定义表Schema，即可直接进行SQL查询。D选项的WeData更多用于任务编排和调度，非直接查询的必要步骤。5.某业务使用腾讯云流计算Oceanus（基于Flink）处理订单流，要求每5分钟统计一次最近1小时的订单总金额。应使用哪种时间语义和窗口？A.处理时间，滚动窗口（TumblingWindow），大小1小时。B.事件时间，滑动窗口（SlidingWindow），大小1小时，滑动步长5分钟。C.处理时间，会话窗口（SessionWindow），间隔5分钟。D.事件时间，滚动窗口（TumblingWindow），大小5分钟。答案：B解析：“每5分钟统计一次最近1小时”是典型的滑动窗口场景，窗口大小为1小时，滑动步长为5分钟。由于订单金额统计通常需要基于订单实际发生时间（事件时间）以保证结果的准确性和可复现性，因此应选择事件时间语义。A选项的滚动窗口无法实现滑动统计；C选项的会话窗口用于无规则间隙的活动会话；D选项的滚动窗口大小错误。6.为保障腾讯云弹性MapReduce（EMR）集群中重要HDFS数据的可靠性，同时优化存储成本，最合适的策略是？A.将所有数据设置为3副本，存储于本地SSD磁盘。B.启用HDFSErasureCoding（纠删码）策略，并配合使用腾讯云COS作为冷数据存储。C.启用HDFS快照功能，定期创建全量快照。D.使用集群自带的RAID5磁盘阵列功能。答案：B解析：单纯设置多副本（A）成本高昂。HDFS纠删码（如RS-6-3）可以在保证较高可靠性的前提下，将存储开销从3副本的200%降低到约50%。同时，结合腾讯云EMR与COS的深度集成，可以将访问频率极低的冷数据归档至COS，进一步降低成本。快照（C）主要用于数据恢复，不能替代底层存储的可靠性机制。EMR集群的云服务器通常不配置RAID（D），数据可靠性由HDFS或云盘本身保证。7.在腾讯云数据开发治理平台WeData中，用于可视化配置复杂依赖关系、定时调度和监控运维的核心模块是？A.数据地图B.数据质量C.数据工作室D.任务运维答案：C解析：WeData的“数据工作室”模块提供了可视化的任务流（DAG）编排界面，可以方便地配置任务（如Shell、HiveSQL、Spark等）及其依赖关系、调度周期，并进行发布。发布后的任务会在“任务运维”模块（D）进行实例监控和运维操作。“数据地图”（A）用于资产检索和血缘分析，“数据质量”（B）用于配置监控规则。8.使用腾讯云大数据平台进行用户画像标签计算时，常会遇到“数据倾斜”导致某个Reduce任务耗时极长。以下哪种方法通常无效？A.对倾斜的Key进行加盐（Salt）处理，打散分布。B.增加Reduce任务的数量。C.启用Map端聚合（Combiner）。D.将倾斜Key对应的数据单独提取出来，先用一个Job处理，再与其他数据合并。答案：C解析：启用Map端聚合（Combiner）可以减少Map到Reduce的数据传输量，优化整体Shuffle过程，但对于由少数Key数据量极大引起的Reduce端数据倾斜问题，Combiner无法解决，因为倾斜Key的数据在Map端聚合后仍然会发送到同一个Reduce节点。A（加盐）、B（增加Reduce数，但对单个超大Key无效，需配合A）、D（单独处理）都是应对数据倾斜的常见有效手段。二、多项选择题1.腾讯云弹性MapReduce（EMR）支持多种部署模式，以下描述正确的有？A.按量计费节点组成集群，适合长期稳定运行的生产环境。B.使用竞价实例作为Task节点，可以大幅降低计算成本。C.集群可配置跨可用区部署，提高集群的高可用性。D.支持将元数据（如HiveMetastore）外置到腾讯云托管的MySQL数据库。答案：B,C,D解析：B正确，EMR支持Core/Task节点使用竞价实例，适用于无状态、可中断的计算任务，成本显著降低。C正确，EMR支持跨AZ部署，避免单AZ故障。D正确，EMR支持将Hive等组件的元数据库外置到云数据库TencentDBforMySQL，便于元数据管理和集群分离。A错误，长期稳定运行的生产环境通常建议使用包年包月节点，成本更低且保证资源稳定；按量计费节点更适合临时性、弹性需求。2.关于腾讯云数据仓库CDW（ClickHouse版）的性能优化，以下建议可行的有？A.尽可能使用MergeTree系列表引擎，并合理定义排序键（ORDERBY）和分区键（PARTITIONBY）。B.对于大宽表查询，使用`PREWHERE`替代`WHERE`来先过滤非索引列。C.通过设置`max_threads`参数来充分利用多核CPU进行并行查询。D.为了获得最佳查询性能，所有查询都应使用`JOIN`子句，并启用`join_use_nulls`设置。答案：A,B,C解析：A是ClickHouse表设计的基础核心，正确的排序键和分区键对查询性能至关重要。B正确，`PREWHERE`可以更高效地对非主键列进行初步过滤。C正确，调整`max_threads`可以控制查询并行度。D错误，不是所有查询都需要`JOIN`，且`JOIN`操作在ClickHouse中相对昂贵，应谨慎使用；`join_use_nulls`是控制JOIN结果中空值行为的设置，与性能无直接关系，盲目启用可能不符合业务逻辑。3.在腾讯云大数据生态中，可用于实时数据处理的组件或服务包括？A.流计算Oceanus（基于Flink）B.弹性MapReduce中的SparkStreamingC.消息队列CKafkaD.数据湖计算DLC答案：A,B,C解析：A和B是核心的流式计算服务/组件。C，CKafka作为高吞吐的分布式消息队列，是实时数据管道的关键组成部分，负责数据的缓冲和传输。D，数据湖计算DLC主要提供的是基于Serverless的交互式SQL查询分析能力，虽然查询可以很快，但本质上是面向批处理或交互式分析场景，并非专为持续不断的实时流处理而设计。4.使用腾讯云数据安全中心（DSC）保护大数据平台中的数据，可以实现哪些能力？A.自动发现EMR、CDW等数据资产中的敏感数据。B.对敏感数据的访问行为进行审计和风险告警。C.对存储在COS中的静态数据进行透明加密。D.对数据开发任务中的SQL代码进行性能优化。答案：A,B,C解析：A、B、C均为腾讯云数据安全中心（DSC）的核心功能。A是敏感数据发现与分类分级；B是数据访问审计与风险识别；C是静态数据加密（可与腾讯云KMS集成）。D，SQL代码性能优化是数据开发治理平台WeData或查询引擎本身（如Spark、ClickHouse优化器）的职责，不属于数据安全中心的范畴。三、判断题1.腾讯云数据湖计算DLC采用无服务器（Serverless）架构，用户无需预置和管理计算集群，只需按实际扫描的数据量付费。答案：正确解析：这是DLC的核心特性。用户无需关心底层计算资源，提交SQL查询后，DLC自动分配资源执行，按扫描的字节数进行计费。2.在腾讯云EMR集群中，直接使用`hadoopfs-put`命令将本地文件上传至HDFS，其数据存储的物理位置位于集群所关联的腾讯云对象存储COS中。答案：错误解析：EMR集群的HDFS默认使用集群内云服务器（CVM）的本地盘或云硬盘作为存储介质。虽然EMR提供了将COS作为HDFS的扩展存储或直接访问的能力（如`cosn://`协议），但传统`hadoopfs`命令操作HDFS（`hdfs://`协议）时，数据并不直接存储在COS中。需要明确区分HDFS存储和COS存储。3.腾讯云流计算Oceanus的独享集群模式，支持用户完全独享FlinkJobManager和TaskManager资源，更适合对稳定性和性能有严格要求的生产环境。答案：正确解析：Oceanus提供共享集群和独享集群两种模式。独享集群模式为用户分配专属的计算资源，避免了多租户间的资源竞争和干扰，提供了更高的性能隔离性和稳定性保障，适用于生产环境。4.腾讯云大数据平台的所有服务，其日志和监控数据都必须由用户自行部署Agent到服务器上进行采集。答案：错误解析：腾讯云大数据服务（如EMR、Oceanus、CDW等）通常与云监控（CloudMonitor）、日志服务（CLS）深度集成，提供了开箱即用的基础监控指标和日志采集能力。用户无需自行部署Agent即可查看核心监控图表和日志，当然也可以根据需要进行更细粒度的配置。四、填空题1.在腾讯云EMR的Hive中，若想创建一个外部表，其数据存储在COS的`bucket-name/data/path/`目录下，数据格式为ORC，创建语句中应使用`LOCATION‘_________‘;`。答案：cosn://bucket-name/data/path/解析：腾讯云EMR访问COS的标准URI格式为`cosn://{bucket-name}/{object-path}`。2.腾讯云消息队列CKafka通过_________机制来实现消费者组（ConsumerGroup）内的负载均衡与故障恢复。答案：分区（Partition）分配（或Rebalance，再平衡）解析：CKafka继承ApacheKafka的机制，一个Topic分为多个Partition。同一个ConsumerGroup下的多个Consumer实例，通过GroupCoordinator协调，进行Partition的分配（Assign）。当组内成员增减（如实例启动、停止）时，会触发Rebalance过程，重新分配分区，以实现负载均衡和容错。3.使用腾讯云数据仓库CDW（ClickHouse版）时，为了高效地删除或更新数据，表引擎应选用_________。答案：CollapsingMergeTree或ReplacingMergeTree或VersionedCollapsingMergeTree（答出其一即可）解析：ClickHouse的MergeTree基础引擎本身不支持高效的UPDATE/DELETE（代价高）。CollapsingMergeTree、ReplacingMergeTree等变种表引擎，通过定义Sign版本或排序键去重的方式，实现了“标记删除”或“替换更新”的语义，是在ClickHouse中处理这类需求的推荐方案。4.在WeData中，配置周期调度任务时，若希望任务A每天凌晨2点运行，任务B在任务A成功完成后立即运行，则需要在任务B的调度配置中，依赖类型选择_________依赖，并勾选任务A。答案：跨周期解析：WeData中，任务依赖分为“跨周期依赖”和“同周期依赖”。任务B需要等待任务A当天实例运行成功后才运行，这属于跨周期（或同周期）依赖中的“跨周期”场景，具体指B依赖A上一调度周期的实例。通常这种日级任务的后置依赖，在配置时选择“跨周期依赖”。五、简答题1.简述在腾讯云大数据架构中，如何构建一个从数据实时摄入、流式处理到批量离线分析相结合的Lambda架构？请列举涉及的核心腾讯云服务并说明其角色。答案：构建Lambda架构通常涉及以下腾讯云服务：批处理层（BatchLayer）：数据摄入与存储：业务日志、数据库Binlog等数据可通过数据传输服务DTS或日志服务CLS实时/批量采集到对象存储COS中，形成原始数据湖。离线任务从COS读取数据。批量计算：使用弹性MapReduce（EMR）运行Hive、Spark等批处理作业，或使用数据湖计算DLC直接对COS数据执行T+1的批量SQL计算，生成批处理视图。速度层（SpeedLayer）：实时数据流：实时消息通过消息队列CKafka进行采集和缓冲。流式处理：使用流计算Oceanus（Flink）消费CKafka数据，进行实时计算、聚合，生成低延迟的实时视图。服务层（ServingLayer）：数据存储与查询：批处理视图和实时视图可导入云数据仓库CDW（如ClickHouse版或TDSQL-A）或云数据库中，进行统一的数据服务，支持高并发查询。也可以使用DLC直接查询COS上的数据。数据融合：应用层查询时，可合并查询批处理视图（全量、准确）和实时视图（增量、快速），得到完整结果。调度与治理（Orchestration&Governance）：使用数据开发治理平台WeData来编排和管理批处理作业的依赖关系、定时调度，并监控任务运行状态，保障数据产出的时效性和质量。2.在使用腾讯云EMRSpark进行数据分析时，遇到“ExecutorLost”或“ContainerkilledbyYARN”错误可能由哪些原因导致？请至少列出三种并给出初步排查思路。答案：可能原因及排查思路：原因1：内存不足（OOM）。这是最常见的原因。Executor或Container分配的内存不足以处理分配到的数据量。排查：查看YARN和Spark的日志，确认是否有`java.lang.OutOfMemoryError`。检查Spark配置`spark.executor.memory`,`spark.executor.memoryOverhead`,`spark.memory.fraction`等是否合理。考虑增大内存配置或优化代码（如避免collect大量数据到Driver、使用广播变量、调整分区数）。原因2：磁盘空间不足。Spark会在本地磁盘存储Shuffle中间数据和缓存数据。排查：登录到对应节点，检查`/mnt/disk1`（EMR默认数据盘）或YARN配置的`yarn.nodemanager.local-dirs`目录是否已满。清理无用文件或扩容云硬盘。原因3：节点健康问题或资源竞争。底层CVM实例出现故障、被回收（如竞价实例），或节点上其他进程（如HDFSDataNode）占用了过多资源（CPU、网络）。排查：检查云监控中该节点的CPU、内存、磁盘IO、网络带宽是否长期处于高位。检查系统日志（`/var/log/messages`）是否有硬件或内核错误。如果是竞价实例，检查是否被主动回收。其他原因：Spark应用程序代码存在Bug导致Executor崩溃；YARN的`yarn.nodemanager.resource.memory-mb`配置过小，无法满足申请；网络超时等。六、计算与设计题1.计算题：某电商业务将用户点击流日志实时写入腾讯云CKafka，Topic为`user_clicks`，包含`user_id`,`item_id`,`timestamp`等字段。现需使用腾讯云流计算Oceanus（FlinkSQL）计算每5分钟的独立访客数（UV）。假设使用事件时间，并允许数据延迟1分钟。请写出完成此需求的FlinkSQL核心语句（包含源表定义、窗口聚合和结果表定义，结果表可假设输出到TencentDBforMySQL）。答案：```sql1.定义CKafka源表CREATETABLEuser_clicks_source(`user_id`BIGINT,`item_id`BIGINT,`ts`BIGINT,-事件时间戳，毫秒`rt`ASTO_TIMESTAMP_LTZ(ts,3),-转换为TIMESTAMP_LTZ类型WATERMARKFOR`rt`AS`rt`INTERVAL'1'MINUTE-定义水印，允许1分钟延迟)WITH('connector'='kafka','topic'='user_clicks','properties.bootstrap.servers'='your-ckafka-bootstrap-servers','properties.group.id'='uv_calc_group','scan.startup.mode'='latest-offset','format'='json');2.定义TencentDB结果表CREATETABLEuv_sink(`window_start`TIMESTAMP(3),`window_end`TIMESTAMP(3),`uv`BIGINT,PRIMARYKEY(`window_start`)NOTENFORCED)WITH('connector'='jdbc','url'='jdbc:mysql://your-mysql-host:3306/db_name','table-name'='uv_results','username'='your_user','password'='your_password');3.执行窗口聚合计算并插入结果表INSERTINTOuv_sinkSELECTTUMBLE_START(rt,INTERVAL'5'MINUTE)ASwindow_start,TUMBLE_END(rt,INTERVAL'5'MINUTE)ASwindow_end,COUNT(DISTINCTuser_id)ASuvFROMuser_clicks_sourceGROUPBYTUMBLE(rt,INTERVAL'5'MINUTE);```2.设计题：设计一个基于腾讯云大数据产品的用户行为分析平台。需求如下：数据源：App端埋点日志（JSON格式，日增量约1TB）、业务MySQL数据库（变更数据）。处理要求：1.实时统计核心PV/UV指标，延迟小于10秒，并更新至Dashboard。2.每日凌晨进行T+1的离线数据清洗、用户画像标签计算（复杂JOIN和聚合）。3.清洗后的明细数据和画像标签需支持即席查询（响应时间亚秒级到数秒），供分析师使用。4.需保障数据在传输、存储、计算过程中的安全性和任务调度的可靠性。请画出简化的架构图（用文字描述组件及其连接关系），并说明每个环节选择的腾讯云服务及理由。答案：架构图（文字描述）：```[数据源]-->(实时流)-->[消息队列CKafka]-->[流计算Oceanus]-->(实时结果)-->[CDW/MySQL]-->[BIDashboard]||-->(批量日志)-->[对象存储COS]-->(DB变更)-->[数据传输服务DTS]-->[CK