企业数据仓库导入考试复习题库

企业数据仓库导入考试复习题库一、数据仓库导入的核心价值与考试定位在企业数字化转型进程中，数据仓库作为统一数据中枢，承载着整合多源业务数据、支撑决策分析的核心使命。数据仓库导入（含ETL/ELT等数据集成环节）是构建数据仓库的关键步骤，直接决定数据的准确性、时效性与可分析性。本考试聚焦数据仓库导入的技术原理、工具应用、流程规范，旨在选拔具备实战能力的数据集成工程师、BI开发人员或数据分析师。复习题库的构建需覆盖“概念认知-技术实操-问题解决”全维度，助力考生系统梳理知识体系。二、核心知识模块与复习要点（一）基础概念体系1.数据仓库（DataWarehouse）参考Inmon经典定义：面向主题、集成的、非易失的、随时间变化的数据集合，用于支持管理决策。需区分数据仓库与数据库（OLTPvsOLAP）、数据湖的核心差异（结构化程度、应用场景、治理方式）。延伸考点：Kimball的“维度建模”（星型/雪花型模式）对数据导入的影响（如事实表与维度表的加载顺序）。2.ETL与ELTETL（Extract-Transform-Load）：抽取（从源系统获取数据）→转换（清洗、聚合、维度匹配）→加载（写入数据仓库），传统上以“转换前置”保障目标库性能。ELT（Extract-Load-Transform）：先加载至数据仓库（或数据湖），再基于目标库算力转换，适配大数据量、实时性场景（如基于Spark的批流一体处理）。考点设计：场景选择题（如“实时业务数据导入，优先选哪种模式？”）、对比简答题（两者架构、适用场景、技术栈差异）。3.ODS（操作数据存储）作为源系统与数据仓库的“缓冲层”，存储近实时的业务操作数据，支持细节查询与数据校验。需掌握ODS在数据导入中的角色（数据清洗前置、历史数据追溯），与数据仓库的分层逻辑（ODS-DWD-DWS-ADS）。（二）技术实现体系1.数据抽取技术全量抽取：首次导入或周期性全量同步（如每日凌晨全量拉取ERP订单表），需关注增量标识设计（如时间戳、自增ID、版本号）。增量抽取：基于变更数据捕获（CDC），分为日志型CDC（解析数据库日志，如OracleLogMiner、MySQLBinlog）、触发器型CDC（源库建触发器捕获变更）、查询型CDC（按时间范围查询增量，如“whereupdate_time>上次同步时间”）。考点：技术对比题（三种CDC的性能、侵入性、适用场景）、实操设计题（为电商订单系统设计增量抽取方案）。2.数据转换技术核心环节包括：清洗：去重、空值填充（如用均值/默认值填充用户年龄空值）、格式转换（日期格式统一）。映射：字段匹配（如源系统“客户编号”→目标库“customer_id”）、代码转换（如“性别：1→男，2→女”）。聚合：按维度汇总（如“按地区、月份聚合销售额”）。考点：案例分析题（给定源数据质量问题，设计转换规则）、工具操作题（如用Informatica的Expression转换实现字段拼接）。3.数据加载技术批量加载：适合离线场景，采用分区加载（如按日期分区的事实表，每日加载一个分区）、并行加载（多线程/多节点写入）。实时加载：基于Kafka等消息队列，实现准实时写入（如金融交易数据秒级同步），需关注事务一致性（Exactly-Once语义）。延伸考点：湖仓一体架构下的加载策略（如Hudi的Merge-On-Read模式）。（三）工具与平台实践1.主流ETL工具InformaticaPowerCenter：传统企业级工具，图形化设计ETL流程，支持复杂转换与高并发加载，考点聚焦“Workflow设计”“Mapping参数化”。TalendOpenStudio：开源工具，组件丰富（含大数据组件如Hadoop、Spark），考点关注“Job调度”“自定义组件开发”。ApacheAirflow：以“工作流编排”为核心，通过DAG管理多任务依赖，考点设计“DAG构建”“任务失败重试策略”。2.云原生工具AWSGlue：ServerlessETL，自动扩展资源，考点关注“数据目录（DataCatalog）”“GlueETLJob开发”。阿里云DataWorks：一站式大数据开发平台，支持离线/实时同步，考点聚焦“数据集成任务配置”“调度依赖设置”。（四）流程规范与问题解决1.数据导入全流程需求分析：明确业务目标（如“支撑销售分析需整合ERP、CRM、电商平台数据”），输出数据映射表（源字段→目标字段→转换规则）。环境准备：源库权限申请、目标库表结构设计（分区、索引规划）、中间库（如ODS）资源预分配。测试与上线：单元测试（单任务验证）、集成测试（端到端流程验证）、灰度上线（小流量验证）、生产监控（失败告警、性能指标跟踪）。2.常见问题与优化性能瓶颈：源库抽取慢（优化查询语句、增加抽取节点）、转换逻辑复杂（拆分任务、预计算）、加载阻塞（调整并行度、优化目标库索引）。数据质量问题：重复数据（增加唯一键约束、去重逻辑）、数据倾斜（转换时均匀分区）、一致性错误（增加对账环节，如源表与目标表计数比对）。三、复习题库设计与样题解析（一）选择题（每题1分，共20题）样题1：以下哪种技术属于“日志型CDC”？A.触发器捕获变更B.解析MySQLBinlogC.按时间范围查询D.全量导出后比对解析：选B。日志型CDC通过解析数据库日志（如Binlog、RedoLog）捕获变更，侵入性低、性能高；A为触发器型，C为查询型，D为全量比对（非CDC）。样题2：Kimball维度建模中，“星型模式”的特点是？A.维度表直接关联事实表，无中间层B.维度表通过中间表关联事实表C.仅包含事实表，无维度表D.维度表与事实表完全解耦解析：选A。星型模式中事实表直接与维度表关联（雪花型需维度表间关联），结构简单，查询性能优。（二）简答题（每题10分，共3题）样题1：简述ETL与ELT的核心差异及适用场景。参考答案：架构差异：ETL先转换后加载（转换在ETL工具或中间层）；ELT先加载后转换（转换在目标库，如数据仓库/湖）。适用场景：ETL：源数据质量差（需前置清洗）、目标库性能弱（如传统数仓）、离线批量场景（如每日全量同步）。ELT：大数据量（PB级）、实时性要求高（如准实时分析）、目标库算力强（如基于Spark的湖仓架构）。（三）案例分析题（每题20分，共1题）案例场景：某零售企业上线新数据仓库，导入ERP的“销售订单表”时，发现每日全量导入耗时从1小时增至5小时，且目标库磁盘IO利用率达95%。请分析可能原因并给出优化方案。分析与方案：1.可能原因：抽取方式不合理：仍用全量抽取，未切换为增量（源表有update_time字段）。加载策略低效：未分区加载（表无分区，全量写入时锁表）、未并行加载（单线程写入）。目标库设计缺陷：无分区、索引过多（写入时索引维护耗时）。2.优化方案：抽取层：改为增量抽取（基于update_time，只拉取当日变更数据）。加载层：对目标表按“订单日期”分区，每日加载对应分区；开启并行加载（如Informatica的PartitionedLoad）。存储层：删除冗余索引，保留业务必需的查询索引；调整磁盘IO参数（如增加IOPS）。四、备考策略与实战建议1.分阶段复习：基础阶段（1-2周）：梳理概念（数据仓库分层、ETL/ELT、CDC），搭建知识框架。强化阶段（2-3周）：聚焦工具实操（如用Talend开发简单ETLJob）、流程设计（编写数据映射表、测试方案）。冲刺阶段（1周）：刷题库（尤其是案例分析题），总结“问题-原因-方案”的逻辑链。2.结合业务场景学习：多思考“某行业（如金融、零售）的数据导入痛点”，例如：金融需保障交易数据一致性，零售需处理高并发订单导入。将技术要点与业务需求结合，加深理解。3.关注技术趋势：学习湖仓一体（如DatabricksLakehouse）、实时数仓（如Flink+