数据建模工程师考试大纲与题库_第1页
数据建模工程师考试大纲与题库_第2页
数据建模工程师考试大纲与题库_第3页
数据建模工程师考试大纲与题库_第4页
数据建模工程师考试大纲与题库_第5页
已阅读5页,还剩3页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

数据建模工程师考试大纲与题库数据建模工程师完整考试大纲+配套题库(工信部标准+企业认证通用版)一、考试基本说明(依据SJ/T11788-2021《大数据从业人员能力要求》)1.证书分级初级数据建模工程师:基础建模、SQL、简单数仓分层中级数据建模工程师(主流考证):维度建模、数据湖、分层架构、SCD、大数据建模实操高级数据建模工程师:企业级数据架构、全域数据模型、元数据治理、算法建模落地2.考试形式总分100分,60分合格理论笔试/上机(60分):单选、多选、判断、简答实操上机(40分):ER图绘制、星型/雪花模型设计、HiveSQL建模、分层表DDL编写3.考试时长中级:理论80min+实操40min;高级:理论90min+实操60min第一部分官方标准考试大纲(中级,行业通用核心)模块1数据建模基础理论(15%)数据建模定义、价值、建模全生命周期(需求调研→概念→逻辑→物理→落地迭代)三层模型体系:概念CDM、逻辑LDM、物理PDM区别与设计要点ANSI/SPARC三层架构、Zachman企业数据框架基础OLTP事务库建模vsOLAP数仓建模核心差异建模工具:PowerDesigner、ER/Studio、DataGrip、Navicat、DataWorks建模模块数据建模规范、命名规范、模型文档交付标准模块2ER关系建模与范式理论(20%)ER核心要素:实体、属性、主键、外键、强弱实体、一对一/一对多/多对多关系1NF/2NF/3NF/BCNF范式定义、消除冗余、解决增删改异常反范式设计场景、冗余取舍、宽表设计适用场景代理键、自然键、复合主键、业务主键设计规范约束设计:主键、唯一、非空、外键、检查约束模块3维度建模(Kimball理论,核心重点25%)维度建模核心思想、星型模型、雪花模型优缺点与选型事实表分类:事务事实、周期快照、累积快照事实表维度表设计:一致性维度、共享维度、退化维度缓慢变化维SCD1/SCD2/SCD3/SCD4完整实现方案(必考)粒度设计、聚合层、汇总宽表、指标衍生杂项维度、垃圾维度、时间维度标准设计模板模块4数据仓库&数据湖分层建模(18%)标准五层分层:ODS原始层→DWD明细层→DWM中间层→DWS汇总层→ADS应用层维度层DIM独立设计、分区、分桶、冷热分层存储数据湖建模:湖仓一体、DeltaLake/Hudi/Iceberg建模适配实时数仓建模:ODS实时层、DWD实时明细、实时汇总层存储格式选型:ORC、Parquet、JSON、文本对模型的影响数据分区、分桶、索引物理建模优化模块5大数据技术与SQL建模实操(12%)Hive/SparkSQL建模语法、DDL建表、分区表、外部表、视图/物化视图窗口函数、关联查询、数据清洗SQL建模特征工程基础建模:缺失值、标准化、独热编码、特征衍生时序数据建模、拉链表实现(SCD2拉链表必考)批流一体模型设计思路模块6数据治理、质量与合规(10%)元数据、数据字典、数据血缘与模型联动数据质量规则:完整性、唯一性、准确性、一致性校验主数据MDM建模、统一客户/商品主模型数据安全、隐私合规、脱敏建模、数据分级第二部分配套考试题库(含答案+解析,分题型)一、单项选择题(20题)第三范式3NF核心解决的问题是()

A.消除重复组B.消除传递函数依赖C.消除部分依赖D.多对多拆分

答案:B

解析:1NF去重复组,2NF去部分依赖,3NF消除传递依赖。下列不属于维度建模特征的是()

A.星型结构B.SCD缓慢变化维C.严格3NF范式D.事实+维度分离

答案:C

解析:维度建模允许适度反范式,不严格遵循3NF。存储历史维度变更完整记录,保留历史快照使用哪种SCD()

A.SCD1覆盖更新B.SCD2拉链表C.SCD3新增字段D.SCD4历史表

答案:B

解析:SCD2拉链表记录每条维度记录生效、失效时间,完整留存历史。OLTP数据库设计优先遵循(),OLAP数仓优先()

A.3NF范式、反范式宽表B.反范式、3NFC.雪花模型、星型D.分层、单表

答案:A数据仓库ODS层作用是()

A.业务汇总指标B.原样同步源系统原始数据C.清洗明细数据D.报表应用层

答案:B拉链表实现缓慢变化维依靠哪两个时间字段()

A.create_time、update_time

B.start_dt、end_dt

C.load_time、sync_time

D.order_time、pay_time

答案:B下列属于事实表特征的是()

A.存储大量描述性文本B.存储度量指标+维度外键C.数据量小更新少D.一致性维度存储

答案:BHive中适合数仓分层存储、列式压缩、支持谓词下推的格式()

A.TextFileB.ORCC.SequenceFileD.JSON

答案:B概念数据模型CDM核心作用是()

A.定义字段类型、长度B.梳理业务实体与关系,无关技术存储

C.编写建表语句D.设计分区分桶

答案:B多源业务系统统一客户编码,统一客户属性属于()

A.一致性维度B.事实表C.应用层ADSD.ODS原始层

答案:A以下哪项不属于数据清洗建模操作()

A.缺失值填充B.去重C.表分区D.异常值剔除

答案:C雪花模型相比星型模型最大缺点()

A.规范化高,关联多查询慢B.冗余数据多C.不支持SCDD.无法分层

答案:A累积快照事实表适合哪种业务场景()

A.每日用户访问日志B.订单全生命周期(下单→支付→发货→完成)

C.实时商品点击D.月度销售汇总

答案:B退化维度是指()

A.存储在事实表、无需单独建维度表的维度字段

B.缓慢变化维度

C.垃圾维度

D.时间维度

答案:A下列属于物理数据模型PDM内容的是()

A.业务实体名称B.字段数据类型、长度、分区策略

C.业务关系描述D.业务术语定义

答案:B为减少模型过拟合,特征工程常用手段()

A.增加全部原始特征B.特征筛选降维C.数据复制扩容D.独热编码所有字段

答案:B数据湖仓一体建模区别传统数仓核心()

A.仅分层建模B.原始数据湖存储+统一数仓服务,批流统一模型

C.只使用星型模型D.严格3NF

答案:B主数据MDM建模核心目标()

A.统一企业核心实体唯一标准口径B.存储明细日志

C.做报表指标D.实时数据采集

答案:A以下哪种不属于分层ADS应用层特征()

A.面向报表、大屏、分析接口B.高度聚合宽表

C.多维度关联完成D.原始未清洗明细数据

答案:D建模时代理键SurrogateKey作用()

A.替代业务主键,业务编码变更不影响关联关系

B.作为指标度量值

C.存储时间戳

D.分区字段

答案:A二、多项选择题(10题)三层数据模型包含()

A.CDM概念模型B.LDM逻辑模型C.PDM物理模型D.UML类模型

答案:ABCSCD2拉链表必备字段()

A.代理主键idB.业务编码C.dim_start_dtD.dim_end_dtE.维度属性字段

答案:ABCDE标准数仓五层分层包含()

A.ODS原始层B.DWD明细层C.DWM中间层D.DWS汇总层E.ADS应用层F.DIM维度层

答案:ABCDEF事实表三大分类()

A.事务事实表B.周期快照事实表C.累积快照事实表D.维度事实表

答案:ABC维度建模中维度表设计原则()

A.一致性维度复用B.适度反范式C.单一主键代理键D.存储描述属性

答案:ABCD反范式宽表适用场景()

A.前端报表快速查询B.大表多表关联性能差C.实时数仓汇总层D.OLTP交易系统

答案:ABC数据建模常用工具()

A.PowerDesignerB.ER/StudioC.DataWorksD.NavicatDataModeler

答案:ABCD数据质量建模校验维度()

A.完整性B.唯一性C.准确性D.一致性E.及时性

答案:ABCDE星型模型组成部分()

A.中心事实表B.直接关联维度表C.多层子维度表D.分区字段

答案:AB大数据建模优化手段()

A.合理分区分桶B.选用ORC/Parquet列式存储C.建立物化视图D.分层减少重复计算

答案:ABCD三、判断题(10题)OLTP系统优先使用反范式宽表提升查询速度。(×)

解析:OLTP追求低冗余,遵循3NF;OLAP反范式。SCD1直接覆盖旧维度数据,无法保留历史记录。(√)DWD明细层可以直接对外提供报表查询。(×)

解析:DWD明细量大,报表使用ADS汇总层。雪花模型多层维度关联,适合海量数据实时查询场景。(×)拉链表dim_end_dt='9999-12-31'代表当前生效最新数据。(√)概念模型需要定义字段长度、数据类型。(×)一致性维度可在企业所有业务线统一复用。(√)分区字段应当选择基数大、过滤频繁的字段,如订单ID。(×)

解析:分区选时间等低基数字段。退化维度不需要单独创建维度表,存放于事实表。(√)数据湖只能存储结构化数据,无法处理半结构化日志。(×)四、简答题(高频考题)简述CDM、LDM、PDM三层模型区别与交付产出

答:CDM概念模型:纯业务视角,梳理实体、业务关系,不涉及技术;产出业务ER图、业务术语字典。LDM逻辑模型:细化实体属性、主键外键、确定范式,无存储细节;产出标准化逻辑ER图。PDM物理模型:映射数据库,定义字段类型、长度、分区、存储格式、索引;产出建表DDL脚本。星型模型与雪花模型优缺点、适用场景星型:事实直接关联维度,关联少查询快;冗余高,适合报表、实时数仓。雪花:维度规范化拆分多层,冗余低;多表关联性能差,适合数据治理、复杂主数据场景。简述SCD1/SCD2/SCD3三种缓慢变化维实现与适用场景SCD1:直接覆盖更新,无历史;仅需最新维度场景。SCD2:拉链表保存全量历史,记录变更时间;需要追溯历史维度(用户、商品)。SCD3:新增历史字段存储旧值,仅保留最近一次变更;变更频率极低场景。标准数据仓库五层分层各自作用ODS:原样同步源系统,不清洗,做数据备份;DWD:清洗、去重、统一编码,明细数据;DWM:中间汇总,减少重复计算;DWS:多维度粗粒度汇总,指标层;ADS:面向业务应用、报表、大屏定制宽表。五、实操建模大题(考试必考)实操1:电商订单业务设计星型模型业务:用户下单,包含订单、用户、商品、支付、时间维度,需要统计每日销售额。

要求:画出ER结构,区分事实表

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论