数据开发助理工程师岗位考试试卷及答案

数据开发助理工程师岗位考试试卷及答案填空题（共10题，每题1分）1.SQL中用于统计记录数的聚合函数是______。答案：COUNT2.关系数据库中，主键的作用是______表中的每条记录。答案：唯一标识3.ETL过程中的“T”代表______。答案：Transform（转换）4.数据仓库通常分为ODS、______和DM三层。答案：DW（数据仓库层）5.Hive中常用的列式存储格式是______。答案：Parquet6.SQL中定义主键约束的关键字是______。答案：PRIMARYKEY7.数据库索引的主要作用是______查询效率。答案：提高8.第一范式要求数据的每个字段必须是______的。答案：原子性（不可再分）9.Python中用于处理结构化数据的库是______。答案：Pandas10.MapReduce的核心思想是______。答案：分而治之单项选择题（共10题，每题2分）1.SQL中查询不重复记录的关键字是（）A.UNIQUEB.DISTINCTC.NOTNULLD.GROUPBY答案：B2.以下哪个不是关系型数据库？（）A.MySQLB.OracleC.MongoDBD.PostgreSQL答案：C3.ETL中的“E”指的是（）A.ExtractB.ExportC.EntryD.Execute答案：A4.Hive中创建表的关键字是（）A.MAKETABLEB.CREATETABLEC.NEWTABLED.ADDTABLE答案：B5.Python中读取CSV文件的函数是（）A.pd.read_csv()B.pd.read_excel()C.pd.read_json()D.pd.read_sql()答案：A6.外键的作用是（）A.唯一标识记录B.引用其他表的主键C.加速查询D.存储大文本答案：B7.数据仓库的特点不包括（）A.面向主题B.集成性C.实时性D.非易失性答案：C8.以下哪个是NoSQL数据库？（）A.SQLServerB.RedisC.DB2D.SQLite答案：B9.MapReduce的两个主要阶段是（）A.Map和SortB.Map和ReduceC.Reduce和SortD.Split和Map答案：B10.SQL中用于分组的关键字是（）A.ORDERBYB.WHEREC.GROUPBYD.HAVING答案：C多项选择题（共10题，每题2分）1.以下属于SQL聚合函数的有（）A.COUNTB.SUMC.AVGD.MAX答案：ABCD2.常见的ETL工具包括（）A.DataStageB.InformaticaC.KettleD.Spark答案：ABC3.以下属于关系型数据库的有（）A.MySQLB.OracleC.MongoDBD.PostgreSQL答案：ABD4.Hadoop生态系统中的组件包括（）A.HDFSB.HiveC.SparkD.Kafka答案：ABCD5.以下属于常见数据类型的有（）A.INTB.VARCHARC.DATED.BOOLEAN答案：ABCD6.数据库索引的类型包括（）A.主键索引B.唯一索引C.普通索引D.全文索引答案：ABCD7.Python中用于数据处理的库有（）A.PandasB.NumPyC.MatplotlibD.Scikit-learn答案：AB8.数据仓库的分层通常包括（）A.ODS（操作数据存储）B.DW（数据仓库层）C.DM（数据集市）D.DWD（明细数据层）答案：ABC9.SQL中的连接类型包括（）A.INNERJOINB.LEFTJOINC.RIGHTJOIND.FULLJOIN答案：ABCD10.NoSQL数据库的类型包括（）A.键值型B.文档型C.列族型D.图型答案：ABCD判断题（共10题，每题2分）1.SQL中WHERE子句用于过滤行，HAVING子句用于过滤分组后的结果。（）答案：对2.MongoDB是关系型数据库。（）答案：错3.ETL是抽取、转换、加载的过程。（）答案：对4.Hive是基于Hadoop的分布式数据仓库工具。（）答案：对5.主键可以包含重复值。（）答案：错6.Pandas可以用于处理结构化数据。（）答案：对7.MapReduce只能处理文本类型的数据。（）答案：错8.数据仓库是面向事务处理的。（）答案：错9.数据库中索引越多，查询效率越高。（）答案：错10.LEFTJOIN返回左表所有记录和右表中匹配的记录。（）答案：对简答题（共4题，每题5分）1.简述ETL的基本流程。答案：ETL即抽取（Extract）、转换（Transform）、加载（Load）的过程。抽取是从源系统（如业务数据库、日志文件）获取数据；转换是对数据进行清洗（去重、缺失值处理）、格式转换、聚合等操作，使其符合目标要求；加载是将转换后的数据写入目标系统（如数据仓库）。ETL是数据仓库建设的核心，确保数据从源到目标的准确性和一致性。2.简述SQL中GROUPBY和HAVING的区别。答案：GROUPBY用于按指定列分组，将相同值的记录归为一组；HAVING用于过滤分组后的结果。区别在于：WHERE在分组前过滤行，HAVING在分组后过滤分组。例如，统计每个部门平均工资大于5000的人数，需用GROUPBY部门，HAVINGavg(salary)>5000。3.简述Hive与关系型数据库的主要区别。答案：Hive基于Hadoop，处理大规模数据，适合离线分析；关系型数据库处理小规模数据，适合实时事务。Hive用HQL转MapReduce/Spark执行，延迟高；关系型数据库用SQL直接执行，延迟低。Hive存储在HDFS，分布式；关系型数据库存储在本地磁盘，规模有限。4.简述Pandas中DataFrame的常用操作。答案：DataFrame是二维表格结构，常用操作包括：读取数据（read_csv）、查看数据（head/info）、筛选（loc/iloc）、聚合（groupby）、缺失值处理（dropna/fillna）、数据转换（astype/apply）等。这些操作帮助快速处理结构化数据，支持数据分析需求。讨论题（共2题，每题5分）1.数据开发中如何保证数据质量？答案：保证数据质量需多环节把控。数据源验证：检查完整性（无缺失字段）、准确性（数值合理）；ETL清洗：去重、处理缺失值、统一格式；数据校验：对比源与目标数据量、关键指标（如销售额）；监控告警：设置阈值（如数据波动超10%），异常通知；日志记录：便于追溯问题。例如，每日抽取后自动校验行数，差异及时排查。2.大数据处理中MapReduce与Spark的区别？答案：MapReduce是批处理框