数据工程师培训题库(一)

1、星环信息科技（上海）有限公司【说明】a) 客观题30题,每题2分，总计60分b) 主观题4题,每题10分,总计40分c) 满分100分。【不定项选择题（每题2分共60分)】1、 在HDFS服务中,为了保证Name Node高可用性的角色不包括( ）A 。 Data NodeB . Journal NodeC 。 ZKFCD 。 Zookeeper2、 Namenode在启动时自动进入安全模式，在安全模式阶段，说法错误的是（ ）A安全模式目的是在系统启动时对数据有效性进行检查B根据策略对数据块进行必要的复制或删除C当数据块的上报数达到阈值时，会自动退出安全模式D允许用户对文件系统进行读写操作3、

2、 在集群中配置HDFS的副本数为3,设置数据块大小为128M，此时我们上传一份64M的数据文件，该数据文件占用HDFS空间大小为（ ）A 。 64MB . 128MC 。 384MD . 192M4、 下列对YARN角色在集群中的作用描述正确的是( ）A . 集群资源管理B 。 集群任务调度与管理C 。 存储部分HDFS上的数据块D 。 以上都正确5、 在Yarn服务中，不包含以下哪种角色( ）A . ResourceManagerB . NodeManagerC . ApplicationMasterD 。 ContianerTDH数据平台认证工程师试题姓名：_ 分数：_6、 下列计算框架中

3、不属于分布式计算框架的是（ ）A 。 MapReduceB 。 MATLABC 。 SPARKD 。 Tez7、 以下关于外表和托管表描述正确的是（ ）A、外表的数据存储在本地，托管表的数据存储在hdfs上B、删除托管表只会删除Inceptor上的元数据不会删除数据文件，删除外表两者都会被删除C、删除外表只会删除Inceptor上的元数据不会删除数据文件，删除托管表两者都会被删除D、删除托管表或外表，incepotr上的元数据和数据文件都会被删除8、 以下对分桶表的描述正确的是（ )A、分桶表通过改变数据的存储分布，对查询起到一定的优化作用B、分桶键不能是表中的列C、分桶数应为素数D、事物表必

4、须制定分桶,分桶字段可以被更新9、 以下关于inceptor excutor资源配置的说法正确的有（ )A、Excutor资源配置fixed和ratio两种模式B、Excutor内核数配置的是每个excutor所使用的逻辑core数量C、Excutor内核数和内存配置比例一般为1 core：2G memoryD、Excutor分布可以指定每个节点运行的excutor数量或executor在集群上运行的总数量，但是不能指定运行的节点10、 假设使用场景中有如下查询语句SELECT Sex, Region， COUNT(ID)， AVG （Salary）FROM EmployeeWHERE Dep

5、artment = IT'GROUP BY Sex, RegionORDER BY Sex， Region；通过holodesk的cube和index手段对这种过滤率和聚合率高的业务进行优化,以下建表正确的是( ）A. CREATE TABLE EmployeeTBLPROPERTIES （cache = 'RAM，'holodesk。index = Department',holodesk.dimension = Sex， Region）B. CREATE TABLE EmployeeTBLPROPERTIES ('cache' = '

6、RAM'，'holodesk。index = 'Sex， Regionholodesk.dimension = Department)C. CREATE TABLE EmployeeTBLPROPERTIES （'cache = ''Department'',holodesk。index = Department',holodesk.dimension = Sex， Region')D. CREATE TABLE EmployeeTBLPROPERTIES ('cache' = RAM'，h

7、olodesk.index = Department','holodesk.dimension = Sex'）11、 关于Hyperbase全局索引的描述,哪些是正确的？（ ）A核心是倒排表B全局索引概念是对应Rowkey这个“一级”索引C全局索引使用平衡二叉树D全局索引使用B+树检索数据12、 以下为Hyperbase分布式存储的最小单元的是（ ）A、Region serverB、RegionC、StoreFileD、Store13、 以下有关Hyperbase说法正确的是( )A、数据类型丰富，支持String、Int、Char等类型B、Key/value系统，ke

8、y由Row，Column Family，Column Qualifier组成C、Hyperbase表中rowkey有序，按字典序降序排列D、以上说法都不正确14、 以下关于StreamSQL的概念描述正确的是（ ）A. Stream是数据流B. Streamjob是对一个或多个stream进行计算并将结果写进一个流的任务C. Application是一个或多个streamjob的集合D. 以上说法都不正确15、 某交通部门通过使用流监控全市过往24小时各个卡口数据，要求每分钟更新一次，原始流为org_stream，以下实现正确的是（ ）A. CREATE STREAMWINDOW traffi

9、c_stream AS SELECT FROM original_stream STREAM w1 AS (length 1' minute slide 24 hour);B. CREATE STREAM traffic_stream AS SELECT * FROM original_stream STREAMWINDOW w1 AS (length '1' minute slide 24' hour）；C. CREATE STREAM traffic_stream AS SELECT FROM original_stream STREAMWINDOW w1

10、AS (length 24 hour slide 1 minute）；D. CREATE STREAM traffic_stream AS SELECT * FROM original_stream AS (length '24 second slide 1' minute);16、 以下不是Zookeeper的功能是( ）A 配置管理B 集群管理C 分布式锁D 存储大量数据17、 以下服务需要与zookeeper进行通信的是（ )A. HMasterB. Active NameNodeC. InceptorSQLD. Active ResourceManager18、 下列是

11、关于flume和sqoop对比的描述,不正确的是（ ）A 。 flume主要用来采集日志而sqoop主要用来做数据迁移B 。 flume主要采集流式数据而sqoop主要用来迁移规范化数据C 。 flume和sqoop都是分布式处理任务D 。 flume主要用于采集多数据源小数据而sqoop用来迁移单数据源数据19、 有关使用sqoop抽取数据的原理的描述不正确的是（ ）A . sqoop在抽取数据的时候可以指定map的个数，map的个数决定在hdfs生成的数据文件的个数B . sqoop抽取数据是个多节点并行抽取的过程，因此map的个数设置的越多性能越好C . sqoop任务的切分是根据spl

12、it字段的（最大值最小值）/map数D 。 sqoop抽取数据的时候需要保证执行当前用户有权限执行相应的操作20、 sqoop抽取数据时需要做一些数据转换的工作，下面说法不正确的是（ )A . -fields-terminatedby 01 用来设置在hdfs生成的文件的分割符B . -hive-drop-importdelims  用来设置在hdfs生成的文件的存储形式为列存储C 。 -nullstring 'N'  用来把所有的 String类型的空值 转换成 hive的NULL值 D 。 -null-nonstring N' 用来把非

13、String类型的空值 转换成 hive的NULL 值21、 下列有关flume的描述不正确的是( )A 。 flume是Apache的一个子项目B . flume主要是一个日志采集，传输系统C 。 flume和sqoop功能相似，因此可以相互替代D 。 flume可以同时采集集群内部和集群外部的日志数据22、 下列sink中哪些是flume不支持的sink( ）A . HDFS sinkB . kafka sinkC . memory sinkD 。 file roll sink23、 以下对ElasticSearch描述不正确的是（ )A ElasticSearch是分布式全文搜索引擎B

14、ElasticSearch集群中分master和data节点C ElasticSearch数据存储在HDFS上D ElasticSearch数据可以按Shard分布在不同的节点上24、 下列不属于kafka应用场景的是（ ）A . 常规的消息收集B 。 网站活动性跟踪C . 日志收集D 。 关系型数据库和大数据平台之间的数据迁移25、 TDH提供哪几种认证模式？（ ）A 所有服务使用简单认证模式所有服务都无需认证即可互相访问B 所有服务都启用Kerberos认证，用户要提供Kerberos principal和密码（或者keytab）来访问各个服务C 所有服务都启用Kerberos同时Ince

15、ptor启用LDAP认证D 所有服务都启用LDAP认证26、 以下对各组件的运维页面描述不正确的是( ）A 通过Name Node的50070页面对HDFS进行监控B 通过Resource Manager的8180对YARN上运行的任务进行监控C 通过HMaster的60010对HBase进行监控D 通过Hue Server的8888页面登入Hue27、 Inceptor server服务无法启动时，该如何查看日志是( )A 查看TDH manager所在节点/var/log/inceptorsql*/目录下的hiveserver2.log日志B 查看Inceptor server所在节点/v

16、ar/log/inceptorsql*/目录下的hive-server2。log日志C 查看Resource Manager所在节点/var/log/Yarn*/目录下的yarnyarn-resourcemanager-pocnode1.log日志D 查看任意节点/var/log/inceptorsql/目录下的hive-server2.log日志28、 以下对Hadoop组件的应用场景描述正确的是( )A. Hive主要用于构建大数据数仓，主要做批处理、统计分析型业务B. Hbase主要用于检索查询的OLTP业务C. ElasticSearch主要用于全文检索的关键字查询业务D. Spark Streaming主要用于实时数据的业务场景29、 以下不属于管理角色的是( ）A . Name NodeB 。 HMasterC 。 Resource ManagerD 。 Node Manager30、 下面哪些工作不属于集群预安装工作（ ）A 。 为集群中每个节点的安装操作系统B 。 选一个节点作为管理节点，修改其 /etc/hosts文件C 。 安装Transwarp Manager管理界面D 。 配置集群安全模式【客