数据工程师培训题库(一)

1、台认证姓名:6、下列计算M数据B . MATLAB 【说明】SP ARKa）客观题Iz 30题，每题2分，总计60分b）主观题4题，每题10分，总计40分7）、以下关于外表和托管表描述正确的是（）的数据存储在本地C托管表的数据存储在hdfs上托管表题会删除分共irfce分r】上的元数据不会删除数据文件， 被删除HDFS服务中，为了保证 Name Node高可用性的角色不包括（C、.删除外表只会删除Inceptor上的元数据不会删除数据文件， 被删除.Journal NodeC、.删除托管表或外表，incepotr上的元数据和数据文件都会被删除D . Zookeeper【不删除外表两者都会）删除

2、托管表两者都会&以下对分桶表的描述正确的是rr2、NA、分桶表通启动时数动进入储全模式对查询全模式阶段优说法错误的是r安全模式A、分安全模式目的是在系统启动时对数据有效性进行检查 C分桶数应为对数据块进行必要的复制或删除 D、事物数据块的上报数达分桶字段可以 D.允许用户对文件系统进行读写操作inceptor excutor资源配置的说法正确的有（）一!128M ,此时我们上传一份 64M用的逻辑core数量1 core:2G memoryexcutor数量或 executor在集群上运行的9、以下关于inceptor excutor资源配置的说法正确的有（3、在集群中配置资源配置f本

3、数为ra3o设置数据块大小为 的数据文件cu该数资源配置置的是每秤空e间大。模使C'.xCutor 内核数和内存配置比例一般为D'.xCutor 分布可以指定每个节点运行的 总数量c3但是不能指定运行的节点D . 192M 10、假设使用场景中有如下查询语句SelECT&YARNO色在O群中的作用描S正卿是（ FRoM Emp群资源管理 wheRe集!群任务调度与管理 GROC P存Y储部分ReDons上的数据块 ORDDR以上都正Rigio n;以下建表通过holodesk的cube和index手段对这种过滤率和聚合率高的业务进行优化, 正确的是arn服务中，不包含以

4、下哪种角色（）A. . RCREATMTABLE Emp loyee B . NodeMoogERTiEs（ C . AppjChMAerD . C'hoioSeS k.i ndex' = 'De partme nt：'holodesk.dime nsion' = 'Sex, Regi on'）B.C.D.CREATE TABLE Emp loyeeTBL PROP ERTIES ('cache' = 'RAM','holodesk.i ndex' = 'Sex, Regi on&#

5、39; 'holodesk.dime nsion' = 'De partme nt' )CREATE TABLE Emp loyeeTBL PROP ERTIES ('cache' = "De partme nt",'holodesk.i ndex' = 'De partme nt', 'holodesk.dime nsion' = 'Sex, Regi on' )CREATE TABLE Emp loyeeTBL PROP ERTIES ('cache&

6、#39; = 'RAM','holodesk.i ndex' = 'De partme nt', 'holodesk.dime nsion' = 'Sex'11、关于Hyperbase全局索引的描述，哪些是正确的？（A. 核心是倒排表B. 全局索引概念是对应 Rowkey这个一级”索引C. 全局索引使用平衡二叉树D. 全局索引使用 B+树检索数据12、以下为Hyperbase分布式存储的最小单元的是（A、Region serverB、RegionC、StoreFileD、Store13、以下有关Hyperbase说

7、法正确的是（）A、 数据类型丰富，支持String、Int、Char等类型B、Key/value 系统，key 由 Row,Column Family,Column Qualifier 组成C、Hyperbase表中rowkey有序，按字典序降序排列D、以上说法都不正确14、以下关于StreamSQL的概念描述正确的是（A.Stream是数据流B.Streamjob是对一个或多个stream进行计算并将结果与进一个流的任务C.Application是一个或多个streamjob的集合D.以上说法都不正确15、某交通部门通过使用流监控全市过往 原始流为A.B.C.D.24小时各个卡口数据，要求每

8、分钟更新一次， org_stream，以下实现正确的是()CREATE STREAMWINDOW traffic_stream AS SELECT * FROMSTREAM w1 AS (len gth '1' minute slide '24' hour);CREATE STREAM traffic_streamAS SELECT *FROMSTREAMWINDOW w1 AS (len gth '1' mi nute slide '24' hour);CREATE STREAM traffic_streamAS SELECT

9、*FROMSTREAMWINDOW w1 AS (len gth '24' hour slide '1' min ute);CREATE3TREAMtraffic_stream AS SELECT* FROM original_stream AS (length '24' sec ond slide '1' minu te);origi nal_streamorigi nal_streamorigi nal_stream16、以下不是Zookeeper的功能是（A. 配置管理B. 集群管理C. 分布式锁D. 存储大量数据17、以下

10、服务需要与 zookee per进行通信的是（A.B.C.D.HMasterActive NameNodeIn ce ptorSQLActive ResourceMa nager18、下列是关于flume和sqoop对比的描述，不正确的是（ 主要用来采集日志而 sqoop主要用来做数据迁移 主要采集流式数据而 sqoop主要用来迁移规范化数据 和sqoop都是分布式处理任务 主要用于采集多数据源小数据而A . flumeB . flumeC . flumeD . flumesqoop用来迁移单数据源数据19、有关使用A . sqoop在抽取数据的时候可以指定 数据文件的个数B . sqoop抽

11、取数据是个多节点并行抽取的过程，因此 越好C . sqoop任务的切分是根据 split字段的（最大值-最小值）/map数 D . sqoop抽取数据的时候需要保证执行当前用户有权限执行相应的操作sqooP抽取数据的原理的描述不正确的是（map的个数,）map的个数决定在hdfs生成的map的个数设置的越多性能20、sqoop抽取数据时需要做一些数据转换的工作，下面说法不正确的是（A . -fields-terminated- by 1 '用来设置在 hdfs生成的文件的分割符B . -hive-drop-import-delims用来设置在hdfs生成的文件的存储形式为列存储C .

12、-null-string 'N'用来把所有的String类型的空值 转换成hive的NULL值D . -null-non-string 'N' 用来把非 String类型的空值 转换成 hive的NULL值21、下列有关A . flumeB . flumeC . flumeD . flumeflume的描述不正确的是（是Apache的一个子项目主要是一个日志采集，传输系统和sqoop功能相似，因此可以相互替代 可以同时采集集群内部和集群外部的日志数据22、下列sink中哪些是flume不支持的sink（A . HDFS si nkB . kafka si nkC

13、 . memory sinkD . file roll sink23、以下对ElasticSearch描述不正确的是（A.B.C.D.ElasticSearch是分布式全文搜索引擎ElasticSearch集群中分 master 和 data 节点ElasticSearch数据存储在HDFS上ElasticSearch数据可以按Shard分布在不同的节点上24、下列不属于kafka应用场景的是（A. 常规的消息收集B. 网站活动性跟踪C. 日志收集D. 关系型数据库和大数据平台之间的数据迁移25、TDH提供哪几种认证模式？（A.B.C.D.）所有服务使用简单认证模式一一所有服务都无需认证即可互

14、相访问所有服务都启用 Kerberos认证，用户要提供 Kerberos principal 和密码（或者keytab ）来访问各个服务所有服务都启用 Kerberos同时Inceptor启用LDAP认证所有服务都启用LDAP认证26、以下对各组件的运维页面描述不正确的是（A.B.C.D.通过 通过 通过 通过）Name Node的50070页面对 HDFS进行监控Resource Manager的8180对YARN上运行的任务进行监控HMaster的60010对HBase进行监控Hue Server 的 8888 页面登入 Hue27、Inceptor server服务无法启动时，该如何查看

15、日志是(查看 TDH manager 所在节点 /var/log/inceptorsql*/ 查看 Inceptor server 所在节点 /var/log/inceptorsql*/ 查 看 Resource Man ager 所在节 点 yarn-yarn-resourcema nager- poc-no de1.log 日志 查看任意节点 /var/log/inceptorsql*/ 目录下的 hive-server2.log 日志A.B.C.D.）目录下的 hive-server2og 日志目录下的 hive-server2og 日志/var/log/Yarn*/ 目录下的28、以下

16、对Hadoop组件的应用场景描述正确的是（）A.B.C.D.Hive主要用于构建大数据数仓，主要做批处理、统计分析型业务Hbase主要用于检索查询的OLTP业务ElasticSearch主要用于全文检索的关键字查询业务Spark Streaming主要用于实时数据的业务场景 29、以下不属于管理角色的是（A . Name NodeB . HMasterC . Resource Man agerD . Node Man ager 30、下面哪些工作不属于集群预安装工作（A.为集群中每个节点的安装操作系统B .选一个节点作为管理节点，修改其 /etc/hosts文件C .安装Transwarp Manager管理界面D.配置集群安全模式1、【客观简答题（每题 10分