数据工程师培训题库(一)

6、下列计算框架DH属数分据式平台认证工程师试题A.MapReduceB.MATLAB 姓名： 分数： 【说明］SPARKa） 客观^30题，每题2分，总计60分b） 主观题4题，每题10分，总计40分c） 满下关于分表和托管表描述正确的是（ ）A、外表的数据存储在本地，托管表的数据存储在hdfs上【不定项删除托管表只会分共凰分t】上的元数据不会删除数据文件，删除外表两者都会被在删除FS服务中，为了保证NameNode高可用性的角色不包括（ ）A、•删除外表只会删除Inceptor上的元数据不会删除数据文件，删除托管表两者都会被删除j0UrnalNodeD、•删除托管表或外表，incepotr上的元数据和数据文件都会被删除D.Zookeeper8、以下对分桶表的描述正确的是（ ）2、Name分桶表通动时变数据的存储分布,,对查询模式阶段，勺优法错误的是（）分桶全模能是表中在系统启动时对数据有效性进行检查C、 分桶据策为对数据块进行必要的复制或删除D、 事当物表块须制定分桶达至分桶值时勺可以被动退出安全模式D．允许用户对文件系统进行读写操作9、以下关于inceptorexcutor资源配置的说法正确的有（ ）3、在集群中配置源配置副本数为r，设置数模式大小为】28M，此时我们上传一份64M的数据文件Ut该数据文配置的是每空间大小为所使用的逻辑core数量C>'E6cMtor内核数和内存配置比例一般为1core:2GmemoryD、12cMtor分布可以指定每个节点运行的excutor数量或executor在集群上运行的总数量，但是不能指定运行的节点D.192M10、假设使用场景中有如下查询语句Sel下列对囲喘角色在集群中的作用描述正?a的是（）FROMAE.p集群资源管理WHERBDe集群任务调度与管理GROUCDY存SIX部R分gwn上的数据块ORDEDDY以上都正确on;以下建通过holodesk的cube和index手段对这种过滤率和聚合率高的业务进行优化,表正确的是服务中，）不包含以下哪种角色（ ）以下建DCReREsAouTrEceTMABaLnaEgeErmployeeRMAasMt'e,rDTNBodLePRMaOPnEaRgTeIrES('Co'nt=RMAasMt'e,r='Sex,Region'CREATETABLEEmployeeTBLPROPERTIES（'cache'='RAM',''='Sex,Region'''='Department'）CREATETABLEEmployeeTBLPROPERTIES（'cache'=''Department'',''='Department',''='Sex,Region'）CREATETABLEEmployeeTBLPROPERTIES（'cache'='RAM',''='Department',''='Sex'）11、 关于Hyperbase全局索引的描述，哪些是正确的（）核心是倒排表全局索引概念是对应Rowkey这个“一级”索引全局索引使用平衡二叉树全局索引使用B+树检索数据12、 以下为Hyperbase分布式存储的最小单元的是（ ）A、 RegionserverB、 RegionC、 StoreFileD、 Store13、 以下有关Hyperbase说法正确的是（ ）A、 数据类型丰富，支持String、Int、Char等类型B、 Key/value系统，key由Row,ColumnFamily,ColumnQualifier组成C、 Hyperbase表中rowkey有序，按字典序降序排列D、 以上说法都不正确14、 以下关于StreamSQL的概念描述正确的是（ ）Stream是数据流Streamjob是对一个或多个stream进行计算并将结果写进一个流的任务Application是--个或多个streamjob的集合以上说法都不正确星环信息科技（上海）有限公司15、某交通部门通过使用流监控全市过往24小时各个卡口数据，要求每分钟更新一次，原始流为org_stream，以下实现正确的是( )CREATESTREAMWINDOWtraffic_streamASSELECT*FROMoriginal_streamSTREAMw1AS(length'1'minuteslide'24'hour);CREATE STREAM traffic_stream AS SELECT * FROM original_streamSTREAMWINDOWw1AS(length'1'minuteslide'24'hour);CREATE STREAM traffic_stream AS SELECT * FROM original_streamSTREAMWINDOWw1AS(length'24'hourslide'1'minute);CREATESTREAMtraffic_streamASSELECT*FROMoriginal_streamAS(length'24'secondslide'1'minute);16、以下不是Zookeeper的功能是（ ）配置管理集群管理分布式锁存储大量数据17、 以下服务需要与zookeeper进行通信的是（ ）HMasterActiveNameNodeInceptorSQLActiveResourceManager18、 下列是关于flume和sqoop对比的描述，不正确的是（ ）A.flume主要用来采集日志而sqoop主要用来做数据迁移B.flume主要采集流式数据而sqoop主要用来迁移规范化数据C.flume和sqoop都是分布式处理任务D.flume主要用于采集多数据源小数据而sqoop用来迁移单数据源数据19、 有关使用sqoop抽取数据的原理的描述不正确的是（ ）A.sqoop在抽取数据的时候可以指定map的个数，map的个数决定在hdfs生成的数据文件的个数B.sqoop抽取数据是个多节点并行抽取的过程，因此map的个数设置的越多性能越好C.sqoop任务的切分是根据split字段的（最大值-最小值）/map数D.sqoop抽取数据的时候需要保证执行当前用户有权限执行相应的操作20、 sqoop抽取数据时需要做一些数据转换的工作，下面说法不正确的是（ ）A.—fields-terminated-by‘\\01‘用来设置在hdfs生成的文件的分割符B.—hive-drop-import-delims 用来设置在hdfs生成的文件的存储形式为列存储C.—null-string'\\N' 用来把所有的String类型的空值转换成hive的NULL值D.—null-non-string'\\N'用来把非String类型的空值转换成hive的NULL21、下列有关flume的描述不正确的是（ ）A.flume是Apache的一个子项目B.flume主要是一个日志采集，传输系统C.flume和sqoop功能相似，因此可以相互替代D.flume可以同时采集集群内部和集群外部的日志数据22、下列sink中哪些是flume不支持的sink（ ）A.HDFSsinkB.kafkasinkC.memorysinkD.filerollsink23、以下对ElasticSearch描述不正确的是（）ElasticSearch是分布式全文搜索引擎ElasticSearch集群中分master和data节点ElasticSearch数据存储在HDFS上ElasticSearch数据可以按Shard分布在不同的节点上24、下列不属于kafka应用场景的是（ ）A.常规的消息收集B.网站活动性跟踪C.日志收集D.关系型数据库和大数据平台之间的数据迁移25、TDH提供哪几种认证模式（ ）所有服务使用简单认证模式一一所有服务都无需认证即可互相访问所有服务都启用Kerberos认证，用户要提供Kerberosprincipal和密码（或者keytab）来访问各个服务所有服务都启用Kerberos同时Inceptor启用LDAP认证所有服务都启用LDAP认证26、以下对各组件的运维页面描述不正确的是（）通过NameNode的50070页面对HDFS进行监控通过ResourceManager的8180对YARN上运行的任务进行监控通过HMaster的60010对HBase进行监控通过HueServer的8888页面登入Hue27、Inceptorserver服务无法启动时，该如何查看日志是（ ）查看TDHmanager所在节点/var/log/inceptorsql*/目录下的日志查看Inceptorserver所在节点/var/log/inceptorsql*/目录下的日志查看ResourceManager所在节点/var/log/Yarn*/目录下的日志查看任意节点/var/log/inceptorsql*/目录下的日志星环信息科技（上海）有限公司28、以下对Hadoop组件的应用场景描述正确的是（ ）Hive主要用于构建大数据数仓，主要做批处理、统计分析型业务Hbase主要用于检索查询的OLTP业务ElasticSearch主要用于全文检索的关键字查询业务SparkStreaming主要用于实时数据的业务场景29、以下不属于管理角色的是（）A.NameNodeB.HMasterC.ResourceManagerD.NodeManager30、下面哪些工作不属于集群预安装工作（）A.为集群中每个节点的安装操作系统B.选一个节点作为管理节点，修改其/etc/hosts文件C.安装TranswarpManager管理界面D.配置集群安全模式【客观简答题（每题10分，共40分）】1、 集群有8个节点，每个节点有8块硬盘（默认3副本）。如果某个节点有3块盘损坏，是否可能