奥鹏南开课程考试大数据开发技术二19秋期末考核

1、正确答案:A GraphX中()是存放着 Edg对象的 RDD A. RDDEdge B. EdgeRDD C. RDD(VertexId,VD) D. VertexRDD 正确答案:A GraphX 中 graph.vertices 可以得到（） A. 顶点视图 B. 边视图 C. 顶点与边的三元组整体视图 D. 有向图 正确答案:A Scala 中哪个函数可以创建区间数组（） A. concat B. ofDim C. fill D. range 正确答案:D var a=10; while(a20) a+=1; 共循环了()次 A. 9 B. 10 C. 11 D. 12 正确答案:B

2、Scala 通过()来定义变量 A. val B. val C. define D. def正确答案:C Scala 中()方法返回一个列表，包含除了第一个元素之外的其他元素 A. head B. init C. tail D. last 正确答案:C Spark GraphX 中类 Graph 的 reverse 方法可以() A. 反转图中所有边的方向 B. 按照设定条件取出子图 C. 取两个图的公共顶点和边作为新图，并保持前一个图顶点与边的属性 D. 合并边相同的属性 正确答案:A Spark 中运行交互式 SQL 查询的大规模并行查询引擎是() A. Spark Core B. Spa

3、rk SQL C. BlinkDB D. Mllib 正确答案:C Spark 中 DataFrame 的()方法是进行连接查询 A. where B. join C. limit D. apply 正确答案:B Spark 中的每个 RDCH 般情况下是由()个分区组成的 A. 0 B. 1 C. 多 D. 无数 正确答案:D Scala 列表中（）可以表示为一个空列表 A. Nill B. Nil C. List D. None 正确答案:B Spark Streming 中（）函数当被调用类型分别为（ K, V 和（K, W 键值对的 2 个 DStream 时, 返回类型为（K, （V

4、, W）键值对的一个新 DStream。 A. union B. reduce C. join D. cogroup 正确答案:D Spark GraphX 中类 Graph 的 aggregateMessages 方法可以（） A. 收集邻居顶点的顶点 Id 和顶点属性 B. 收集邻居顶点的顶点 Id C. 向指定顶点发送信息并聚合信息 D. 将顶点信息更新到图中 正确答案:C GraphX 中()是完整提供边的各种操作类 A. RDDEdge B. EdgeRDD C. RDD(VertexId,VD) D. VertexRDD 正确答案:B Scala 函数组合器可以接收一个可以处理嵌套

5、列表的函数，然后把返回结果连接起来的方法是 （） A. map B. foreach C. flatten D. flatmap正确答案:CD TF-IDF 中 TF 指的是（） A. 词频 B. 词在文档中出现的次数 C. 逆文档概率 D. 词在文档集中出现的概率 E. 词在文档集中出现的概率 正确答案:AB Spark SQL 可以处理（） A. RDD B. Parquet 文件 C. JSON 文件 D. Hive 表 正确答案:ABCD 以下哪个方法可以创建 RDD 0 A. parallelize B. makeRDD C. textFile D. loadFile 正确答案:AB

6、C Spark DataFrame 中（）方法可以返回一个 List A. collect B. take C. takeAsList D. collectAsList 正确答案:CD TF-IDF 中 IDF 指的是（） A. 词频 B. 词在文档中出现的次数 C. 逆文档概率 D. 词在文档集中出现的概率 正确答案:CD E. 词在文档集中出现的概率 以下算法中属于监督学习算法的是（） A. KNN 算法 B. 逻辑回归 C. 随机森林 D. Kmeans 正确答案:ABC MLlib 中进行数据标准化的方式有（） A. Normalizer B. Standard C. Standard

7、Scaleer D. MinMaxScaler 正确答案:ACD 以下哪种方法可以让 Spark 不自定义分区也能对任何类型 RDD 简单重分区（） A. resetpartition B. repartiton C. Partition D. coalesce 正确答案:BD Spark 是一个（）计算框架 A. 快速 B. 分布式 C. 可扩展 D. 容错 正确答案:ABCD Scala 支持（） A. 匿名函数 B. 高阶函数 C. 函数嵌套 D. 柯里化 正确答案：ABCD RDD一个可读写的数据结构 T.对正确答案:B F. 错 正确答案:B Scala 函数组合器中 flatmap

8、 结合了 map 和 flatten 的功能，接收一个可以处理嵌套列表的函 数，然后把返回结果连接起来 T.对 F. 错 正确答案:A RDD 勺 sortBy 排序默认是升序 T.对 F.错 正确答案:A Spark 中 DataFrame 的查询操作也是一个懒操作， 仅仅生成一个查询计划， 只有触发 Action 操作才会进行计算并返回查询结果。 T.对 F.错 正确答案:A Scala 中高阶函数可以产生新的函数，并将新的函数作为返回值。 T.对 F.错 正确答案:A 默认情况下，Scala 使用的是可变集合 T.对 F.错 正确答案:B RDD 勺转换操作是用于触发转换操作的操作，这个

9、时候才会真正开始进行计算。 T.对 正确答案:B F.错正确答案:load 键值对 RDEfe 一组组的键值对组成，这些 RD 幽称为 PairRDD。 T.对 F.错 正确答案:A PairRDD 中 groupBy (func ) func 返回 key ,传入的 RDD 勺各个元素根据这个 key 进行分组。 T.对 F.错 正确答案:A Dstream 输出操作中 foreachRDD 的正确用法是使用 rdd.foreachPartition 方法创建一个单独 的连接对象，然后使用该连接对象输出所有 RDD区中的数据到外部系统 T.对 F.错 正确答案:A Scala 函数组合器可以

10、把一个二维的列表展开成一个一维的列表的方法是 # 正确答案:flatten Scala 中定义函数的关键字是 # 正确答案：def 图中以当前顶点为目标点的边的数量是 #度数 正确答案：入 Spark SQL 可以通过#方法将 HDFS 上的格式化文件转换为 DataFrame Mllib 中线性会馆算法中的参数 reParam 默认值是# 正确答案:B 请描述图计算应用中的 Google 的 PageRank 网页排名 正确答案:PageRank 通过网络浩瀚的超链接关系来确定一个页面的等级。 Google 把从 A 页面到 B 页面的链接解释为 A 页面给 B 页面投票，Google 根据

11、投票来源（甚至来源的来源，即链接到 A 页面的页面）和投票目标的等级来决定新的等级。 PageRank 是通过网页之间的链接网络图计 算网页等级的，是 Google 网页排名中的重要算法。 请阐述 Spark 的生态圈 正确答案：（1） Spark Core : Spark 核心，提供底层框架及核心支持。包含 Spark 的基本功能， 包括任务调度、内存管理、容错机制等。 （2） BlinkDB : 一个用于在海量数据上运行交互式 SQL 查询的大规模并行查询引擎。 （3） Spark SQL 可以执行 SQL 查询，包括基本的 SQL 语法和 HiveQL 语法。 （4） Spark Str

12、eaming :流式计算。（5） MLBase：专注于机器学习，让机器学习的门槛更 低，让一些可能并不了解机器学习的用户也能方便地使用 MLBasa （6） MLlib : MLBase 的一部 分，MLlib 是 Spark 的数据挖掘算法库，实现了一些常见的机器学习算法和实用程序，包括分 类、回归、聚类、协同过滤、降维以及底层优化。 （7） GraphX：内置了很多的图相关算法。 （8） SparkR: SparkR 是 AMPLab 发布的一个 R 开发包，使得 R 摆脱单机运行的命运，可以作为 Spark 的 Job 运行在集群上，极大地扩展了 R 的数据处理能力。 请概括使用 Spark Streaming 的四个基本步骤 正 确 答 案:BAAAAAAAAAAAAAAAAAAAAAAAAAACAAAAAAAAAAAAAAAAAADAAAAAAAAAAAAAEAAAAAAAAAAAAAAAAAA AAA Spark GraphX 正确答案:Spark GraphX 是一个分布式图处理框架，是一个基于