大数据学习问题汇总

1、大数据学习问题及答案汇总1. HDFS管道流方式导入，如何转变成文件存储 答：写入文件的过程比读取较为复杂：使用HDFS提供的客户端开发库 Client,向远程的Namenode 发起RPC请求；Namenode会检查要创建的文件是否已经存在，创建者是否 有权限进行操作，成功则会为文件创建一个记录，否则会让客户端抛出异常；当客户端开始写入文件的时候，开发库会将文件切分成多个packets,并在内 部以数据队 歹！J "data queue"的形式 管理这些 packets,并向 Namenode申请新的 blocks,获取用来存储 replicas 的合适的datanode

2、s列表，列表的大小根据在Namenode中对replication的设置而定。开始以pipeline （管道）的形式将packet写入所有的replicas 中。开发库把packet以流的方式写入第一个 datanode,该datanode 把该packet存储之后，再将其传递给在此 pipeline中的下一个 datanode,直到最后一个 datanode,这种写数据的方式呈流水线 的形式。最后一个datanode成功存储之后会返回一个 ack packet,在 pipeline里传递至客户端，在客户端的开发库内部维护着"ack queue",成功收到 datanode

3、返回的 ack packet 后会从"ack queue移除相应的packeto如果传输过程中，有某个datanode出现了故障，那么当前的 pipeline会被关闭，出现故障的 datanode会从当前的pipeline中 移除，剩余的block会继续剩下的datanode中继续以pipeline的 形式传输，同时Namenode会分配一个新的 datanode,保持replicas 设定的数量。2. HDFS有哪些开源的第三方导入工具答： Cloudera官方提供 HTTP方式连接 HDFS工具：Hoophoo漪介.doc3. HBase有哪些第三方Client工具答：没有搜到，

4、网上有一些爱好者自己写了些小工具，有 PHP的有C#的，也有java的，但是都没经过正式测试4. Hive集群部署方式答：只需要部署一台机器，不必须装到master节点，只要那台机 器上装了 hadoop,能够正确指向 master地址5. Reduce方法不排序结果的验证答：待验证6. Impala各版本支持情况答：最新版本1.0,全面支持HDFS7. LLVM是什么答：LLVM 命名最早源自于底层虚拟机( Low Level Virtual Machine)的缩写LLVM 是Illinois大学发起的一个开源项目，和之前为大家所熟 知的JVM以及.net Runtime这样的虚拟机不同，这

5、个虚拟系统 提供了一套中立的中间代码和编译基础设施，并围绕这些设施提供了一套全新的编译策略(使得优化能够在编译、连接、运行环 境执行过程中，以及安装之后以有效的方式进行)和其他一些非 常有意思的功能。2000年LLVM开始开发。2005年 Apple 雇了 Chris Lattner, LLVM 也相当于成了 Apple 的 官方支持的编译器。Apple已经将它用在OpenCL的流水线优化，Xcode已经能使用 llvm-gcc编译代码。2011-12-02 LLVM3.0发布，LLVM 包括了一系列子项目， 它们也 同步发布了新版本，如 C/C+/Objective-C前端Clang 3.0改进了 C+程序编译支持；改进 C+ 2011标准支持；实现支持即将发 布的C1x标准的某些特性；更快的生成代码，更快的编译，等等。8. Data locality的I/O调度机制的说明答：遵循先均匀分配再均衡负载的算法，分配任务各自尽量在单个计算节点上完成9. Impala自身处理以及其任务互相分配互相监控的实现原理答Ft灯处守、：3 O)2 mu ID书G iatluQ B ' C | Ri -”收巴 8W AS”M4 TIA mm Q XMMA«