Hadoop技术介绍与发展

1、Hadoop技术介绍与发展技术创新，变革未来概要Hadoop的历史Hadoop 3介绍CommonHDFSYARNMapReduceHadoop的未来发展方向Hadoop的历史2005200820092010201120122006200720132014201520162003 2004Hadoop从Nutch分离Google GFS& MapReducePaperHBase HiveCloudera创立Hortonworks创立Hadoop 1.0发布Hadoop 2.0 GASpark成为顶级项目Hadoop 3.02017Hadoop生态系统文件存储层 HDFS资源任务调度 YARN计

2、算引擎MapReduce计算引擎SparkNoSQLHBase数据仓库SQL机器/深 度学习Batch任务流处理搜索KafkaHadoop 3介绍CommonJDK 8+ 升级Classpath隔离Shell脚本的重构HDFSYARNMapReduceClasspath隔离HADOOP-11656, HDFS-6200问题：依赖性地狱(Dependency Hell)，版本冲突解决方案：客户端(client-side)和服务器端(server-side)的隔离Shell脚本的重构 - HADOOP-9902脚本重构，提升可维护性和易用性修正一些长期存在的bugs加入一些改进加入一些新功能带来一

3、些不兼容性Shell脚本现在更易于调试: -debugHadoop 3介绍CommonHDFS纠错码(Erasure Coding)多个Standby NamenodeDatanode内部balance工具云计算平台的支持YARNMapReduceHDFS纠错码(Erasure Coding)一个简单的例子1备份: 1,0 需要额外的2位XOR编码: 1,0 需要额外的1位HDFS纠错码(Erasure Coding)Reed-Solomon (RS) 编码数据可靠性和存储效率数据可靠性：可以最多几个节点故障存储效率：k/(k+m)可靠性存储效率单副本0100%3副本233%XOR(6个数据单

4、元)186%RS(6,3)367%RS(10,4)471%存储布局连续和条状小文件处理 并行IO数据本地性数据本地性 小文件处理纠错码在分布式存储系统中HDFS性能多个Standby NamenodeActive NNStandby NNStandby NNDNDNDNDNJournal NodeJournal NodeJournal NodeWrite edit logsRead edit logsBlock reportsHDFS-6440云计算存储虚拟化Hadoop 文件系统APISQL, 机器学习, 流处理, BatchHadoop 3介绍CommonHDFSYARNYARN Time

5、line Service v.2YARN Federation动态资源配置容器资源的动态调整资源隔离调度的增强YARN的Web页面的增强MapReduceYARN Timeline Service v.2扩展性分布式读写读写分离HBase存储YARN Timeline Service v.2可用性流(flow)聚合(aggregation)YARN FederationYARN-2915允许YARN的集群扩展到一万个戒更多个节点YARN的集群的集群对用户来说是一个整体的集群动态资源配置YARN-291允许动态的改变NM的资源配置容器资源的动态调整YARN-1197允许运行时动态的调整分配给容器

6、的资源资源隔离磁盘资源的隔离 YARN-2619网络IO的隔离 YARN-2140Docker Container YARN-3611调度的增强在同一个队列(queue)的优先级 YARN-1963YARN的Web页面的增强YARN-3368Hadoop 3介绍CommonHDFSYARNMapReduceTask层次的Native优化MapReduce Task层次Native优化对map output collector的Native实现，对于shuffle密集型的task能带来30%的性能提升。Hadoop 的未来HDFS的未来对象存储 - HDFS-7240更高性能的Namenode：更高