资料课件11 hdfs_mr_zk知识串讲1 HDFS重难点串讲

,HDFS重难点串讲,本课目标,大数据分布式处理的基本方法Hadoop生态系统HDFS架构原理HDFS操作HDFSShellJavaAPI,2,大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合,什么是大数据？,3,4V特征Volume(大数据量)：90%的数据是过去两年产生Velocity(速度快)：数据增长速度快，时效性高Variety(多样化)：数据种类和来源多样化结构化数据、半结构化数据、非结构化数据Value(价值密度低)：需挖掘获取数据价值固有特征时效性不可变性,大数据特征,4,分布式计算将较大的数据分成小的部分进行处理。,分布式计算,5,Hadoop是一个开源分布式系统架构分布式文件系统HDFS解决大数据存储分布式计算框架MapReduce解决大数据计算分布式资源管理系统YARN处理海量数据的架构首选非常快得完成大数据计算任务已发展成为一个Hadoop生态圈,Hadoop是什么?,6,Hadoop起源于搜索引擎ApacheNutch创始人：DougCutting2004年-最初版本实施2008年-成为Apache顶级项目Hadoop发行版本社区版：ApacheHadoopCloudera发行版：CDHHortonworks发行版：HDP,Hadoop发展及版本,7,高扩展性，可伸缩高可靠性多副本机制，容错高低成本无共享架构灵活，可存储任意类型数据开源，社区活跃,为什么使用Hadoop?,8,Hadoop与关系型数据库对比,Hadoopvs.RDBMS,9,Hadoop核心HDFS、MapReduce、YARN数据查询分析Hive、Pig、Impala、Presto协调管理HCatalog、Zookeeper、Ambari数据迁移Sqoop、FlumeSpark、NoSQL、机器学习、任务调度等,Hadoop生态圈,10,HDFS(HadoopDistributedFileSystem)分布式文件系统，解决分布式存储MapReduce分布式计算框架YARN分布式资源管理系统在Hadoop2.x中引入Common支持所有其他模块的公共工具程序,Hadoop架构,11,HDFS优点支持处理超大文件可运行在廉价机器上高容错性流式文件写入HDFS缺点不适合低延时数据访问场景不适合小文件存取场景不适合并发写入，文件随机修改场景,HDFS特点,12,基本格式hdfsdfs-cmdhadoopfs-cmd（已过时）命令和Linux相似-ls-mkdir-put-rm-help,HDFSCLI(命令行),13,dfsadmin命令用于管理HDFS集群,hdfsdfsadmin,14,创建存放数据文件的目录将通讯数据上传到HDFS并查看下载文件到本地,使用HDFSshell示例-1,hdfsdfs-mkdir/hdfs/shellhdfsdfs-ls/hdfs/shell,hdfsdfs-put/home/hadoop/data/mobile.txt/hdfs/shellhdfsdfs-text/hdfs/shell/mobile.txt,hdfsdfs-get/hdfs/shell/mobile.txt/home/hadoop,15,统计目录下文件大小删除移动数据文件和目录,使用HDFSshell示例-2,hdfsdfs-du/hdfs/shell,hdfsdfs-rm/hdfs/shell/mobile.txthdfsdfs-rmr/hdfs,rmr递归删除目录下所有子目录和文件，生产环境中慎用,16,Client：客户端NameNode(NN)：元数据节点管理文件系统的Namespace/元数据一个HDFS集群只有一个Active的NNDataNode(DN)：数据节点数据存储节点，保存和检索Block一个集群可以有多个数据节点SecondaryNameNode(SNN)：从元数据节点合并NameNode的editlogs到fsimage文件中辅助NN将内存中元数据信息持久化,HDFS角色,17,HDFS采用master/slave架构,HDFS架构,18,Block：数据块HDFS最基本的存储单元默认块大小：128M（2.x）副本机制作用：避免数据丢失副本数默认为3存放机制：一个在本地机架节点，一个在同一个机架不同节点一个在不同机架的节点,HDFS副本机制,19,在1.x版本中存在NameNode单点问题在2.x版本中HAActiveNamenode：对外提供服务StandbyNamenode：Active故障时可切换为ActiveHDFSFederation：共享DN资源,HDFS高可用（HighAvailability）,20,HDFS读文件,21,HDFS写文件,22,HDFS支持以不同格式存储所有类型的文件文本、二进制未压缩、压缩为了最佳的Map-Reduce处理，文件需可分割SequenceFileAvroFileRCFile&ORCFileParquetFile,HDFS文件格式,23,使用Java实现HDFS文件读写,hadoop-commonorg.apache.hadoop.FileSystemorg.apache.hadoop.conf.Configurationorg.apache.hadoop.fs.FSDataInputStreamorg.apache.hadoop.fs.FSDataOutputStrea