大数据基础知识

1、实际上它里面有非常巨大的组成部分，每一个组成部分都很可能出现故障，这就意味着 HDFS 里的总是有 X节点，一个集群中数据访问变得可能。一个 动数据更经济计算数据所存储的位置来进行计算是最理想的状态，尤其是在数据集特别巨大的时候。这样消是迁移计算到离数据更近的位置比将数据移动到台间的可移植性点和数据节点 字节点用来操作文 件命名空间的文件或 ，重命名等等。它同时确定块与数据节点的映射。数据节点 负责来自文件系统客户的读写请求。数据节 点和数据节点都是运行在普通的机器之上的软件，机器典型的都是 文件命名空间 节点维护文件系统的命名空间，任何文件命名空间的改变和或属性都被名字节点记录。应用程序 可

2、以指定文件的副本 储。 其他块都有相同的大小。属于文件的块为了故障容错而被复制。块的大小和复制数是以 文件为单位进行配置的，应用可以在文件 节点负责处理所有的块复制相关的决策。它周期性地接受集群中数据节点的心跳和块报告。一个 心跳的到达表示这个 文件系统的元数据的持久化特征，这需要精心的调节和大量的经验。机架敏感的副本存放策略是为了提高数据的 性和网络带宽的利用率。副本存放策略的实现是这个方向上比较原始的方式。短期的实现目 数据节点自检它所属的机架 H ,然后在向名字节点注册的时候告知它的机架 防止了机架故障时数据的丢失，并且在读数据的时候可以充分利用不同机架的带宽。这iio行了一些折中。一般

3、情况下复制因子为 3 , HDFS 的副本放置策略是将第一个副本放在本地节点，将第二副本放到本地机架上的另外一个节点而将第三个副本放到不同机架上的节点。这种方式减少了机架间的于节点故障。这种方式并不影响数据可靠性和可用性 式个特定的最小复制数。当名字节点检查这个块已经大于最小的复制数就被认为是安全地复制T,当达到配置的块安全复制比例时(加上额外的 30 秒)，名字节点就退出安全模式。它将检测数据块的列表， 将小于特定复制数 记录这个改变。类似地，改变文件的复制因子也会向 EdiiLog 中插入一条记录。名字节点在本地文件系统点在内存中保留一个完整的文件系统命名空间和文件块的映射表的这个元数据被

4、设计成点启动时，它将从磁盘中读个目录中，而是启发式的检测每一个目录的最优文件数，并在适当的时候创建子目录。在本地同一个目录 下创建所有的数据块文 因为本地文件系统可能不支持单个目录下巨额文件的高效操作。当 数据节点启动的时候，它将扫描它的本地文件系统，根据本地的文件产生一个所有 HDFS 数据块的列表并 点。网络断开会造成一组数据节点子集和名字节点失去联况。名字节点将这些数据节点标记为死亡状态，不再将新的请求转发到这些数据节点上，这些数据节点上的数据将对 HDFS 不再可用，可能会导致一些块的复制因子 降低到指定的 点检查所有的需要复制的块，并开始复制他们到其他的数据节点上。重新复制在有些情况

5、下是 能是坏块，坏块的出现可能是存储设备错误，网络错误或者软件的漏 个文件时，它根据对应的校验文件来验证从数据节点接收到的数据。如果校验失败，客户端可以选择从其 他拥有该块副本的数据节 持在一个待定时间存储一个数据拷贝，快照可以将失效的个正常的时间点 阶段状态的临时文件中。应用程序的写操作被透明地重定向到这个临时本地文件。当本地文件堆积到 它分配一个数据块。名字节点构造包括数据节点 1D (可能是多个，副本数据块存放的节点也有)和目标数户端的请求。客户端收到后将本地的 临时文件刷新到指定的数据节点数据块到数据节点。然后客户端就可以通知名 字节点文件已经关 文件系统进行直接写入而没有任何本地的缓

6、存，这就会对网速和网络吞吐量产生很大的影响。这方面早 有前车之鉴，早期的分布 水式复制 一个数据节点开始以 4kb 为单元接收数据，将还可以将数据流水式传递给下一个节点，所以，数据是流水式 地从一个数据节点传递 系统分类em上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机 /1E 务器模式。一个典型的网络可 客户机访问的目录，一旦被访问，这个目录对客户机来说就像使用本地。驱系统管理、存储数据，而信息爆炸时代中人们可以获取的数据成指数倍的增长，单纯通 过增加硬盘个数来 计算机文件系统的存储容量的方式，在容量大小、容量增长速度、数据备份、数据安全 等方而的表现都差强人意。分布式文

7、可以有效解决数据的存储和管理难题：将固定于某个地展到任意多个地点/多个文件系统，众多的节点组成一个文件系统网络。每个节点可以 分布在不同的地 的通信和数据传输。人们在使用分布式文件系统时，无需关心据。文件系统最初设计时，仅仅是为局域网内的本地数据服务的。而分布式文件系统将服务范围扩展到了仅改变了数据的存储和管理方式，也拥有了本地文件系统所无法具备的数据备份、数据安全NN盘中数、不同节点间的数据传输时间以及一部分处理器的处理时间等。各种因素决定了分布式文件系，否则在本地文件系统中打开一个文件需要 2 秒，而在分布式文件系统中各种因素的影响下用时超过 10 秒,出现 分布式文件系统一个用户，那么分

8、布式文件系统就很容易实现。可惜的是，在许多网络环境中 这种限制是不现实 有多个用户打开一个文件，但只有一个用户进行写修改。而该用户所 作的修改并不一定出现 允许多个用户同时读写一个文件。但这需要操作系统作大量的监控工作以防止文件重写，并保证用户能够看到最新信息。这种方法即使实现得很好，许多环境中的处理要求和量也可能 网络通信 使它变得不 记录)，文件被放在客户工作站的高速缓存中，若另一个用户也请求同一文件，则它也会被放入那个客户工 作站的高速缓存中。 (每个客户 无状态系统在这个系统中，服务器并不保存其客户机正在缓存的文件的信息。因此，客户机必须协 同服务器定期检查LAN了自己正在缓存的文件。

9、这种方法在大的环境中会产生额外的通信 LAN 客户机检查回叫应答中的时间期限以保证回叫应答是当前有效的。回叫应答的另有效性。换句话说，若一个被缓存的文件有一个回叫应答，则客户机 就认为文件是当 满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利 用多台存储服务器分担存储负荷，利用位置服 在共享的目录，一个共享目录通常叫做出版或出口目录。有关 取。访问在共享目录上建立一种链接和访问文件的过程叫做装联S报告一些将发生的问题，如磁盘空间将用完等。另一个工具是 USS ,可创建基于带有字段常量模板的 用户域中文件服务器和客户机系统的集合，这个独立区域由特定的机构 管理。通常代 表一个

10、组织的计算资源。用户可以和同一单元中其他用户方便地共享信息，他们也可以和其他单元 内的用户共享信息，这取决 文件服务器进程 这个进程响应客户工作站对文件服务的请求，维护目录结构，监控文件和目录状态 信息，检查用户的 进程提供了对文件卷宗的位置透明性。即使卷宗被移动了，用户也能访问它而不 需要知道卷宗移 存有口令帐户。 Ub 玄提供数据库复制和同步服务。一个复制的数据库是一个其信息放于多个位置的系统以便于用户更方便地访问这些数据信息。同步机制保证所有数据库的信息是一致的。本地 ab batch 批量处理的方式来处理这小部分数据。上，一方面是因为 Spark 的低延迟执行引擎(100ms+ ) ,

11、虽然比不上专门的流式数据处理软件，也可以 用于实时计算，另一方 Record 的其它处理框架(如 Storm ) , 一部分窄依赖的 RDD 数据集可时数据处理 的逻辑和算法。方便了YARYARN 统，可为上层应用提供统一的资源管YARN 最初是为了修复 MapReduce 实现里的明显不足， 的集群)、可靠性和集群利用率进行了提升。M并对可伸缩性(支持一万个节 点和二十万个内核 YARN 实现这些需求的方式滥控)分成了两个独立的服务么是传统意义上的 MapReduce 任务，要么是任务的有向无环图( DAG )。此外，这些新的框架还可以利用 YARNYARNYARN 的基本思想是将 JobT

12、mcker 的两个主要功能(资源管理和作业调度滥控)分离，主要 方法是创建一 eDAG序。在此上下文中,-起分配资源，与 N odeM anager 础应用程N( CPU、内存等的资源分配)。请注意，尽管目前的资源更加传统 (CPU 核心、内存)，但未來会带來基于手头任务的新资源类型(比如图形处理单元或专 HYPERLINK l _bookmark1 MRvl缺陷 构存在不足，主要表现在大型集群上。当集群包含的节点超过 4,000 时(其中每个 个节点可能是多核的)，就会 预测性。其中一个最大的问题是级联故障，由 于要尝试复制数据和重载活动的节点，所以一个 出开销。切 tasks美。对于资源的

13、表示以内存为单位Yam个部分就扔给Contaher 是 Yam 为了将來作资源隔离而提出的一个框架。这一点应该借鉴了思路应该后续能支持更多的资源调度和控制 ，既然资源表示成内存量，那就没有了之前的YARN器调度器根据容量、队列等限制条件(如每个队列分配一定的资源，最多执行一调度器”，它不再从事任何与具体应用程序相关的工作，比如不负责监控或者 跟踪应用的执行状态 管理整个系统屮所有应用程序，包括应用程序提ontaher将得到的任务进一步分配给内部的任务 後源的二次分配) ; e 种请求。刃 YARN 的资源管理和执行框架都是按主 似范例实现的一一 Slave节点管理器(NM )排、执行、监控独立