大数据基础 件3-1 分布式存储概述

浙江经贸职业技术学院储与计算大数据存大数据基础Unit3《大数据基础》.移动商务营销课程群3.1.1分布式存储概述3.1.2HDFS工作原理3.1.3HDFS基础命令3.1分布式存储3.1.1分布式存储概述1集中式存储和分布式存储集中式存储就是指由一台或多台主计算机组成中心节点，数据集中存储于这个中心节点中，并且整个系统的所有业务单元都集中部署在这个中心节点上，系统所有的功能均由其集中处理。

集中式存储系统最大的特点就是部署结构简单，由于集中式系统往往基于底层性能卓越的大型主机，因此无需考虑如何对服务进行多个节点的部署，也就不用考虑多个节点之间的分布式协作问题。3.1.1分布式存储概述1集中式存储和分布式存储分布式存储，是相对于集中式存储来说的，是将数据分散存储在多台独立的网络服务器上，这些服务器在空间部署上可以随意分布，可能被放在不同的机柜上，也可能在不同的机房中，甚至分布在不同的城市。分布式存储系统采用可扩展的系统结构，满足了大数据应用存储的需要，能够利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。3.1.1分布式存储概述2分布式存储系统的特性分布式系统可以方便的扩展到几百台到几千台的集群规模，而且，随着集群规模的增长，系统整体性能表现为线性增长。可扩展分布式存储系统的自动容错、自动负载均衡机制使其可以构建在普通PC机之上。另外，线性扩展能力也使得增加、减少机器非常方便，可以使用较低的成本实现自动运维。低成本无论整个集群还是单机服务，都要求分布式系统具备高性能。高性能分布式存储系统需要提供易用的对外接口，另外也要求具备完善的监控、运维工具，并能够方便地与其它系统集成。易用3.1.1分布式存储概述

CAP理论加州大学伯克利分校的计算机教授EricBrewer在2000年提出，其核心思想是任何基于网络的数据共享系统最多只能满足数据一致性(Consistency)、可用性(Availability)和分区容忍性(PartitionTolerance)三个特性中的两个。3分布式存储系统面临的挑战3.1.1分布式存储概述3分布式存储系统面临的挑战是指保证系统中多个副本的数据完全一致的性质。数据一致性(Consistency)是指在系统中的一部分节点出现故障之后，系统的整体不影响客户端的读/写请求。可用性(Availability)是指容忍系统的网络出现分区，分区之间网络不可达。分区容忍性(PartitionTolerance)3.1.1分布式存储概述

分区容忍性一个分布式系统里面，节点组成的网络本来应该是连通的。然而可能因为一些故障，使得有些节点之间不连通了，整个网络就分成了几块区域。数据就散布在了这些不连通的区域中。这就叫分区。当你一个数据项只在一个节点中保存，那么分区出现后，和这个节点不连通的部分就访问不到这个数据了。这时分区就是无法容忍的。

提高分区容忍性的办法就是一个数据项复制到多个节点上，那么出现分区之后，这一数据项就可能分布到各个区里，容忍性就提高了。3分布式存储系统面临的挑战3.1.1分布式存储概述

一致性和可用性的矛盾由于当前的网络硬件肯定会出现延迟丢包等问题，所以分区容忍性是我们必须需要实现的。根据CAP理论，我们只能在一致性和可用性之间进行权衡。总之，数据存在的节点越多，分区容忍性越高，这就要求复制更新的数据就越多，一致性就越难保证。为了保证一致性，每次写操作就都要等待全部节点写成功，更新所有节点数据所需要的时间就越长，可用性就会降低。3分布式存储系统面临的挑战3.1.1分布式存储概述4分布式存储系统的分类

数据分类由于分布式存储系统所面临的数据需求相对复杂，大致可以分为三类：如所有格式的办公文档、文本、图片、图像、音频和视频信息等（1）非结构化数据一般存储在关系型数据库中，可以用二维关系表结构表示（2）结构化数据介于非结构化和结构化数据之间，如HTML，一般是自描述的（3）半结构化数据3.1.1分布式存储概述4分布式存储系统的分类互联网应用中，需要存储大量的图片、照片、视频等非结构化的数据，这类数据以对象的形式组织，对象之间没有关联。如Google的GFS和Hadoop的HDFS（1）分布式文件系统存储简单的半结构化数据，它只提供基于主键的CRUD功能，即根据主键创建、读取、更新或者删除一条键值记录。如Amazon的Dynamo以及Taobao的Tair。（2）分布式键值系统存储关系较为复杂的半结构化数据，与分布式键值系统相关，分布式表格系统不仅仅支持简单的CRUD操作，而且支持扫描某个主键范围.如Google的Bigtable。（3）分布式表格系统用于存储结构化数据。分布式数据库采用二维表格组织数据，并且提供SQL关系查询语言，支持多表关联，嵌套子