数据分析与大数据课件3-基础设施与分布式文件系统

支撑大数据的基础设施高性能服务器集群、超算设施云计算及数据中心服务器集群的出现由集群构成的超级计算机加州大学伯克力分校的NOW（NetworkofWorkstations）是另一个著名的高性能集群项目，是一种基于UNIX工作站的集群。第一个原型系统NOW-0是使用FDDI连接的4台HP9000/735工作站。1997年的NOW-2由Myrinet连接的100台SUN工作站组成，其运算能力超过10GFLOPS，成为首台进入世界超级计算机500强（Top500）的集群计算机。FDDI：FiberDistributedDataInterface，光纤分布式数据接是80年代中期发展起来一项局域网技术。Myrinet：一项经济高效、高性能的分包通信和交换技术，被广泛应用于工作站、PC、服务器、刀片服务器或单板计算机的互联集群。集群占领超算市场2003年美国弗吉尼亚工学院研制了世界排名第3的PC机群系统X，导致高性能计算机实现了平民化，PC机群给高性能计算的计算架构带来转变，也开启了高性能计算的平民化和个人化运动。2005年11月Top500最新公布的排名中，集群所占的比例，也从1997年的0.2％（1台）迅速增加为72％（360台），高性能计算的集群时代到来了。集群系统的主要优点：高可扩展性：集群系统的性能随着CPU个数的增加几乎是线性变化的。高可用性：集群中的一个节点失效，它的任务可以传递给其他节点。可以有效防止单点失效。高性能：负载平衡集群允许系统同时接入更多的用户。高性价比：可以采用廉价的符合工业标准的硬件构造高性能的系统。服务器集群与超算超算设施——天河有多强大：系统存储总容量相当于600亿册每册10万字的图书。假设每人每秒钟进行一次运算，天河二号计算一小时相当于13亿人同时计算1000年。电影《阿凡达》的动漫渲染制作动用了众多超级计算机资源、耗时一年多才完成，而如果用天河二号，1个月足矣。国防科学技术大学研制的超级计算机系统。共有312万个计算核心，以33.86PFLOPS连续六度称雄(2013-2015)。超算设施——泰坦泰坦（英语：Titan）是一台由克雷公司承建的超级计算机，位于美国能源部下属的橡树岭国家实验室中，供各项科学研究项目使用。共有560,640个计算核心，2012年11月Linpack测试为17.59PFLOPS，Top500排名第一。世界上第一台以通用图形处理器（GPGPU）为主要数据处理单元的超级计算机。超算设施——京京（KComputer）是富士通与日本理化学研究所共同开发的超级计算机，位于日本神户的理化学研究所内。2011年6月组装还未完全完成，LINPACK测试达到了8.16PFLOPS，排名第一。同年11月，全部组装完成后速度达到10.51PFLOPS，排名第一。共计

548,352个计算核心。我国超算设施进一步发展2016年6月的Top5神威·太湖之光超算设施——神威神威·太湖之光超级计算机是由国家并行计算机工程技术研究中心研制、安装在国家超级计算无锡中心的超级计算机。安装了40960个中国自主研发的“申威26010”众核处理器，峰值性能为12.5亿亿次/秒，持续性能为9.3亿亿次/秒。2016-2017四次夺冠，依托它的应用研究在2016年11月荣获“戈登·贝尔”奖，实现了我国零的突破。中国自主研发的“申威26010”众核处理器最新榜单，仍需努力2019年6月Top500数据中心概念《TheDatacenterasaComputer》数据中心是一整套复杂的设施。它不仅仅包括计算机系统和其它与之配套的设备（例如通信和存储系统），还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置数据中心是多功能的建筑物，能容纳多个服务器以及通信设备。这些设备被放置在一起是因为它们具有相同的对环境的要求以及物理安全上的需求，并且这样放置便于维护，而“并不仅仅是一些服务器的集合”。数据中心是全球协作的特定设备网络，在Internet网络基础设施上传递、加速、展示、计算、存储数据信息。数据中心航拍面薄(Facebook)数据中心微软(Microsoft)数据中心苹果(Apple)数据中心谷歌(Google)数据中心企业云数据中心解决方案云计算概念及核心云计算是一种商业计算模型，以服务为中心。它将计算任务分布在大量的计算机构成的资源池上，使各种应用系统能够按需获得计算、存储和内存资源。云计算使得人们能像使用水、电、煤气、电话等服务那样使用计算机资源。硬件为中心软件为中心服务为中心PCC/S云计算云计算与大数据很后悔让MapReduce和GoogleFileSystem这样的paper给发了出来。GFS：SOSP03MapReduce：OSDI04Bigtable：OSDI06Google的云计算与大数据大数据存储思考：如何在以千计的普通服务器组成的集群中存储以PB计的海量数据。重要手段：超大规模分布式文件系统，即以文件系统的方式来组织海量数据。代表工作：Google的文件系统——GFSGhemawat,S.;Gobioff,H.;Leung,S.T.(2003)."TheGoogleFileSystem".Proceedingsofthe19thACMSymposiumonOperatingSystemsPrinciples-SOSP'03Google文件系统(GFS)Google文件系统(GoogleFileSystem,GFS)是Google公司为了能存储以百亿计的海量网页信息而专门开发的文件系统。GFS提供了海量非结构化信息的存储平台，并提供数据的冗余备份、成千台服务器的自动负载均衡以及失效服务器检测等各种完备的分布式存储功能。在GFS基础功能之上，可以开发更加符合应用需求的存储系统和计算框架。GFS设计原则GFS采用大量商业PC来构建存储集群，PC的稳定性并没有很高的保障。部件错误不再被当作异常，而是将其作为常见的情况加以处理。数据冗余备份、机器有效性检测、机器故障恢复都被放在设计目标里。GFS文件系统所存储的文件绝大多数都是大文件（GB），设计时针对大文件的读写操作进行了优化，尽管也支持小文件，但不作为重点。系统中存在大量的“追加写”操作。即将新增内容追加到已有文件末尾，已经写入的内容一般不做更改，很少有文件的‘’随机写“行为。对于数据读取操作来说，绝大多数读文件操作都是“顺序读”，少量操作是“随机读”。往往是一次读取较大量的数据，而不是不断定位到某个位置读取少量数据。GFS整体架构GFS文件系统主要由3个组成部分构成：唯一的主控服务器(Master)、众多的Chunk服务器和GFS客户端。主控服务器：负责整体系统的管理工作；Chunk服务器：负责实际的数据存储并响应客户端的读/写请求；GFS客户端：用户操作。GFS由上千台PC构成，但是在应用开发者的眼中，GFS类似于本地的统一文件系统，分布式存储系统的细节是隐藏的。GFS整体架构GFS文件存储：对于开发者而言，GFS类似于Linux文件系统或者是Windows操作系统提供的文件系统，由目录和存放在目录下的文件构成树形结构，这个树形结构被称为GFS命名空间。GFS向应用开发者提供了文件的创建、删除、读取和写入等常见的操作接口(API)。在实际存储的时候，首先会将不同大小的文件切割成固定大小的数据块，每一块被作为一个Chunk，通常将Chunk的大小设定为64MB。每个文件由若干个固定大小的Chunk构成。在Chunk服务器内部，会对Chunk进一步切割，切割为更小的数据块Block。GFS命名空间由众多的目录和GFS文件构成，一个GFS文件由众多固定大小的Chunk构成。而每个Chunk又由更小的粒度Block构成，Chunk是基本存储单元，Block是基本读取单元。GFS整体架构应用程序GFS客户端(文件名，Chunk索引)(Chunk句柄Chunk位置)GFS主服务器文件命名空间/foo/barChunk2ef0向数据块服务器发出指令数据块服务器状态GFS数据块服务器Linux文件系统GFS数据块服务器Linux文件系统……(Chunk句柄，字节范围)Chunk数据…标注：数据信息控制信息GFS主控服务器主控服务器主要从事系统元数据存储管理以及整个分布式系统的管理，比如：负载均衡，数据迁移，新节点及失效节点的检测等。GFS主控服务器所管理的系统元数据包括以下三种：GFS命名空间和Chunk命名空间：主要用来对目录文件以及Chunk的增删改等信息进行记录。从文件到其所属Chunk之间的映射关系：因为一个文件会被切割成众多Chunk，所以系统需要维护这种映射关系。Chunk在Chunk服务器上的存储信息：每个Chunk会被复制多个备份，并存储在不同的服务器上。GFS主控服务器主控服务器存储的管理数据GFS主控服务器主控服务器上管理数据的安全性需要保障：GFS将前两类管理信息(命名空间，文件到Chunk的映射)记录在系统日志文件内。并且将系统日志分别存储在多台机器上，避免信息丢失。第3类管理信息(Chunk存储信息)通过主控服务器定期询问Chunk服务器来维护的。GFS主控服务器主控服务器所承担的系统管理工作：不同Chunk服务器之间的负载均衡。创建新的Chunk以及垃圾回收。数据备份及迁移时需要考虑（1）Chunk数据的可用性；当Chunk数据不可用时，及时重新备份；（2）尽可能减少网络传输压力。GFS主控服务器GFS是典型的主从结构方式。通过主控服务器实现全局管控，管理便捷。缺点：系统瓶颈，单点失效。GFS采用增加另外一台影子服务器(Shadow)的方式来解决单点失效问题。当主控服务器出现故障，无法提供服务时。由影子服务器接替主控服务器行使对应的管理功能。GFS写操作示例GFS客户端发出写操作请求，GFS系统必须将这个写操作应用到Chunk的所有备份，从而维护数据的一致性。对于多个相互备份的Chunk从中选取一个作为主备份，其余为次级备份，主备份决定次级备份的写入顺序。Colossus：下一代GFSColossus对GFS的改进：GFS主控服务器内存大小决定整个文件系统可以管理文件的数量，扩展性差。Colossus将单一主控服务器改造为多主控服务器构成的集群，将所有管理数据进行数据分片后分配到不同的主控服务器中。GFS通过Chunk数据备份来保证数据高可用性，但付出更多存储成本。

Colossus采用纠删码算法，可以在减少备份数目的情形下达到类似的高可用性要求。GFS在内部管理Chunk备份存放位置，客户端对此是不可见的，Colossus增加了客户端的灵活性使得客户端可以管理备份数据的存储地点。纠删码(ErasureCode)为了增加存储系统的可靠性和数据可用性，经常使用数据备份来达到这一点，直接增加存储成本。能否在不对数据做备份的情形下提供类似的数据可用性？纠删码就是为了达到这一目的而在分布式存储中开始被广泛使用。一种常见的做法是：对于热点数据，在大规模存储系统中仍然保留3个备份，而对于冷数据则只保留1份数据，通过纠删码来保证数据的可用性。为什么？纠删码(ErasureCode)纠删码通过对原始数据进行校验并保留校验数据，以增加冗余的方式来保证数据的可恢复性。基本思想：将数据文件切割为等长的n个数据块，并根据n个数据块生成m个冗余的校验信息，得到n+m块数据。如果其中m块数据丢失，可以通过剩下的n个数据块将其进行恢复。例子：要存储的数据块生成冗余码x或y的值任意一个丢失，都可以通过剩余那个和冗余码找回来。Reed-Solomon编码Reed-Solomon编码是最常用的纠删码之一，Google在Colossus以及Facebook在HDFS-RAID中都已经实现并部署了RS编码来减少存储成本。如果要通过RS编码来计算原始数据的校验信息C，需要设定涉及所有原始数据块的编码函数F。8块原始数据2个函数，生成2个校验数据块可以容忍10块数据中任意损失2块数据而不会造成数据丢失。问题：允许丢失几块数据？Reed-Solomon编码RS编码的问题转换：已知n个数据字d1,d2,…,dn分别行储在不同的存储设备上，需要根据这些数据字计算m个校验字c1,c2,…,cm使得n+m个数据字可以容忍最多m个数据损失。要实现这一点，RS编码涉及3个主要问题：计算原始数据的校验字。从数据错误中恢复原始数据。实现快速计算。LRC编码使用RS编码时，如果将一个文件划分成10个数据块，即使只有其中一个数据块损坏，也需要其他所有数据块来共同恢复这个损坏的数据块。在分布式网络环境下，为了恢复少量数据块，需要大量的网络传输和磁盘IO才能够将其进行恢复。LRC的提出就是为了解决这一难题，所以LRC面临的问题是：能否在可靠性与RS编码大致相同的情况下，减少恢复损毁数据所需的数据块数量。Facebook的XorBas系统采用了LRC来达到这一目标，根据XorBas的数据，通过采用LRC编码，其恢复损毁数据所需的数据块数量可以降低为RS编码的一半，付出的代价是增加14%的额外存储成本。LRC编码LRC编码中存在“块局部性（BlockLocality）”和“最小码距（MinimalCodeDistance）”两个概念：块局部性：指的是对于某个纠删码来说，要对一个数据块编码，最多需要多少其他数据块。恢复某个数据块时需要其他数据块的个数。最小码距：指的是对于切割成n块的文件，最少损毁多少块数据文件就不可恢复了。LRC编码XorBas中LRC编码的实现10个数据块，用(10，4)RS编码生成4个校验数据块。将14个数据块分为3组，每组实现一个局部校验数据块。即可在局部实现通过少量数据块进行恢复。例如通过5个数据块即可恢复X1LRC编码LRC本质上是在RS编码基础上通过