物联网异构数据存储算法研究

I 摘 要 随着物联网技术的进一步发展，面对不断增长 的数据，传统的存储架构由于扩展性较差，长此以往，存储环境就会变得日益复杂，并造成了过高的能源消耗。不同于传统的存储系统，分布式云存储系统能够实现海量信息的存储，高效地管理庞大规模的文件，能够提供良好的查询效率。但由于云存储系统是基于互联网技术而生，都是以小图片流、小视频流等小文件数据为主要存储对象，但在物联网中，需要对海量的图片流及视频流等数据进行反复的存取。因为物联网需要采集声、光、热、电、化学、位置等各种信息，而不同类别的传感器与信息接收器所捕获的信息内容大不相同。 针对物联网内海量数据的异构性与实时性特点 ，结合分布式云存储系统的架构性优势，在其基础上相较于物联网异构数据实时存取特点，在多个数据中心对海量数据进行边缘化存储，更高效地为最终用户提供实时的并发访问服务，本文提出了物联网异构数据存储算法，主要有以下两点工作： 算法。这种算法分别通过使用“系统存储级别”指标设计实现数据中心内海量数据的分级存储机制，解决了数据中心间的数据一致性分配问题；通过物联网各数据中心间发送通信报文，解决了数据中心间相互了解存储状态的通信问题；利用“完全性存储”的存储概念，解决了“原始数据流”的数据规模异常大的存储分配问题。通过物联网分布式数据存储算法，与基于集群的三层存储体系结构共同构成一个基于物联网数据中心间异构数据的分布式存储框架体系结构，以达到异构数据在物联网数据中心间的边缘化存储，最终实现了存储资源的负载均衡。 储算法。这种算法针对物联网内基于集群的三层存储体系结构，阐述了其中的三种节点资源，其中，点负责监控整个系统运行状况，以及处理物联网的终端存储请求；点直接对物联网终端进行业务处理与提供信息服务；点负责实际存储物联网内所有的数据资源。结合物联网内异 构数据的实时性存取特点，提出了类并行存储算法， 将异构数据的并行存储服务算法分解为几个过程，在基于三层存储架构的框架下设计了数据分析算法、数据映射算法 数据合并算法，并加入了进程迁移与超流水线技术，实现了具有高度实时性和有效性的物联网内异构数据分类并行存储功能。 最后，将以上提出的两个算法进行了仿真实验 。实验结果表明，基于物联网海量数据的分布式存储算法可以平滑的平衡数据中心的存储容量，保证物联网内海量数据的边缘化存储。基于物联网异构数据的分类并行存储算法，可以有效的提高异构数据存储的实时性，保证海量数据的存储效率。 关键词： 物联网，异构数据，分布式存储，并行存储 of of to to is a as in of as as of to to by of in is So we on of of of to on in 1. on of by of of to of in a of to of to of to a on in to to of 2. on is is of as as is in of on of of a of in of be on of s to of of in on to of in to of 录 摘 要. I . 录. V 图表目录. 第 1 章 绪论. 1 联网简介 .内外研究现状与应用领域.内外 研究现状 . 2 联网 应用领域 . 3 联网 的发展与挑战 . 4 文主要工作.文的组织结构.第 2 章 云计算相关技术介绍. 8 计算简介.件系统 .结.第 3 章 物联网海量数据的分布式存储算法. 12 存储架构的分析 .于集群的三层存储架构的提出 .布式文件系统的全面剖析 .联网分布式数据存储算法的提出 .布式数据存储算法的全面阐述 .结.第 4 章 物联网异构数据的分类并行存储算法. 28 于集群的三层存储架构的全面描述 . 程模型的分析与研究 .类并行存储算法的提出 .类并行存储算法的阐述 .程迁移与超流水线技术的描述 .程 迁移技术的描述. 33 流 水线技术的描述. 35 类并行存储算法过程 .结.第 5 章 仿真实验与分析. 38 验环境.联网海量数据的分布式存储算法实验设计 .联网 海量数据的分布式存储算法流程 . 39 验设计 . 40 验结果分析 . 40 联网异构数据的分类并行存储算法实验设计 .联网 异构数据的分类并行存储算法流程 . 42 验设计 . 43 验结果分析 . 44 结.第 6 章 总结与展望. 46 作总结.作展望.致 谢. 48 参考文献. 49 攻读学位期间发表的学术论文及参加科研情况. 51 目录 图 3层存储体系结构图 . 3据中心分布图 . 4务进程结构图. 5布式存储算法流程图 . 5域网服务器分布图. 5储容量变化比较图. 5类并行存储算法流程图. 5储速度变化比较图（10 帧/秒）. 5储速度变化比较图（30 帧/秒）.目录 表 3信节点表. 3信报文表. 4储信息表. 5储容量占用率（%）对比表 .1第 1 章 绪论 联网简介 司引入了“云计算、物联网与智慧地球” ，此举打动了美国政府。有许多研究者以为，从美国引起继而对全球经济产生强烈波动的金融风暴，如果美国没有在这次风暴中涌现出新技术与发明引领发展，美国的经济若反弹就会变得非常不容易，也不会再回到风暴前的全球领头羊的状态。因此美国政府不仅对 司提出的“云计算、物联网与智慧地球”非常的看好其发展前景，甚至美国政府对全世界因特网的安全与管理问题也非常看重。 与此同时，我们国家对于物联网技术的发展也 不甘人后，引入了“感知城市” ， “感知中国”等一系列新概念，我们国家 的目的就是加快产业结构的转型与经济的健康持续发展，在全球发展大潮中取得一席之地。 目前世界范围内对物联网的概念不下数十个， 这些全是从事各个行业的专家们在各自行业范畴内提出的，选取其中三个典型概念给出解释： 1.“s”翻译为在英语中的概念：就可以解释为物与物相互之间连接所构成的网络。 涵义就是把不同类型的具有信息传感属性的机器，如 外感应设备)、射频识别)设备、以及激光扫描设备等各种设备，和因特网连接在一起，就是为了把所有的物品互联起来。 系统、多制式等 全面特征的建立在泛在网基础之上的物联网的概念还可以定义成广义的物联网概念：就是在物联网环境内不只包括设备与设备，还具有设备和人、人和设备以及人和人彼此间全方位的、全范围的沟通。实际上，物联网就是联系人间、天空、海洋、大地以及整个太空的物联网。其实物联网内的设备，就是指在网络上可以随时随地的得到各种各样数据的物联网终端设备。除此之外还可能包括具有人工智能的设备。简而言之物联网的本质就是通过各式各样的传输与传感手段，使所有事物的数据信息进行全天候、大范围、实时、自动地采集、标记、传输与分析；而且以此为基础去构建信息维护平台，从而形成一个应用系统架构，最终实现加强社会生活与生产内决策的智能化与信息互通性的综合性网络系统。最终使人与各种终端结合起来，从而形成在何地与何时全会获得各种服务类型的物联网。物联网就是 2为了可以使人类随时获得不同类型的现代化服务。 上面对物联网概念外延的扩展，没有对传感器 网络进行贬低，这是由于传感器网络包括嵌入式以及传感器技术、分布式信息处理与网络技术，因此透过协作与自组织的手段实时的感知、检测与收集所有检测物体的检测数据，从而演变成物与人和物与物彼此间交流的纽带，这也是构成广义物联网所不可或缺的，它还是率先开始获得实践的。 内外研究现状与应用领域 内外研究现状 相对世界形势而言，日本、美国以及欧盟等各 个国家均是非常看重物联网的发展，还全都从事了非常多的技术研发与实际专项。例如美国已经把它作为经济再次腾飞的制胜武器，因此美国对物联网的普及十分的看重，就是通过信息通信技术去改造美国以后的产业结构以及发展模式作为重中之重，对群众、政府与企业的交流手段进行变革，从而达到加强效率性与反馈速度。从而把信息传输技术全面运用到所有领域内，使感应器走进整个世界的各个地方，再运用人工智能、云计算与数据仓库作出全面剖析，并且提供全面的解决方案。从而将人类特有的智能提供给所有物体，提供给整个世界。 目前我们国家发展“物联网技术”的浪潮中，其实并没有被其他国家落下，我国已有很多省份与城市大规模运用传感器网络提供交通、采矿业、水力中的“机器与机器”数据传输技术等一系列服务。 自温家宝总理在无锡提出 “感知中国”的概念以来，我们国家“物联网技术”的研发与实践就已经开始了高速发展，自从无锡最先开始筹建“感知中国”的实践核心的同时工程院与科学院、各著名高校与运营公司先后在此汇集，希望大家努力推动我们国家的物联网产业。 现在，物联网产业在我们国家继续推进的道路 上仍有很多需要亟待解决的困难。当前全国各地全做“物联网”相关研究，诸多的任务的反复操作，白白流失了大量时间与精力，迫切需要政府出面，整合各方力量，统筹发展，并且制定物联网的上下游产业标准以及中长期的发展规划，探索经济的集约发展，实现物联网相关领域的产业链向现代服务业健康平稳过渡。因此，首先就要从国家级角度考虑到物联网产业的保密与安全等一系列核心难点，才可以保证物 3联网产业持续平稳的发展。 联网应用领域 物联网产业有着非常好的升值前景，不仅它自 己得到了大力的发展，自动化技术、传感器控制、视频监控、海量数据存储等其他有关领域也取得了飞跃式进展，产生了前所未有的集群发展现象。 物联网技术在以后的发展重心中会基本构建四 个产业集群，即行业应用产业群与共性平台产业群、运营商产业群与公众应用产业群。以上四个产业群一起形成物联网技术实践最相关的几个主要产业群，而且必会协同微电子技术、机器智能、自动化控制等一系列相关产业共同迈入飞速前进的高潮。目前相对全球市场范围而言，二零一一年我们国家的物联网相关领域行业产值以及突破了两千亿元的大关；目前估算物联网的行业规模，到二零一五年的我国预计将可以问鼎七千伍佰亿关口，而且与此同时每年的经济增长率可以突破 30%；二零二零年前后，目前的互联网相关产业和物联网相关产业之间的比例会突破 130，物联网产业必然会是紧随其后的万亿元产业。 相对实践角度而言，我们国家物联网技术的应 用在大众产业范畴，例如智能家居、平安交通、环境保护、公共卫生、物流信息化等一系列不少的产业规模全都可以达到百亿关口，更有的可能突破千亿大关。 物联网技术拥有非常好的市场发展前景，其完 全可以再农业、渔业、建筑业、加工业、深水勘探等众多行业得到应用。但是因为各个产业因物联网在研究、开发和实践应用等多处地方有不小差异，从而由物联网产业细化出来的相关领域的进展参差不齐。 从一个角度来讲，物联网技术在我们国家农业 、渔业、建筑业、加工业、深水勘探、环境保护等领域的实践中已经取得了良好的开端。 从另一个角度而言，由于我们国家的东西发展 差距较大，而且物联网的核心研究工作和社会实践体系的构造也只是刚刚起步而已，比如城市智能交通管控、物流信息化、城市智能灾害防控、视频监控智能化、智能医护、深水勘探智能化与智能家居等物联网的实践只是才开始启动，所以，不仅是从研发，而且从实践中，物联网产业都有非常好的升值潜力。 现代服务产业的理念是在工农业得到高度的发 展之上，从行业发展方面得到大家认可的，并且包含于服务业领域。其通过现代管理的思想与数据传输的 4实践应用，从而加强物联网产业的核心技术的研发或者物联网技术的应用以及物联网相关领域各个行业的发展。物联网技术实际就是底层的传统传感器网络与上层的现代互联网紧密的结合。其涵盖了微电子技术，机器自动化控制，视频监控以及人工智能等诸多技术。现代服务产业就是在物联网技术的基础上，对其相关领域的拓展与实际，对物联网所包含的各种技术加以应用的新型服务产业也就是现代服务产业。 恰恰由于物联网行业包括关联性高、影响区域 大等特点，由此细化出来的众多市场才没有得到完全均衡的发展，参差不齐。而根据渗透性的高低，将主要发展关键领域，与积极激励对基本产业的发展，从而形成物联网促进基本产业的发展，反过来基本产业反哺物联网产业的基本发展模式。 联网的发展与挑战 从整个物联网行业的市场潜力与未来走向，中 国也是悲喜交加。物联网行业的发展需要十分普遍，其隐藏的发展潜力非常庞大，国家对物联网的潜力也非常看好，即是物联网“喜”的一方面。但是另一面的“忧”集中体现的是物联网行业起步的早期，还面临着十分众多的制约产业发展的要素。经研究发现，我们国家的物联网行业取得全面进步基本要素体现为五点： 第一，制定物联网行业的统一标准。目前，中国的物流网行业才刚刚起步，就算是全球各个国家，到现在仍无形成一致的标准，由于还无制定好标准，这必然深刻的影响着物联网产业的发展与壮大。 第二，我国在高端的自主知识产权方面进展不 大。物联网技术作为全球技术发展的最新趋势，如果我们对其最高端方面没有形成控制，我们是不会对物联网的核心技术有所领会的。所以，我们国家必须要自己对物联网的高端方面自己有所把握，这才是发展物联网行业的核心趋势。 第三，国家制定相关扶持政策。我们国家制定 物联网方面的积极政策，这才是物联网行业全面发展的其中一个主要要素。 “我们国家物联网行业壮大的主要保证就是制定可行性的政策。 第四，全国每个领域的共同努力。每个领域的 物联网应用非常普遍，他们也有十分多的交集，可是这些领域的企业还归不同的行政部门监控，因此我们一定要加重每个领域与其所归属行政部门在物联网产业化中的交流，这样就可以全面的保证物联网行业的持续健康发展。 5第五，关键领域内的核心专项实践。物联网行 业的持续健康发展，还需要创建某些关键领域内的核心专项实践，以此保证核心技术的发展与实践演示，并且透过“热点示例，部分试点”的行业运营结构，促进物联网行业保持全面平稳的过渡到下一个阶段。 综上所述，因为物联网产业是当今社会的高端 产业，物联网产业在我们国家现代服务产业中所不可或缺的。 物联网产业的研发与应用目前才刚刚开始，对 于物联网的概念与特点的了解，全球至今仍无构建物联网的标准化。在研发与应用上也具有某些方面的探索，因此，物联网产业的发展壮大还具有非常多的问题。 文主要工作 为此，考虑到物联网终端用户在使用数据存储 服务的时候，不仅仅是要考虑这个存储服务需要满足其的存储容量的需求，而且在越来越多的数据中心可供选择时，更希望能够使用到让其在物理距离上相近，以及在操作上实时有效的数据中心，也就是说用户都希望通过使用这个数据存储服务，可以获得尽可能快的反馈，但是物联网毕竟是全球范围的，而物联网的数据中心的分布必然只是在一些地点部署的，也就是说网状的用户需求以点状的数据中心来满足，这就导致了与数据中心无聊距离的远近，以及会出现一些热点的数据中心与相对空闲的数据中心。所以相对于物联网内的海量数据而言，把数据从热点数据中心推送到边缘化的空闲数据中心意义重大，也势在必行。因此，本文在云计算思想的指导下，设计了基于集群的物联网数据中心三层存储体系架构，又提出了物联网内异构数据的存储算法，其主要包括两个层面：即对数据中心间海量数据的分布式存储算法与数据中心内异构数据的并行存储算法。 本文后续章节分别对其进行了详尽的阐述，通 过基于集群的三层存储架构与两个存储算法，确保了物联网内海量数据分布式存储的分布性与一致性，以及异构数据并行存储的实时性与快捷性，从而保证了物联网异构数据存储服务的长期有效性和稳定性。 另外，本文在基于数据中心内的异构数据并行 存储算法时，在考虑数据存储有效性的同时，还兼顾到了存储服务能够给用户带来的快捷性，因此，在并行执行用户的存储服务的同时，还加入了进程迁移技术与超流水线技术，从而 6最大限度的保证异构数据的存储效率，极大的提高海量数据的最大存储效用。 综上所述，本文的工作主要包括以下四个方面： 一利用云存储模型思想设计了基于集群的三 层存储体系结构，用于实现物联网内数据存储请求的监测、发现与数据流存储功能，为基于物联网数据中心间海量数据的分布式存储算法与数据中心内异构数据的并行存储算法，提供了必要的存储架构的支持模型。 维护数据存储服务的正常运行，就需要掌握数 据存储服务的状态信息与属性信息等， 那么如何得到存储服务的这些信息， 又如何对存储服务进行维护呢？这就需要有一个服务节点能够及时的对存储信息进行监测与反馈，并且能够通过某种机制进行自适应的存储请求的调配，从而完成数据存储服务的维护过程。因此，面对动态变化的物联网环境，为应对数据存储服务可能出现某些节点存储过载等不可预测的情况，本文基于此，在物联网环境中，提出了基于集群的三层存储体系架构，其中，点负责监控整个系统运行状况，以及处理物联网的终端存储请求；点直接对物联网终端进行业务处理与提供信息服务；点负责实际存储物联网内所有的数据资源。服务节点与存储节点共同构成了一个基于集群的三层存储体系架构，从而支持动态物联网环境下海量的异构数据存储服务。 二基于物联网数据中心间海量数据的分布式 存储算法，在原始数据流的存储过程中达到数据中心间负载均衡，海量数据的存储边缘化。 为了实现基于物联网数据中心间海量数据的分布式存储算法， 首先明确 “存储级别”的含义，通过使用“系统存储级别”指标设计实现数据中心内海量数据的分级存储机制，解决了数据中心间的数据一致性分配问题。之后通过通信报文的描述，揭示了物联网各数据中心间对通信报文及时有效地的发送与接收，解决了数据中心间相互了解存储状态的通信问题；又利用“完全性存储”的概念，实现每次数据流的本地一次性存储，解决了数据量异常大的数据流的存储分配问题。本文采用分级式存储、完全性存储与通信机制三个属性共同来描述海量数据的分布式存储，从而实现物联网内各数据中心间海量数据的一致性存储，达到完全的负载均衡。 三为了实现基于物联网数据中心内的并行存 储编程模型的功能，为实现物联网内异构数据的并行存储算法，本文基于集群的物联网数据中心，将异构数据的并行存储编程模型分解为几个过程，在基于三层存储架构的框架下设计 7了数据分类算法、数据映射算法和数据合并算法，实现物联网内异构数据的并行存储过程，并加入了进程迁移与超流水线技术，增强了海量数据的存储效率，最终完成了基于三层存储架构的异构数据并行存储过程，保证了物流网内异构数据并行存储的有效性与存储质量。 四、通过仿真实验对本文所提出的算法进行验证和分析。 文的组织结构 本文共分为六章，具体组织结构如下： 第一章，本文绪论，主要介绍了课题的研究背 景，目前关于物联网的发展现状与应用领域相关研究，以及本文的主要工作和内容。 第二章，主要介绍了云计算技术的实现内涵及其显著的特点，并对 分布式数据存储模型相关知识和技术进行了概要的分析，突出了分布式存储架构对物联网中海量数据的边缘化存储的重要性和关键性，为开展本文工作提供了技术上的支撑。 第三章，明确了基于物联网数据中心间的异构数据分布式存储框架的含义，并分别给出了基于物联网数据中心间的异构数据分布式存储算法与基于集群的三层存储体系结构；为了实现异构数据分布式存储算法，在分级式存储思想的基础上设计了基于通信报文的通信机制；并对三层存储体系结构中的各个服务节点进行了详细的设计和功能说明。 第四章，主要解决如何实现物联网数据中心内 异构数据的并行存储算法。将异构数据并行存储服务问题看作异构数据的类型分析过程、海量数据流的数据映射过程和数据合并过程，在三层存储架构框架下加入了进程迁移技术和超流水线技术，达到了物流网内异构数据并行存储的有效性与存储质量。 第五章，搭建实验平台，通过仿真实验来验证 本课题提出的基于物联网三层存储架构的异构数据存储算法的可行性和有效性。 第六章，对本文工作进行总结，指出本文研究 存在的不足之处，并对进一步的研究工作进行分析和展望。 8第 2 章 云计算相关技术介绍 在当今的社会， 然是我们日常生活工作中的基本工具我们用 过便携式磁盘或 以向别人共享资料。如果电脑的磁盘发生故障，便可能由于各种信息丢失而懊恼不已。但是当今“云计算”技术的横空出世， “云” 便可以为每个人做各种处理与存取任务。简而言之， “云”其实就是一个多台计算机组成的集群，其中的各个集群具有成百上千、更有甚者可以达到百万的数量级。 “云”其中一个优点就是集群内的计算机随时都具有更新的可能，以此保障了“云”的长治久安。 谷歌公司包含一些上面所称的“云” ， 谷歌公司的技术，可以使数十万 此构建为极强的信息处理中心。谷歌公司的实际核心技术即是 “云” ， 他们可以使谷歌公司具有独一无二的处理与存取整个世界数据的能力。而另外的信息领域的大公司，如 此同时在搭建这些“云” 。在“云”时代，我们将可以仅用一台能上网的个人计算机，并不用关注处理或者储存发生在哪个“云”中，可是我们只要有需求，便能在任何地点使用任何的计算机器，电脑或者手机等，迅速地计算与查询这些资料。从此无需还害怕资料可能遗失的危险。 计算简介 云计算技术其实是指刚刚兴起的一类对基础架 构进行共享的模式，它能把各个庞大的数据池通过互联起来共同对外保证信息技术的服务。 云计算技术使海量的信息量计算可以实现，甚 至有人叫他是新一代的互联网计算与信息中心。云计算就是并行处理 (、分布式处理(网格计算 (共同作用的结果，就是通过互联网把一个具有计算与处理数据能力的巨大程序智能化的分割为不计其数的很小的微程序，然后透过巨大系统的的多台数据处理服务器对数据进行处理分析，再把最终的计算值返回给终端。透过云计算的处理分析，各级的 会经过几秒，便能计算分析互联网上的成百上千，或者是海量的数据，从而具有相似于“超级计算机”的分析效果的互联网信息分析服务。 云计算包括以下四点基本特征： 9第一，云计算能够为客户保证最稳定、最有保 障的信息存储中心，他们不必再害怕信息遗失、黑客攻击等不同危险； 第二，对于客户的机器配置，云计算有着很低的标准，而且容易使用； 第三，云计算能够使各种机器间的信息共享方便使用； 最后，云计算为人类提供更好的互联网服务带来了前所未有的机遇。 因特网的基本思想即指公平、共享与自由。云 计算技术就是对因特网思想得到最好展现的信息处理模型，其一定可以在接下来的科技大潮中独领风骚，而且一定可以对我们我的社会生产生活产生各种广泛的影响。对所有的人均可以带来各种日常工作与生活中的影响。 件系统 谷歌公司在海量数据的云计算技术应用上可居 首位。谷歌公司的搜索引擎搭建的基础是遍布整个世界的超过二百的城市中、具有一百万以上的服务器设备，而此类服务器仍急剧的扩张中。谷歌之所以这么做，完全是因为急剧扩增的海量信息的迫切需要，谷歌公司早已开始研制而且已经应用了谷歌公司自己的 ,2,3（即 件系统） 。 系统架构， 一个 件系统集群包含一个主服务器 多个块服务器 以被多个客户端 (问。 常是运行在用户层服务进程的 统机器。只要资源与可靠性允许， 可以运行在同台机器上。 文件系统中的文件被分成固定大小的块。每个 块由服务器分配一个全局唯一的且不变的 64 位块句柄 标识， 在块创建的时候由 动分配的。 块服务器 块作为 件且存储在本地的磁盘上，可以读与写由块句柄 字节范围指定的数据。出于可靠性的考虑，每一个块可以被复制到多个块服务器 上。在默认情况下，一般保存三个副本，但这是可以由用户自己指定。 主服务器 理文件系统内所有的元数据 (包括访问控制信息、名字空间、从文件到块的映射以及块所在的当前位置信息。它也可以控制系统范围活动，例如孤儿块的垃圾收集，块租约 (理， 以及 期的通过 息与系统内每一个 10信，并且给 递指令并收集其状态。 与每个应用相关联的谷歌文件系统的用户程序 是写进在了所有软件中的，其可以提供谷歌的 的所有应用程序应用接口，并保障系统软件和主服务器 块服务器 行交流，对信息进行访问操作。客户 间对元数据 (进行交互访问，可是全部的与信息的交互访问都直接的与块服务器 息交流。客户 块服务器 所有信息均是并不做缓存操作的。由于客户 数据进行缓存的优点甚至是可以忽略不计的，这主要因为信息十分多或者是工作集非常庞大而没有办法进行缓存。对所有信息不进行缓存这样也可以对客户以及全部系统进行非常好的简化，由于无需担心缓存带来的一致性问题。但是如果客户己对元数据 (行缓存， 块服务器 无需再对数据进行缓存，由于块也是当成本地的文件做存储操作的。 用户通常使用的是与传统的可移植操作系统接 口类似的访问接口，可是也做了一些修改，其与传统的可移植操作系统接口标准不可能是通用的。透过用户与服务器两边的协同操作，谷歌文件系统可以为其自身取得良好的性价比与系统稳定性。谷歌文件系统是为了实现为一个在存储上具有很强的扩展性的分布式应用的文件系统，而这个分布式文件系统可以很好的提供分布式的、大规模的、对海量信息进行并行访问的服务功能。虽然其搭建在一般的低价机器上，可是却能够保证容错的系统操作。并同时能够为诸多的客户保证他们可以获得性价比非常好的系统服务。 件系统与传统的分布式文件系统具有许多相同的目标，例如可伸缩性、性能、可靠性与可用性。但是，它的设计还受到 司应用负载与技术环境的影响。主要体现在四个方面 : 1. 件系统6,7,9的节点失效被看作常态事件，并非作为异常事件。谷歌文件系统具有成百上千的通常的便宜机器构建为的存储设