网络存储系统的设计与实现hadoop接口实现及系统测试 - 图文

1、网络存储系统的设计与实现hadoop接口实现及系统测试 - 图文 络存储系统的设计与实现 hadoop接口实现及系统测试 摘 要：随着计算机络技术的飞速发展，各种络服务器对存储的需求随之发展。但由于商业规模的不同，对络存储的需求也不同。因此，要选择适合的络存储技术进行络存储。传统的络存储技术只是解决了数据的存储问题，对于如何确保存储数据的安全可靠性却没有提供有效方案。本文研究了分布式络存储系统的设计与实现，对其设计思想，体系架构及存储数据文件进行了分析与设计。 关键词：络技术；络存储；数据；分布式 abstract：with the rapid development of computer

2、network technology, the demand for storage with the development of various network server. but because of the different business scale, the demand for network storage is also different. therefore, to choose suitable network storage technology for network storage. the traditional network storage tech

3、nology can solve the problem of data storage, only about how to ensure the safety and reliability of the data is stored but not provide effective solution. this paper studies the design and implementation of a distributed network storage system, the design thought, system architecture and data stora

4、ge file has carried on the analysis and design. keywords: network;storage;data;distribute 1 引言 1.1 研究背景 数据的保存，从古至今都是在跟随着时代发展的。古代，没有硬盘技术，也没有先进的络技术，于是，我们聪明的祖先就将数据刻在龟甲、兽骨上，再后来，写在竹简上、纸上，以及现代的磁带、磁盘、光盘。从体积大容量小，一直发展到如今的体积小容量大的u盘、移动硬盘。但这些从古到今的存储介质对于数据的保存不能解决数据的安全长久的问题。所以，我们要在这些脆弱的数据基 第1页(共1页) 础上建立有效的、能够长期安全

5、保存数据的方法。 在飞速发展的今天，无论是公司还是个人，随着时间的累积，数据都是呈增长趋势的，势必，我们需要一个有效的存储数据的方法，来保证数据的长久存储、安全存储、可靠存储。 对于数据的安全存储，个人的解决办法通常是多处保存，磁盘，硬盘，优盘等。但是对于一个小型企业甚至是更大型一点的企业来说，这样的方法几乎是不可行的。 一般企业采用集中式存储，利用磁盘镜像来提高有限的数据可靠性，但能提供的容量有限。分布式存储思想的出现，使得解决这些问题变得越来越现实，可实行。基于这些实际情况，分布式存储系统的研究，与我们而言就有了很深的意义。 1.2 目的和意义 本文的目的就是利用分布式思想建立一个廉价，部

6、署简单，稳定，可靠，易扩展，自由组织的分布式存储系统，使得数据的存储高效、安全、长久。 1.3 名词解释 1）分布式存储：与目前常见的集中式存储技术不同，分布式存储技术并不是将数据存储在某个或多个特定的节点上，而是通过络使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在企业的各个角落。 2）hadoop：一个由apache基金会所开发的分布式系统基础架构, 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 3）hdfs：hadoop distributed file system的简称，是一个高度容错性

7、的系统，适合部署在廉价的机器上。hdfs能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 4）ssh（安全外壳协议）：为secure shell的缩写，由ietf 的络工作小组 第2页(共2页) （network working group）所制定；ssh 为建立在应用层和传输层基础上的安全协议。ssh 是目前较可靠，专为远程登录会话和其他络服务提供安全性的协议。 2 系统开发关键技术分析 2.1 分布式存储技术 2.1.1 分布式存储概念 与目前常见的集中式存储技术不同，分布式存储技术并不是将数据存储在某个或多个特定的节点上，而是通过络使用企业中的每台机器上的磁盘空间，并将这些分散的

8、存储资源构成一个虚拟的存储设备，数据分散的存储在企业的各个角落。 2.1.2 具体技术 海量的数据按照结构化程度来分，可以大致分为结构化数据，非结构化数据，半结构化数据。 1）结构化数据 所谓结构化数据是一种用户定义的数据类型，它包含了一系列的属性，每一个属性都有一个数据类型，存储在关系数据库里,可以用二维表结构来表达实现的数据。大多数系统都有大量的结构化数据，一般存储在oracle或mysql的等的关系型数据库中。 2）非结构化数据 相对于结构化数据而言,不方便用数据库二维逻辑表来表现的数据即称为非结构化数据,包括所有格式的办公文档、文本、图片、xml、html、各类报表、图像和音频/视频信

9、息等等。 3）半结构化数据 介于完全结构化数据（如关 系型数据库、面向对象数据库中的数据）和完全无结构的数据（如声音、图像文件等）之间的数据， 半结构化数据模型具有一定 第3页(共3页) 的结构性，但较之传统的关系和面向对象的模型更为灵活。半结构数据模型完全不基于传统数据库模式的严格概念，这些模型中的数据都 是自描述的。 2.2 hdfs hadoop分布式文件系统（hadoop distributed file system）：每个文件就是一个数据集，也就是说数据的存储最终以文件的形式，存储在文件系统中。文件系统是os系统一个重要的部l 3.1 系统定义 3.1.1 项目要达到的目标 本项目设定的目标如下： 1）系统能够提供友好的用户界面，使操作人员的工作量最大限度的减少 2）系统具有良好的运行效率，有良好的可扩充性，可以容易的加入其它系统的应用。 3）平台的设计具有一定的超前性，灵活性，能够适应企业生产配置的变化。 4）数据中心要建设一个设备集中、集中管理、满足应用、方便扩展、安全稳定、共享 同一的存储系统。 5）通过这个项目可以锻炼队伍，提高团队的开发能力和项目管理能力 6）用户注册后能够在上面保存删除自