HC1109109_HCNA-Storage V2_BSSN_第九章 大数据存储基础

1、Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 1修订记录课程编码课程编码适用产品适用产品产品版本产品版本课程版本课程版本ISSUEHC1109109OceanStor 9000V1V2.0开发开发/优化者优化者时间时间审核人审核人开发类型（新开发开发类型（新开发/优化）优化）董挺2013.11余雷新开发本页不打印Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. HC1109109 大数据存储基础Copyright 20

2、13 Huawei Technologies Co., Ltd. All rights reserved. Page 3目标l学完本课程，您将能够：p了解大数据的基本概念p理解对象存储技术p了解大数据的处理技术p掌握华为大数据解决方案及技术Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 4目录1.大数据的基本概念大数据的基本概念2.对象存储技术3.大数据处理技术4.华为大数据实践Copyright 2013 Huawei Technologies Co., Ltd. All rights reserv

3、ed. Page 5海量数据来袭Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 6什么是“大数据” ？2020年全球数据总量40ZB（Gartner） Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 7一次一次写入，写入，较少较少修改修改价值价值不确定不确定非非结构结构化数据化数据75%25%数据构成视频视频音乐音乐图片图片数据文件数据文件邮件邮件容量容量大大，增长速度，增长速度快快需要保存需要保存时间长时间

4、长大数据的组成Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 8大数据的4V特性多样性速 度巨 量价值密度VelocityVolumeValueVariety大数据大数据Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 9大数据产生的背景数据多源化数据多源化软硬件技术发展软硬件技术发展云云计算普及计算普及产生于日常生活人人都是数据创造者计算性能提升存储性价比提升分布式处理技术诞生低成本处理数据Copyright

5、 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 10大数据的价值1980199020002010发生过什么？发生过什么？报告报表报告报表正在发生什么？正在发生什么？监控监控1 12 23 3为什么会发生？为什么会发生？ExcelExcel、OLAPOLAP分析分析将会发生将会发生什么什么？优化、预测分优化、预测分析析4 4从从分析分析现状现状到到预测预测未未来来业务应用Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 11目录1

6、.大数据的基本概念2.对象存储技术对象存储技术3.大数据处理流程4.华为大数据实践Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 12Sys1Sys2Sys3Sys4传统存储应对海量数据的困境Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 13iSCSI/FCiSCSI/FC协议层存储层NFS/CIFS/PosixNFS/CIFS/Posix文件文件系统系统Object对象对象系统系统对象对象Key元数据元数

7、据数据数据用户自定义用户自定义元数据元数据HTTP/REST/S3HTTP/REST/S3块存储l直接访问，开销最小，效率最高。l成本最高，扩展困难l场景：企业数据库，Oracle等。文件存储l更易管理，更易与应用对接。l具备一定扩展性，但限制较多l场景：企业内部应用整合，文件共享等。对象存储l结构扁平，近乎无限的容量扩展。l更加智能的自管理特性。l业界标准互联网协议，跨地域传输能力l场景：面向互联网服务的存储，归档、备份等。ObjectObjectObjectObject对象存储技术Copyright 2013 Huawei Technologies Co., Ltd. All rights

8、 reserved. Page 14对象存储系统组成OSD元数据服务器文件系统对象网络连接对象存储系统Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 15对象(Object)l对象是对象存储的基本单元，每个对象都包含了数据以及数据的属性。数据属性数据对象Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 16OSD(Object-based Storage Device)lOSD是一个智能设备，在每一个硬盘上另外

9、再集成一块智能芯片，负责管理本地的Object。lOSD的主要功能是提供数据存储和安全访问。Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 17文件系统l文件系统对用户的文件操作进行解释，并在元数据服务器和OSD间通信，完成所请求的操作。应用文件系统元数据服务器OSDobjectobject客户端 发出 请求 请求OSD位置 获得OSD位置 读OSD请求 返回数据Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page

10、 18元数据服务器l元数据服务器为客户端提供元数据查询服务，主要是文件的逻辑视图，包括文件与目录的组织关系、每个文件所对应的OSD等。元数据服务器OSDobjectobject客户端Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 19网络连接l网络连接将客户端，MDS和OSD连接起来，构成一个完成的对象存储系统。客户端交换机对像存储节点元数据服务器服务器集群Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 20

11、对象存储结构客户端元数据服务器数据元数据数据管理互联网络Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 21数据访问模型10111213141516171819objectobjectobjectobjectobjectobjectobjectobject传统存储对象存储File names/inodeObjects/OIDsCopyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 22对象存储的优势l采用对象接口，灵

12、活分割数据l对象扁平化，易访问扩展l自动化管理l多租户l数据完整性和安全性Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 23目录1.大数据的基本概念2.对象存储技术3.大数据处理技术大数据处理技术4.华为大数据实践Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 24大数据处理流程数据数据采集采集数数据据存储存储数数据据管理管理数数据据分析分析Copyright 2013 Huawei Technologie

13、s Co., Ltd. All rights reserved. Page 25大数据的技术概念分布式并行处理少量货少量货物，使物，使用小船用小船运输运输货物量货物量大，使大，使用大船用大船运输运输货物量货物量很大，很大，使用多使用多条船同条船同时运输时运输Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 26大数据的技术概念分级存储Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 27大数据的技术概念数据处理方

14、式Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 28平均1个P数据中非结构化为主非结构化为主（例（例 ：互联网：互联网公司）公司）结构化结构化半结构化半结构化非结构化非结构化35%35%27%27%用户行为轨迹（个体）用户行为轨迹（个体）User ProfileUser Profile内容（内容（ITEMITEM，图像、视频、文本，图像、视频、文本) )数据数据2121个个历史详单查询历史详单查询社交网络数据（群体）社交网络数据（群体）Web Page & LogWeb Page &

15、 Log 23% 23%5 %5 %10 %10 %结构化为主结构化为主（例（例 ：电信：电信运营商）运营商）15%15%3%3%12%12%网络网络XDR (XDR (探针俘获后，含历史）探针俘获后，含历史）计费计费CDR(CDR(含历史）含历史）主数据（三户主数据（三户+ +订购订购+ +接触接触 等等 含历史含历史）分析汇总数据（含历史）分析汇总数据（含历史）CUBECUBE和统一视图和统一视图7%7% 互联网互联网 Web Page & Log(Web Page & Log(含历史）含历史）13%13%社交网络数据社交网络数据18%18%25 %25 %内容（图像、视频

16、、文本内容（图像、视频、文本) )数据数据7%7%大数据的数据特征Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 29互联网大数据解决方案- HADOOPCopyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 30企业大数据解决方案Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 31NoSQL与关系型数据库NoSQL Map

17、Reduce和关系型数据库不是互相取代，而是互相补充，需要互相学习取长补短。Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 32目录1.大数据的基本概念2.对象存储技术3.大数据处理技术4.华为大数据实践华为大数据实践Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 33非结构化数据、对象数据、结构化数据统一管理、统一命名空间负载均衡 动态分级存储远程复制、快照全局数据重删NAS接口存储层应用层NAS大数据共享

18、BI大数据分析行为预测、实时分析媒资高性能计算互联网10GE/InfinibandnodenodenodenodenodenodeHDFSMap-reduce对象接口归档接口配额管理数据库接口MPP并行数据库归档分析华为大数据存储架构Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 34OceanStor 9000硬件结构Performance node(简称P Node)OPS密集型应用场景Capacity node (简称C Node)高带宽应用场景前视图后视图前视图后视图前视图后视图Mini-ca

19、pacity node (简称M Node)小容量应用场景Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 35OceanStor 9000软件结构统一的业务接入域名统一的管理控制域名节点1节点2节点NNAS 客户端操作管理员高性能/高带宽节点Wushan分布式文件系统管理控制台增值特性硬件平台软件系统集群逻辑结构OceanStor 9000系统层级Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 36Ocean

20、Stor 9000典型组网Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 37总结l大数据的定义与特性l对象存储技术l大数据处理技术l华为OceanStor 9000大数据产品架构与特性Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 38思考题1. 大数据与传统数据的主要区别是什么？2. 对象存储系统由哪些部分组成？3. 传统关系型数据库为什么不适用于大数据？4. 华为大数据产品是什么，有哪些特性？Copyr

21、ight 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 39练习题l判断题1、 Hbase是NoSQL。（ ）2、HDFS不含有任何数据保护的增值特性，每次存储三份数据，用多份数据存储来保证数据的可靠性，对底层硬件的可靠性要求不高。（ ）3、 NoSQL MapReduce将取代关系型数据库（ ）Copyright 2013 Huawei Technologies Co., Ltd. All rights reserved. Page 40练习题l多选题1、大数据有哪些特性？（ ）A、VolumeB、VarietyC、ValueD、Velocity2、华为OceanStor 9000大数据解决方案的主要特点包括？（ ） A、集大数据的存储、备份、分析为一体化 B、保障低延时、高带宽、高并发的同时表现极好的性能 C、支持多种接口与数据类型 D、分为高OPS节点、高带宽节点，用户可以根据不同的商业性能和容量的需求，灵活的配置不同节点的数量Copyright 2013 Huawei Technolog