媒体存储技术-8网络存储技术现状与发展

1、网络存储技术现状与开展中国传媒大学研讨生硕士课程朱立谷手机：18601428:zhuligu资源和课件下载1.电子书 2021年硕士研讨生.rar163.fm/WfFrpMs 提取码：Iimzvr3E2.课件网络存储技术现状与开展.pptx163.fm/Y3MVGwy 提取码：u34R9dkI内 容 网络存储的新技术方法02 云存储效力03网络存储的技术现状01 网络存储的开展方向04存储面临的问题?业务需求更多的数据!烦恼的IT 经理人 数据量总在不断的增长CEO/CFO“减少费用!企业面临的挑战数字宇宙2021年全球信息突破了ZB大关。每两年翻一番。2021年世界将创建一个惊人的1.8 z

2、ettabytes。信息量继续以惊人的速度增长。这样的增长和“大数据正在改动企业和社会的各个方面。到2020年，数字宇宙将会膨胀到40000EB，或40万亿GB(也就是说每个人可以均摊到5200GB以上)。到2020年，数字宇宙中约三分之一的数据(超越13000EB)将具有大数据价值，但只需当其被标签、被分析时这种价值才会显现。2021年报告 2021年报告网络存储的开展1986SCSI协议1997FC协议Direct-AttachedStorage (DAS)SCSIinitATAUFSEXT2NTFSand/orBlock / Cache / RAIDNetwork-AttachedSto

3、rage (NAS) IP Storage(IP SAN)FC Storage AreaNetwork (SAN)NFSclEthernetEthernetCIFSNFSserCIFSTCP/IPTCP/IPSCSIinitATAUFSEXT2NTFSand/orBlock / Cache / RAIDIP NetworkSCSIinitFCand/orBlock / Cache / RAIDEXT2FC-4FC-1,2FC-0FC-3FC-0FC-1,2FC-3FC-4UFSEXT2NTFSBlockFabric2003iSCSI协议1989NFS协议EthernetATATCP/IPiSC

4、SIEthernetSCSIinitFC RAIDTCP/IPiSCSIand/oriSCSIUFSEXT2NTFSEthernetTCP/IPBlockEthernet RAIDTCP/IPiSCSIIP Network光纤通道的优势网络通道/总线扩展有限间隔短管理有限脆弱非块数据传输错误检测才干差光纤通道高速度低延迟数据一致性大数据传输超强错误检测路由宏大衔接才干长间隔可管理兼有网络和总线的优势网络存储的优势存储大整合SAN ROI主机大整合VIRTUALIZATION ROIDirect AttachedStorageStorage AreaNetworkDASSANCost per m

5、egabyte of user data, based on a 3-Year total cost of ownership“Virtualization will save us $60M in OpEx and CapEx through 2021.A large VMware enterprise customer$ cost per megabyte of user data90% run in production 43% are standardizing on VMware 66% are using VM management products $0.84$0.38Chann

6、els IPFileBlockNASDistanceSharing FC SANPerformance ControlMPFSPerformanceSharingIP SANDistanceControlMPFS = Multi-path file system网络存储架构SAN的优优势SAN的优点 能接受任何数据容量(大型，中型，小型)IO带宽的不断提升(1G, 2G, 4G, 8G)稳定的存储处理方案广泛的运用SAN的困扰 固态容量增大, 性能没有提升 (垂直扩展方式,有限扩展才干)带宽添加, 但IOPS没有相对的添加 (固态性能表现)容错和负载均要经过复杂管理一切依然以硬性磁盘构造为中心

7、 (主机绝对控制权, 存储为随从, 静态配置)10典型的刚性系统当今SAN 技术存储体系架构的交融应 用文件/纪录 副系统数据块副系统主机级数据块聚合SAN级数据块聚合设备级数据块聚合磁盘阵列SAN2主机主机NAS头LAN3磁盘或磁盘阵列 NAS效力器411.DAS直连2.SAN直连3.NAS头4.NAS效力器01存储体系架构的交融运用主机经过IP SAN访问存储资源运用主机经过CIFS或NFS访问NAS共享资源NAS和SAN资源共用同一存储池经过IP SAN供应SAN资源，经过CIFS和NFS共享NAS资源最大限制利用存储资源，在同一存储池中同时分配SAN 和 NAS 资源为SAN和NAS同

8、时提供存储效力 镜像、快照、复制、时间标志及动态容量恳求等存储功能一致的硬件和软件的管理SAN 访问NAS 访问SAN网络一致存储系统：SAN和NAS的交融SAN 和 NAS的交融处理方案存储体系架构的交融Data Center EthernetIP Connectivity FCUltra 320 SCSIIP SANIP SAN 和 FC SAN 交融处理方案FC SANIP SANExtension 根底通用网络的开展14IBM Token RingInitially (1985) ran at 4 Mbit/s, in 1989 introduced 16 Mbit/sFDDIThe

9、primary ring offers up to 100 Mbit/s capacityEthernet10 Mbits/s100 Mbits/sTCP/IPNovells IPX/SPXOSIDHCP, , VPN, IPSec, IPv6八零年代九零年代1,000 Mbits/s02运用网络的开展存储运用网络根底通用网络效力器联络网络光纤通道 (1G, 2G, 4G, 8G)InfiniBandEthernet1G, 10G 未来的100GFCoE202120072001Unified Fabric以Ethernet为一致网络目的网络存储的开展T11的FCOE规范FC与以太网 “混血的F

10、CoE 是答案吗?依然依赖于FC协议构思(静态途径)依然依赖于固定配置依然是主从式构造技术SCSI的架构Initiator的运用层封装好SCSI CDB后，调用SCSI传输协议接口Target的运用层收到SCSI CDB后，根据CDB内容进展相应处置，封装好SCSI 呼应后，调用SCSI传输协议接口iSCSI正是SCSI传输协议的一种主从式架构MPX网络存储平台MPX作为视频存储MPX可以打造功能强大的视频存储系列产品MPX视频优化视频存储MPX+视频管理软件(搜索)=存储设备视频效力器MPX+DVR=NVRMPX集群SCALE OUT方式=安防大数据综合处置平台MPX+视频分析处置安防大数据

11、一体机内 容 网络存储的新技术方法02 云存储效力03网络存储的技术现状01 网络存储的开展方向04存储的价值观贯彻究竟的方便性和在线性高ROI/TCO业务继续性数据维护平台超强的数据维护才干而不影响性能容量高性能,高带宽12容量虚拟化动态自动追加, 全掌控空间分配云存储动态横向扩展, , 多变一基制存储大整合, 一变多基制静态, 限制型追加/缩减空间分配34网络存储的新方法技术层技术要求技术方法数据层从静态的以设备为导向到动态的以应用和客户需求为导向自动数据迁移重复数据删除网络层真正线性的性能扩展，带宽永远不会成为架构瓶颈集群存储存储层系统可适应业务变化存储虚拟化自动精简配置存储虚拟化自动精

12、简配置系统架构研讨多用户存储视图技术基于逻辑卷的存储容量动态分配战略研讨空间分配和空间回收技术研讨基于RAID的存储空间扩容研讨自动精简配置技术对所依靠存储系统的性能影响研讨内容动态分级存储反复数据删除低能耗存储设备研制2021年国家支撑方案工程编号：2021BAH04B05经过对数据存储和管理技术的研讨，降低存储系统的能耗本钱和运营本钱。相关的技术包括SSD与传统存储混合运用，动态电源管理技术，智能数据管理技术等，经过在本课题研制的产品中运用这些技术，到达比传统存储系统节能30%的效果。 研讨SSD固态硬盘与传统存储设备结合技术自动数据迁移研讨智能数据管理技术和各种提供存储利用率的技术反复数

13、据删除、存储虚拟化、自动精简配置 存储虚拟化、自动精简配置、自动数据迁移、反复数据删除是云存储的技术根底。IBM Smart Storage Cloud内 容 云存储效力03 网络存储的新技术方法02网络存储的技术现状01 网络存储的开展方向04从传统存储到云存储技术革新不断降低存储本钱，最新的“云存储更是如此传统存储方案运用昂贵的专业设备搭建基于光纤的存储网络基于IP的存储网络，经过以太网互联，既改善兼容性又降低初始本钱，主导此技术的几家创新公司已胜利上市最新的云储存技术运用普通效力器即可构建直连式存储，初始和运营存储本钱都大大降低了传统“巨头专业存储方案价钱昂贵，光纤处理方案为主FC-SA

14、N专业存储方案基于IP的处理方案IP-SAN，NAS)“新公司运用普通效力器用云“到达NAS的效果存储本钱由高到低三层构造和三种效力数据库引擎开发平台在线运用计算资源存储资源规范化Web效力Web阅读器SaaSPaaSIaaS / HaaS后台系统黑盒根底硬件设备云存储的层次构造效力器、存储设备、网络设备集群容错、负载平衡认证、计费、租约、管理存储空间等资源效力或虚拟主机效力云数据库、超大表等引擎平台API及在线订制开发工具在线运用Web阅读器云存储的根本单元采用通用硬件Typically in 2 level architecture Nodes are commodity PCs 30-4

15、0 nodes/rack Uplink from rack is 3-4 gigabit Rack-internal is 1 gigabit多层次动态构造WindowsLinuxAIXBSDXENUnixWareSolarisHP-UXVMwareNovell各类系统平台各类互联接口处置才干扩展存储容量扩展多种介质整合云存储的特性优势云存储效力云存储的中心特征经过网络获得：云特征的方式易获得：随时随地随方式永不丧失：一辈的资产集体共享和下载影视作品 免费软件学习资料 歌曲 云存储效力个人资料的网络备份异地异时分享网络存储效力FTP云存储效力平台云存储的中心特征经过网络获得：云特征的方式易获得

16、：随时随地随方式永不丧失：一辈的资产平安：隐私维护集体共享和下载影视作品 免费软件学习资料 歌曲 现有云存储个人资料的网络备份异地异时分享现有网络存储效力FTP我们的云存储系统云存储效力平台实现文件数据的复制备份、在线存储和共享，提供本地和互联网的一致文件管理视图为全部用户提供共享存储效力为团队用户提供共享存储效力为个人用户提供共享存储效力一致视图本地资源与互联网资源一致文件管理，多机、多设备文件同步复制数据传输多文件传输、大文件传输断点续传、分片加密传输资源发布资源发布、标签添加、图片预览、对整个在线存储空间的文件搜索云存储效力平台产品定位：企业私有云存储系统如跨国公司和总部、分公司多地办公

17、的情况网络存储架构NEW块文件块对象IP记录FC、IB多途径自动精简配置反复数据删除存储虚拟化自动数据迁移数据库OSDSANNAS网络类型访问方式云存储交融网络内 容 云存储效力03 网络存储的新技术方法02网络存储的技术现状01 网络存储的开展方向04网络存储新的实际工具大规模网络存储新的实际工具 网络存储实践是：存储时网络空 用时空二维实际将会获得新的结果 例1：数据迁移，存储纠错一遍，传输又来一遍，时空一致思索，就能够只来一遍 例2：延续数据维护，恢复时空点 通讯：信息跨越空间的传送存储：信息跨越时间的传送“数字宇宙研讨“数字宇宙研讨到2020年，数字宇宙将会膨胀到40万亿GB(人均52

18、00GB)。数字宇宙中约三分之一的数据将具有大数据价值，但只需当其被标签、被分析时这种价值才会显现。重要结论：1)信息量以惊人的速度增长和大数据对社会产生宏大影响 2)大数据价值只需当其被分析时才会显现数字宇宙，IDC、 EMC 2021年12月大数据的产生假设互联网仅有通讯，产生不了大数据一过性的信息，产生后消逝了；假设仅有存储，没有互联网，信息孤岛也产生不了大数据。大量的人，大量的信息终端，大量的摄像头，条形码，RFID, 产生大量的数据，经过互联网传输，然后保管下去，就构成大数据。大数据的价值时空痕迹大数据是巨量信息源时空传送的结果时空痕迹：以武汉破获银行爆炸案为例 典型的大数据25万摄

19、像头，12PB容量，罪犯留下了时空痕迹 在信息充分兴隆时代，商业活动、日常生活、几乎一切事件都会在大数据中留下时空痕迹，对这些时空痕迹的开掘，就会构成珍贵的财富某孕妇的例子存储科学的研讨新方向一大数据的信息发掘与分析如何从海量的视频提取有价值的信息将是重要课题之一 “平安城市运用是视频监控领域规模最大、业务最复杂的系统，其视频接入规模从几千甚至到几十万都有，它涉及到了治安监控、指挥通讯、侦查破案、规范执法、社会效力等多个分区领域；“平安城市视频监控采集到的海量数据只需进展了智能、高效处置才更具价值。二超长期存储信息的超长期保管50年以上甚至1000年有真实的需求不仅有载体问题，还有语义问题中华文化是少有的延续文