存储系统技术与架构ppt课件

1、第七章第七章 存储系统技术与架构存储系统技术与架构l7.1 监控存储技术及比较l 7.1.1 磁带、磁盘与磁盘阵列l 7.1.2 监控存储的运用特点l 7.1.3 三种典型存储技术l 7.1.4 存储技术的比较l7.2 存储容量的计算l7.3 存储系统应处理的问题l7.4 大型监控存储系统的需求l7.5 分布式存储系统架构l 7.5.1 存储运用效力器l 7.5.2 存储资源效力器l 7.5.3 内容索引效力器l7.6 存储系统的任务原理l 7.6.1 视频存储流程l 7.6.2 视频查询流程l 7.6.3 视频播放流程l7.7 存储系统的物理性能l 7.7.1 写入流程对存储的物理流程l 7

2、.7.2 查询和读取流程对存储的物理性能要求l7.8 存储系统的平安性l7.9 存储系统的物理可靠性l7.10 存储系统的评价体系l 7.10.1 基准测试目的l 7.10.2 评价目的体系7.1 监控存储技术及比较l7.1.1 磁带、磁盘与磁盘阵列l 以前在安防领域大多数都是采用磁带作为存储媒介，从2000年开场快速地数字化，到了2020年大部分都是以硬盘来存储数字化的信息，而这一改动的主要缘由素就是IP视频等很多创新的运用需求采用硬盘来存储。l磁带库、DAS磁盘阵列和NAS网络附加设备设备的外观见图7-1.图图7-1l磁带存储器由磁带机和磁带两部分组成，其读写原理根本上与磁盘存储器一样，只

3、是它的载磁体是一种带状塑料，叫做磁带，写入时可经过磁头把信息代码记录在磁带上。l磁带机按规模可分为：l1、规范1/2英寸磁带机l2、盒式磁带机l3、海量宽磁带存储器l磁带存储器有磁盘盘片与磁盘驱动器两部分组成。l磁盘阵列RAID是将同一阵列中的多个磁盘视为单一的虚拟磁盘，数据是以分段的方式顺序放于磁盘阵列中。lRAID根据实现方式有全软RAID、半软半硬RAID与全硬RAID。l 1、全软RAID的一切功能都是操作系统与CPU来完成的，没有第三方的控制/处置。这是效率最低的一种RAID。l2、半软半硬RAID是一种把初级的RAID功能附加给SCSI或者SATA卡而产生的产品，它把软件RAID功

4、能 集成到了产品的固件上，从而提高产品的功能和容错才干。l3、全硬RAID那么全面具备了本人的RAID控制/处置与I/O处置芯片，甚至还有阵列缓冲，整体性能是这3种类型中最优的，但设备本钱也是3种类型中最高的。lRAID卡根据接口方式分为IDE如今PC运用的主流硬盘接口RAID和SCSI这是一种输入/输出总线和逻辑接口， 主要目的是提供一种设备独立的机制用来衔接主机和访问设备RAID。l如图7-2所示：RAID 卡图图7-2l7.1.2 监控存储的运用特点l与电脑所用的硬盘不同，监控系统在选择存储硬盘的时候需求思索以下几点：l首先是存储硬盘的容量需求弹性比较大，必需思索可扩展性，在计算存储容量

5、的时候，要思索画面质量的要求、画面尺寸的大小、画面的帧率、存储时间的长短等要素。l其次，监控系统硬盘需求可以满足大数据流量长时间的延续读写，在运转的时候要求是全天气候、零缺点，由于有了缺点就非常费事，有时候要跋涉很远的间隔 去修缮。l另外，在监控里面所用到的数据最重要是流畅性，并不是准确性，由于在一个画面里面有无数个数据，少了一两个数据其实对画面的质量完全没有影响，着重的思索就是视频流的流畅。l最后监控系统很多时间需求在高温暖高湿的情况下操作，因此散热非常重要，必需思索散热、功耗等目的。l根据存储设备与效力器相连的方式 ，从体系架构上可以分为DAS直接衔接存储、NAS网络附加存储、SAN存储区

6、域网络几种方式。l7.1.3 三种典型存储技术l7.1.3.1 DASlDAS是指将外置存储设备经过衔接电缆，直接衔接到一台计算机上。lDAS存储的体系架构如图7-3所示 图图7-3l7.1.3.2 NASlNAS作为一种网络附加存储设备，采用嵌入式技术，具有无人值守、高度智能、性能稳定、功能转移的特点。lNAS存储的体系架构如图7-4所示图图7-4lNAS设备主要用来实如今不同操作系统平台下的文件共享运用，与传统的效力器或DAS存储设备相比，NAS设备的安装、调试、运用和管理非常简单，采用NAS可以节省一定的设备管理与维护费用。lNAS本身的共享设计使其非常适用于流媒体行业，而且就目前存储技

7、术开展来讲，NAS和SAN之间的界限越来越模糊，许多厂家的NAS产品既支持IP访问又支持FC-SAN访问，由此也使NAS有多种衔接方式。l7.1.3.3 SAN lSAN采用某种通讯技术建立一个公用区域网络衔接一切存储资源和要访问这些存储资源的效力器，实现存储资源的物理共享。lSAN是专门衔接存储外围设备和效力器的网络，它通常包括效力器、外部存储设备、效力器适配器、集线器、交换机以及网络、存储管理工具等。lSAN存储的体系架构如图7-5所示lSAN可分为FC-SAN采用光纤传输、IP-SAN采用以太网传输、EC-SAN的造价高、传输速率快，而IP-SAN基于以太网传输，组网灵敏、扩展性好。图图

8、7-5l7.1.4 存储技术的比较lDAS是最先被采用的网络存储系统，完全以效力器为中心，存储设备作为效力器的组成部分。lDAS不能满足大容量的存储需求，于是出现了NAS和SAN等其他存储技术。lNAS是在TCP/IP协议根底上提供文件的存储效力，适宜于经过LAN传输存储文件和共享文件，客户端直接经过NAS系统的实现与存储设备之间的数据交互。lSAN主要是基于光纤通道的、面向数据块的存储，可以看成是传统总线的扩展。随着数据量的添加，DAS和NAS暴显露不能为提高存储才干而无限制地添加存储设备的问题。l表7-1是对几中存储架构的比较l表7-1 存储架构的比较工程DASNASFC-SANIP-SA

9、N性能中中高高间隔 扩展性差高中高容量可扩大性低中高高共享特性不能共享文件及共享设备及共享设备及共享操作系统支持高高中高软件的兼容性高低高高应用本钱高低高低7.2 存储容量的计算l如今主流的视频监控产品的紧缩方式有3种，按照CIF分辨率计算如下：l MPEG4紧缩方式：200MB/h/路l H.264紧缩方式：150MB/h/路l MJPEG的码流大小平均是MPEG4紧缩方式的23倍。l按每天24h延续录像，下面根据视频路数和存储时间进展视频数据存储容量的测算。l表7-2 录像保管天数与硬盘的容量7.3 存储系统应处理的问题l存储系统架构的开放性、可共享性、灵敏性和可扩展性尤为重要，可以从以下

10、角度去了解存储系统应该处理的问题。l1数据存储位置l前端存储即视频信息存于视频效力器中，益处是存储本钱低，缺陷是由于视频效力器所在物理环境大多比较恶劣，很难保证存储系统的可靠性。l2数据存储管理方式l在存储架构的管理方面要综合思索以下要素：l容量管理l配置管理l性能管理l可用性管理l3数据存储的物理实现l数据存储的物理实现，也就是如何选择物理存储技术。7.4 大型监控存储系统的要求l大型监控系统的存储系统普通需求满足以下要求：1支持多级存储架构，可以实现前端存储、中心存储、客户端存储，如以下图： 2支持多种视频监控录像方式，普通可以分为以下几种：实时录像抽帧录像自动录像手动录像报警录像动态侦测

11、录像3存储管理效力器应该支持对分布式存储以及集中式存储的一致管理。4一切存储设备应具有足够的存储空间，经过复核后的报警图像应按相应的报警处置规范做长期保管。5存储的图像数据应保证具有CIF格式的图像分辨率，重要目的和报警图像宜具有4CIF的图像分辨率。6应具有以太网接口，支持TCP/IP协议，宜扩展支持ISCSI、SIP 、RTSP 、RTP、RTCP等网络协议。7单台中心存储设备应支持多台视音频存储设备的同时访问，支持主流厂家视音频流编码设备。8应支持报警联动存储，系统接纳到报警时，启动视音频信息存储。7.5 分布存储系统架构l 开放的、可共享的、可灵敏扩展的存储系统架构非常重要，这里引见一

12、个运营级大规模监控系统的功能架构，如以下图：AAAVTDUPUCUCMS用户认证用户认证/授权授权/记账效力器记账效力器中心管理效力器中心管理效力器内容存储管理架构内容存储管理架构中心效力平台中心效力平台前端单元前端单元客户端单元客户端单元视频分发单元视频分发单元内容索引效力器存储资源管理器存储运用效力器前端接入单元客户端接入单元l7.5.1 存储运用效力器l存储运用效力器以RTO/RTCP协议接纳和发送视频流，主要功能如下：l1、实时视频流导入和分段l2、直接经过网络传输协议接纳已分段视频文件l3、视频内容查询回放l7.5.2 存储资源效力器l存储资源效力器主要功能如下：l1、物理存储设备衔

13、接l2、视频文件的存储功能l3、视频文件的读取功能l4、多级存储支持才干l5、数据复制技术l6、数据平安和访问密钥支持l7、数据一致性检查和异步恢复功能l7.5.3 内容索引效力器l内容索引效力器主要功能如下：l1、按照定义的索引规范对视频进展索引建模l2、接纳来自于存储运用效力器的索引信息l3、接受视频内容查询恳求，并前往结果l4、管理视频文件的生命周期l55、管理存储战略l6、颁发存储资源效力器访问授权密钥7.6 存储系统的任务原理l7.6.1 视频存储流程l视频分发效力器VTDU将某摄像头的视频流转发给存储运用效力器，存储运用效力器对视频流进展分割和文件化，按照预定义的索引战略，向内容索

14、引效力器提出恳求，经过内容索引效力器根据预定义的存储资源调度表以及安康情况信息，确定存储资源效力器并生成相关授权密钥给存储运用效力器，存储运用效力器运用此授权密钥访问对应的存储资源效力器。l存储资源效力器把数据写入物理存储设备u，更新索引与文件系统映射表，同时内容索引效力器生成相应索引。l7.6.2 视频查询流程l 用户经过监控客户端CU定义查询条件，向内容索引效力器恳求索引视频资源，索引效力器前往相关的查询结果，并展现给客户；同时内容索引效力器会提供用户CU与对应存储资源效力器的视频的授权密钥，为进一步的视频的播放和下载运用。l7.6.3 视频播放流程l用户在检索结果界面上可以选择需求播放的

15、历史信息，系统经过CMS和AAA认证检查到用户首选的VTDU，将用户的播放恳求发送到首选的VTDU后，然后启动监控客户端CU衔接到首选的VTDU；CU向该VTDU提出恳求并提供授权，VTDU继续向对应的存储运用效力器提出恳求并转发授权，存储运用效力器继续提交授权给存储资源效力器，存储资源效力器在认证授权经过后提取数据前往给存储运用效力，存储运用效力器对数据流式化后分发给VTDU，VTDU将视频分发给CU进展播放。l假设用户选择直接下载文件，那么由CU接入单元直接查询结果相对应的存储效力器提取数据。7.7 存储系统的物理性能l7.7.1写入流程对存储的物理性能要求l要求存储系统具有较高的多线程写

16、才干，其I/O性能应满足以下计算公式：l单视频流量*索引开销系数*存储视频头数量l存储系统容量应满足的目的计算公式为：l单视频流量*索引开销系数*存储生命周期*存储视频头数量l7.7.2 查询和读取流程对存储物理性能要求l由于目前查询和提取用户业务量相对写入业务量非常小，所以对存储的I/O性能要求不高，可根据实践运营阅历酌情评价。l 另外，系统性能实践上是有业务流程 各环节功能模块共同协作的结果，所以在评价存储系统性能要求时，也需求与其他环节的协同平衡来考量。l 存储资源效力器要求较高I/O吞吐量并与衔接的物理存储系统相匹配。7.8 存储系统的平安性l数据的可靠性和平安性非常重要。存储设备中的

17、单点缺点能够引起宏大的经济损失。要确保保管数据的完好、可靠和有效调用，必需求满足以下条件：数据快照：全球网络存储工业协会SNIA对照Snapshot的定义是：关于指定数据集合的一个完全可用拷贝，该拷贝包括相应数据在某个时间点拷贝开场的时间点的映像。快照可以使其所表示的数据的一个副本，也可以是数据的一个复制品。l数据卷复制：在同一个存储系统中，提供将一个逻辑卷源卷位到位地完全拷贝到另一个逻辑卷目的卷的才干，允许在拷贝过程中对源卷进展只读性质的访问并挂起写操作，保证时间点数据拷贝的完好性。远程数据同步：数据远程同步功能经过将本地数据延续地复制或镜像到远程存储系统中去，以构成副本的方式实现对数据的维

18、护，也是构建异地备份、异地容灾的最正确存储处理方案。7.9 存储系统的物理可靠性l存储系统采用全冗余体系构造设计，系统无任何单点缺点，必需提供良好的多平台兼容性，支持 SUN、IBM、HP等主要Unix系统和主要的Linux平台。l正对不同的灾难缘由，需求有正对性的处理。l对硬件缺点，需求采用硬件冗余的方法。l对人为错误和软件缺点，可采用数据冗余的方式。l针对环境灾难，可采用设备冗余的方法。l有的容灾方法，如磁带备份既可以防备人为的和软件的逻辑灾难，也可以防备环境的物理灾难。7.10 存储系统的评价体系l7.10.1 准那么测试目的lSPC存储性能理事会是由几乎全部的国外存储厂商和部分大学、研讨机构组成，目前其主要成员包括Fujitsu、HP、IBM以及Sun。lSPC是一个非赢利的组织，其使命是定义、规范化存储系统的基准测试，并提升存储系统基准测试的知名度，扩展其影响，使之成为计算机行业最具权威的存储性能测试结果，是计算机用户可以不受现存混乱的各种存储性能测试结果的影响。l7.10.2 评价目的体系l建立存储系统评价目的体系的目的，是为了反映存储系统的功能、性能等相关信息，为以后进展存储系统选型