企业统一数据归档存储解决方案

企业统一数据归档存储解决方案（PPT）2023年数据归档存储典型场景分析1统一归档存储的适用场景视频监控数据归档历史数据合规性归档统一监控日志归档业务数据备份归档监控视频录音会议、直播视频合同档案个人信息系统监控日志审计日志历史业务数据迁移回收站文件备份场景1——某新建小区统一视频防盗平台实时视频在线查看保安室可通过在线视频，实时查看小区各栋楼入口的监控画面，便于跟踪进入小区陌生人员的走向视频监控留档小区需要保留近1个月的监控视频，当发生盗窃事件时，可通过调取历史视频记录回看监控情况视频标签记录每个摄像头拍摄的监控视频，都会记录时间段及楼栋号及摄像头编号，在查询历史视频时可做快速过滤，迅速定位所需的视频监控需求统一视频监控云平台提供视频在线观看、历史视频回看的一站式视频监控云平台归档视频安全可靠通过纠删码的冗余策略，当出现硬盘故障时，可自动恢复丢失数据分片，确保保存的数据可用自动标签回看支持在视频监控云平台中按照各类标签进行视频筛选过滤，并可支持选择时间点、摄像头ID，快速回看指定摄像头的监控画面方案监控的后端存储的趋势——大容量、低成本视频归档场景特征写入后监控数据长期存档，正常情况下无读取需求历史监控遇到调用需求时，允间的响应时间数据安全性和可靠性的需求视频流路数多，写入TPS不低一次写入长期存放，需确保数据安全可靠，对访问请求允时间延迟整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行海量视频数据带来的存储挑战监控数据多协议接入实时视频视频回看集中归档取回便利线性扩展自动分层数据安全场景2——某电子合同平台核心数据归档低频数据的统一归档存储平台目前在公有云存储上拥有超过1.5PB的电子合同数据，通常合同内容在1年后已无需下载。低频数据基本不会变更；根据国家电子签名法规定：信息保存期限至少为电子签名认证证书失效后五年。需要通过归档至更廉价的归档存储中，降低存储成本。归档数据快速取回当用户需要对历史合同数据进行查看时，需要快速定位并取回相应的电子合同文件。便捷的公有云数据导入方式需要将公有云对象存储定期、完整地导入至归档存储，由于公有云本身不提供导入，原有方式需要自己完成公有云数据的下载，再转存至归档存储，耗费了大量数据周转时间及成本。需求廉价的归档存储方案提供高密度的归档存储集群，用于更廉价更优质的归档存储空间。归档存储具备存储池自动休眠特性，可在降低硬件成本同时降低集群功耗，成本约为公有云对象存储的1/3。统一归档存储管理平台提供统一的归档存储管理端Web界面，用于文件的管理查看，用户可进行全局元数据搜索，对未激活文件进行激活操作以便回调文件。支持一键导入支持公有云对象存储的数据，通过标准的对象存储访问接口进行导入，用户仅需配置相关密钥信息，即可实现公有云对象存储数据的定时自动导入。方案场景3——某企业云平台统一监控日志归档廉价的归档存储介质企业已建成一套完整的ELK日志监控平台，日志数据通过ElasticSearch存储至HDFS存储集群中。HDFS集群可满足日志查询的高效性，但数据量增大后需要对历史日志数据进行归档保存。数据留档的安全、可靠性企业希望将操作审计、监控日志的历史记录统一保存较长时间，便于各类故障出现后的回溯。简便的ES对接方案目标实现归档存储与ELK平台对接打通，监控日志可直接对接ElasticSearch，用作其后端存储，从而代替HDFS集群。需求廉价的归档存储方案提供高密度的归档存储集群，用于更廉价更优质的归档存储空间。采用归档存储进行统一监控日志归档的成本约为HDFS集群归档方式的1/2。成熟的纠删码策略及高可用方案提供安全可靠的文件级别纠删码策略，确保节点故障文件不丢失。在3节点部署方式下，支持节点级别高可用，任意节点故障不影响存储服务的正常使用。支持无缝对接ElasticSearch提供标准的HDFS接口，当用户需要采用对象存储作为ElasticSearch存储后端时，仅需进行接口的切换即可，操作对ELK日志监控平台本身无感。方案对接ElasticSearch，实现统一日志归档存储ELK日志监控平台LogStash采集数据ElasticSearch存储数据Kibana展现数据三个月前的历史日志归档统一归档存储HDFS集群统一日志存储统一日志存储采用HDFS集群，当日志数据量增大后，希望对历史日志进行统一归档归档存储支持直接对接ES，将历史日志迁移至更廉价的存储中同时支持直接对接场景4——对接备份工具实现各类业务数据统一备份归档CloudImport统一归档存储解决方案2统一归档存储·方案对比分析2.1大容量存储集群本地化部署后带来的挑战数据安全成熟可靠的纠删码冗余策略01减少空间增大存储密度，减少机架数量02省电节能存储池自动休眠，减少机柜功耗03快速搜索对接元数据搜索，可快速定位文件04监控存储的功能对比——传统的监控存储直接依附存储系统（DirectAttachedStorage,DAS）：服务器提供多路服务时，性能大幅下降，带宽足够的情况下，服务器本身成为性能的瓶颈，服务器发生故障，数据不可访问，已无法满足多路场景下的存储需求。网络依附存储系统（NetworkAttachedStorage,NAS）：以网络为核心面向文件服务，有专用的应用服务器和专用的数据服务器，应用服务器将数据服务器视做网络文件系统，通过标准LAN进行访问。NAS可以提供可靠的文件级数据整合，因为文件锁定是由设备自身来处理的。但文件存储形式采用了树形结构对所有文件和目录进行管理，当文件或目录过多时，文件或目录的检索性能就会极大下降，导致归档数据取回速度难以控制。存储区域网络（StorageAreaNetwork,SAN）：SAN是一种以光纤通道（FiberChannel,FC）实现服务器和存储设备之间通讯的网络结构，通过高带宽FC交换机相连，可避免大流量数据传输时发生阻塞和冲突。FC存储成本高昂，FCSAN的成本包括先期设备成本和长期维护成本，兼容性差也导致了用户无法自己维护FC设备，必须购买昂贵的厂商服务，如果用户的环境中包括多种FC存储设备，用户每年花在FC-SAN的系统保修服务的费用占当年采购成本的15%左右，如果再算上系统安装部署阶段的专业服务费用支出，以5年计算，整个服务费用支出与系统采购达到1:1！FC存储异构化严重，各厂商按照自有标准开发各种功能，如快照、复制、镜像等，导致不同厂商存储设备之间功能无法互通，容重复投资、难以管理的局面。监控存储的功能对比·统一归档存储基于对象存储实现了超大规模数据的管理能力（性能不下降），对象存储只有目录和对象两层结构，这种扁平化的结构即使对象数量达到百亿级别，对象的检索速度依然不会有大的变化。且使用低廉的X86服务器+磁盘阵列JBOD方式即可实现对象存储集群的部署，存储成本低。对象存储系统并不需要备份，纠删码和数据恢复机制可以确保数据始终保持可用状态，且读写可以平均分配到集群中的所有节点上，避免NAS存储中常见的热节点问题的出现。监控存储的性能对比某IP-SAN统一存储方案统一归档存储单节点情况下配置4U一体机，36盘位2U服务器+4UJBOD（单节点可扩展至4个JBOD）容量可提供16TB硬盘，裸容量576TB单个JBOD支持106盘位，18TB硬盘裸容量约1.86PB安全、可靠性支持多节点间N+M策略支持文件级别N+M纠删码冗余策略（节点故障文件不丢失），同时在多节点情况下支持节点级别高可用扩展性支持逻辑卷的动态线性扩展（受限于盘位），节点数规模需要在配置冗余策略前确定支持节点的动态线性扩展，多个节点可统一集群纳管存储模式支持IP-SAN直存支持对象存储标准协议、视频流直存（同时支持推、拉方式）1PB可用容量下占用机柜配置冗余策略需4节点，不配置冗余策略3节点每节点占4U机柜位，单机柜最多4-5PB单机柜位即可满足10+PB的存储需求统一管理提供接口，视频平台可以与存储进行对接支持图形化界面管理存储集群，内置提供各类集群告警，管理简单便捷，同时支持对接统一视频平台某企业数据增长趋势下的存储容量估算传统存储的单集群容量极限视频在平台中保存期限6个月，无法长期保存通常做法是用磁带库备份，回看数据困难分布式存储可达到的存储规模PB级存储规模下的私有云和公有云存储价格曲线公有云随容量上升，简单运维，价格随使用量上涨；私有云方案下有一次性投入成本，长期成本较低统一归档存储·存储特性2.2软硬一体解决方案，一体化部署集群节点高密单机柜PB级容量支持横向扩容统一集群管理一体机交付即开即用支持私有化部署同时支持托管运维非激活区休眠，利于散热和节电，延长硬盘寿命资源池读写分离，保障性能纠删码冗余策略，安全合规纠删码

P1

P2

D1

D2

D3

D4

D5D6

D7

更多空间更低成本更高可靠

P3

D8

D9

D10

D11

D12D13

D14

以14+3的纠删码方式为例，实际存储利用率约82%可保障3块硬盘同时发生故障情况下数据不丢失硬盘故障后数据自动恢复，无需人工干预硬盘故障下的超强自愈能力14+3纠删码

P1

P2

P3

D1

D2

D3

D4

D5

D6

D7

D8

D9

D10

D11

D12

D13

D1414+3纠删码

P1

P2

P3

D1

D2

D4

D5

D6

D7

D8

D10

D11

D12

D13

D1414+3纠删码

D3’

D9’

D1

D2

D4

D5

D6

D7

D8

D10

D11

D12

D13

D14

P1

P2’

P3’通过纠删码机制进行快速数据恢复，确保数据稳定可靠，可容忍三块硬盘同时故障支持数据压缩，节省更多存储空间采用无损压缩进行归档视频文件压缩：视频信息不丢失缩减数据量和存储空间压缩数据压缩处理原始数据数据压缩的意义：延缓数据溢出的过程用户希望更高效的数据传输，减少数据的读写流量约1.4倍的压缩比视频文件存储场景下的压缩性能分析文件类型PUT写入速率PUT处理时间GET读取速率GET处理时间Video33.17MB/s3.190901s188.44MB/s0.561676s启用压缩前压缩等级PUT写入速率PUT处理时间GET读取速率GET处理时间压缩率58.86MB/s11.946068s141.45MB/s0.748266s1.39105.75MB/s18.407333s163.52MB/s0.647274s1.41153.09MB/s34.253128s110.88MB/s0.954565s1.42启用压缩后在非高速写入场景下，用户可通过数据压缩策略节省约40%的存储空间随着压缩级别的提升，压缩算法对于图片、视频及二进制文件的压缩率并没有显著的增加，而是趋于稳定，默认使用Level5压缩等级，保证读写性能相对可控在视频归档存储场景下，用户可灵活选择是否启用压缩策略私有云场景支持集群巡检通过自动化的集群巡检策略，快速发现潜在问题，通过告警推送运维人员集群容量趋势预测性能趋势分析集群故障检查网络趋势分析磁盘寿命预测巡检报告统一归档存储·流媒体处理特性2.3流媒体处理功能远端直播对接大规模存储异构厂商视频流格式兼容远端回看流媒体对接归档存储提供面向摄像头或NVR设备的推流SDK，实现视频画面的实时上传；支持对H.264/H.265视频码流的转存，实现视频监控数据的统一管理；通过网络分发，可实现远端对直播或历史画面的查看；支持对视频的转码，实现指挥大屏、手机某著名企业端的不同分辨率查看；云端存储支持横向扩容、存储生命周期管理，理论上可为用户提供无限量的存储空间和存储时长；兼容多协议，支持各类视频流转码播放网络监控网络监控网络监控RTSP/RTMPONVIFGB/T28181-2011AndroidSDKiOSSDKWebSDK提供推流SDK，通过设备厂商的二次开发，

可以实现不同品牌监控数据的接入支持H.264/H.265云端解码支持不同分辨率转码输出提供完善的用户端SDK，实现鉴权和播放支持WebRTC实时通信技术，实时监控在线观看提供视频、音频的统一在线采集用户可基于Web端，无需下载插件即可查看实时监控视频支持视频、音频统一以MKV、Webm、MP4等格式进行存储支持视频监控抽帧，实现视频容量进一步优化静止视频抽帧通过视频流采集转码服务时，将每一帧前后图片进行比对，如处于静止状态则可通过打点方式进行抽帧处理历史视频抽帧如超过30天视频存储文件，在不影响录像记录信息的情况下，可以将25帧/S的录像文件降低为15帧/S统一归档存储产品规格设计3平台性能指标指标项指标数据可靠性11个9服务可用性99.9%激活时间<24小时单文档最大>3TB最小存储时间支持>60天最小单元的写入带宽不小于12Gpbs最小单元的有效存储容量不小于3888TB音视频协