安全帽大数据云存储解决方案

安全帽大数据存储解决方案

2017年12月

湖北公众信息产业有限责任公司

目录

1.业务场景及;赧呈................................................................5

1.1.存储原始文件..................................................................6

1.2.存储剪辑文件..................................................................8

1.3.安全帽...................................................................10

1A安全帽点播....................................................................10

1.5.下载..........................................................................13

2.系统环境病..................................................................14

2.1.部署网络架构图...............................................................14

2.2.服务器配置需求（虚拟机）...............................................................................................15

3.存储技术方案.................................................................17

3.1.总体方案建议.................................................................17

32存储容量需求分析.............................................................19

3.3.存储性能需求分析.............................................................19

3.4.系统侬.....................................................................20

35云存储功能削...............................................................21

3.6.云存储设备选型...............................................................21

3.6.1.存储施服务器.......................................................24

3.6.2.存储主机.............................................................24

3.6.3.酶云存储软件.......................................................25

3.7.硬件配置.....................................................................26

3.7.1.硬件配置清单（此处的服务器息旨物理机器）..........................26

分布式对象存储产品介绍......................................................28

4.1.概述.........................................................................28

4.2.海量扩展.....................................................................29

4.2.1.在线扩展.............................................................29

4.2.2.海量文件支持........................................................29

4.23.全局智能均衡........................................................30

4.2.4.支持谢勾硬件........................................................30

4.2.5.对象文件分片上传下载支持............................................30

4.3.安全可靠.....................................................................31

4.3.1.支持副本或者EC校验................................................31

4.3.2.全局辘恢复........................................................32

4.33.支持跨数据中心部署................................................33

4.3.4.支持基于快照的数据回滚..............................................34

4.3.5.端到端的访问安全....................................................34

4.4.数据生命周期霞.............................................................35

4.5.运维、运营管理...............................................................35

4.5.1.硬件资源管理........................................................36

4.5.2.存储资源管埋........................................................37

4.5.3.对象存储服务管理....................................................38

4.5.4.磁匐SSD专项监控...................................................40

4.5.5.性能揄示统IB析....................................................41

4.5.6.恢复QoS控制.......................................................41

4.5.7.SNMP告警上报......................................................42

4.5.8.管理蟠作日志......................................................43

4.5.9.系统状态及告警信息RESTAPI支持...................................43

4.6.存储数据及业务管理..........................................................44

4.6.1.统计报表运营........................................................45

4.6.2.桶和数据管理........................................................45

4.6.3.基于文件名,自定义元数据以及规则检索...............................47

5.安全的.....................................................................50

5.1.网络安全.....................................................................50

5.2.主机安全.....................................................................52

53.酶应用安全.................................................................52

5.4.数据应用安全.................................................................53

1.业务场景及流程

在日常的生产工作中，OpenVone服务会实时采集生产工线上安全帽视频数据

并转换为视频文件，在日积月累中会产生大量的磁盘消耗从而影响整个服务的运行；

因此解决视频文件的存储问题显得尤为重要。

视频存储服务充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、

高性能等指标，同时视频存储服务能提供高性能文件上传、下载等服务。因此视频存

储服务采用分布式对象系统来存储视频文件和下载视频文件。

1.1.存储原始文件

流程说明：

1）收集安全帽视频数据，后台应用服务对每一个安全帽的视频数据实时采集。

2）生成视频文件，后台应用服务服务对于采集的安全帽视频数据转换为视频文件并

存储起来。

3）存储视频源文件，应用平台后台服务调用接口服务器批量存储视频文件。

3.1）存储源文件，接口服务器将接收到的视频源文件存储到视频unc服务器中，

并返回文件ID、文件地址等基本信息。

3.2）存储源文件关键信息，源文件存储完成之后把文件地址、文件ID、视频所

属时间段、所属项目部、安全帽标识等信息保存到关系型数据库数据库，以方便

检索查询。

1.2.存储剪辑文件

流程说明:

1）客户端把项目部、顺时间、工段或安全帽标识等检索条件通过web服务器向接

口服务器发起查询请求方妾口服务根据检索条件查询关系型数据库里符合条件的未剪

辑的视频列表。

2）获取源文件，通过文件列表查询返回的结果获取具体某一视频的源文件地址，下

载源文件到本地。

3）剪辑，对下载到本地的源文件进行剪辑。

4）存储剪辑文件，应用平台后台服务调用接口服务器存储已剪辑完成的视频文件。

4.1）存储源文件，接口服务器将接收到的视频剪辑文件存储到视频存储服务器

中，并返回文件ID、文件地址等基本信息。

4.2）存储剪辑文件关键信息，剪辑文件存储完成之后把文件地址、文件ID、视

频所属时间段、所属项目部、安全帽标识等信息保存到关系型数据库，以方便检

索查询。

1.3.安全帽直播

1端说】服务涔府川阴芬寿“Lm•蜃多戡|安仝帕

国美系型数据阵

1、败蚯.

查询请求

查询安全M列表获取蚯

返目结果

运回结果—

返回龄果

2、点击1清某■宣，

流程说明：

1）获取安全帽列表，客户端打开直播页面后，使用项目部、工段等信息通过web

服务器访问应用服务器查询关系型数据库里符合条件的在线安全帽。

2）查看安全帽直播请求，客户端向OpenVone服务发起对某一具体安全帽直播请

求。

3）获取安全帽视频数据QpenVone服务器根据客户端的请求获取安全帽视频数据

流。

4）观看直播，客户端根据OpenVone服务器返回的数据流观看直播.。

1.4.安全帽点播

流程说明：

1）发起视频查询请求，用户使用客户端向web服务器发起查询请求。

2）查询视频文件，web服务器将客户端传入的各查询条向接口服务器发起查询请

求。

3）查询数据，接口服务器根据web服务器传入的项目部、视频时间、工段或安全帽

标识等信息通过接口服务器查询关系型数据库符合条件的视频列表.

4）发起视频点播请求，用户使用客户端向web服务器发起点播请求。

5）调用获取视频流地址接口，根据视频文件查询接口返回的地址发起获取视频流请

求，并返回视频流地址。

6）触发视频流推送,在调用获取视频流地址接口的同时，触发视频存储服务器视频

流推送。

7）推流到切片服务器，辆存储服务接收到推送请求后，推送该视顷流到切片服务。

8）访问视频流地址播放，访问视频流地址获取切片服务器上的视频流数据进行播放。

1.5.下载

Web服务器推ILRH为器划糠下找阳务㈱机领存储服务超关系型数据库

k发起M文件

查询请求

查询源文例表

查询符合条件的数据

返回日列衰

返回查询身表

返回查询列表

2、下■■文件

3、访问视算下・接口

4、下窝!文件

我取・文件

返目・文件

返回■（文件

流程说明：

1）发起源文件查询请求，客户端向web服务器发起源文件查询请求，web服务器

访问接口服务器查询关系型数据库返回符合条件的数据。

2）下载源文件，客户端向web服务器发起下载源文件请求。

3）范围视频下载接口，web服务器根据查询返回的视频源文件地址信息访问视频下

载服务提供的下载接口。

4）下载源文件，视频下载服务器获取视频存储服务器中的相关源文件信息并返回。

2.系统环境部署

2.1.部署网络架构图

互联网

DMZ

内网

2.2.服务器配置需求（虚拟机）

服务器台数项目基本配置要求

CPU2.2GHz以上，核数4个

内存16G

WEB服务器4台

硬盘500G

操作系统

CPU2.6GHz以上,核数8个

视频切片/下

内存64G

载服务4台

硬盘2T

器

操作系统centOS7.0

CPU2.2GHz以上，核数12个

OpenVone服内存32G

10台

务器硬盘2T

操作系统

CPU2.2GHz以上，核数8个

应用后台服内存64G

4台

务器硬盘2T

操作系统

CPU2.2GHz以上，核数12个

内存32G

接口服务器4台

硬盘500G

操作系统centOS7.0

CPU2.2GHz以上,核数4个

视频存储服内存32G

16台

务器硬盘100T

操作系统centOS7.0

CPI2.2GHz以上，核数最少12个

数据库服务内存16G

2台

器SAS硬盘1T

数据库orac1e_11g_R2_x64

服务器功能描述：

①Web服务器（含后台用应服务）

承载视频点播和直播、运营平台、设备注册、人员管理等功能

②视频切片服务器

将视频切割，方便查询、缓冲播放

③应用服务器

为Web服务器相应服务提供后台数据访问接口。

@视频切片、下载服务器

提供视频存储、访问、查检等服务。

⑤视频存贮I艮务器

视频存贮、检索等。

整个平台采用三层网络架构拓扑结构以保证互联网与内网数据的相对安全，做到

互联网访问通过隔离区与内网数据相互隔离，以避免因互联网受到攻击而导致视频文

件和相关数据被窃取。

3.存储技术方案

3.L总体方案建议

存储方案建议采用分布式对象存储产品作为存储产品，通过先进的分布式软件架

构,将多台通用X86服务器（最大1024台）组成存储集群,并利用副本或者纠删

码技术实现数据的冗余性，从而构建出容量、性能可线性扩展，数据高可靠的存储集

群，保证实现大规模数据的存储和安全性。

分布式对象存储具有，支持的文件数量大（单系统支持上100亿个文件），容量

可扩展至100PB级，完全满足本次项目需求，以及未来的扩展性需求。

除了存储方面的基本功能，分布式对象存储还具备如下特点：

请到诘的Scale-Out扩展,实现大数据积累

&去中心化存储架构.可于数掂的长期维护

c三级数据可塞性体系，保险业务高可用

笠提供高效的数据溢转与访问架构

»内置文件名和标签蠢引机制，实现至秒皴检索

分布式对象存储的功能架构图如下:

NFS网关11S3FS

元数据检索

S3/Swi颂象接口

多用户|j多版本|］文郁檄

多数据中心

分片上传/T变口文件外徽­||文件力睦

文件压缩

-----------------

DHT数据分布口一致性副本||分布式EC小文件合并1

集群状态管理||并行数艇重建］|集群故障自愈］|智境QoS控制］:

系统包含四个层次功能，来满足最终用户、系统管理员、运营人员的日常操作需

求：

存储层：基于单个存储节点，管理本地的硬盘，文件和数据块。

存储管理层：提供单个集群和多域的管理能力

接口层：提供丰富的访问接口，适应各种应用

业务应用层：业务应用层部署由各用户根据自身需求，充分利用接口层提供的各

种接口，开发而成的监控系统，联网共享系统等。

视频云存储系统可内置针对视频应用特殊优化的流媒体应用服务，依赖流媒体应

用服务，支持人量前端摄像头与云存储海量存储空间直接对接提供流媒体直存方案，

既具备直存的优势，又享受云存储所带来的所有优势。

3.2.存储容量需求分析

存贮服务器：要求3000台设备满足存贮一年的要求，初步估计容量在720TB,

计算方式为：24GB*10个月*3000台=720TB,同时可以考虑3个月存贮导出一次，

实际存贮在500T左右。

杉岩分布式存储采用纠删码冗余方案保证数据高可用，按照纠删4+2配置策略，

即每4个数据切片产生2个相同大小的校验数据块，最大允许2个磁盘损坏,数据

不丢失。

实际裸存储空间需求为=500TB*(1+2/4)=750TB

3.3.存储性能需求分析

存储性能分析：

现有智能终端采集的码率为512kbps,智能终端数量为3000台。

吞吐性能需求最大为二512kbps*3000台=1536000kbps=1.5Gbps

根据此性能要求，应用系统服务器与存储,以及存储服务之间采用万兆网络，2

台以上存储服务器即可满足带宽要求。

磁盘则可采用SATA盘，每个SATA盘按照lOOMBps性能计算，需要的最小磁

盘数为：

磁盘数=1.5Gbps/8/lOOMBps/盘*1.5(冗余计算)=3个磁盘

所以从性能要求上看，磁盘没有压力。

点播性能分析:

点播终端为256个，按照每个视频文件码率512kbps流量

吞吐的性能需求最大为=512kbps*256个=131072kbps=131Mbps

性能要求相对比原始文件存储压力小，无需单独考虑。

3.4.系统组成

云存储系统内部，由元数据服务器和数据存储节点组成。元数据服务器支持两台

及两台以上形成集群，提供高可靠的元数据服务。数据存储节点提供高容量、高密度

的存储介质和极高的io能力°

系统组成图

云存储系统采用分布式的存储机制，将数据分散存储在多台独立的存储服务器

上。它采用包括元数据管理服务器(MetadataServer\数据存储节点服务器(Data

Node)和客户端以及运维管理®务器的结构构成海量云存储系统。在每个服务器节

点上运行云存储系统的相应软件服务程序模块。

其中，元数据服务器集群保存系统的元数据，负责对整个文件系统的管理，

MetadataServer在逻辑上只有一个，但采用集群方式，保证系统的不间断服务；

智能存储服务器(DataNode)负责具体的数据存储工作，数据以文件的形式存储在

DataNode上,DataNode的个数可以有多个，它的数目直接决定了云存储系统的

规模；客户端对外提供数据存储和访问服务的接口，为云业务平台提供云存储系统的

访问能力；同时，针对视频业务，在DataNode上集成了流媒体服务，让存储节点

具备了流媒体直存能力，让前端视频流直接存储至云存储成为可能。

3.5.云存储功能设计

云存储系统面向视频、图片应用定制化开发，提供了丰富的功能接口供上层视频

监控平台调用，主要功能如下图所示：

视频云存储系统功能

视频存储功能图片存储功能系统管理功能录像管理功能运维管理功能

像

视扬

录

・图片写入・集群化管理・录像计划管理.系统信息获取

索

视频

检

•图片下股・虚拟化管理.录像计划执行・系统故障告警

放

视频

回

・图片压缩.负■均衡管理移动侦测录像・存储设备告警

载•

视频

吓

.图片锁定.自动精简管理・事件录像标准协议对接

定•

视频

锁

・

注・分散存储管理

视频

标图片删除•视频帧分析

除

视频

删・周期覆盖・存储空间管理

盖

周期

覆

3.6.云存储设备选型

物理组成：

视频云存储系统主要由管理节点和存储节点（物理存储设备）两部分组成。系统

内部需要配置的元数据信息由管理服务器统一管理，管理节点还需要负责集群内部的

负载均衡，失败替换等管理职能;视频云存储系统可以组建海量的存储资源池，容量

分配不受物理硬盘数量的限制；并且存储容量可进行线性在线扩容，性能和容量的扩

展都可以通过在线扩展完成。

视频云存储管理节点：部署管珊艮务器，是视频云存储系统的核心节点，作为云

存储系统的调度中心负责云存储系统资源管理、索引管理、计划管理、策略调度等。

根据项目对存储容量需求、前端支撑数目、性能要求、可靠性要求，存储管理节点可

以按照两种方式部署：双机部署、集群部署。

视频云存储节点：作为云存储系统业务的具体执行者负责视频数据存储、读取、

存储设备管理、存储空间管理等。

系统特点：

＞高效灵活的空间管理

对存储资源进行虚拟化整合，提高用户管理效率；

支持存储资源的在线扩展，实现容量与性能的线性增长；

虚拟空间可灵活调整，不但能扩大，同样能缩小；

＞海量数据的快速检索

采用一体化索引设计，大大提高了查找速度;

深化视频、图片的应用设计，支持I帧信息快速读取;

＞持续可靠的数据服务

提供7X24小时不间断高效可持续的数据服务，充分保护数据安全和可靠性；

采用全集群化设计，性能全面提升，设备压力负载均衡，单/多点故障，录像业

务不中断；

数据存储采用离散存储算法，提供系统级高效、稳定存取服务；

＞高可扩展的应用支撑

系统的高性能设计，能够并发服务以满足视频数据的高速读取需求。

采用流式数据结构，面向视频、图片数据而设计,满足视频数据的持续写入；

深入开发视频录像的专业化应用设计，优化了应用的服务质量；

＞开放透明的兼容系统

统一开放的应用功能接口，由上层业务平台直接调用；

采用的是标准设备兼容模式，支持标准IPSAN.FCSAN存储设备的接入；

3.6.1.存储管理服务器

存储管理服务器是基于Intel最新的开发的一款高性能双路服务器，该服务器采

用了全新的架构设计：在CPU内集成了PCI-E,为CPU互联提供更多的QPI总线,

更多的CPU内核数量等都直接带来了性能的大幅提升，相比上一代性能提升最高可

达80%。存储服务器最大可以支持内存容量512GB,集成高性能SAS控制器，支

持最多达8块热插拔3.5寸SAS/SATA硬盘或2.5寸SAS/SATA硬盘,内部横插卡

的设计可以满足全高扩展卡的需求，如此强大的扩展性足以支撑关键任务的运行，满

足资源密集型应用的需要。更多的PQ-E插槽、更高速率的PCI-E总线让用户轻松实

现扩展。存储管理服务器非常适用于对服务器性能、扩展性及可靠性要求苛刻的数据

中心环境。

产品特点：

全新处理器架构带来性能飓升；

真正企业级的可靠和可用性；

10超强扩展；

横插卡设计支持全高扩展卡；

模块化设计，免工具拆卸。

3.6.2.存储主机

存储主机是针对高性能、高可靠性需求而推出的千兆网络存储系统。提供

4-8Gbps的传输带宽和单模块高达144TB的海量存储空间，且支持扩展。采用强大

的64位四核处理器、稳定的体系架构、RAID6技术、热插拔硬盘、多千兆网口及

冗余热备电源、智能控制风扇，既满足了高性能的要求又彻底保护了用户的数据安全。

产品特点：

1-2个64位四核处理器，4GB48GB高速缓存;

4-8个千兆以太网口，支持网口绑定；

支持RAID0、1、3、5、6、10、50、Hot-Spare,单盘模式;

系统管理功能：中文Web可视化管理，多设备集中管理和全面状态监测报警，

批量升级；绿色节能，磁盘及RAID预警容错，带宽预留等；访问控制、身份识别、

MAC地址绑定等安全机制。

3.6.3.视频云存储软件

视频云存储管理软件

视频云存储管理软件主要功能包括视频云存储系统内资源管理、存储节点管理、

集群管理、策略调度、运维监控等。

视频云存储接入软件

视频云接入软件视频云接入软件是整个系统的重要组戌部分，主要包括录像任务

管理、录像服务、设备状态管理和部分流媒体转发服务等功能。

视频云存储存储软件

视频云存储软件是视频云存储系统中的重要模块，集成在视频云存储节点上，在

每一台海量数据存储设备上都必须装载该软件模块。

除上述三项软件外，在云存储系统内部实现了运维信息的收集与告警机制。该机

制负责对云储存系统内的设备和资源的运行情况进行统一监控，以标准的SNMP协

议与将机器运行状态以及产品特性运行指标反馈给运维系统。实现对设备状态实时检

测，对异常状态实时报警，如：硬盘丢失、CPU/内存使用率过高、存储空间不足、

设备温度过高、管理服务器运行异常、设备下线等。

3.7.硬件配置

3.7.1.硬件配置清单（此处的服务器是指物理机器）

硬件单数

配置配置参数位

类型量

平台要求C2122U机箱+主板（含导轨、电源）台10

CPUIn二elE5-2650V4个20

内存16GBDDR4R-ECC2133条60

操作系统

240GB-SSD（OS系统）块20

服务盘

1

器元数据加

480GSSDinte!3520块20

速盘

数据盘4TB-SATA7.2K3.5块100

RAID卡LSI9361-81（含电池）块10

网卡双口万兆网卡（含模块*2）块10

交换机48口万兆光口交换机台2

网络

万兆多模光模块SFP+个20

设备

模块千兆多模光模块SFP个0

2（交换

光转电模块（千兆电口模块）个0

机及

5m万兆光纤跳线LC-LC根20

配件）线材

40G堆叠线-3m根2

1、云管理平台：屏蔽帔件，智能监控、热补丁

升级、通过统一的Web界面实现数据中心集中

管理。

2、软件定义计算：具备数据中心物理资源池虚

拟化功能，可按需为每一套应用系统提供IT基

础资源池-计算能力、异构CPU(Intel和AMD)

在线故障迁移、随计写序列化、CPU热添加、节

超融内存热添加、CPU和内存QOS、高可用(HA)、点

分布式存

3合软自定义镜像、功能的“弹性”货源分配能力。授10

储

3、软件定义存储：采用集群和并行架构，支持权

海量数据及大规模并发"0应用，集先进的分

布式存储系统和智能管理功能于一体。实现快

照备份、缓存加速、数据分层、链接克隆、故

障域、多副本、QOS、自动负载均衡、支持IB

网络、磁盘类型异构、集中控制管理等功能。

4、软件网络：包含虚拟交换机、虚拟路由器、

虚拟防火墙、负载均衡功能。

交换千兆交换

424口千兆交换机台2

机机

硬件平台采用先进的多核架构；标配6个千兆

出口

核心硬件电口，2个SFP光口插槽，网络吞吐5G,最大

5防火台1

防火墙并发连接数180万，每秒新建连接数3.2万；

墙

支持E1/CE1/G.SHDSL/ADSL/WIFI/3G/等接口

千兆WEB应用防火墙系统，网络吞吐量为

IGbps,应用层处理能力为4能Mbps,HTTP新建

WEB应连接数大于5000/S,网络并发连接数65万，

6用防WAFHTTP并发为24万。标准1U机箱，单电源，标台1

火墙准配置6个10/100/1000M自适应电口，1个

CONSOLE口，2个USB口，Web安全保护16个

站点。

千兆增强型IDS,1000M吞吐。1个

入侵10/100/1000Base-T管理端口，5个

7IPSZx1

检测10/100/1000Base-T监听端口，最多支持5路

IDS,1个扩展槽

数

据监听流量支持千兆环境、本地存储空间不少于

审

却数据库审

81TB、支持Oracle、SQLServer、DB2、Sybase、台1

计计

Informix、MySQL等主流数据库;

虚拟化安

杀毒具备病毒检测与分析•、病毒库升级等功能，国

9全防病毒套1

软件产网络版

软件

4.分布式对象存储产品介绍

4.1.概述

分布式对象存储是一款基于标准X86服务器硬件的完全软件定义分布式存储，

具有高度的横向可扩展性，高吞吐，高可靠性以及高可用性。产品通过分层架构实现

了统一名称空间下数百PB级规模的扩容，突破了传统存储在存储空间扩展性以及文

件数量支持有限性的约束，并在如此海量数据条件下，构建了三级数据保护机制：防

止人为误删除、误覆盖的多版本快照回滚机制，防止主机、磁盘故障的多副本或者

EC纠删码数据保护机制和跨数据中心容灾机制，这些特性共同保障了系统3个9以

上的业务可用性以及至少8个9的数据持久性，去中心化全分布式架构，保证系统

在扩容，升级，老旧替换等变更场景以及磁盘、主机故障场景下的业务连续性。

基于统一名称空间的资源池管理真正实现了存储资源的共享、弹性、服务，无需

为业务预分配空间，采用按需使用，精细运营管理，在降低总体拥有成本TCO的同

F寸进一步实现精细化的业务运营统计,帮助客户更加高效的利用和管理存储资源。

SandSton昭储系统

4.2.海量扩展

存储集群支持Scaleout方式进行横向扩展，存储容量和性能随存储服务器数量

线性增长。采用去中心化的元数据分散技术架构，实现业务无感知，低影响前提下进

行平滑扩展，而不会出现系统性能骤降的情况。横向扩展具有如下特性：

421.在线扩展

集群扩容，只需要在界面添加新增服务器,系统自动完成资源发现，硬件识别，

安装部署，数据智能均衡等过程，整个过程无需暂停业务，无需人工干预，轻松实现

一键扩容。

422.海量文件支持

分布式对象存储支持亚马逊S3存储访问协议该协议采用扁平化目录管理结构,

避免了海量文件数量条件下的目录管理复杂性以及性能问题。分布式对象存储采用先

进的DHT（分布式哈希）算法，该算法通过计算而非查找元数据服务器的方式来实

现文件的寻址定位，突破了元数据服务器性能限制的约束，使得单一名字空间下文件

数量可达百亿级别（理论上无上限），存储空间支持数百PB级容量扩展。

♦支持＜1亿个文件，支持100+亿个文件

,单目录支持100W级文件,单桶支持5000W个文件

技术规格指标:

功能分类功能规格对象存储

文件读写支持

存储基本功能

传输协议基于HTTP的REST/SOAPAPI,NAS网关

多租户支持

配额管理支持

访问权限管理支持桶、对象粒度的读写权限管理

安全与可靠性

数据加密支持对创密存储

传输加空支持HTTPS、AES'DES力口密

容灾支持跨数据中心容灾、数据中心双活

容量数百PB级

扩展性

文件数量数百亿级别

423.全局智能均衡

分布式存储采用先进的智能算法进行数据均衡，当一个新节点或磁盘加入集群

E寸，系统根据业务负载情况，基于业务QOS进行快速的数据均衡,无需任何的人工

干预，能够智能的在保障业务稳定性和快速数据均衡之间找到良好平衡点。

424.支持异构硬件

分布式存储是一款完全软件定义基础设施存储产品，能够兼容国内外各大主流厂

商的服务器硬件，包括不同品牌、规格的服务器，硬盘（磁盘，SSD,PCIeflash卡）,

支持不同规格、数量的异构硬件的混合部署。

4.2.5.对象文件分片上传下载支持

分布式对象存储支持跨广域网访问，支持对象的分片上传/下载功能，能够应对

广域网相对恶劣的网络条件，规避大文件传输过程中长连接（以NAS存储为例）因

网络抖动，超时等状况下断开传输连接的风险，更好的优化大文件的上传和下载性能

以及断点续传，下图为分片上传下载的SDK接口文件描述。

分片上传

函数名：

表12分片上传对象参数说明

参数说明约束条件是否必须默认值

bucketNameBucket名字String是无

key对象名字String是无

file分片上传的源File是无

文件

返回值:

示例：

ImtioteMultipartUploadRequest=newlnitiateMultipartUploadReqje3t(bucketname,objectname);

InnateMultipanUploadResults3_multj_res=corn.initiateMultipartllpload(s3_multi_req);

Stnngs3_mufo_uploadid=s3_multi_res.getUpcadld();

finalint33_part_3»ze=1024*1024’5；

Filelocal_file=newFile(file);

ints3_par:_count=(int)Math.ceil((double)(ocal_file.lengthij)1(double)s3_part_s，ze);

List*PartETa。•=newjavautilArrayLiet-PartETa。•();

try{

for(intpart_no=0:part_no<s3_pert_count;part_no++){

FieInputStream33_mput=newFilelnputStream(local_file);

long»3_offset_bytes=s3_part_size*part_no;

s3_input.skip(s3_offset_bytes：;

longpart_size=s3_part_size<1ocaLf'e.lengtfiO-33_offset_bytes)?s3_part_size

4.3.安全可靠

431.支持副本或者EC校验

分布式存储支持副本或者EC纠删码数据保护机制，可根据用户的需求自定义数

据保护安全级别，提供节点级，机柜级，POD级等级别的支持，数据写入的时候，

系统自动将不同副本或者EC的不同数据块分散到不同的硬件故障域，当硬盘、服务

器甚至机柜故障时，既不影响业务可用性，也不会导致数据的丢失。

对・内国校验快

匚皿藏

副本机制

数据放・

管理界面配置截图：

关闭

4.32全局数据恢复

分布式存储面对各种故障场景提供非常全面的数据保护，故障检测以及数据恢复

机制，包括系统磁盘损坏、磁盘静默数据跳变、服务器永久故障、操作系统损坏，系

统自动进行数据正确性，完整性，一致性校验，自动发现硬件故障并启动智能数据并

行恢复，大量硬盘有序并行的参与数据重建，避免单个节点的性能瓶颈,有效控制数

据恢复对业务的影响。

4.33支持跨数据中心部署

分布式对象存储支持跨数据中心部署，客户可根据需要进行多数据中心规划部

署，存储支持ACTIVE-ACTIVE方式访问，在实现跨地域容灾的同时支持跨地域的应

用协同,就近访问等场景，支持数据中心级别故障情况下做到无人为干预的、快速容

灾切换。

可结合GSLB全局负载均衡，实现应用在多个数据中心进行就近访问，提升存储

访问速度，利用全局均衡进行业务的跨数据中心负荷分担。

A城市分中心OB城市分中心

提供全面的数据中心连接状态以及数据一致性监控，并支持告警的界面展示，邮

件，SNMP等方式的告警通知，随时可了解数据中心连接状态以及数据同步完成情

况。

4.34支持基于快照的数据回滚

对象存储提供全场景的分级数据保护解决方案。除了基于EC、多副本以及跨站

点部署等先进技术，构建了"硬故障"数据保护方案，能够有效应对的磁盘、主机

故障以及数据中心电力故障、火灾地震灾难等场景，另外支持基于时间点快照的数据

回滚特性，以应对人为误操作导致的数据误修改、误删除等场景，支持灵活的快照点

定义策略，任意快照时间点的一键回滚。

4.35端到端的访问安全

亚马逊的aws云服务S3存储协议已经成为业界对象存储的事实标准，由于公有

云主要面向互联网多租户提供云存储服务，因此其设计者充分考虑了网络安全、多租

户鉴权、数据安全等安全因素，S3协议有一整套安全访问机制，包括多租户隔离、

访问鉴权、数据传输SSL认证、数字签名认证、bucket以及文件粒度的ACL控制（可

以设置桶的访问读写权限、和对象的访问权限I审计日志（每个文件的修改记录）、

数据正确性校验、服务器端加密等，杉岩对象存储完全兼容S3协议。

对象完整性校验

数据校脍

接入认证、权限控制

W分块级的数据校验

地理位置、周本

源端数据加密

服务器造数据加州

HUPS/SSL.AES/DES加密

传谕加密

数据分片、节点间ErasureCode、数据签名

部件冗余

保证对象数据块级安全

操作日志、权限控制、基于签名

每个对象分成多个数据块

分布到不同存储节点

•完善的揣到端安全措施，保护用户数据的私密性、完整性和可用性，打造“数据安全银行“

4.4.数据生命周期管理

跟自然生命的循环往复更替一样，数据同样在产生之后会经历活跃期，非活跃期，

冷冻期，消亡阶段，称之为数据的生命周期，生命周期的不同阶段对数据的访问性能,

持久性,成本有不同的要求。活跃期的数据会频繁的访问，对数据的吞吐，时延等要

求较