《公有云技术与应用》课件-项目三:云存储架构设计与应用_第1页
《公有云技术与应用》课件-项目三:云存储架构设计与应用_第2页
《公有云技术与应用》课件-项目三:云存储架构设计与应用_第3页
《公有云技术与应用》课件-项目三:云存储架构设计与应用_第4页
《公有云技术与应用》课件-项目三:云存储架构设计与应用_第5页
已阅读5页,还剩122页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

公有云技术与应用1.云存储基本概念及组成目录CATALOG云存储的定义与核心价值应用场景与选型策略云存储技术组成与架构总结与课后实践云存储的定义与核心价值01

在云计算技术体系中,云存储是数据持久化与管理的核心基础设施。01云存储的定义与核心价值定义云存储是通过网络提供可弹性扩展的存储资源和服务,基于分布式存储技术、虚拟化技术和自动化管理,将分散的物理存储资源池化,为用户提供按需分配的存储能力。本质是“存储即服务”,突破传统本地存储的容量、性能与扩展性限制。

01云存储的定义与核心价值

核心技术特征1.弹性扩展:

存储容量可按需动态调整,支持PB级甚至EB级数据存储。例如,阿里云OSS支持单桶存储无限量对象。

2.高可靠性:

通过数据多副本(如三副本机制)、纠删码等技术保障数据持久性(通常达99.9999999%)。

案例:AWSS3通过跨区域复制实现数据异地容灾。

01云存储的定义与核心价值

核心技术特征3.低成本:

按需付费模式降低初始投资,企业无需采购物理存储设备。据IDC统计,云存储成本比自建数据中心低40%-60%。

4.安全隔离:

支持加密传输(TLS)和静态加密(AES-256),结合访问控制(ACL、RAM策略)实现数据权限管理。

01云存储的定义与核心价值

云存储技术组成与架构021.块存储原理:将存储设备划分为固定大小的块,通过iSCSI/NVMe-oF协议挂载至云服务器,支持随机读写。

特点:高性能、低时延,适合数据库等需要裸盘访问的场景。

典型产品:阿里云云盘、AWSEBS。

案例:某金融企业使用AWSEBS部署Oracle数据库,IOPS达50万,满足高频交易需求。

(一)存储类型分类

02云存储技术组成与架构2.对象存储原理:以对象为单位存储数据,每个对象包含数据、元数据和唯一标识符,通过RESTfulAPI访问。

特点:海量存储、高扩展性,支持图片、视频、日志等非结构化数据。

典型产品:腾讯云COS、华为云OBS。

案例:抖音每天通过火山引擎对象存储处理billionsof视频上传,单桶支持百亿级对象。

(一)存储类型分类

02云存储技术组成与架构3.文件存储

原理:提供标准文件系统接口(NFS/SMB),支持多节点共享访问,适合数据分析、内容管理等场景。

特点:强一致性、支持文件锁,适合需要多机协作的应用。

典型产品:阿里云文件存储(NAS)、AWSEFS。

案例:某电商平台使用NAS存储商品图片,支持thousandsof前端服务器并发读取。

(一)存储类型分类

02云存储技术组成与架构与传统存储的对比

维度传统存储云存储部署方式本地机房,硬件采购周期长云端即时可用,分钟级部署扩展性受限于物理设备,扩容复杂弹性扩展,支持线性增长数据可靠性依赖单机

RAID,故障率较高分布式多副本,自动故障迁移管理成本需专业运维团队自动化管理,降低人力成本02云存储技术组成与架构

(一)存储类型分类

1.块存储(BlockStorage)

原理:将存储设备划分为固定大小的块,通iSCSI/NVMe-oF协议挂载至云服务器,支持随机读写。

特点:高性能、低时延,适合数据库等需要裸盘访问的场景。

典型产品:阿里云云盘(ESSD)、AWSEBS。

案例:某金融企业使用AWSEBS部署Oracle数据库,IOPS达50万,满足高频交易需求。

02云存储技术组成与架构

(一)存储类型分类

2.对象存储(ObjectStorage)

原理:以对象为单位存储数据,每个对象包含数据、元数据和唯一标识符,通过RESTfulAPI访问。

特点:海量存储、高扩展性,支持图片、视频、日志等非结构化数据。

典型产品:腾讯云COS、华为云OBS。

案例:抖音每天通过火山引擎对象存储处理billionsof视频上传,单桶支持百亿级对象。

02云存储技术组成与架构

(一)存储类型分类

3.文件存储(FileStorage)

原理:提供标准文件系统接口(NFS/SMB),支持多节点共享访问,适合数据分析、内容管理等场景。

特点:强一致性、支持文件锁,适合需要多机协作的应用。

典型产品:阿里云文件存储(NAS)、AWSEFS。

案例:某电商平台使用NAS存储商品图片,支持thousandsof前端服务器并发读取。

02云存储技术组成与架构对比维度弹性文件服务对象存储服务云硬盘概念提供按需扩展的高性能文件存储,可为云上多个云服务器提供共享访问。弹性文件服务就类似Windows或Linux中的远程目录。提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务,可满足不同场景的业务需求。云硬盘就类似PC中的硬盘。存储数据的逻辑存放的是文件,会以文件和文件夹的层次结构来整理和呈现数据。存放的是对象,可以直接存放文件,文件会自动产生对应的系统元数据,用户也可以自定义文件的元数据。存放的是二进制数据,无法直接存放文件,如果需要存放文件,需要先格式化文件系统后使用。访问方式在ECS/BMS中通过网络协议挂载使用,支持NFS和CIFS的网络协议。需要指定网络地址进行访问,也可以将网络地址映射为本地目录后进行访问。可以通过互联网或专线访问。需要指定桶地址进行访问,使用的是HTTP和HTTPS等传输协议。只能在ECS/BMS中挂载使用,不能被操作系统应用直接访问,需要格式化成文件系统进行访问。使用场景如高性能计算、媒体处理、文件共享和内容管理和Web服务等。

说明:高性能计算:主要是高带宽的需求,用于共享文件存储,比如基因测序、图片渲染这些。如大数据分析、静态网站托管、在线视频点播、基因测序和智能视频监控等。如高性能计算、企业核心集群应用、企业应用系统和开发测试等。

说明:高性能计算:主要是高速率、高IOPS的需求,用于作为高性能存储,比如工业设计、能源勘探这些。02云存储技术组成与架构维度块存储对象存储文件存储数据结构无结构化(原始块)键值对(Object)层级文件系统访问协议iSCSI、NVMe-oFRESTfulAPINFS/SMB典型场景数据库、高性能计算海量文件存储、数据湖多机共享、内容管理容量扩展单卷最大数

TB单桶无限量单文件系统

PB级02云存储技术组成与架构

(二)技术架构解析

1.物理层

硬件组件:

存储介质:SSD/HDD硬盘、NVMe闪存卡;

服务器:存储节点(含计算与存储功能)、元数据节点;

网络设备:万兆/25G交换机、光纤通道(FC)。

分布式存储集群:

通过一致性哈希算法实现数据分片,如Ceph集群将数据分布在多个OSD节点。

02云存储技术组成与架构

(二)技术架构解析

2.数据管理层

核心功能:

数据分布:通过副本策略或纠删码实现数据冗余;

负载均衡:自动迁移数据分片,避免单节点过载;

故障恢复:检测到节点故障时,自动从副本/纠删码重建数据。

元数据管理:

存储对象/文件的元数据,通常使用分布式键值存储。

02云存储技术组成与架构

(二)技术架构解析

3.接口层

访问协议:

块存储:iSCSI、NVMe-oF;

对象存储:RESTfulAPI(如S3协议);

文件存储:NFSv4、SMB3.0。

开发工具包:

云厂商提供SDK(如AWSSDKforJava、阿里云OpenAPI),简化应用对接。

02云存储技术组成与架构

(二)技术架构解析

4.服务层

增值服务:

数据生命周期管理:自动将冷数据归档至低成本存储;

数据加密:静态加密(服务器端加密SSE)、客户端加密(CSE);

数据分析:无缝对接大数据平台,实现存储计算分离。

02云存储技术组成与架构应用场景与选型策略03

(一)场景化应用解析

1.企业数据备份与归档

需求:海量历史数据长期保存,需低成本、高可靠。

方案:使用对象存储+生命周期管理,将数据定期归档至低频访问存储

成本优势:归档存储成本仅为标准存储的1/5,适合医疗影像、日志数据等冷数据。

03典型应用场景与选型策略

(一)场景化应用解析

2.高性能计算(HPC)

需求:高带宽、低时延的数据共享,支持并行计算。

方案:采用文件存储,基于NFS协议实现多节点数据共享,带宽达GB级。

案例:某气象研究院使用SFSTurbo存储气象模拟数据,计算集群吞吐量提升300%。

03典型应用场景与选型策略

(一)场景化应用解析

3.云原生应用

需求:弹性扩展、支持容器化部署。

方案:对象存储作为容器镜像仓库(如DockerHub集成AWSECR),块存储为KubernetesPod提供持久化卷(PV)。

03典型应用场景与选型策略

(二)选型策略建议

1.数据类型优先:

结构化数据(如数据库)→块存储;

非结构化数据(如图片、视频)→对象存储;

多机共享数据→文件存储。

03典型应用场景与选型策略

(二)选型策略建议

2.性能指标考量:

吞吐量:对象存储>文件存储>块存储(顺序读写);

时延:块存储<文件存储<对象存储(随机读写)。

03典型应用场景与选型策略

(二)选型策略建议

3.成本优化策略:

热数据(高频访问):选择标准存储;

温数据(低频访问):选择低频存储;

冷数据(归档):选择归档存储。

最佳实践:

中小企业:优先选择对象存储,满足80%通用存储需求;

大型企业:采用混合存储架构,核心业务本地化,非敏感数据上公有云。

03典型应用场景与选型策略

总结与课后实践04

1.登录华为云控制台,体验OBS对象存储的文件上传与生命周期管理;

2.思考案例:某视频平台需存储10PB视频数据,如何设计存储架构以平衡成本与性能?

04总结与课后实践公有云技术与应用2.块存储服务应用目录CATALOG技术本质与核心特征选型与实施策略

核心应用场景解析总结与实践任务块存储的技术本质与核心特征01

块存储服务的深度应用)块存储作为云存储体系中高性能、低时延的代表,是数据库、高性能计算等核心业务的“基础设施”。01块存储的技术本质与核心特征定义块存储是将物理存储设备划分为固定大小的“数据块”,通过网络协议挂载至云服务器或物理机,提供裸盘级访问的存储服务。其核心特点是数据以原始块形式直接交付给主机,用户可自主管理文件系统,灵活性与性能兼具。

01块存储的技术本质与核心特征关键技术特征

1.高性能随机读写

支持单盘数万至数百万IOPS(Input/OutputOperationsPerSecond),典型场景如金融交易系统、实时数据分析。

案例:某互联网企业使用阿里云ESSD块存储部署Redis集群,单实例IOPS达100万,响应时延<0.5ms。

01块存储的技术本质与核心特征关键技术特征

2.强一致性与低时延

通过本地RAID(如RAID10)或分布式多副本机制保障数据一致性,时延可控制在微秒至毫秒级。

对比:对象存储(如OSS)时延通常为毫秒级,而块存储随机读写时延低至100-500μs。

01块存储的技术本质与核心特征关键技术特征

3.灵活的资源管理

支持动态扩容(如AWSEBS卷在线扩容)、快照备份(秒级创建数据副本)和加密(AES-256全链路加密)。

操作示例:腾讯云CBS块存储支持“一键创建快照”,并可通过快照快速恢复数据至任意时间点。

01块存储的技术本质与核心特征云存储技术组成与架构02需求痛点:数据库需要高随机读写性能、强事务一致性和低时延响应。

解决方案:采用高性能块存储,搭配主从架构或分布式数据库。

技术要点:

单实例部署时,块存储直接挂载为数据盘;

分布式场景中,通过共享块存储实现多节点数据同步。

案例:某银行核心账务系统使用AWSEBSProvisionedIOPS卷,支持每秒10万笔交易,数据一致性达到ACID标准。

(一)关系型数据库部署

02云存储技术组成与架构需求痛点:科学计算、基因测序等场景需要高带宽吞吐量和并行访问能力。

解决方案:

部署NVMe-over-Fabrics块存储,通过RDMA协议实现低时延、高带宽数据传输。

架构示例:

计算节点→

万兆交换机

→NVMe-oF块存储集群

案例:某气象研究院使用腾讯云CBSNVMe块存储构建数值模拟平台,单个计算任务数据处理效率提升4倍。

(二)高性能计算(HPC)与实时分析

02云存储技术组成与架构需求痛点:Kubernetes等容器平台需要持久化存储支持状态ful应用。

解决方案:通过云厂商提供的容器存储接口将块存储挂载为KubernetesPV。

操作流程:1.创建块存储卷;

2.在Pod定义中引用卷;

3.通过动态供给实现卷的自动创建与回收。

案例:某电商平台使用DockerSwarm+块存储部署微服务架构,订单服务容器重启后数据零丢失。

(三)容器化与云原生应用

02云存储技术组成与架构需求痛点:核心数据需要高频备份、快速恢复和异地容灾。

解决方案:

利用块存储的快照功能,结合跨区域复制实现异地容灾。

恢复机制:

本地故障:通过快照秒级恢复数据;

异地灾备:通过异步复制保障业务连续性。

案例:某医疗企业通过腾讯云CBS快照+对象存储归档,实现电子病历数据“每日全量备份+高频增量备份”,备份成本降低60%。

(四)数据备份与容灾

02云存储技术组成与架构块存储选型与实施策略03

(一)核心选型指标

1.性能指标

IOPS:根据业务峰值负载计算,公式:

所需IOPS=每秒事务数(TPS)×

单事务IO操作数

吞吐量:顺序读写场景关注带宽(如GB/s),随机读写关注IOPS。

示例:OLTP数据库(如Oracle)建议选择IOPS≥5万的块存储。

03块存储选型与实施策略

(一)核心选型指标

2.可靠性配置

多副本策略:默认三副本(如阿里云ESSD),金融场景可配置五副本;

跨可用区(AZ)部署:如将主数据库块存储与备份存储分布在不同AZ。

03块存储选型与实施策略

(一)核心选型指标

3.成本优化

按需付费vs包年包月:测试环境用按需(成本灵活),生产环境包年(节省30%-50%);

混合存储架构:热数据用高性能块存储,冷数据迁移至对象存储(如AWSEBS+S3)。

03块存储选型与实施策略

(二)实施最佳实践

1.架构设计原则

存储与计算分离:避免计算节点与存储节点耦合,支持独立扩缩容;

分层存储:

高性能层:SSD块存储,承载核心业务;

容量层:HDD块存储或对象存储,承载历史数据。

03块存储选型与实施策略

(二)实施最佳实践

03块存储选型与实施策略

2.监控与调优

使用云厂商监控工具实时跟踪IOPS、时延、容量利用率;

调优策略:

当IOPS利用率>80%时,扩容块存储或增加实例数量;

定期清理无效快照,释放存储资源。

(二)实施最佳实践

3.安全加固

启用传输加密(TLS1.3)和静态加密(服务器端加密SSE);

通过RAM角色(如阿里云RAM)限制块存储访问权限,实现“最小权限原则”。

03块存储选型与实施策略

总结与实践任务04

块存储是数据库、高性能计算等场景的“刚需”存储类型,以高性能、低时延、强一致性为核心优势;

选型时需综合性能、可靠性、成本三维度,结合业务特性设计架构;

04总结与实践任务

1.登录腾讯云控制台,创建一块SSD块存储并挂载至云服务器,体验快照创建与回滚;

2.调研某行业案例(如电商、金融),分析其块存储架构设计思路,撰写500字分析报告。

04总结与实践任务

公有云技术与应用3.对象存储服务目录CATALOG核心定义核心优势与特点

核心技术架构应用场景对象存储服务定义01

对象存储服务这种服务以对象为基本单位管理数据,是图片、视频、日志等海量文件的理想存储载体。01对象存储服务的定义

定义对象存储是一种以对象为单位的存储架构每个对象包含三部分:

1.数据本身;

2.元数据;

3.唯一标识符。

01对象存储服务的定义

它通过RESTfulAPI提供访问接口,突破传统文件系统的层级结构限制,支持无限扩展的扁平存储模型。例如阿里云OSS中,所有文件都直接存储在Bucket(存储桶)中,无需多级文件夹嵌套。

01对象存储服务的定义

核心技术架构02采用分布式集群部署,数据通过分片算法分布在多个节点;

冗余策略:默认三副本存储或纠删码(如124模式,牺牲4份冗余保障12份数据可靠性),数据持久性达999999999。

1数据存储层02核心技术架构独立的元数据服务器集群(如基于etcd或分布式数据库),存储对象的Key、元数据及物理位置;

支持亿级对象的毫秒级查询,例如AWSS3单桶可存储百亿级对象,查询延迟10ms。

2元数据管理层

02核心技术架构提供RESTfulAPI(GETPUTDELETE)、SDK(JavaPython等)及工具(如ossutil);

支持签名认证(如HMACSHA1)、防盗链等安全机制。

3访问接口层

02核心技术架构核心优势与特点0303核心优势与特点单存储桶容量无上限,支持PB级甚至EB级数据,扩容无需停机。某社交平台通过对象存储存储用户上传的图片,日均新增数据10TB,3年累计存储量达10PB。

03核心优势与特点1海量存储与弹性扩展存储成本仅为传统存储的1315,支持按实际使用量计费(如阿里云OSS标准存储0023元GB月);结合生命周期管理(如30天未访问的数据自动转低频存储),成本可再降40。

03核心优势与特点2低成本与按需付费

跨区域复制功能(如腾讯云COS跨区域同步)实现异地容灾;结合CDN加速,全球用户可就近获取数据,访问速度提升510倍。

03核心优势与特点3高可用与全球访问支持数据静态加密(AES256)、传输加密(TLS13);符合等保20、GDPR等合规要求,适合金融、医疗等敏感行业。

03核心优势与特点4安全与合规应用场景04

(一)海量媒体资源存储需求:短视频平台需存储亿级用户上传的视频,支持快速访问与转码。

解决方案:视频文件直接上传至对象存储,通过API对接转码服务(如阿里云媒体处理MPS);

播放时通过CDN加速,降低源站压力。

案例:抖音通过火山引擎对象存储存储短视频,单桶日处理上传文件超1亿个,播放加载速度1秒。04典型应用场景

(二)数据备份与归档

需求:企业需长期保存日志、备份数据,要求低成本、高可靠。

解决方案:业务系统日志实时写入对象存储;

配置生命周期规则:30天转低频存储,90天转归档存储。

案例:某银行将交易日志存储至华为云OBS归档存储,单月存储成本从5万元降至12万元。

04典型应用场景

(三)静态网站与小程序托管需求:快速搭建无需服务器的静态网站(如企业官网、小程序资源)。

解决方案:将HTML、CSS、JS文件上传至对象存储,开启静态网站托管功能;

绑定自定义域名并配置HTTPS,直接对外提供服务。

案例:某初创公司通过阿里云OSS托管官网,无需采购服务器,年运维成本节省80。

04典型应用场景总结与实践任务05

对象存储以海量、低成本、高可用为核心优势,是云计算时代非结构化数据的首选存储方案。其与块存储、文件存储的关键区别在于:对象存储适合一次写入、多次读取的海量数据,而块存储侧重高性能随机读写,文件存储侧重多节点共享。

05总结与实践任务

1登录腾讯云控制台,创建COS存储桶,上传一张图片并通过公开链接访问;

2设计方案:某医疗机构需存储百万级患者CT影像,要求支持长期归档与快速调阅,如何基于对象存储实现?

05总结与实践任务

公有云技术与应用4.数据备份与容灾方案目录CATALOG定义核心优势核心技术架构应用场景数据备份与容灾的定义01

数据备份与容灾方案从定义、核心技术到实际应用,解析如何构建“多层次、高可靠”的数据保护体系,确保在故障、灾难发生时实现数据可恢复、业务可延续。01数据备份与容灾的定义数据备份指通过技术手段将数据复制到其他存储介质(如云存储、磁带),形成可恢复的副本,用于应对数据误删、损坏等场景。其核心是“数据可回溯”,确保在发生逻辑错误时能恢复至历史状态。

01数据备份与容灾的定义

容灾指在突发灾难(如地震、机房故障)导致主系统失效时,通过预先部署的备用系统快速接管业务,实现“业务不中断”。容灾不仅关注数据恢复,更强调业务连续性。

01数据备份与容灾的定义

两者关系备份是容灾的基础,容灾是备份的延伸——没有备份的容灾无法实现数据恢复,没有容灾的备份难以保障业务连续性。

01数据备份与容灾的定义

核心技术架构02

(一)备份技术

1.快照备份

对云服务器、云盘生成时间点副本(如阿里云快照),支持秒级创建、增量存储,适合高频备份场景(如每小时一次)。

优势:备份速度快(仅记录变化数据)、恢复便捷(直接从快照创建实例)。

02核心技术架构

(一)备份技术

2.文件级备份

针对特定文件或目录(如日志、配置文件)进行备份,通过API对接对象存储(如AWSS3),适合小批量关键数据。

02核心技术架构

(一)备份技术

3.数据库备份

针对MySQL、Oracle等数据库的专属备份(如腾讯云CDB备份),支持物理备份(全量数据)和逻辑备份(SQL语句),保障事务一致性。

02核心技术架构

(二)容灾技术

1.多副本存储

主数据自动生成多副本(如三副本机制),分布在不同存储节点,单节点故障时自动切换至副本,RPO(恢复点目标)=0。

02核心技术架构

(二)容灾技术

2.跨区域复制

通过异步/同步复制技术将数据传输至异地(如华为云跨区域备份),同步复制RPO<1秒(适合金融核心业务),异步复制RPO=15分钟(适合非核心业务)。

02核心技术架构

(二)容灾技术

3.灾备切换

基于监控系统(如Zabbix)检测主系统故障,自动/手动触发切换流程,备用系统通过DNS解析、负载均衡接管流量,RTO(恢复时间目标)可控制在分钟级。

02核心技术架构核心优势031.高可靠性

数据多副本存储+异地容灾,实现“本地故障不丢数据,区域灾难可恢复”,数据持久性达99.9999999%。

03核心优势

2.成本优化按需付费(如备份存储按容量计费),无需自建灾备机房,成本比传统灾备方案降低60%-80%。03核心优势

3.灵活扩展

备份容量、容灾节点可随业务增长弹性扩展,支持从“基础备份”到“两地三中心”容灾的平滑升级。

03核心优势

4.自动化运维支持定时备份策略(如每日凌晨全量+每小时增量)、自动检测副本健康状态,减少人工干预。

03核心优势

应用场景04需求:防范员工误删、病毒攻击导致的数据丢失,需支持按时间点恢复。

方案:

云服务器开启自动快照(每日1次全量+每4小时增量),数据库启用逻辑备份,备份数据存储至对象存储归档层。

(一)企业日常数据保护04典型应用场景案例:某电商平台通过快照+对象存储备份商品数据,在遭遇“误删商品库”事件后,从3小时前的快照恢复,仅丢失少量新增数据。

04典型应用场景需求:核心交易系统需满足“零数据丢失、分钟级恢复”,符合监管合规要求。

方案:

采用“同城双活+异地灾备”架构:主系统与同城备用系统同步复制(RPO=0),异地灾备系统异步复制(RPO=15分钟)。

(二)金融行业高可用容灾

04典型应用场景案例:某银行通过AWSMulti-AZ部署核心系统,主可用区故障时,备用区1分钟内接管交易,未造成业务中断。

04典型应用场景需求:按法规要求保存海量历史数据(如社保记录、政务文件),需低成本、高可靠存储。

方案:

业务系统数据定期备份至归档存储(如阿里云归档OSS),设置“7年不可删除”策略,支持按需解冻读取。

(三)政务数据长期归档

04典型应用场景案例:某省政务云将10年社保数据归档至对象存储,存储成本比磁带库降低50%,且检索速度提升10倍。04典型应用场景总结与实践任务05数据备份与容灾的核心目标是“数据不丢、业务不停”,其设计需结合业务重要性(如核心/非核心)、合规要求(如RPO/RTO指标)和成本预算。

05总结与实践任务

1.登录华为云控制台,为一台云服务器配置自动快照策略(每日1次,保留7天);

2.设计方案:某医院电子病历系统需满足“数据丢失不超过5分钟,故障恢复不超过30分钟”,如何规划备份与容灾架构?

05总结与实践任务

公有云技术与应用5.分布式存储与存储网关目录CATALOG核心定义核心优势核心技术架构应用场景核心定义01

分布式存储与存储网关分布式存储通过集群化架构突破了物理硬件限制,存储网关则架起了传统IT环境与云端存储的桥梁。01核心定义分布式存储一种将数据分散存储在多个独立节点(服务器)的存储架构,通过分布式算法实现数据分片、冗余与协同访问。01核心定义分布式存储其核心是“去中心化”,单个节点故障不影响整体服务,支持从TB级到EB级的平滑扩容。例如,阿里云OSS底层基于分布式存储集群,单集群可容纳数十亿对象。

01核心定义存储网关部署在本地数据中心与云端存储之间的中间件,提供标准存储接口(如NFS、iSCSI、S3),实现本地数据与云端存储的无缝协同。传统应用无需改造即可使用云存储服务。

01核心定义核心技术架构021.数据分片与分布

-采用一致性哈希算法将数据分割为固定大小的块(如4MB/块),均匀分布在集群节点中,避免单节点过载。

-冗余策略:通过多副本(如3副本)或纠删码(如12+4模式)实现数据容错,确保任意3个

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论