阿里云体系架构课件

数据中心DataCenterLinux分布式文件系统DistributedFileSystem任务调度JobScheduling集群部署Deployment集群监控Monitoring弹性计算服务

(ECS)开放结构化数据服务

(OTS)开放存储服务

(OSS)开放数据处理服务

(ODPS)云引擎(ACE)地图、电邮、搜索、安全、渲染、PW社区云市场及第三方服务大规模分布式计算系统（飞天）关系型数据库服务

(RDS)资源管理ResourceManagement安全管理SecurityManagement远程过程调用RemoteProcedureCall分布协同服务DistributedCoordinationService开放缓存服务

(OCS)阿里云体系架构-1级架构图2022/11/7数据中心DataCenterLinux分布式文件系统任务调1管理飞天以及上层应用服务的部署和配置、支持集群增量扩容和应用服务的在线升级

监控飞天集群和上层应用服务的运行状况和性能指标，支持在线离线的性能剖析和故障诊断。管理飞天以及上层应用服务的部署和配置、支持集群增量扩容和应用服务的在线升级

监控飞天集群和上层应用服务的运行状况和性能指标，支持在线离线的性能剖析和故障诊断。门类齐全的云服务产品，满足用户存储，计算，数据库，大数据分析的需求

以飞天大规模分布式计算系统为平台支撑，统一管理集群的系统资源，控制分布式应用的运行

多用户的运行环境，资源共享，安全隔离Linux数据中心DataCenter基于Kerberos的用户认证，基于权能机制的访问控制和授权。提供点对点的进程间远程调用服务，支持通讯信道的数据压缩和一致性校验。提供命名服务、状态同步服务和分布式锁服务。调度和分配集群的内存和计算等资源，管理进程的生命周期和资源使用。确保多用户之间公平有效地共享集群资源。分布式文件系统DistributedFileSystem任务调度JobScheduling一个10PB级别、上亿个文件的文件系统

提供类POSIX的API

支持随机读、追加写。面向海量数据处理和大规模计算类型的复杂应用，提供了灵活高效的数据驱动的多级流水线并行计算框架。开放存储服务(OSS)开放结构化数据服务(OTS)开放数据处理服务(ODPS)弹性计算服务(ECS)关系型数据库服务(RDS)AliyunAPIDeployment集群布署

Monitoring集群监控以绿色高效的云数据中心和大规模Linux服务器集群为基础资源管理ResourceManagement安全管理SecurityManagement远程过程调用RemoteProcedureCall分布协同服务DistributedCoordinationService飞天大规模分布式计算系统(Apsara)阿里云体系架构-1级架构图管理飞天以及上层应用服务的部署和配置、支持集群增量扩容和应2阿里云系统架构数据中心DataCenterLinux分布式文件系统DistributedFileSystem任务调度JobScheduling集群部署Deployment集群监控Monitoring弹性计算服务

(ECS)开放结构化数据服务

(OTS)开放存储服务

(OSS)开放数据处理服务

(ODPS)云引擎(ACE)地图、电邮、搜索、安全、渲染、PW社区云市场及第三方服务大规模分布式计算系统（飞天）关系型数据库服务

(RDS)资源管理ResourceManagement安全管理SecurityManagement远程过程调用RemoteProcedureCall分布协同服务DistributedCoordinationService开放缓存服务

(OCS)阿里云系统架构数据中心DataCenterLinux分布式3阿里云技术架构业务应用基础设施飞天分布式云操作系统联机事物处理(OLTP)联机分析处理(OLAP)大数据分析及处理内容管理搜索检索x86服务器&Linux弹性计算服务SLB/ECS(分布式)关系数据库

DRDS/RDS大数据

ODPS/ADS开放存储OSS分布式文件系统分布协同服务任务调度安全管理远程过程调用资源管理集群部署集群监控网络设备机房环境云计算和大数据产品/服务……阿里云技术架构业务应用基础飞天分布式云操作系统联机事物处理联4阿里云的产品体系阿里云的产品体系5分布式文件系统-（一层结构）分布式文件系统-（一层结构）6分布式文件系统-盘古客户端主要为：ECSOSS/OSAODPS/OpensearchOTS/SLS分布式文件系统-盘古客户端主要为：7分布式文件系统-二层结构Paxos分布式文件系统-二层结构Paxos8任务调度系统-伏羲任务调度系统-伏羲9物理部署示意图物理部署示意图10IAAS基础服务-ECS弹性服务器IAAS基础服务-ECS弹性服务器11IAAS基础服务-SLB负载均衡IAAS基础服务-SLB负载均衡12IAAS基础服务-ESS弹性伸缩服务IAAS基础服务-ESS弹性伸缩服务13IAAS基础服务-OSS基础架构IAAS基础服务-OSS基础架构14http://<bucket>./<object>协议接入层RESTfulLB/LVS数据访问层Key-Value引擎持久存储层Pangu负载均衡协议处理、访问控制分区、索引持久、冗余、容错RESTful协议处理资源使用计量防攻击策略授权、认证海量、分布式的KV存储可扩展至数千台服务器KVMaster/KVServer/Nuwa基于分布式文件系统PanguMaster-Slave，基于Paxos的多Master设计。三份拷贝分布不同机架存储IAAS基础服务-OSS基础架构http://<bucket>.oss.aliyuncs.c15IAAS基础服务-OSS实现云端数据处理上传文件到OSS后，可以配合使用媒体转码服务、图片处理服务、批量计算服务、离线数据处理服务（ODPS），挖掘数据的价值。IAAS基础服务-OSS实现云端数据处理上传文件到OSS后，16阿里云体系架构PAAS-开放表格服务OTSOTS是构建在阿里云飞天分布式系统之上的NoSQL数据库服务，提供海量结构化数据的

存储和实时访问。OTS以实例和表的形式组织数据，通过数据分片和负载均衡技术实现规模上的无缝扩展。应用通过OTSAPI或者操作管理控制台来使用OTS服务

阿里云体系架构PAAS-开放表格服务OTSOTS是构建在阿里17阿里云体系架构PAAS-开放表格服务阿里云体系架构PAAS-开放表格服务18大规模：基于阿里云云操作系统通用性：支持表，视图，事务，增删更新查等功能，支持partition,primaykey高可用：通过自动故障迁移来提供高可用性；通过存储的冗余备份来确保数据的安全。实时性：支持实时的数据插入、删除和更新；支持实时的随机查询、范围查询和偏移查询，并可通过视图和分页的方式让查询更高效。一致性：通过数据分区内的事务，使得数据的更改和查询保持强一致性宜用性：通过提供多语言SDK（包括C++、Python、C#等）让用户的开发更便捷。经济性：仅按用户的实际资源使用进行计费。PAAS-开放表结构服务(OTS)大规模：基于阿里云云操作系统PAAS-开放表结构服务(O19PAAS-大数据计算服务ODPS功能组成PAAS-大数据计算服务ODPS功能组成20PAAS-大数据计算服务ODPS架构图PAAS-大数据计算服务ODPS架构图21PAAS-大数据计算服务ODPS多数据中心PAAS-大数据计算服务ODPS多数据中心22PAAS-大数据计算服务多租户PAAS-大数据计算服务多租户23PAAS-大数据计算服务-数据交换PAAS-大数据计算服务-数据交换24PAAS-云数据库服务-RDS云数据库-关系型数据库服务，是一种稳定、可靠、可弹性伸缩的在线服务数据库。在线的关系数据库服务即开即用支持四种DB引擎;MySQL、SQLServer、postgreSQL，PPAS支持在线的扩容、备份回滚、性能监控

和分析等功能安全性抵御90%的攻击可用性多重容灾，可用性99.95%易用性自动备份、恢复、审计，和自动监控可扩展性配置可弹性伸缩RDS采用主从备份架构，具有高可用和数据可靠性PAAS-云数据库服务-RDS云数据库-关系型数据库服务，是25PAAS-云数据库服务-RDS总体架构PAAS-云数据库服务-RDS总体架构26PAAS-云数据库服务-RDS数据量性能瓶颈，单实例最大14000IOPS、25000OPS，承载2TPAAS-云数据库服务-RDS数据量性能瓶颈，单实例最大1427PAAS-云数据库服务-RDSPAAS-云数据库服务-RDS28PAAS中间件-分布式关系数据库DRDSPAAS中间件-分布式关系数据库DRDS29PAAS中间件-分布式关系数据库DRDSPAAS中间件-分布式关系数据库DRDS30PAAS中间件-分布式关系数据库DRDSPAAS中间件-分布式关系数据库DRDS31PAAS中间件-分布式关系数据库DRDSPAAS中间件-分布式关系数据库DRDS32Paas中间件-分布式关系数据库DRDS-功能栈Paas中间件-分布式关系数据库DRDS-功能栈33PAAS中间件-分布式关系数据库DRDS-读写分离PAAS中间件-分布式关系数据库DRDS-读写分离34PAAS中间件-DRDS-分库分表PAAS中间件-DRDS-分库分表35PAAS中间件-DRDS-分库分表1F

2F

3F

4M

5F

6M

7M

8M

9M

10F

2F4M6M8M10F1F3F5F7M2F10F4M6M8M1F3F5F7M9M分库ID分表GenderPAAS中间件-DRDS-分库分表1F2F3F4M536PAAS中间件-DRDS-SQL路由Select*fromcustomerWhereid=7Andgender=‘M’按照查询条件做路由：1：定位数据库2：定位表分片PAAS中间件-DRDS-SQL路由Select*fro37PAAS中间件-DRDS-扩容用户视角系统视角PAAS中间件-DRDS-扩容用户视角系统视角38PAAS中间件-DRDS-平滑扩容PAAS中间件-DRDS-平滑扩容39阿里云分析性数据库为什么快底层存储使用SSD盘，更强的磁盘IO能力表关联的时候，使用快速hashjoin智能索引自动结合数据状况创建合理的索引数据做就近处理、没有传输的开销尽量在内存中做各种表的关联和计算阿里云分析性数据库为什么快底层存储使用SSD盘，更强的磁盘I40数据中心DataCenterLinux分布式文件系统DistributedFileSystem任务调度JobScheduling集群部署Deployment集群监控Monitoring弹性计算服务

(ECS)开放结构化数据服务

(OTS)开放存储服务

(OSS)开放数据处理服务

(ODPS)云引擎(ACE)地图、电邮、搜索、安全、渲染、PW社区云市场及第三方服务大规模分布式计算系统（飞天）关系型数据库服务

(RDS)资源管理ResourceManagement安全管理SecurityManagement远程过程调用RemoteProcedureCall分布协同服务DistributedCoordinationService开放缓存服务

(OCS)阿里云体系架构-1级架构图2022/11/7数据中心DataCenterLinux分布式文件系统任务调41管理飞天以及上层应用服务的部署和配置、支持集群增量扩容和应用服务的在线升级

监控飞天集群和上层应用服务的运行状况和性能指标，支持在线离线的性能剖析和故障诊断。管理飞天以及上层应用服务的部署和配置、支持集群增量扩容和应用服务的在线升级

监控飞天集群和上层应用服务的运行状况和性能指标，支持在线离线的性能剖析和故障诊断。门类齐全的云服务产品，满足用户存储，计算，数据库，大数据分析的需求

以飞天大规模分布式计算系统为平台支撑，统一管理集群的系统资源，控制分布式应用的运行

多用户的运行环境，资源共享，安全隔离Linux数据中心DataCenter基于Kerberos的用户认证，基于权能机制的访问控制和授权。提供点对点的进程间远程调用服务，支持通讯信道的数据压缩和一致性校验。提供命名服务、状态同步服务和分布式锁服务。调度和分配集群的内存和计算等资源，管理进程的生命周期和资源使用。确保多用户之间公平有效地共享集群资源。分布式文件系统DistributedFileSystem任务调度JobScheduling一个10PB级别、上亿个文件的文件系统

提供类POSIX的API

支持随机读、追加写。面向海量数据处理和大规模计算类型的复杂应用，提供了灵活高效的数据驱动的多级流水线并行计算框架。开放存储服务(OSS)开放结构化数据服务(OTS)开放数据处理服务(ODPS)弹性计算服务(ECS)关系型数据库服务(RDS)AliyunAPIDeployment集群布署

Monitoring集群监控以绿色高效的云数据中心和大规模Linux服务器集群为基础资源管理ResourceManagement安全管理SecurityManagement远程过程调用RemoteProcedureCall分布协同服务DistributedCoordinationService飞天大规模分布式计算系统(Apsara)阿里云体系架构-1级架构图管理飞天以及上层应用服务的部署和配置、支持集群增量扩容和应42阿里云系统架构数据中心DataCenterLinux分布式文件系统DistributedFileSystem任务调度JobScheduling集群部署Deployment集群监控Monitoring弹性计算服务

(ECS)开放结构化数据服务

(OTS)开放存储服务

(OSS)开放数据处理服务

(ODPS)云引擎(ACE)地图、电邮、搜索、安全、渲染、PW社区云市场及第三方服务大规模分布式计算系统（飞天）关系型数据库服务

(RDS)资源管理ResourceManagement安全管理SecurityManagement远程过程调用RemoteProcedureCall分布协同服务DistributedCoordinationService开放缓存服务

(OCS)阿里云系统架构数据中心DataCenterLinux分布式43阿里云技术架构业务应用基础设施飞天分布式云操作系统联机事物处理(OLTP)联机分析处理(OLAP)大数据分析及处理内容管理搜索检索x86服务器&Linux弹性计算服务SLB/ECS(分布式)关系数据库

DRDS/RDS大数据

ODPS/ADS开放存储OSS分布式文件系统分布协同服务任务调度安全管理远程过程调用资源管理集群部署集群监控网络设备机房环境云计算和大数据产品/服务……阿里云技术架构业务应用基础飞天分布式云操作系统联机事物处理联44阿里云的产品体系阿里云的产品体系45分布式文件系统-（一层结构）分布式文件系统-（一层结构）46分布式文件系统-盘古客户端主要为：ECSOSS/OSAODPS/OpensearchOTS/SLS分布式文件系统-盘古客户端主要为：47分布式文件系统-二层结构Paxos分布式文件系统-二层结构Paxos48任务调度系统-伏羲任务调度系统-伏羲49物理部署示意图物理部署示意图50IAAS基础服务-ECS弹性服务器IAAS基础服务-ECS弹性服务器51IAAS基础服务-SLB负载均衡IAAS基础服务-SLB负载均衡52IAAS基础服务-ESS弹性伸缩服务IAAS基础服务-ESS弹性伸缩服务53IAAS基础服务-OSS基础架构IAAS基础服务-OSS基础架构54http://<bucket>./<object>协议接入层RESTfulLB/LVS数据访问层Key-Value引擎持久存储层Pangu负载均衡协议处理、访问控制分区、索引持久、冗余、容错RESTful协议处理资源使用计量防攻击策略授权、认证海量、分布式的KV存储可扩展至数千台服务器KVMaster/KVServer/Nuwa基于分布式文件系统PanguMaster-Slave，基于Paxos的多Master设计。三份拷贝分布不同机架存储IAAS基础服务-OSS基础架构http://<bucket>.oss.aliyuncs.c55IAAS基础服务-OSS实现云端数据处理上传文件到OSS后，可以配合使用媒体转码服务、图片处理服务、批量计算服务、离线数据处理服务（ODPS），挖掘数据的价值。IAAS基础服务-OSS实现云端数据处理上传文件到OSS后，56阿里云体系架构PAAS-开放表格服务OTSOTS是构建在阿里云飞天分布式系统之上的NoSQL数据库服务，提供海量结构化数据的

存储和实时访问。OTS以实例和表的形式组织数据，通过数据分片和负载均衡技术实现规模上的无缝扩展。应用通过OTSAPI或者操作管理控制台来使用OTS服务

阿里云体系架构PAAS-开放表格服务OTSOTS是构建在阿里57阿里云体系架构PAAS-开放表格服务阿里云体系架构PAAS-开放表格服务58大规模：基于阿里云云操作系统通用性：支持表，视图，事务，增删更新查等功能，支持partition,primaykey高可用：通过自动故障迁移来提供高可用性；通过存储的冗余备份来确保数据的安全。实时性：支持实时的数据插入、删除和更新；支持实时的随机查询、范围查询和偏移查询，并可通过视图和分页的方式让查询更高效。一致性：通过数据分区内的事务，使得数据的更改和查询保持强一致性宜用性：通过提供多语言SDK（包括C++、Python、C#等）让用户的开发更便捷。经济性：仅按用户的实际资源使用进行计费。PAAS-开放表结构服务(OTS)大规模：基于阿里云云操作系统PAAS-开放表结构服务(O59PAAS-大数据计算服务ODPS功能组成PAAS-大数据计算服务ODPS功能组成60PAAS-大数据计算服务ODPS架构图PAAS-大数据计算服务ODPS架构图61PAAS-大数据计算服务ODPS多数据中心PAAS-大数据计算服务ODPS多数据中心62PAAS-大数据计算服务多租户PAAS-大数据计算服务多租户63PAAS-大数据计算服务-数据交换PAAS-大数据计算服务-数据交换64PAAS-云数据库服务-RDS云数据库-关系型数据库服务，是一种稳定、可靠、可弹性伸缩的在线服务数据库。在线的关系数据库服务即开即用支持四种DB引擎;MySQL、SQLServer、postgreSQL，PPAS支持在线的扩容、备份回滚、性能监控

和分析等功能安全性抵御90%的攻击可用性多重容灾，可用性99.95%易用性自动备份、恢复、审计，和自动监控可扩展性配置可弹性伸缩RDS采用主从备份架构，具有高可用和数据可靠性PAAS-云数据库服务-RDS云数据库-关系型数据库服务，是65PAAS-云数据库服务-RDS总体架构PAAS-云数据库服务-RDS总体架构66PAAS-云数据库服务-RDS数据量性能瓶颈，单实例最大14000IOPS、25000OPS，承载2T