基于无服务架构的海量数据备份和同步方案

1、基于无服务架构的海量数据备份和同步方案技术创新，变革未来01数据备份和迁移现状02Serverless 架构解决办 法03函数计算特点04函数计算数据同步 和迁移3个场景海量数据迁移备份面临问题数据源多样运维复杂备份平台异构峰值无法预估运维复杂对开发者来说，需要对数据迁移 的实时性、一致性、完整性、便 捷性、安全性进行保障备份平台异构难以保障数据访问不受设备和应用程 序接口等问题的影响，备份平台多样 如本地磁盘、其他云、磁带等。数据源多样数据源有很多类型，例如对象存 储、文件、图片、数据库备份、 访问日志等峰值无法预估数据量无法预估高峰值，系统 性能无法得到保障，业务中断 风险剧增。常见的海量

2、数据备份和迁移方案（某视频网站）Serverless架构的应用数据同步案例架构特点：1、实时请求弹性伸缩2、全托管减少运维3、灵活处理多种来源4、内网联通效率高对象存储日志服务函数计算表格存储RDS云磁盘本地磁 盘、 磁带RDS应用程序IoT套件其他云数据备份数据分发数据访问数据转存中转处理数据源多种数据池流程说明：多种数据源实时读写数据源，会通过函数计算弹性扩容把数据进行同步分发到启用应用程序或者 把数据备份到云磁盘或者本地硬盘上，从而达到轻运维，简单易用。函数计算产品特点1免运维全托管环境，无需维护程序运行环境和 硬件资源，安全可靠2弹性伸缩根据请求并发来自动扩容计算资源，客户无需提前预算

3、3粘合剂内置打通OSS、API网关、MNS、RDS、 日志服务、IoT套件、云监控多款产品，仅 需要配置即可使用按量付费根据运行使用资源付费，业务访问低谷 期会自动回收资源，节省成本4事件触发触发条件简单，多种事件源，例如HTTP 请求、定时器、API接口以及多种云产品 均可触发执行5无状态运行函数无状态，减少多程序耦合，便 于应用扩展和升级维护，接口简单6函数计算典型案例深度学习-码隆科技客户上传大量图像数据后，需要尽 快把图像按照客户指定的方式处 理，图像处理基于码隆预先训练好 的深度学习模型，要求在短时间内 准备大量的计算资源进行大规模并 行处理。个性图片处理-新浪微博微博客户端上显示多

4、种格式的图 片，为了适配不同 的手机屏幕和 操作系统，需要对图片进行个性化 的处理。微博有海量用户，系统每 日要能处理海量 的调用请求，并 保持稳定的延时。数据预热处理-芒果TV芒果TV把短视频上传后，客户的 后端系统需要实时处理上传的数 据，当数据量较大的时候会有排 队现象，如果设置多台服务器处 理，在业务低谷的时候，资源闲 置浪费。实时协同办公-石墨文档多位石墨文档的用户在同一文档/ 表格上协同编辑时，有可能对同 一内容进行了修改，产生冲突。 石墨文档需要实现一套服务来实 时处理文档编辑冲突，并能在合 理的成本下平滑处理峰值负载。流式数据处理-115科技用户访问115产生海量的访问日 志。

5、客户需要对日志数据进行压 缩，格式转换等操作，并把处理 后的数据存储到数据库或者对象 存储里，整个系统架构需要考虑 高并发和实时处理能力。存量数据备份和同步场景对比云服务器对象存储日志服务表格存储RDS分发多种数据池当前数据备份和同步方案依赖并发分发能力和数据转存计算能力，会面临弹性扩容，架构笨重庞大，维护成本较高等问题，转型Serverless会在轻 维护，易管理上来提高整个工程效率。负载均衡负载均衡云服务器云服务器其他云 本地磁盘、磁带云磁盘数据处理数据备份对象存储日志服务表格存储RDS多种数据池其他云 本地磁盘、磁带云磁盘数据处理数据备份当前数据备份和同步方案Serverless数据备份

6、和同步方案PK定时器函数计算存量数据备份和同步-成本和效率对比020406080100120成本对比和工程效率对比传统架构成本Serverless架构成本成本对比新架构减少了计算资源和负载均衡以及安 全防护费用，从成本上会节约30%以上。传统架构工程效率Serverless工程效率工程效率无需搭建运行环境和负载均衡，能实现快速迭代上 线，节约大量运维工作，提升工程效率。效率大幅提升成本持续 下降成本下降明显A、多媒体行业-音频、视频、图片B、互联网网站-网站日志C、直播点播-点播视频D、教育行业-线下数据应用场景交易热数据同步场景对比对象存储日志服务函数计算表格存储RDS其他云本地磁 盘、 磁

7、带云磁盘负载均衡云服务器云服务器负载均衡 云服务器函数计算函数计算事件触发各个云产品事件触发函数执行，完成对数据处 理，无需配置，自动支持弹性伸缩和负载均衡。实时请求传统交易热数据备份和同步方案Serverless数据备份和同步方案交易热数据备份和同步-成本和效率对比020406080100120传统架构成本Serverless架构成本传统架构工程效率Serverless工程效率成本对比和工程效率对比效率大幅提升成本下降明显A、互联网交易数据和运维访问日志B、互联网网站-网站日志C、直播点播-弹幕D、教育行业-音频转换和备份主要应用场景交易热数据备份和同步工程代码对比Serverless以函数

8、方式来聚焦业务代码结构上Serverless函数弱耦合，便于扩展Serverless方式无需编 写产品联通代码Serverless针对不同异构平台在一个项目中 用可以使用多种语言编写单线程Serverless函数代码，支持高并发请求传统工程代码方式来打通多款产品PK代码量直接下降35%Serverless架构处理设备状态数据同步场景函数计算弹性方式处理来自API网关、IoT网关的数据，并对状态数据进行处理，处理后数据可以分发到云市场或者手机， 同时也可以数据存储到其他地方，例如RDS或者表格存储等，同时可以把数据输出到日志服务形成报表。日志服务表格存储RDS本地磁 盘、 磁带云磁盘分发IoT套件云市场设备终端函数计算API网关触发数据存储数据分析API网关设备Serverless架构处理设备状态数据优势点轻便快捷整体数据处理架构清晰，轻便多产品联动内置触发器能联动多款产 品，内网方式访问，数据数据分发工程效率高能够处理高并发，配置简单效率高适应异构服务很好的适应多种异构服 务，通过代码抹平