云原生应用中的存储技术.pptx

云原生应用中的存储设计 李萌解决方案架构师AWS 描述 AWS存储是全球一些最大云原生应用的基础 了解其如何提供最广泛系列的原生集成服务 以支持此类应用背后的工作负载 所涵盖的服务 SimpleStorageService S3 日程 为什么要构建云原生应用 云原生应用和现代应用云原生应用对存储的要求重新思考数据和基础架构 包括数据库集成模式和注意事项云原生应用最佳实践您如何将数据传入AWS 为什么需要云原生 可靠性成本优化性安全性弹性和扩展性能设计更好 什么是云原生应用或现代应用 逐个应用评估并确定优先级 确定变革路径 平移 数据中心 EC2 平台转换 虚拟机 容器 重构 单体应用 微服务 重新创造 主机集群 无服务器 云原生路径 传统应用架构 MySQLAmazonRDS 运行在AmazonEC2上的Django 应用负载均衡器 现代应用 安全性 合规性至上使用微服务如有可能 无服务器化CI CD监控 监控 监控 数据库集成界面 容器和无服务器 Cheetah MaleneThyssen http commons wikimedia org wiki User Malene 云原生应用对于存储的要求 数据 存储 对您的应用很关键 您的选择对您的应用很重要针对云原生应用 API驱动 对象文件系统 安全性 优势 责任和注意事项 将存储与计算和数据库引擎解耦云原生存储的最佳实践AmazonS3 AmazonEFS集成模式 API 编排和事件触发 魔力象限 全球公有云存储服务魔力象限 2018 自2014年推出的所有该项报告中 AmazonS3始终被评定为领导者地位 公有云存储服务魔力象限 2018年7月 RajBala JuliaPalmer此图由Gartner Inc 在大型研究文档中发布 应在整个文档的上下文中进行评估 可向AmazonWebServices申请获取Gartner文档 Gartner不对其研究出版物中所述的任何供应商 产品或服务进行宣传 也不建议技术用户只选择那些具有最高评级的供应商或其他指定的供应商 Gartner的研究出版物仅代表Gartner研究机构的观点 不应理解为对事实的陈述 Gartner对该项研究不承担任何明示或暗示的担保 包括适销性或针对特定用途适用性的任何担保 媒体主文件 DNA序列 手机同步数据 机器学习训练数据 媒体资产 IoT传感器数据 数据湖 持久备份 数字记录保存 地震和储层模拟数据 录制视频 气象与环境研究数据 CDN源存储 金融交易记录 网站数据 视频监控 闭路电视 医学图像和记录 自动驾驶数据 油气地形图 呼叫中心记录 测绘数据 地理空间或月球图像 合规记录 药物研究数据 UGC数据 日志文件 数据分析 S3是数据湖的最佳选择 大量的数据迁移数据注入方案 优秀的安全 合规 审计功能 对象级访问控制 高持久性 可用性 可扩展性 对数据的业务洞察 S3性能提升S3数据分析场景 以前 Compute 写入时间 读取时间 5TBof2MBobjects 41m40s 13m52s 1 with prefix S3性能提升S3数据分析场景 现在 Compute 写入时间 读取时间 12m00s 7m00s 41m40s 13m52s 5TBof2MBobjects 1 with prefix 0 S3性能提升S3数据分析场景 并发处理 Compute 写入时间 读取时间 12m00s 7m00s 41m40s 13m52s x10 0h1m12s 0h0m42s 5TBof2MBobjects 1 with 0 prefix 云原生应用中的AmazonS3性能和管理优化 AmazonS3性能优化 常见问题 我如何获得最高请求速率 我如何充分利用我的计算 网络及存储资源 我如何使我的单线程吞吐量最大化 我如何获得更有可预测性的性能 我如何优化针对AmazonS3的数据查询性能 从哪里着手 对象命名方案 对象命名方案 ExampleAWSbucket Logistics packing list pdf 对象键名称 存储桶名称 前缀 名称 高达3 500PUT tps高达5 500GETtps ExampleAWSbucket 桶名 前缀 ExampleAWSbucket LogFiles ExampleAWSbucket Logistics ExampleAWSbucket PUT POST以及DELETE都包含在PUTtps中tps 每秒交易量 初始分区 让我们看看前缀如何影响请求速率 3 500PUTtps5 500GETtps 3 500PUTtps5 500GETtps 第2分区 初始分区 ExampleAWSbucket 桶名 前缀 ExampleAWSbucket LogFiles ExampleAWSbucket Logistics ExampleAWSbucket Log PUT POST以及DELETE都包含在PUTtps中tps 每秒交易量 让我们看看前缀如何影响请求速率 3 500PUTtps5 500GETtps 3 500PUTtps5 500GETtps 3 500PUTtps5 500GETtps 第2分区 Files istics 第3分区 3 500PUTtps5 500GETtps ExampleAWSbucket 桶名 前缀 ExampleAWSbucket LogFiles ExampleAWSbucket Logistics ExampleAWSbucket Log PUT POST以及DELETE都包含在PUTtps中tps 每秒交易量 初始分区 让我们看看前缀如何影响请求速率 3 500PUTtps5 500GETtps 请求速率的性能按比例分配 PUT POST以及DELETE都包含在PUTtps中tps 每秒交易量 示例 存储相关的集成模式 集成模式 APIs 编排 事件 紧耦合基于契约同步快速 长期使用数据驱动耐久统一日志 松耦合数据驱动异步缓冲耐久 编排 AWSStepFunctions 事件驱动 事件 松耦合数据驱动异步缓冲耐久 AmazonSNS AmazonCloudWatchEvents AmazonLambda StepFunctionsConnectors如何与S3 EFS配合使用 AWSStepFunctions AWSGlue AmazonCloudWatchEvents AmazonSQS StartJobRun异步API Glue状态变更事件 事件匹配规则 ReceiveMessages轮询API 数据如何上云 更多的数据传输解决方案 AWSDirectConnect AmazonKinesisFirehose AWSSnowball AWSSnowmobile AWSStorageGateway AmazonS3TransferAcceleration