AWS数据库上云最佳实践

1、AWS数据库上云最佳实践AWS Database Migration Services 技术日程Redshift数据仓库EMRHadoop + SparkAthena交互式分析Kinesis DataAnalytics 实时ElasticsearchService运营分析MariaDB, Oracle, SQLServerAuroraMySQL,PostgreSQLRDSMySQL, PostgreSQL,QuickSightSageMakerDynamoDB键值ElastiCacheRedis, MemcachedNeptune图时间流时间序列QLDB分类账数据库S3/GlacierGlue

2、ETL和数据目录Lake Formation数据湖Database Migration Service| Snowball | Snowmobile | Kinesis Data Firehose | Kinesis Data Streams数据移动分析Databases商业智能和机器学习数据湖Managed BlockchainBlockchain TemplatesBlockchainRDS on VMwareDocumentDB文件我们的产品组合广泛而深入的产品组合，精确构建将现有应用程序“提取和 更换”至云在云中快速构建新的 应用程序获得新的见解三个阶段关系数据库非关系数据库数据仓库H

3、adoop和SparkRedshiftEMR 运营分析ElasticSearch ServiceAurora业务智能QuickSightRDSDynamoDB DocumentDB客户想提取和更换至云我的数据该如何上云本地数据库迁移至AWS云上转换数据库产品 数据库对象转换几乎为零的停机时间数据库迁移服务AWS SchemaConversion Tool服务组件定制化迁移现有数据持续复制服务迁移阶段定制化您的数据仓库把Oracle, SQL Server, Netezza, Greenplum,Vertica, 或 Teradata 转化为 Amazon Redshift定制化定制化您的数据库

4、把Oracle, SQL Server, 或 Db2 转化为 PostgreSQL, MySQL, 或 Amazon Aurora介绍Amazon AuroraAmazon RedshiftMySQLPostgreSQLSCT用来转换对象：介绍迁移现有数据不需要停机不影响原有数据不需要安装代理、插件跨数据库产品自动转换支持数据合并、拆分不仅仅是关系型数据库介绍Amazon RDSAmazon RedshiftAmazon AuroraAmazon DynamoDBAmazon S3SDM日志架构SMD特性 - 数据合并、拆分SMDAmazon AuroraAmazon AuroraAmazon

5、 RDSAmazon Aurora 跨regionAmazonRDSSMDAmazon S3Dynamodb特性 -不仅仅是关系数据库持续复制读取源端日志迅速的同步至目标端实时数据验证特性 - 持续复制客户 场所应用程序用户AWS网络VPN特性 几乎零宕机迁移启动复制实例连至源数据库和目标数据库选择表格、模式或数据库让AWS DMS创建表格、加载数 据，并使其保持同步在方便时将应用程序切换至目标AWS DMS操作界面操作界面操作界面数据类型 请在DMS官方文档查阅所支持的数据类型。数据库发行版本 商业数据库版本限制。DDL语句 不同数据库产品所支持的DDL语句有所差异，比如MySQL作为目标时

6、，不支持TRUNCATE PARTITION、DROP TABLE 和 RENAME TABLE。用户、模式、库之间的转换 不同数据库产品，对于用户、模式、库的使用方式有很大差别，比如定位一张表，Oracle是库.模式.表；MySQL是用户.库.表；PostgreSQL是用户（角色）.库.模式.表时间格式 通常字符串类型varchar、数字类型int的用法大同小异，还请注意不同数据库产 品对于时间类型的格式有差别，需要调整代码。最佳实践 - 跨数据库产品最佳实践 - 跨数据库产品最佳实践 - 跨数据库产品表完全加载后，立即开始验证对于持续复制的任务，对比所有增删改选用大内存实例详细报告源端与目

7、标端不匹配的数据行会把详细内容记录在目标端表中：awsdms_validation_failures_v1select * from awsdms_validation_failures_v1“;SCOTT PEOPLERowkey:111记录目标丢失key:4source column : NAME, value : Super333 与目标列不匹配：lalala最佳实践 - 数据验证表设置 添加主键。迁移的项目 DMS仅迁移表、数据、主键索引，适度添加目标端二级索引。并行度 DMS默认是8张表并行加载，可以提升此值，同时根据复制实例的性能情况加大复制 实例的机型，过大的并行数量反而会降低复制速度。降低目标端的瓶颈 关闭目标端的约束、日志记录、备份，加载完数据后再逐步开启。开启多任务task 对于同一个复制项目，可以开启多task以增加并行度。请注意每个task所包 含的表，都应该处于同一个事务中，即不要出现这