《公有云技术与应用》课件-39.云数据迁移CDM

公有云技术与应用云数据迁移CDM目录CATALOG核心定义产品功能核心优势应用场景云数据迁移CDM的定义01在企业上云、多云协同或数据中心升级过程中，数据在不同存储系统间的迁移往往面临格式不兼容、迁移效率低、业务中断等问题。01云数据迁移CDM的定义

云数据迁移（CDM）服务CDM服务通过自动化的迁移引擎与丰富的适配能力，实现了异构数据源间的平滑迁移，成为数据资产流转的“专业搬运工”。

01云数据迁移CDM的定义

定义云数据迁移是云厂商提供的托管式数据迁移服务，支持在本地存储与公有云存储、以及不同云厂商存储之间，实现结构化、半结构化、非结构化数据的批量迁移或增量同步，提供数据转换、断点续传、一致性校验等功能，确保迁移过程高效、安全、无数据丢失。01云数据迁移CDM的定义

是一种全托管数据迁移服务，提供零代码、高性能、高可靠的数据传输能力。核心解决三大迁移场景：✅

异构迁移：Oracle→GaussDB/MySQL等数据库异构转换✅

海量迁移：PB级数据跨云/跨区域传输✅

实时增量：分钟级延迟的数据持续同步

01云数据迁移CDM的定义

核心价值“打破数据迁移的技术壁垒”：例如，某企业需将本地Oracle数据库中的10TB历史订单数据迁移至公有云MySQL，CDM可自动处理数据类型映射、表结构适配，并通过增量同步确保迁移期间新增的数据不遗漏，最终实现零业务中断的平滑迁移，就像为不同“数据容器”之间搭建了一条“智能传送带”，自动适配容器接口并保障数据完整。

01云数据迁移CDM的定义

维度CDM自建Kettle集群部署周期分钟级开通周级环境搭建扩展性自动弹性伸缩传输节点手动扩容服务器容错能力自动重试+脏数据隔离需人工干预错误日志运维成本全托管，零运维需专职DBA维护CDMvs传统工具技术优势01云数据迁移CDM的定义

核心优势02支持20+种数据源与目标端组合，包括关系型数据库、NoSQL数据库、文件系统等。例如，可直接将本地SQLServer数据迁移至阿里云OSS，或从AWSS3迁移至华为云OBS，无需手动开发适配工具，迁移准备时间缩短80%。

1.异构环境全兼容，减少适配成本

02核心优势采用多线程并发读取与写入，TB级数据迁移时间从传统工具的数天缩短至小时级；支持全量迁移+增量同步模式，全量迁移完成后，通过日志捕获同步新增数据，将业务中断时间压缩至分钟级。某银行通过该模式完成核心系统上云，迁移期间交易零丢失。

2.高并发与增量迁移，提升效率并降低中断

02核心优势内置数据转换规则，例如将CSV文件的“性别”字段从“男/女”转换为“1/0”后写入数据库；迁移完成后自动执行一致性校验（如记录数比对、抽样内容校验），确保源端与目标端数据完全一致，错误率低于0.001%。

3.自动化数据转换与校验，保障一致性

02核心优势支持数据传输加密（TLS1.3）与存储加密，敏感字段（如身份证号）可在迁移中自动脱敏；提供可视化控制台，实时展示迁移进度、速率、成功率，支持暂停、续传、回滚操作，便于运维人员全程管控。4.安全可控与可视化管理，降低操作风险

02核心优势产品功能031.Map阶段

负责数据分片与初步处理：将输入数据（如日志文件）拆分为若干分片（通常1664MB/片），每个分片由一个Map任务处理；

Map函数接收键值对（KeyValue）输入（如<行号,日志内容>），输出中间键值对（如<用户ID,消费金额>）。

03产品功能03产品功能3.数据转换与映射引擎支持自定义转换规则（通过SQL函数或脚本），实现字段裁剪、格式转换、多表合并等操作；内置常见数据库类型映射关系表（如OracleNUMBER映射至MySQLINT/BIGINT），减少人工配置量。03产品功能4.断点续传与一致性保障

支通过记录迁移checkpoint（如已迁移的文件偏移量、数据库行号），迁移中断后可从断点继续，避免全量重传；采用CRC校验或哈希比对验证数据完整性，确保迁移前后数据一致。

03产品功能应用场景04需求：制造企业需将本地ERP系统的SQLServer数据库（5TB）与文件服务器的设计图纸（2TB）迁移至公有云，要求不影响日常生产，数据零丢失。

方案：

数据库迁移：通过CDM全量迁移历史数据，同时开启增量同步捕获生产系统新增数据，待全量迁移完成后，切换业务至云数据库，增量同步确保切换期间数据无遗漏；

（一）企业本地系统上云迁移

04典型应用场景

需求：跨国企业在中国使用阿里云存储用户数据，在欧洲使用AWS存储业务数据，需每日同步两地核心数据（如用户订单与欧洲仓库库存），支撑全球业务协同。方案：

配置CDM定时任务，每日凌晨通过跨境专线同步阿里云RDS的订单数据至AWSRDS，同时将AWSS3的库存文件同步至阿里云OSS；

（二）多云环境数据协同

04典型应用场景

迁移过程中自动转换时区（如将欧洲库存的UTC时间转换为北京时间），并校验同步结果；

实现两地数据延迟<2小时，支持全球订单的库存分配与物流调度。

（二）多云环境数据协同

04典型应用场景

需求：金融机构需将超过3年的历史交易数据（10TB）从生产数据库迁移至低成本归档存储，并同步至异地灾备中心，满足合规与灾备要求。

方案：

CDM按时间范围筛选历史数据，迁移至云归档存储（如阿里云归档OSS），压缩存储降低成本；

（三）数据归档与容灾备份

04典型应用场景

同时配置灾备链路，将归档数据同步至异地云数据中心，采用加密传输确保敏感数据安全；

迁移后支持按查询需求回溯数据，满足监管审计要求，灾备RPO（恢复点目标）<1天。

（三）数据归档与容灾备份

04典型应用场景

总结与实践任务05

云数据迁移CDM服务通过“全兼容、高效率、强一致”的迁移能力，解决了数据跨环境流转的核心难题，是企业数据上云、多云协同与灾备建设的关键支撑。选择CDM时，需根据数据量、实时性要求、数据源类型制定迁移策略，平衡效率与业务连续性。05总结与实践任务

1.设计一个本地M