db2培训(7)数据迁移专题.ppt

数据迁移 徐明伟 单元目标 了解INSERT语句和它的限制EXPORT IMPORT和LOAD的用法Load可能产生的几种表 表空间状态LoadPendingSetIntegrityPendingBackupPending db ts SETINTEGRITY命令使用db2move和db2look用法db2dart导数据在线表迁移 Admin Move Table存储过程 数据迁移方法 同平台 不同机器备份 恢复不同平台数据库间Export import load db2move等Loadfromcursor同数据库不同表Insert selectExport import load库不可连接db2dart 数据导入导出工具一览 DEL格式 文本格式每行代表一条记录字段之间用分隔符分隔 如 等某字段字符串用符号包围 如 等 非DEL的ACSII格式 文本格式每行代表一条记录字段是定长表示 不足用空格补齐 PC IXF格式 PC IXF格式是IBM特有的二进制格式用于在异构平台间导入导出数据可包含表的类型和定义db2move支持的格式 INSERT语句 INSERT语句 有overhead 需要通过引擎 验证RI Check 唯一性约束 执行trigger插入操作发生时 需要记日志在处理大数据量方面 INSERT可能不是最快的 也不是最好的办法insertintoartists artno name classification values 100 Patti CartWheels S Insertintoemptempselect fromemployee IMPORT命令语法 Basic IMPORT例子 将文件数据导入到表中db2connecttomusicdbdb2importfromartexprtofixfmessagesartmsgintoartistsdb2connecttomusicdbdb2importfromartexprtofixfmessagesartmsginsertintoartists createinsertinsert updatereplacereplace create IMPORT大对象处理 CLOB IMPORTmodifiedby修饰符 ColdelChardel IMPORT和LOAD对比 Load过程的4个阶段 LOAD命令语法 Basic LOAD典型场景 创建异常表 ExceptionTables 前N个字段与原表字段相同没有约束和触发器定义第n 1个字段 TIMESTAMP类型第n 2个字段 CLOB 32KB 类型 CREATETABLET1EXCLIKET1ALTERTABLET1EXCADDCOLUMNTSTIMESTAMPADDCOLUMNMSGCLOB 32K CREATETABLET1EXCAS SELECTT1 CURRENTTIMESTAMPASTS CLOB 32767 ASMSGFROMT1 DEFINITIONONLY 离线 在线加载 OfflineversusOnlineLoad ALLOWNOACCESSALLOWREADACCESS 表状态 Tablestates Loadpending SetIntegrityPending LOADQUERYTABLETablestate NormalSetIntegrityPendingLoadinProgressLoadPendingReorgPendingReadAccessOnlyUnavailableNotLoadRestartableUnknownTablecanbeinseveralstatesatsametimeTablestate SetIntegrityPendingLoadinProgressReadAccessOnly LoadPending状态 从LOAD失败中恢复 RestarttheLoad 检查消息文件使用restart选项Load操作自动从上一个一致点继续加载LOAD RESTARTReplacethewholetable LOAD REPLACETerminatetheLoad 如果是LOAD INSERT 返回到加载前的数据状态如果是LOAD REPLACE 表会清空建议做好备份 不要删除LOAD过程中产生的临时文件 对于归档日志模式的数据库 有三种Load选项 COPYNO default Duringload BackuppendingandLoadinprogressAfterload BackupPendingCOPYYESLoadhasmadeCopynotBackuppendingNONRECOVERABLENocopymadeandnobackuprequired BackupPending状态 COPY选项 UNIX Databasealias Type Instancename Nodename Catnodename Timestamp number Windows Type 0 FullBackup 3 TableSpaceBackup 4 CopyfromTableLoad Databasealias Type Instancename Nodename Catnodename Timestamp number SetIntegrityPending表状态 Load关闭约束检查 将表置于SetIntegrityPending状态如果父表处于SetIntegrityPending状态 那么子表也可能处于该状态LOADINSERT ALLOWREADACCESSLoadedtableinSetIntegrityPendingwithreadaccessLOADINSERT ALLOWNOACCESSLoadedtableinSetIntegrityPendingwithnoaccessLOADREPLACE SETINTEGRITYPENDINGCASCADEDEFERREDLoadedtableinSetIntegrityPendingwithnoaccessLOADREPLACE SETINTEGRITYPENDINGCASCADEIMMEDIATELoadedtableanddescendantforeignkeytablesareinSetIntegrityPendingwithnoaccess SETINTEGRITY命令语法 SetIntegrityPendingstate 1 如果愿意接受load完的数据有违反这2类约束的垃圾数据存在 setintegrityfortforeignkeyimmediateuncheckedsetintegrityfortcheckimmediateunchecked此时表状态为normal 但是以后新事务中的违反约束是不能成功的 SetIntegrityPendingstate 2 2 如果不能接受load完的数据有违反这2类约束的垃圾数据存在 setintegrityfortimmediatechecked当想保存异常数据时 还是使用异常表 后边加上forexceptionintuset ex 5种约束 1 notnull 2 unique 3 PK 4 check 5 FKLoad数据时 只检查1 2 3 而不检查4 5A 当load遇到1 2 3时 load会丢掉不理 只装入满足这三种约束的记录 此时你会看到load结束时Numberofrowsdeleted不等于0 如果想知道load丢掉的记录具体有哪些 建异常表保存起来 createtablet exliketaltertablet exaddcolumntimetimestamploadfromt ixfofixfinsertintotforexceptiont ex LOAD约束处理总结 B 当load遇到4 5时 load不管数据是否满足约束 都会正常装入 但是load只要发现表存在check或FK定义 立即会把表置成setintegritypending状态当db2把表 表空间或是数据库置于pending状态时 都是为了保护数据 对应都有解除pending的手段 用setintegrity命令解除Setintegritypending状态 LOAD步骤总结 创建表和索引创建异常表排序数据备份表空间 DB 如果使用了Replace Load forException Savecount Warningcount 验证xx msg文件和dumpfile文件验证异常表对于归档模式的数据库 使用copyno选项时 需要备份表空间执行setintegrityfor 当处于setintegritypending状态时 更新统计信息 如果必要的话 db2move工具概述 在不同数据库间迁移数据 相同或异构平台 当有大量表需要迁移时很有用可以在以下几种模式下运行 Export 将表数据导出到IXF文件中Import 将IXF文件类型数据导入到数据库表中Load Theinputfilesspecifiedinthedb2move lstfileareloadedintothetablesusingtheLOADutility db2move工具语法 db2move实例 导出SAMPLE数据库的所有表数据 db2movesampleexport导出所有userid1或us rid2用户建的 并且表名字是tabname1或 tabname2的表 db2movesampleexport tcuserid1 us rid2 tntbname1 tbname2导入数据到sample数据库中 并指定LOBS文件存放的位置 db2movesampleimport lD LOBPATH1 C LOBPATH2装入数据到sample数据库中 并指定LOBS文件存放的位置 db2movesampleload l home userid lobpath tmp db2look工具概述 导出对象定义 如建表 索引 视图 存储过程 函数等对象定义db2look d e ldb2look ddl导出表的统计信息db2look d z t m db2look语法 db2look实例 导出用户walid创建的对象 db2look ddepartment uwalid e odb2look sql导出用户walid创建 schema名为ianhe的对象 db2look ddepartment uwalid zianhe e odb2look sql产生用户walid创建的对象的统计信息 db2look ddepartment uwalid m odb2look sqlGenerateboththeDDLstatementsfortheobjectscreatedbyuserwalidandtheUPDATEstatementstoreplicatethestatisticsonthedatabaseobjectscreatedbythesameuser Thedb2lookoutputissenttofiledb2look sql db2look ddepartment uwalid e m odb2look sql Db2dart导数据 当硬盘损坏 日志破坏而没有数据库备份的时候 db2dart是救命稻草db2