TBFIA 048-2025 分布式数据库技术金融应用 数据迁移要求

35.240.40A11团体标准T/BFIA048—2025分布式数据库技术金融应用数据迁移要求Financialapplicationofdistributeddatabasetechnology—Datamigrationrequirements2025-02-28发布2025-02-28实施北京金融科技产业联盟发布T/BFIA0482025目次..................................................................................II1.................................................................................12规范性引用文件.......................................................................13术语和定义...........................................................................14缩略语...............................................................................15数据迁移技术流程.....................................................................26迁移评估.............................................................................37迁移改造.............................................................................48迁移实施.............................................................................69迁移验证.............................................................................8A（资料性）数据迁移的应用场景.....................................................9B（资料性）数据迁移的分类........................................................10C（资料性）数据迁移的原则........................................................11D（资料性）数据迁移的策略........................................................12E（资料性）数据迁移的工作检查表..................................................13参考文献..............................................................................14IT/BFIA0482025ꢀꢀ言本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由北京金融科技产业联盟归口。责任公司、北京奥星贝斯科技有限公司、蚂蚁科技集团股份有限公司、贵州易鲸捷信息技术有限公司、司、北京国家金融科技认证中心有限公司、北京百度网讯科技有限公司。本文件主要起草人：聂丽琴、黄本涛、吕俊锋、罗学平、李嵩嵩、毛思平、王彦刚、陈明、王栩、日明、吕伟初、李振、李博文、叶强林、张志慧、吴雨霏、张蕾、李璐、李明艳。IIT/BFIA0482025分布式数据库技术金融应用数据迁移要求1迁移验证的技术要求。本文件适用于分布式数据库金融应用中数据迁移产品的研发、测试、运维、测评等工作。2规范性引用文件文件。JR/T0203—2020分布式数据库技术金融应用规范技术架构JR/T0204—2020分布式数据库技术金融应用规范安全技术要求JR/T0205—2020分布式数据库技术金融应用规范灾难恢复要求3术语和定义下列术语和定义适用于本文件。3.1源数据库sourcedatabase需要迁移的数据库，可简称为源库。3.23.3目标数据库targetdatabase接收迁移数据的数据库，可简称为目标库。数据迁移datamigration将源数据库的数据完整一致地迁移到目标数据库。4缩略语下列缩略语适用于本文件。CPU：中央处理器（CentralProcessingUnit）DCL：数据控制语言（DataControlLanguage）DDL：数据定义语言（DataDefinitionLanguage）1T/BFIA0482025DML：数据操纵语言（DataManipulationLanguage）POC：概念验证（ProofofConcept）QPS：查询/秒（QueriesPerSecond）SQL：结构化查询语言（StructuralQueryLanguage）TPS：事务数/秒（TransactionPerSecond）5数据迁移技术流程分布式数据库金融应用中数据迁移的技术流程图，如图1所示：分布式数据库——迁移评估风险评估；验证四个过程：、兼容性评估、——迁移改造是对数据库对象和应用对象进行改造的过程，包括数据库对象改造、应用对象改造、改造效果检查、割接演练；数据迁移、服务交割等过程；迁移结束环境检查、业务功能验证等。在数据迁移过程中，应基于数据迁移的不同的应用场景（数据迁移的应用场景参见附录A），确定数据迁移类型（数据迁移的分类参见附录B）。参见附录C），按照策略（数据迁移的策略参见附录D）进行数据迁移。数据迁移过程中的工作检查表，可参见附录E。2T/BFIA04820256迁移评估6.1源数据库评估6.1.1数据结构的评估源数据库的数据结构评估包括如下要求：a）应对通用SQL数据结构和自有数据结构进行采集、分析和评估；b）应对表对象进行评估，包括但不限于表结构、约束、主外键、索引、视图、分区、注释等；c）6.1.2数据类型的评估应对源数数据类型等。6.1.3数据评源数据库a）b）6.1.4数据库源数据库a）用率、I/O性能，b）6.1.5应用系源数据库a）b）c）6.2兼容性评6.2.1整体兼容性评估整体兼容性评估包括如下要求：a）应基于JR/T0203—2020中6.1性评估；b）应对源数据库和目标数据库运行环境的CPU性评估；c）事务等；d）应基于JR/T0204—202053T/BFIA04820256.2.2语法兼容性评估语法兼容性评估包括如下要求：a）应对源数据库到目标数据库迁移的容的语法列表；b）的语法进行兼容性评估，并显示差异点和修改点；c）函数、字符串处理函数、时间处理函数、空值转换函数等。6.2.3对象兼容性评估对源数据库和a）应支持表b）应支持自和非标准触发器等自有c）应支持对6.2.4应用系统应用系统的兼a）应对应用b）宜评估应c）宜评估应6.2.5数据的兼数据的兼容性a）应对字符b）应对数据c）应对数据6.3风险评估风险评估包括a）应评估目b）应评估数据迁移的成本、工作量和耗时等方面的风险；c）应评估迁移回退的风险；d）应输出迁移风险评估报告。7迁移改造7.1数据库对象改造7.1.1数据类型改造数据类型改造包括如下要求：a）应支持数值、字符、时间、大对象数据类型的改造；4T/BFIA0482025b）目标数据类型范围和精度应大于等于源数据类型，保证业务数据无损。7.1.2数据对象改造数据对象改造包括如下要求：a）应支持对源数据库和目标数据库不兼容的表对象，在不丢失语义的情况下进行自动转换；b）应支持源数据库向目标数据库进行对象迁移、转换、改写的日志信息；c）宜支持基于日志生成详细的转换报告，报告内容包括改造结果和改造失败原因。7.1.3函数改造应支持对源数据库和目标数据库不兼容的内置函数进行改造。7.1.4数据库数据库规a）b）7.2应用对象应用对象a）b）7.3改造效果7.3.1功能测功能测试a）b）量接近生产环境，c）7.3.2性能测性能测试a）应选取实际运行中对软、硬资源利用率较高、交易频繁的业务，对应用系统做性能验证；b）应检查TPS/QPS、响应时间、并发量、物理资源使用率等性能指标；c）能够接近生产环境的应用性能要求。7.3.3稳定性测试稳定性测试包括如下要求：a）应在满足性能指标的前提下，对新系统持续运行7*24小时；b）应对迁移过程中网络闪断、某个分布式数据库节点宕机等异常情况进行故障测试；c）宜定时监控各项资源使用指标，确认无明显增长。7.3.4测试报告5T/BFIA0482025应根据测试结果，出具测试报告。7.4割接演练7.4.1割接方案制定割接方案制定包括如下要求：a）应提前制定数据库及应用系统割接方案；b）割接方案中，宜明确割接的操作步骤、操作时间和操作人员。7.4.2新旧系统同步互备新旧系统互备包括如下要求：a）应制定备b）宜选择主7.4.3切换演练切换演练包括a）应协调实b）切换演练能出现的问题。7.4.4回退演练为应对极端情8迁移实施8.1迁移环境检迁移环境检测a）应检测主系统安全b）应检测网c）应检测数连通性、置等。8.2结构迁移结构迁移包括如下要求：a）应根据实际情况，在进行数据库迁移时，对结构和对象进行改写或提供修改建议；b）应在结构迁移过程中记录日志，日志信息包括迁移结果及失败原因；c）宜支持源数据库和目标数据库字符集映射和不同字符集数据结构转换。8.3数据迁移8.3.1全量数据迁移全量数据迁移包含如下要求：a）应支持源数据库与目标数据库的全量数据迁移；6T/BFIA0482025b）不可停机业务或迁移时间窗口不满足时，应利用迁移工具实现数据在线迁移；c）在迁移时间窗口满足的条件下，应利用数据迁移工具对可停机业务进行静态数据迁移。8.3.2增量数据同步增量数据同步包括如下要求：a）应支持源数据库与目标数据库增量数据同步；b）应支持实时数据同步；c）应支持接收源端发送的变更数据；d）应支持源端数据库去重和目标端数据库去重；e）应支持增量数据同步中的数据类型转换；f）宜支持按照指定时间进行数据同步的方式；g）8.3.3日志与日志与存a）b）转换后发送给目标c）8.3.4异常处异常处理a）b）c）8.3.5业务连业务连续a）b）c）8.3.6迁移保障迁移保障包括如下要求：a）应支持用户权限管理，包括用户的增加、删除，以及为用户分配相应的权限；b）应支持任务管理，包括任务的创建、修改、删除和执行情况查看等；c）应支持数据迁移过程中的应急响应；d）应支持对数据库性能的监控及保障，并能快速处理监控到的异常情况；e）宜提供图形化界面，展示数据迁移速度、数据迁移进度、已迁移对象、待迁移对象等信息；f）宜提供数据迁移报告。8.4服务交割服务交割包括如下的技术要求：7T/BFIA0482025a）应在规定时间内完成迁移服务的割接；b）应按照JR/T0205—2020中6.3节的要求，在规定时间内恢复原生产环境；c）宜支持在恢复生产后对生产库进行数据库完整性和一致性的自动化检查；d）宜支持在不停机的情况下，完成平滑地迁移；e）宜支持在预定时间窗口内，完成数据一致性校验。9迁移验证9.1数据比对数据比对包括如下的要求：a）应在数据性校验；一致性和完整b）应支持对数据量、限于对象数量、c）应支持全d）应能根据增量比对次全量加多次e）应支持不f）应支持按g）应支持比h）应支持数i）应输出数段值的范围等；、触发器等；9.2迁移结束环迁移结束后应a）应完成序b）应完成执c）宜完成触d）宜完成表e）宜进行副f）宜进行数g）宜进行整体监控。9.3业务功能验证业务功能验证包括如下要求：a）应制定验证检查列表，逐一验证业务功能；b）应进行连接性验证；c）应进行可用性验证；d）应进行正确性验证；e）宜支持可靠性测试验证，如切换测试、性能压测等。8T/BFIA0482025附录A（资料性）数据迁移的应用场景A.1数据容灾情况下，目标数据库作为备用数据库对外提供业务，防止业务中断服务，造成损失。A.2数据上云务，不影响现A.3数据汇聚数据迁移为数据分析、构下的聚合查快速的集中起来，A.4业务分离数据迁移通过数据迁移降低源端生产源压力大的情况下，，做到业务分离，A.5业务系统数据迁移数据库进行迁移，并满足新系统9T/BFIA0482025附录B（资料性）数据迁移的分类B.1离线迁移停止数据库服务完成数据库全部用户数据结构、数据、数据对象的迁移。B.2在线迁移不停止数据库服务完成数据库数据结构、数据、数据对象的迁移。B.3同构迁移相同系统平台B.4异构迁移不同系统平台象迁移。10T/BFIA0482025附录C（资料性）数据迁移的原则C.1数据完整一致性原则无差异。数据库的切换导致数据丢失、混乱、不一致，可能给用户带来不可估量的损失。C.2业务稳定运行原则业务稳定应该要