CN119474062A 一种加速数仓数据迁移到doris的方法 （云筑信息科技(成都)有限公司）

本发明公开了一种加速数仓数据迁移到片的文件写入到hdfs的tmp目录下；获取hive表段列表中表字段和Hadoop的集群配置文件构造hdfs异步导入的SQL语句，通过hdfs异步导入的本发明减少数据导入搬迁的时间，提高迁移速2S2、获取待导入数据表的文件路径并计算出动态分S5、获取重新分片的文件的文件列表，将每10个文件，基于hive表的字段列表中表字段和Hadoop的集群配置文件构造hdfs异步导入的SQL语2.根据权利要求1所述的一种加速数仓数据迁移到3.根据权利要求1所述的一种加速数仓数据迁移到do记为c并传递给spark引擎的coalesce算子对文件路径中的文件4.根据权利要求3所述的一种加速数仓数据迁移到doris的5.根据权利要求1所述的一种加速数仓数据迁移到d6.根据权利要求1所述的一种加速数仓数据迁移到dor7.根据权利要求1所述的一种加速数仓数据迁移到d8.根据权利要求1所述的一种加速数仓数据迁移到do3据如何即高效即稳定的导入到doris里面，成为数据开发工程师面临的巨大的问题。虽然文件，基于hive表的字段列表中表字段和Hadoop的集群配置文件构造hdfs异步导入的SQL为a+1；将动态分区的文件数记为c并传递给spark引擎的coalesce算子对文件路径中的文4字段列表的表字段、doris名称参数替换为hive表的表名称和将Hadoop的集群配置文件的字段写入SQL语句模版中；全局唯一Id的生成规则为：doris表的表名称加上当前系统的本发明能够将原有3小时的导入时间缩短到了5分钟，减少了数据导入搬迁的时Doris是一款基于大规模并行处理技术的分布式[0024]hdfs_site.xml文件是Hadoop中的一个核心配置文件，用于定义hdfs（Hadoop[0025]Tez是支持DAG作业的开源计算框架，它可以将多个有依赖的作业转换为一个作5文件，基于hive表的字段列表中表字段和Hadoop的集群配置文件构造hdfs异步导入的SQL[0028]本发明能够将原有3小时的导入时间缩短到了5分钟，减少了数据导入搬迁的时获取到待导入数据表的表字段，然后构造doris的建表语句,在doris中创建相应的hive[0030]hive表加工的数据存储在hdfs分布式文件系统上，每一个表的数据存储路径是的文件数为a+1；将动态分区的文件数记为c并传递给spark引擎的coalesce算子对文件路[0033]其中的一个实施例，Hadoop的集群配置文件为hdfs_site.xml文件，hdfs_新分片的文件的文件列表的格式为part_00001.parquet,part_00002.parquet,part_以通过正则表达式part-0000*,parquet就能够获取匹配，同理如果获取第11到第20个应一个导入任务，将每组文件通过一个导入任务导入至doris中。如果重新分片的文件为名称{col_names}参数替换为hive表的字段列表的表字段、doris名称{doris_table}参数6Id的生成规则为：doris表的表名称加上当前系统的时间戳加上_load，例如material_biz_price_1