CN119513162A 数据导入方法、装置、计算机设备及计算机可读存储介质 （顺丰科技有限公司）

根据预设数据库的导入任务的参数以及导入任务的目标日期分区名称集合和目标日期分区值2根据预设的数据库的导入任务的参数以及所述导入任务的模板生成执行所述导入任在所述导入任务的模板中生成所述导入任务的目标日期分区名称集合和目标日期分基于所述游标对象，根据所述导入任务的目标日期分区名称集合和目根据所述数组变量、所述目标日期分区名称集合、所述目标日务的参数以及所述导入任务的模板生成执行所述导入任务的第一SQL语句，并将所述第一根据所述数据库的数据导入规则构建所述导入任务的模板；其中，所板包括执行所述导入任务的第一SQL语句以及所述导入任将所述导入任务的参数输入至所述导入任务对所述导入任务的模板进行解析，并将解析出的所述第一SQL语句填充至预设的数组根据所述导入任务的模板的文件名称读取所述导在所述导入任务的模板中提取所述第一SQL语句，并将所述第基于所述游标对象，根据所述导入任务的目标日期分区名称集合和目删除所述初始列名集合中的分区列名，得到所述导入任务的目标在所述根据所述数组变量、所述目标日期分区名称集合基于所述游标对象，根据所述目标日期分区值集合在所述数据库中采用所述第二SQL3述目标日期分区值集合以及所述目标列名集合生根据所述导入任务、所述游标对象操作所述数据库的第三SQL语句生成监控所述导入基于所述导入任务的初始时间以及结束时间，采用所述第四SQL语句对所述导入任务第一生成单元，用于根据预设的数据库的导入任务第二生成单元，用于在所述导入任务的模板中生成所述导入获取单元，用于基于所述游标对象，根据所述导入任务9.一种计算机设备，包括存储器、处理器及存储在4将大批量数据从HDFS(HadoopDistributedFileSystem，分布式文件系统)导入至功、部分导入失败的情况。虽然BrokerLoa导入方式高效，但是StarRocks数据库不支持BrokerLoa导入任务的自动生成，而且当存在大批量的表，如百、千张表需要导入至[0006]根据预设的数据库的导入任务的参数以及所述导入任务的模板生成执行所述导[0008]在所述导入任务的模板中生成所述导入任务的目标日期分区名称集合和目标日板生成执行所述导入任务的第一SQL语句，并将所述第一SQL语句填充至预设的数组变量56于导入任务以将数据导入至数据库，比如可以实现将数据从HDFS导入至StarRocks数据库7任务的模板包括执行所述导入任务的第一SQL语句以及所述导入任路径hdfs_location、截止日分区值inc_date、同步时间戳cur_time、日期分区名称inc_[0048]其中，表名table_name指需要将目标数据从HDFS同步至StarRocks数据库中的目一次需求同步的日期值；同步时间戳cur_time用于保证导入标签loadlabel在StarRocks导入任务的参数，也可以包括上述部分导入任务的模板中的若干个定义导入任务的参数。止日分区值inc_date以及日期分区类型inc_type，可以选择输入的参数包括日期偏移量name_ab；路径hdfs_location例如可以为hdfs://sfbd/hive/warehouse/dm/dm_abc/或1月的目标数据至StarRocks数据库中；日期分区名称inc_date_name可以按照表的实际8[0055]具体的，在对输入有导入任务的参数的模板进行解析前，需预先定义get_load_导入任务的参数输入至模板中之后，便可以直接将模板名称直接作为入参传入，并通过导入任务的SQL操作都可以由数据变量来完成，提取出的第一SQL语句可以包括多段SQL语模板必输入参数截止日分区值inc_date赋值；参数offset通过for循环由模板可选参数日期偏移量inc_pers赋值，每次循环的步长为1；同时，默认参数日期分区类型inc_type=’str_inc_date、参数offset和参数日期分区类型inc_type作为入参传入，然后调用get_inc_date函数便可以返回导入任务的目标日期分区名称集合和目标日期分区值集合。其[0062]当日期分区类型inc_type＝’DAY’，即日期分区类型为日时，此时可以使用datetime库函数strptime方法将参数str_inc_dat量datecode；然后对变量datecode使用datetime库函数timedelta方法的入参days＝_1*9[0063]当日期分区类型inc_type＝’WEEK’，即日期分区类型为周时，此时可以使用datetime库函数strptime方法将str_inc_date转为％Y％m％d日期格式(年月日)的变量datecode；然后对变量datecode使用datetime库函数timedelta方法的入参weeks＝_1*offset计算出偏移后的日期分区名称，同时将结果赋值给变量inc_week，并将变量inc_[0064]当日期分区类型inc_type＝’MONTH’，即日期分区类型为月时，此时可以使用datetime库函数strptime方法将str_inc_date转为％Y％m日期格式(年月)的变量datecode，然后通过format函数拼接变量year和变量month，将结果值赋值给变量inc_month(月份)属性值，则变量year等于datecode的year(年)属性值，且变量month等于datecode的month(月)属性值减去offset的结果值；若offset大于变量datecode的month(月份)属性值，则变量year等于datecode的year(年)属性值减一，再减去offset减[0065]在一个实施例中，若生成导入任务的参数包括多级分区名称inc_level_name时，[0068]当多级分区名称inc_level_name为None时，多级分区名集合inc_source_cols设区名称inc_level_name进行处理，分隔后的数值保存至多级分区名集合inc_source_cols后将多级分区名集合inc_source_cols、多级分区路径inc_source_path和变量inc_游标功能，进而便可以得到一个游标对象，从而可以使用游标对象中的execute()包括日期分区列名和多级分区列名，故在获取到导入任务的目标导入表的初始列名集合将内容中预定义变量替换成具体实际值，直到迭代完成，最后使用游标对象中的execute区值，然后将结果赋值给模板中的变量truncate_sql，并使用游标对象中的execute(根据键值key对变量load_sql中的的内容使用replace方法对变量load_sql进行内容替换，库中，无法直接在BrokerLoa导入任务的日志进行查询，此时便需要登录StarRocks数据成监控导入任务的状态的第四SQL语句；然后基于导入任务的当前时间戳以及导入任务初[0090]在本实施例中，第四SQL语句为采用游标[0091]其中，查询的具体过程为：采用的execute()方法在数据库连中执行showload命令，并查询符合导入标签变量label所述导入任务的模板中生成所述导入任务的目标日期分区名称集合和目标日期分区值集[0093]本申请实施例还提供了一种数据导入装置100，该装置用于执行前述数据导入方[0096]第一生成单元110，用于根据预设的数据库的导入任务的参数以及所述导入任务[0097]在其他发明实施例中，第一生成单元110具体用于根据所述数据库的数据导入规[0100]第二生成单元130，用于在所述导入任务的模板中生成所述导入任务的目标日期于所述游标对象，根据所述目标日期分区值集合在所述数据库中采用所述第二SQL语句对[0109]本申请实施例所提供的数据导入装置100用于执行上述根据预设的数据库的导入任务的参数以及所述导入任务的模板生成执行所述导入任务的第一SQL语句，并将所述第[0114]该非易失性存储介质203可存储操作系统2031和计算机程序2032。该计算机程序于其上的电子设备200的限定，具体的电子设备200可以包括比图中所示更多或更少的部[0119]在一实施例中，处理器202在实现所述根据预设的数据库的导入任务的参数以及的模板的文件名称读取所述导入任务的模板；在所述导入任务的模板中提取所述第一SQL述数据库中采用所述第二SQL语句对所述目标导入表进行所述目标日期分区值集合以及所述目标列名集合生成所述导入任务时，具体实现如下步[0124]在一实施例中，处理器202在实现根据所述数组变量、所述目标日期分区名称集[0125]应当理解，在本申请实施例中，处理器202可以是中央处理单元(CentralSignalProcessor，DSP)、专用集成电路(ApplicationSpecifi[0126]本领域普通技术人员可以理解的是实现上述实施例的方导入任务的参数以及所述导入任务的模板生成执行所述导入任务的第一SQL语句，并将所一SQL语句以及所述导入任务的参数的定义；将所述导入任务的参数输入至所述导入任务[0130]在一实施例中，所述处理器在执行所述程序指令而实现日期分区值集合在所述数据库中采用所述第二SQL语句对所述目标导入表进目标日期分区名称集合所述目标日期分区值集合以及所述目标列名集合生成所述导入任导入任