CN119476259A 一种数据平台异构csv文件解析方法及终端 （福建东西乐活科技有限公司）

中大道7#创新园二期18号楼1201-本发明公开了一种数据平台异构CSV文件解的报表类型，根据报表类型获取对应的解析模符合规范的CSV文件，按照解析模板对符合规范的CSV文件进行解析，无需为每一种报表类型的2接收用户上传的CSV文件，并使用语言识别模型对所述CSV文件进使用与所述来源国家对应的编解码器读取所述CSV文件，并获根据所述报表类型获取对应的解析模板，并基于所述解析模板对所述CSV文件进行预按照所述解析模板中不同语言的CSV文件列名称以及与不同语言的CSV文件列名称对2.根据权利要求1所述的一种数据平台异构CSV文件解3.根据权利要求1所述的一种数据平台异构CSV文件与所述来源国家对应的编解码器读取所述CSV文件，并获取所述CSV文件的报表类型之后，基于所述解析模板根据所述检查结果对所述CSV文件进行预处理，得到4.根据权利要求3所述的一种数据平台异构CSV文件解析方根据所述CSV文件的报表类型对应的配置信息对所述CSV文件的列名5.根据权利要求3所述的一种数据平台异构C所述基于所述解析模板根据所述检查结果对所述CSV文件进行预处理，得到符合规范若所述检查结果为存在缺失的列名，则根据所述解析模板将所述缺失的列名作为错误信息保存至所述解若所述检查结果为存在多余的列名，则将所述多余的列名作为根据所述解析模板中的数据库列名称对应的数据格式以及数值精度对所述CSV文件中6.根据权利要求1所述的一种数据平台异构CSV文件模板还包括与不同语言的CSV文件列名称对应的字段类型以及所述按照所述解析模板中不同语言的CSV文件列名称以及与不同语言的CSV文件列名3根据所述符合规范的CSV文件中的列名称从所述解析模板中确定目标语言的CSV文件将所述符合规范的CSV文件中的列名称解析成与所述目标语言的CSV文件列名称对应的数据库列名称，在所述符合规范的CSV文件中的数据库列名称中添加与所述目标语言的若根据所述符合规范的CSV文件中的列名称从所述解析模板中无法确定目标语言的权利要求1至9中任一项所述的一种数据平台异构CSV文件解析方法中的各个步4[0002]CSV是一种流行的开放数据格式，因其在存储和传播数据方面的简单性和有效性[0004]现有的数据平台异构CSV文件解析方法往往依赖于用户手动配置非常多的解析模根据所述报表类型获取对应的解析模板，并基于所述解析模板对所述CSV文件进不同语言的CSV文件列名称对应的数据库按照所述解析模板中不同语言的CSV文件列名称以及与不同语言的CSV文件列名5根据所述报表类型获取对应的解析模板，并基于所述解析模板对所述CSV文件进不同语言的CSV文件列名称对应的数据库按照所述解析模板中不同语言的CSV文件列名称以及与不同语言的CSV文件列名报表类型获取对应的解析模板，并基于解析模板对CSV文件进行预处理，得到符合规范的不同语言的CSV文件列名称对应的数据库列名称，即无需为每一种报表类型的每一种语言根据所述报表类型获取对应的解析模板，并基于所述解析模板对所述CSV文件进不同语言的CSV文件列名称对应的数据库按照所述解析模板中不同语言的CSV文件列名称以及与不同语言的CSV文件列名6件列名称以及与不同语言的CSV文件列名称对应的数据库列名称，即无需为每一种报表类使用训练完成的LangID模型对所述CSV文件进行识别，得到所述CSV文件的语言[0016]所述基于所述解析模板对所述CSV文件进行预处理，得到符合规范的CSV文件包基于所述解析模板根据所述检查结果对所述CSV文件进行预处理，得到符合规范应的配置信息对CSV文件的列名进行检查，配置信息包含了某一种报表类型应该存在的列所述基于所述解析模板根据所述检查结果对所述CSV文件进行预处理，得到符合7根据所述解析模板中的数据库列名称对应的数据格式以及数值精度对所述CSV文CSV文件的数据要求是不同的，根据解析模板中的数据库列名称对应的数据格式以及数值精度对CSV文件中的列的数据格式以及数值精度进行转换，可以将数据格式和数值精度转[0022]进一步地，所述解析模板还包括与不同语言的CSV文件列名称对应的字段类型以所述按照所述解析模板中不同语言的CSV文件列名称以及与不同语言的CSV文件列名称对应的数据库列名称对所述符合规范的CSV文件进行解析，得到解析后的数据文件根据所述符合规范的CSV文件中的列名称从所述解析模板中确定目标语言的CSV将所述符合规范的CSV文件中的列名称解析成与所述目标语言的CSV文件列名称对应的数据库列名称，在所述符合规范的CSV文件中的数据库列名称中添加与所述目标语[0023]由上述描述可知，解析模板包括与不同语言的CSV文件列名称对应的字段类型以及字段类型属性，根据符合规范的CSV文件中的列名称能够从解析模板中找到目标语言的若根据所述符合规范的CSV文件中的列名称从所述解析模板中无法确定目标语言若所述验证结果为通过，则将验证通过的所述清洗后的数据文件存储至数据库8行所述计算机程序时实现上述数据平台异构CSV文件解析方法中的各[0031]本发明上述一种数据平台异构CSV文件解析方法及终端能够适用于需要对CSV文使用类似于MapReduce的分片技术，允许在指定的内存中运行时进行并行化，可以使用概要处理哪些国家的语言，针对有用到的语言提供大量相关的报表数据至原有训练数据[0039]使用与来源国家对应的编解码器读取CSV文件能够确保读取文件时不会出现编码9性。在一种可选的实施方式中，所述字段类型包括数值类型（如int、tinyint、float、括姓名列和性别列，人员信息报表对应的解析模板中的不同语言的CSV文件列名称以及与vollstăndigerName，nomecompleto}[CSV文件列名称]<=>{name}[数据库列名称]；{性[0058]S52、将所述符合规范的CSV文件中的列名称解析成与所述目标语言的CSV文件列名称对应的数据库列名称，在所述符合规范的CSV文件中的数据库列名称中添加与所述目对应的数据库列名称为name和sex，则将符合规范的CSV文件中的Nometprénom和Sexe解[0062]在一种可选的实施方式中，将无法确定的所述符合规范的CSV文件中的列名称作有多个列的话都可以按照字典的方式存储获取这部分数据，存储成{“product_user_处理各种异常，利用python语言的特性更加灵活地配置不同国家不同语言的CSV文件和数[0069]本发明上述解析方法使不同