CN114648010B 数据表标准化方法、装置、设备及计算机存储介质 （浙江大华技术股份有限公司）

本申请公开了一种数据表标准化方法、装时间字段；基于原始表格信息进行表格信息识别包括主题域类别、业务类别以及分区方式类标准数据项；基于标准表名称与各个标准数据2基于待标准化的源数据表的原始表格信息，以及所述源数据针对所述原始表格信息包括的各个字段信息，分别执行如针对一个字段信息，若所述一个字段信息对应的数据元对一个字段信息对应的标准数据项为源数据表中的相应源若所述一个字段信息对应的数据元对标结果不是名称，则确定若存在限定词，则基于相应的限定词与数据元对标结果，确定若不存在限定词，则基于相应的数据元对标结果，确定所述一若所述一个字段信息为业务时间字段，则基于所述一个字一个字段信息对应的标准数据项添加相应表示若所述一个字段信息为非业务时间字段，则确定各标准数据项2.如权利要求1所述的方法，其特征在于，在基于待标准化的源数据表的原始表格信针对获得的各所述字段信息分别进行对标处理，确定各所述字段基于所述原始表格信息中的中文字段信息以及所述数据元对标结基于设定的非业务时间字段集合，将所述源数据表包含的时间字4.如权利要求3所述的方法，其特征在于，在基于待标准化的源数据表的原始表格信3针对各个所述非业务时间字段，若存在非业务时间字段包括除基于所述表名称和所述字段信息进行主题域识别，确定所述基于所述表名称和所述字段信息进行分区方式识别，确定所述源数按照候选主题域集合中各个候选主题域的优先级从高到低的顺序，依次若所述表名称和所述字段信息与当前匹配的候选主题域之间的匹配度大于设定的匹述源数据表所属的主题域类别。基于所述多个候选词各自对应的词向量，从所述多个候选词中确定出至少一个关键基于所述源数据表的表向量与各个候选数据表各自对应的表向量基于所述至少一个候选数据表各自对应的主题域类别，确定业务字段识别单元，用于基于待标准化的源数据表的原始表格信息表格信息识别单元，用于基于所述原始表格信息进行表格信息识别4表命名单元，用于基于所述表格类别，生成所述源数据表对应的标数据项命名单元，用于针对所述原始表格信息包括的各个字段信标准表生成单元，用于基于所述标准表名称与所述各个字段信息的所述处理器执行所述计算机程序时实现权利要求1至8任一项所述方该计算机程序指令被处理器执行时实现权利要求1至8任一该计算机程序指令被处理器执行时实现权利要求1至8任一5[0006]基于待标准化的源数据表的原始表格信息，以及所述源数据表的数据元对标结[0007]基于所述原始表格信息进行表格信息识别，确定所述源数据6[0025]针对确定的各个所述业务时间字段，若存在业务时间字段未对应有所有表示类[0033]若所述表名称和所述字段信息与当前匹配的候选主题域之间的匹配度大于设定[0038]基于所述源数据表的表向量与各个候选数据表各自对应7所述一个字段信息对应的标准数据项为源数据表中的相应源数据项；对应的标准数据项；标准数据项。所述一个字段信息对应的标准数据项添加相应表示类型的[0053]若所述一个字段信息为非业务时间字段，则确定各标准8[0063]图5为本申请实施例提供的采用分类模型实现源数据表的主题域分类的流程示意9[0083]数据表标准化设备102其可以执行本申请实施例所提供的数据表标准化方法的步[0084]数据表标准化设备102可以包括一个或多个处理器1021、存储器1022以及与终端[0090]终端设备101、数据表标准化设备102和数据库103之间可以通过一个或者多个网端设备101或者数据表标准化设备102的数量并不进用云存储(cloudstorage)技术进行存储。云存储是在云计算概念上延伸和发展出来的一器中可维护一个节点标识列表，将服务器名称和节点标识对应存储至该节点标识列表中。[0095]当然，本申请实施例提供的方法并不限用于图1所示的应用场景或者图2的架构景的各个设备所能实现的功能将在后续的方法实施例中一并进行描述，在此先不过多赘据元的特性中包括了上述的时间字段标识，或称为表示词，从而可以从数据元的表示词为预先设定非业务时间字段的检测规则，从而从找到的时间字段中检测出非业务时间字段，进而可以采用非业务时间字段排除的方式来确定一个字段是否为业务1234567[0133]当源数据表中的名称和字段信息与关系主题域之间的匹配度大于设定的匹配度[0134]若是源数据表中的名称和字段信息与关系主题域之间的匹配度不大于设定的匹[0138]当源数据表中的名称和字段信息与轨迹主题域之间的匹配度大于设定的匹配度[0139]若是源数据表中的名称和字段信息与轨迹主题域之间的匹配度不大于设定的匹[0143]当源数据表中的名称和字段信息与人主题域之间的匹配度大于设定的匹配度阈[0144]若是源数据表中的名称和字段信息与人主题域之间的匹配度不大于设定的匹配[0148]当源数据表中的名称和字段信息与地址主题域之间的匹配度大于设定的匹配度[0149]若是源数据表中的名称和字段信息与地址主题域之间的匹配度不大于设定的匹[0153]当源数据表中的名称和字段信息与物品主题域之间的匹配度大于设定的匹配度[0154]若是源数据表中的名称和字段信息与物品主题域之间的匹配度不大于设定的匹[0158]当源数据表中的名称和字段信息与事件主题域之间的匹配度大于设定的匹配度[0159]若是源数据表中的名称和字段信息与事件主题域之间的匹配度不大于设定的匹[0163]具体的，参见图5所示，为采用分类模型实现源数据表的主题域分类的流程示意[0168]在一种实施方式中，可以使用词袋模型(BagOfWords，BOW)或向量空间模型[0172]具体的，可以采用如下公式计算特征值，即词频-逆文本频率(termfrequen[0178]S504：基于源数据表的表向量与各个候选数据表各自对应的表向量之间的相似主体域类别作为源数据表所属的主题域类别。[0186]本申请实施例中，可以将业务系统及业务名称提取算法标准数据项的生成包括两个阶段，即图6所示的基本项基本命名阶段和业务字段命名及整名算法及数据项命名算法，并通过自动化生成标准表结构可实现对标准数据自动化建模，有技术进行数据表标准化所耗费的大量的时间和精力，能大大提高时间成本及人力成本。[0207]请参见图7，基于同一发明构思，本申请实施例还提供了一种数据表标准化装置[0210]表命名单元703，用于基于表格类别，生成源数据表对应的标准化表的标准表名[0211]数据项命名单元704，用于基于数据元对标结果、原始表格信息以及业务时间字[0225]基于表名称和字段信息进行分区方式识别，确定源数据表所[0229]若表名称和字段信息与当前匹配的候选主题域之间的匹配度大于设定的匹配度标准数据项：字段信息对应的标准数据项为源数据表中的[0249]若所述一个字段信息为非业务时间字段，则确定各标准不限定上述存储器801和处理器802之间的具体连接介质。本申请实施例在图8中以存储器[0254]存储器801可以是易失性存储器(volatilememory)，例如随机存取存储器(random-accessmemory，RAM)；存储器801也可以是非易失性存储器(non-volatile使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方