CN113111102B 数据处理方法及装置、计算机设备及计算机可读存储介质 （中国建设银行股份有限公司）

利用源系统数据对应的解析程序对源系统数据2根据接收到的源系统数据，从预先配置的解析程序数据库中获源系统数据包括Bloomberg系统数据，目标格式数据包括UNIX格式数据，统数据包括第一类型Bloomberg系统数据和第二类型Bloo根据接收到的源系统数据，从预先配置的解析程序数据库中获后的Poms数据解析程序解析Poms系统数据得到的UNIX格式数据，生成Req基础文件；调用解析程序数据库中获取与Bloomberg系统数据对应的Bloomberg数据解析通过命令行调用Bloomberg系统数据对应的Bloomberg数据解析程序对Bloomberg系统从Poms系统的待解析文件目录获取包含Poms系统数据的待解根据获取的包含Poms系统数据的待解析文件，从预先配置的解析程序通过命令行调用Poms系统数据对应的Poms数据解析程序对从第一类型Kondor系统的待解析文件目录获取包含第一类型Kondor系统数据的待解根据获取的包含第一类型Kondor系统数据的待解析文件，从预先配库中获取与第一类型Kondor系统数据对应的第一类型Kondor数通过命令行调用第一类型Kondor系统数据对应的第一类型Kondor数据解析程序对第根据从第二类型Kondor系统的待解析文件目录获取的包含第二类型Kondor系统数据3根据从SFTP服务器获取的包含第三类型Kondor系统数据的待解通过命令行调用第二类型Kondor系统数据对应的第二类型Kondor数据解析程序对第通过命令行调用第三类型Kondor系统数据对应的第三类型Kondor数据解析程序对第将第二类型Kondor系统数据对应的解析文件和/或第三类型Kondor系统数据对应的解从Reuter系统的待解析文件目录获取包含Reuter系统数据的待解根据获取的包含Reuter系统数据的待解析文件，从预先配置的解析通过命令行调用Reuter系统数据对应的Reuter数据解析程序对Reuter系统数据进行从Wind系统的待解析文件目录获取包含Wind系统数据的待解根据获取的包含Wind系统数据的待解析文件，从预先配置的解析程序Wind系统数据对应的Wind数据解析程通过命令行调用Wind系统数据对应的Wind数据解析程序对解析程序获取模块，用于根据接收到的源系统数据，从预先配置的解析程数据解析模块，用于利用源系统数据对应的解析程序对Bloomberg解析程序获取单元，用于根据获取的包含Bloomberg系统数据的Req数据文4Bloomberg数据解析单元，用于通过命令行调用Bloomberg系统数据对应的BloombergBloomberg系统数据包括第一类型Bloomberg系统数据和第二类型Bloomberg系统数第一Req文件生成单元，用于基于Poms数据解析程序解析Poms系统数据得到的UNIX格Req基础文件生成子单元，用于基于更新后的Poms数据解析程序解析Poms系统数据得第一Req文件生成子单元，用于调用Req文件生成程序，根据ReqPoms解析文件获取单元，用于从Poms系统的待解析文件目录获Poms解析程序获取单元，用于根据获取的包含Poms系统数置的解析程序数据库中获取与Poms系统数据对应的PomsPoms数据解析单元，用于通过命令行调用Poms系统数据对应的Poms数据解析程序对第一类型Kondor解析文件获取单元，用于从第一类型Kondor系第一类型Kondor解析程序获取单元，用于根据获取的包含第一第一类型Kondor数据解析单元，用于通过命令行调用第一类型第二类型Kondor解析程序获取单元，用于根据从第二类型5第三类型Kondor解析程序获取单元，用于根据从SFTP服务器获取的包含第三类型第二类型Kondor数据解析单元，用于通过命令行调用第二类型第三类型Kondor数据解析单元，用于通过命令行调用第三类型格式转换单元，用于将第二类型Kondor系统数据对应的解析文件和/或第三类型Kondor系统数据对应的解析文件转换为UNIReuter解析文件获取单元，用于从Reuter系统的待解析文件Reuter解析程序获取单元，用于根据获取的包含Reuter系先配置的解析程序数据库中获取与Reuter系统数据对应的Reuter数Reuter数据解析单元，用于通过命令行调用Reuter系统数据对应Wind解析文件获取单元，用于从Wind系统的待解析文件目录获取包含WiWind解析程序获取单元，用于根据获取的包含Wind系统数据的待解析文置的解析程序数据库中获取与Wind系统数据对应的WindWind数据解析单元，用于通过命令行调用Wind系统数据对应的Wind数据解析程序对6[0006]本发明实施例提供一种数据处理方法，用以提高不同源数据处理的灵活性及效7取与源系统数据对应的解析程，利用源系统数据对应的解析程序对源系统数据进行解析，[0030]图15为本发明第十五实施例提供的数据处理装置中Req文件生成单元1401的结构[0031]图16为本发明第十六实施例提供的数据处理装置中第一Req文件生成单元1501的8获取与源系统数据对应的解析程，利用源系统数据对应的解析程序对源系统数据进行解[0048]在本发明实施例中，根据接收到的配置指令配置解析程9接收到的源系统数据，从预先配置的解析程序数据库中获取与源系统数据对应的解析程据库中获取与Poms系统数据对应的Pom[0054]步骤303，通过命令行调用Poms系统数据对应的Poms数据解析程序对Poms系统数[0055]具体在源系统数据包括Poms系统数据，目标格式数据包括UNIX格式数据时，从Poms系统的待解析文件目录Blp获取包含Poms系统数据的待解析文件，例如将包含Poms系[0057]以下表一示出了利用Poms数据解析程序解析Poms系统数据获得UNIX格式数据所程序数据库中获取与Bloomberg系统数据对应的Bloomberg数据[0066]步骤403，通过命令行调用Bloomberg系统数据对应的Bloomberg数据解析程序对据文件下载到Bloomberg系统的待解析文件目录Res，从Bloomberg系统的待解析文件目录Res获取包含Bloomberg系统数据的待解析文件，例如将包含Bloomberg系统数据的待解析取与Bloomberg系统数据对应的Bloomberg数据解析程序，通过命令行的方式调用Bloomberg数据解析程序对Bloomberg系统数据进行解析，将解析后的文件存储至以包括过滤Bloomberg系统数据中的无效数据，调用Bloomberg数据解析程序对Bloomberg[0070]以下表二示出了利用Bloomberg数据解析程序解析Bloomberg系统数据获得UNIXBloomberg系统数据对应的Bloomberg数据解析程序对Bloomberg系统数据进行解析，获取Poms数据解析程序解析Poms系统数据得到的UNI[0083]步骤602，基于更新后的Poms数据解析程序解析Poms系统数据得到的UNIX格式数调用文件获取程序GetPomsFolder.exe更新Poms系统数据对应的Poms数据解析程序PomsFiFileTranslate.exe生成\poms\data_fil0e\YYYYMMDD\mid_file\POMS_ODS_000_BOND_POSITION_FLITER_ALL_YYYYMMDD_00N.dat。进而，基于更新后的Poms数据解析程序PomsFileTranslate_Filter.ini解析Poms系统数据得到的UNIX格式数据，调用BBReqCheck.exe获取POMS_ODS_000_BOND_POSITION_FLITER_ALL_YYYYMMDD_000N.dat文件中的BB_DECIMAL字段生成Req基础文件data.dat。最后，调用Req文件生成程序BB_类型Bloomberg系统数据的Req数据文件[0089]步骤701，从第一类型Kondor系统的待解析文件目录获取包含第一类型Kondor系[0092]步骤703，通过命令行调用第一类型Kondor系统数据对应的第一类型Kondor数据滤除无效数据后的第一类型Kondor系统数据进[0096]以下表三示出了利用第一类型Kondor数据解析程序解析第一类型Kondor系统数Kondor系统数据的待解析文件，根据获取的包含第一类型Kondor系统数据的待解析文件，从预先配置的解析程序数据库中获取与第一类型Kondor系统数据对应的第一类型Kondor[0101]在本发明的一实施例中，源系统数据包括第二类型Kondor系统数据和/或第三类[0102]步骤801，根据从第二类型Kondor系统的待解析文件目录获取的包含第二类型从预先配置的解析程序数据库中获取与第三类型Kondor系统数据对应的第三类型Kondor[0105]步骤803，通过命令行调用第二类型Kondor系统数据对应的第二类型Kondor数据[0106]步骤804，通过命令行调用第三类型Kondor系统数据对应的第三类型Kondor数据据的数据文件下载到第一类型Kondor系统的待解析文件目录Res，从第一类型Kondor系统的待解析文件目录Res获取包含第一类型Kondor系统数据的待解析文件，例如将包含第一类型Kondor系统数据的待解析文件拷贝到第一类型Kondo据的数据文件下载到第三类型Kondor系统的待解析文件目录Res，从第三类型Kondor系统的待解析文件目录Res获取包含第三类型Kondor系统数据的待解析文件，例如将包含第三类型Kondor系统数据的待解析文件拷贝到第三类型Kondo二类型Kondor系统数据的待解析文件，从预先配置的解析程序数据库中获取与第二类型三类型Kondor系统数据的待解析文件，从预先配置的解析程序数据库中获取与第三类型二类型Kondor系统数据对应的解析文件，和/或通过命令行调用第三类型Kondor系统数据Kondor系统数据对应的解析文件，将第二类型Kondor系统数据对应的解析文件和/或第三[0117]在本发明的一实施例中，源系统数据包括Reuter系统数据，目标格式数据包括[0118]步骤901，从Reuter系统的待解析文件目录获取包含Reuter系统数据的待解析文数据库中获取与Reuter系统数据对应的Reuter数[0121]步骤903，通过命令行调用Reuter系统数据对应的Reuter数据解析程序对Reuter过滤Reuter系统数据中的无效数据，调用Reuter数据解析程序对Reuter系统数据进行解[0125]以下表四示出了利用Reuter数据解析程序解析Reuter系统数据获得UNIX格式数对应的Reuter数据解析程序对Reuter系统数据进行解析，获取UNIX格式数据，能够提高数据库中获取与Wind系统数据对应的Wind数2，04:35)，目标格式数据包括UNIX格式数据时，将包含Wind系统数据的数据文件下载到Wind数据解析程序对滤除无效数据后的Wind系统数据进行[0138]以下表五示出了利用Wind数据解析程序解析Wind系统数据获得UNIX格式数据所FileTranslate.exeFileTranslateK30.exeGetFtpFile.exeDesCode.exeDesAndReDes.exeConvertUnix.exeFTP_Download_Chk.batDESCK3_AddFile.iniK+3.0解析程序配置文件，用于黄金数据文件合并AddFile.iniK+解析程序配置文件，用于黄金数据文件合并FTP_Download_CHK.iniFTP_Download_CHK.bat配置文件，设定日志目录KondorFileTranslate.iniK+解析程序配置文件MTMFileTranslate.iniK+解析程序MTM数据类配置文件BloombergFileTranslate.ini彭博解析程序配置文件PomsFileTranslate.iniPoms解析程序配置文件PomsFileTranslate_Filter.iniPoms解析程序配置文件，Bloomberg用ReuterFileTranslate.ini路透解析程序配置文件translate.ini[0148]图11示出了本发明第十一实施例提供的数据处理装置的[0149]参考图11，所述数据处理装置所包含的各个模块用于执行图1对应实施例中的各[0151]数据解析模块1102，用于利用源系统数据对应的解析程序对源系统数据进行解[0153]图12示出了本发明第十二实施例提供的数据处理装置的理装置所包含的各个模块用于执行图2对应实施例中的各个步骤，具体请参阅图2以及图2[0157]图13示出了本发明第十三实施例提供的数据处理装置的单元用于执行图3对应实施例中的各个步骤，具体请参阅图3以及图3对应实施例中的相关Poms解析文件获取单元1301及Poms解析程序获[0160]Poms解析程序获取单元1302，用于根据获取的包含Poms从预先配置的解析程序数据库中获取与Poms系统数据对应的Poms数据解析[0164]图14示出了本发明第十四实施例提供的数据处理装置的包含的各个单元用于执行图4对应实施例中的各个步骤，具体请参阅图4以及图4对应实施块包括Req文件生成单元1401及Bloomberg解析程序获取单元[0167]Bloomberg解析程序获取单元1402，用于根据获取的包含Bloomberg系统数据的Req数据文件，从预先配置的解析程序数据库中获取与Bloomberg系统数据对应的[0169]Bloomberg数据解析单元1403，用于通过命令行调用Bloomberg系统数据对应的统数据对应的Bloomberg数据解析程序，Bloomberg数据解析单元1403通过命令行调用Bloomberg系统数据对应的Bloomberg数据解析程序对Bloomberg系统数据进行解析，获取[0171]图15示出了本发明第十五实施例提供的数据处理装置中Req文件生成单元1401的生成单元1401包括第一Req文件生成单元1501或第二Req文件生成[0173]第一Req文件生成单元1501，用于基于Poms数据解析程序解析Poms系统数据得到[0174]第二Req文件生成单元1502，用于生成包含第二类型Bloomberg系统数据的Req数[0175]在本发明实施例中，第一Req文件生成单元1501基于Poms数据解析程序解析Poms二Req文件生成单元1502生成包含第二类型Bloomberg系统数据的Req数据文件，能够提高[0176]图16示出了本发明第十六实施例提供的数据处理装置中第一Req文件生成单元础文件生成子单元1602及第一Req文件生成子单元[0179]Req基础文件生成子单元1602，用于基于更新后的Poms数据解析程序解析Poms系Poms数据解析程序，Req基础文件生成子单元1602基于更新后的Poms数据解析程序解析Req文件生成程序，根据Req基础文件生成Req数据文件，能够提高生成包含第一类型Bloomberg系统数据的Req数据文[0182]图17示出了本发明第十七实施例提供的数据处理装置的处理装置所包含的各个单元用于执行图7对应实施例中的各个步骤，具体请参阅7以及图7序获取模块1101包括第一类型Kondor解析文件获取单元1701及第一类型Kondor解析程序件目录获取包含第一类型Kondor系统数据的的解析程序数据库中获取与第一类型Kondor系统数据对应的第一类型Kondor数据解析程[0189]图18示出了本发明第十八实施例提供的数据处理装置的[0190]在本发明的一实施例中，源系统数据包括第二类型Kondor系统数据和/或第三类率，参考图18，所述数据处理装置所包含的各个单元用于执行图8对应实施例中的各个步据处理装置中，所述解析程序获取模块1101包括第二类型Kondor解析程序获取单元1801和/或第三类型Kondor解析程序获取单元18据库中获取与第二类型Kondor系统数据对应的第二类型Kondor数类型Kondor系统数据的待解析文件，从预先配置的解析程序数据库中获取与第三类型Kondor系统数据对应的第三类型Kondor数据[0193]数据解析模块1102包括第二类型Kondor数据解析单元1803第三类型Kondor数据[0196]格式转换单元1805，用于将第二类型Kondor系统数据对应的解析文件和/或第三类型Kondor系统数据对应的解析文件转换为UN[0197]在本发明实施例中，第二类型Kondor解析程序获取单元1801根据从第二类型配置的解析程序数据库中获取与第二类型Kondor系统数据对应的第二类型Kondor数据解行调用第二类型Kondor系统数据对应的第二类型Kondor数据解析程序对第二类型Kondor数据解析单元1804通过命令行调用第三类型Kondor系统数据对应的第三类型Kondor数据文件，格式转换单元1805将第二类型Kondor系统数据对应