CN115543198B 非结构化数据入湖方法、装置、电子设备及存储介质 （招商局金融科技有限公司）

道皇岗路5001号深业上城(南区)二期数据键值、数据版本及数据有效性的扩展元数处理元数据及扩展元数据存储到预设的元数据存储空间，设置待处理数据的数据有效性为有2获取数据处理请求，解析所述数据处理请求得到待处理数理类型为变更的待处理数据存储到所述预设的存储系统中的数据存储空间及将对应的所汇集所述数据键值、所述数据版本及所述数据有在所述预设的存储系统中查询与所述数据键值或与所述数据版本相匹配的数据键值在所述预设的存储系统中，当未匹配到与所述数据键值相在所述预设的存储系统中，当匹配到与所述数据键值相匹配的数据键在所述预设的存储系统中，当匹配到与所述数据键值相匹配的数将所述待处理数据对应的所述数据键值及所述数据版本将匹配到的数据键值及数据版本对应的数据、元数据及扩展元数据作为所述目标对3分别获取所述待处理数据在所述数据存储空间中的数据存储地址及对应的所述待处理元数据及所述扩展元数据在所述元数据存储空间的元数据存根据所述待处理数据与所述待处理元数据及所述扩展元数据之间的述数据存储地址和所述元数据存储地址之间的映射数据处理请求解析模块，用于获取数据处理请求，解析所述数据数据写入模块，用于当所述处理类型为写入时，利用所述数据键数据更新及删除模块，用于当所述处理类型为变更或删除时，利据存储空间及将对应的所述待处理元数据及所述扩展元数据存储到所述预设的存储系统利用所述数据键值及所述数据版本对所述预设的存储系统中的已有目标对象进行定将所述待处理数据对应的所述数据键值及所述数据版本将匹配到的数据键值及数据版本对应的数据、元数据及扩展元数据作为所述目标对4所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述理器执行时实现如权利要求1至6中任意一项所述的非结构化数据5储到所述预设的存储系统中的元数据存储空间，设置所述待处理数据的数据有效性为有的存储系统中的已有目标对象进行定位，将所述目标对象对应的数据有效性设置为无效，将处理类型为变更的待处理数据存储到所述预设的存储系统中的数据存储空间及将对应6的所述待处理元数据及所述扩展元数据存储到所述预设的存储系统中的元数据存储[0025]在所述预设的存储系统中查询与所述数据键值或与所述数据版本相匹配的数据[0033]可选地，所述将所述待处理数据存储到所述预设的存储系统中的数据存储空间、将对应的所述待处理元数据及所述扩展元数据存储到所述预设的存储系统中的元数据存[0034]分别获取所述待处理数据在所述数据存储空间中的数据存储地址及对应的所述待处理元数据及所述扩展元数据在所述元数据存储空间的元数建所述数据存储地址和所述元数据存储地址之间的映射7的数据存储空间及将对应的所述待处理元数据及所述扩展元数据存储到所述预设的存储[0044]利用所述数据键值及所述数据版本对所述预设的存储系统中的已有目标对象进[0050]处理器，执行所述存储器中存储的程序以实现上述所述的非结构化数据入湖方[0052]本发明实施例利用扩展元数据的数据键值和数据版本对预设的存储系统中的已8[0054]图2为本发明一实施例提供的非结构化数据入湖方法中其中一个步骤的详细实施[0055]图3为本发明一实施例提供的非结构化数据入湖方法中其中一个步骤的详细实施[0057]图5为本发明一实施例提供的实现所述非结构化数据入湖方法的电子设备的结构[0063]本发明实施例中，所述数据处理请求是指通过预设的API接口发起的针对非结构接口是指根据实际业务需要定义的非结构化数据操作规范生成的面向用户的标准化的数9[0071]所述数据版本是用来对所述待处理数据及所述待处理元数据进行版本管理的一[0089]在所述预设的存储系统中查询与所述数据键值或与所述数据版本相匹配的数据示所述预设的存储系统中并不包含所述数据键值[0100]分别获取所述待处理数据在所述数据存储空间中的数据存储地址及对应的所述待处理元数据及所述扩展元数据在所述元数据存储空间的元数建所述数据存储地址和所述元数据存储地址之间的映射应的所述待处理元数据及所述扩展元数据存储到所述预设的存储系统中的元数据存储空[0116]本发明实施例利用扩展元数据的数据键值和数据版本对预设的存储系统中的已中的数据存储空间及将对应的所述待处理元数据及所述扩展元数据存储到所述预设的存[0124]详细地，本发明实施例中所述非结构化数据入湖装置100中的各个模块在使用时[0125]如图5所示，是本发明一实施例提供的实现非结构化数据入湖方法的电子设备的的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的程序或者模块(例如非结构化数据入湖程序等)，以及调用存储在所述存储器11内的数PCI)总线或扩展工业标准结构(extendedindustrystandardarchitecture，简称EISA)[0131]例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户[0135]所述电子设备1中的所述存储器11存储的非结构化数据入湖程序是多个指令的组储到所述预设的存储系统中的元数据存储空间，设置所述待处理数据的数据有效性为有的存储系统中的已有目标对象进行定位，将所述目标对象对应的数据有效性设置为无效，将处理类型为变更的待处理数据存储到所述预设的存储系统中的数据存储空间及将对应的所述待处理元数据及所述扩展元数据存储到所述预设的存储系统中的元数据存储空间，[0141]本发明还提供一种计算机可读存储介质，所述可读存储储到所述预设的存储系统中的元数据存储空间，设置所述待处理数据的数据有效性为有的存储系统中的已有目标对象进行定位，将所述目标对象对应的数据有效性设置为无效，将处理类型为变更的待处理数据存储到所述预设的存储系统中的