CN116450890B 图数据处理方法、装置、系统、电子设备及存储介质 （中电金信软件有限公司）

输入数据源和图实例的图数据结构的字段映射根据字段映射配置信息转换成图数据存储在图端基于离线数据和实时数据合并生成的图数据2所述数据源管理引擎，用于管理进行图数据处理时作为输入数据所述图数据库处理引擎，用于根据所述离线数据源的数据源信息对所所述图数据库处理引擎，还用于对所述第一数据流和所述第二数据流进行合并处理，所述图数据库处理引擎，还用于根据所述处理配置信息对所述合并处所述查询应用，用于基于用户触发的查询请求查询所述图数据存所述图数据存储后端，还用于响应于所述查询应用的所述查询，根据根据所述第一数据流和所述第二数据流中各字段之间的关联关系根据所述字段映射配置信息对所述合并处理结果进行拆解处理，将所通过变更数据获取工具将所述离线数据源的数据源信息对应的所述第一数据库中的通过数据库连接读取所述离线数据源的数据源信息对应的所述第一数据库中的全量通过变更数据获取工具获取所述实时数据源的数据源信息对应的所述第二数据库中3读取所述实时数据源的数据源信息指定的所述消息队列中的实时数据所述查询服务端根据所述图数据存储后端支持的查询语法对所述查询请求中携带的所述查询服务端基于所述目标查询语句查询所述图数据存储后端，并根据配置人员的配置操作，获取进行图数据处理时作为输入数根据所述第一数据流和所述第二数据流中各字段之间的关联关系根据所述处理配置信息对所述合并处理结果进行拆解处理，生配置管理模块，用于根据配置人员的配置操作，获取进行图数据数据流采集模块，用于根据所述离线数据源的数据源信息对所述离线数据源进行读数据流合并模块，用于根据所述第一数据流和所述第二数据流中9.一种电子设备，包括存储器、处理器及存储在45[0006]根据所述离线数据源的数据源信息对所述离线数据源进行读取，得到第一数据6[0015]图数据生成模块，用于根据所述处理配置信息对所述合并处理结果进行拆解处7[0030]上述说明仅是本申请技术方案的概述，为了能够更清楚[0037]图6示意性地示出了用于保持或者携带实现根据本申请的方法的程序代码的存储[0041]所述数据源管理引擎110，用于管理进行图数据处理时作为输入数据源的离线数[0042]本申请的一些实施例中，所述数据源管理引擎110用于管理整个图数据加工的数8和处理配置信息。之后，图数据库处理引擎120将从输入数据源中读取的数据进行合流处面对图数据库处理引擎120的功能和实现方案进行举例[0049]所述图数据库处理引擎120，用于根据所述离线数据源的数据源信息对所述离线[0051]本申请的实施例中，图数据库处理引擎120可以根据所述数据源信息描述的离线9[0052]可选的，对于不支持FlinkCDC工具的数据库类型，可以通过JDBC(Java获取所述实时数据源的数据源信息对应的所述第二数据库中的变化数据，得到第二数据120可以通过消息队列(例如Kafka)渠道获取外部系统写入的实时数据，作为第二数据流。[0057]所述图数据库处理引擎120，还用于对所述第一数据流和所述第二数据流进行合种开源的流处理框架)的数据流合并算子(如FlinkSt[0070]本申请的一些实施例中，所述索引存储后端140，用于存储所述图实例对应的索索引存储后端140中存储的索引是基于所述图数据存储后端130存储的数据和所述图实例述图数据存储后端支持的查询语法对所述查询请求中携带的所述查询语句进行语法转换实例名称进行实例初始化连接(第一次查询[0078]查询前端通过用户选定的或者系统默认的可视化方式将查询结果渲染成可视化存储后端存储的索引，在本地存储的所述图数据中检索满足所述查询请求的所述查询结理进行图数据处理时作为输入数据源的离线数据源的数据源信息和实时数据源的数据源[0088]例如，所述图数据处理系统的数据源管理引擎110可以根据配置人员通过所述图源的数据源信息对应的所述第一数据库中的全量数据写入第一消息队列，得到第一数据获取所述实时数据源的数据源信息对应的所述第二数据库中的变化数据，得到第二数据[0096]图数据库处理引擎120根据所述离线数据源的数据源信息对所述离线数据源进行[0098]接下来，图数据库处理引擎120对所述第一数据流和所述第二数据流进行合并处[0102]之后，图数据库处理引擎120将由离线数据和实时数据合并得到的数据流进行格配的图数据的具体实施方式，参见前文对图数据库处理引擎120的具体实施方式的相关描[0107]图实例对应的索引的生成和存储方法参见前文中对索引存储后端140的具体实施[0110]当用户通过图数据处理系统的查询应用150输入查询语句，查询目标图实例中的询服务端根据所述图数据存储后端支持的查询语法对所述查询请求中携带的所述查询语获取所述查询请求对应的查询结果的具体实施方式，参见前文中对所述查询应用150的具[0114]由于离线数据和实时数据使用共同的存储位置，所以在进行图分析和遍历的时入数据源的离线数据源的数据源信息和实时数据源的数据源信息、图实例的图数据结构，[0119]数据流采集模块420，用于根据所述离线数据源的数据源信息对所述离线数据源[0120]数据流合并模块430，用于根据所述第一数据流和所述第二数据流中各字段之间[0121]图数据生成模块440，用于根据所述处理配置信息对所述合并处理结果进行拆解[0130]通过变更数据获取工具将所述离线数据源的数据源信息对应的所述第一数据库[0131]通过数据库连接读取所述离线数据源的数据源信息对应的所述第一数据库中的[0133]通过变更数据获取工具获取所述实时数据源的数据源信息对应的所述第二数据[0137]所述查询服务端根据所述图数据存储后端支持的查询语法对所述查询请求中携进行图数据处理时作为输入数据源的离线数据源的数据源信息和实时数据源的实时数据[0141]由于离线数据和实时数据使用共同的存储位置，所以在进行图分析和遍历的时以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的电子设备中的一些或者全者计算机可读介质。存储器520可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、可以包括分别用于实现上面的方法中的各种步骤的各个计算机程序。所述程序代码530为序被处理器执行时实现如本申请实施例所述的图常为如参考图6所述的便携式或者固定存储单元。通常，存储单元包括计算机可读代码[0152]在权利要求中，不应将位于括号之