CN119513428A 基于Elasticsearch搜索引擎动态生成查询接口的方法、装置及系统 （青岛美迪康数字工程有限公司）

基于Elasticsearch搜索引擎动态生成查询基于Elasticsearch搜索引擎动态生成查询接口Elasticsearch搜索引擎的目标查询接口的配置并基于预设的程序处理模块和所述目标查询接口的目标请求映射信息对所述目标查询接口进所述接口请求指令转化为Elasticsearch搜索引擎的目标查询接口。本发明利用Elasticsearch2获取用于生成Elasticsearch搜索引擎的目标查询接口的配置信息，所述目标查询接根据所述API接口信息、API访问路径和请求方式生成所述目标查询根据预设的程序处理模块和所述目标查询接口的目标请求映射信息对所述目标查询求指令进行解析处理，以将所述接口请求指令转化为Elasticsearch搜索引擎的目标查询其中，根据所述程序处理模块对所述接口请求指令进行解析处码功能将所述目标查询接口对应的ES脚本字段中包含的查询参数标志占位符逐一替换为2.根据权利要求1所述的方法，其特征在于，根据所述API访问路径将所述目标ES查询模板推送至Elasticsear获取Elasticsearch搜索引擎返回的目标数据信息，采用所述响应数据处理功能将所为上线后的目标查询接口创建应用ID，并为所述目标为所述目标查询接口配置限流规则，以对所述目标查询接口访问Elasticsearch搜索4.根据权利要求3所述的方法，其特征在于，在根据所述API若所述目标查询接口配置了限流规则调用所述限流规则，3当所述目标查询接口通过限流或未配置限流规则，则根据所述API访问路径将所述目标ES查询模板推送至Elasticsearch搜索引获取当前限流规则对应的目标查询接口的限流阈值类型，并判断若超过则获取所述目标查询接口的流量控制效果标识，当所述流对于请求方式为POST请求的接口请求指令，采用预设的过滤器缓存所述POST请求的对于请求方式为GET请求的接口请求指令，直接获取所述GET请求的请求捕捉目标业务系统数据库中目标数据的变更信息，所述目基于所述目标数据的变更信息生成数据同步脚本语言，并发送至Elasticsearch搜索引擎，以使Elasticsearch搜索引擎根据所述数据同步脚本语言执行相应的目标数据变更采用预设的中间件工具对目标业务系统数据库的目标数据进行查基于定制的Kafka消费者服务对所述Kafka的消息队列中的目标数据的变更信息进行获取与所述目标数据对应的Elasticsearch搜索引擎的索引，根据所述索引和目标数据的变更操作方法生成Elasticsearch搜索引擎能够映射生成模块，用于根据所述API接口信息、API访问路径和请4接口注册模块，用于根据预设的程序处理模块和所述目标查接口生成模块，用于当接收到所述目标查询接口的接口请求指令理模块对所述接口请求指令进行解析处理，以将所述接口请求指令转化为Elasticsearch其中，根据所述程序处理模块对所述接口请求指令进行解析处码功能将所述目标查询接口对应的ES脚本字段中包含的查询参数标志占位符逐一替换为Elasticsearch搜索引擎动态生成查询接口的方5[0001]本发明涉及数据处理技术领域，尤其涉及一种基于Elasticsearch搜索引擎动态[0006]而动态生成接口现在的解决方案多以第一种方式编写SQL脚本为主，对于用户的[0007]鉴于上述问题，提出了本发明以便克服上述问题的一种基于Elasticsearch搜索[0008]本发明的一个方面，提供了一种基于Elasticsearch搜索引擎动态生成查询接口获取用于生成Elasticsearch搜索引擎的目标查询接口的配置信息，所述目标查根据预设的程序处理模块和所述目标查询接口的目标请求映射信息对所述目标查询接口进行注册，其中所述程序处理模块中集成有参数处理功能和ES脚本解析编码功6口请求指令进行解析处理，以将所述接口请求指令转化为Elasticsearch搜索引擎的目标析编码功能将所述目标查询接口对应的ES脚本字段中包含的查询参数标志占位符逐一替根据所述API访问路径将所述目标ES查询模板推送至Elasticsearch搜索引擎中，获取Elasticsearch搜索引擎返回的目标数据信息，采用所述响应数据处理功能[0010]进一步地，在将所述接口请求指令转化为Elasticsearch搜索引擎的目标查询接为所述目标查询接口配置限流规则，以对所述目标查询接口访问Elasticsearch当所述目标查询接口通过限流或未配置限流规则，则根据所述API访问路径将所述目标ES查询模板推送至Elasticsearch搜索7的body内容获得第一查询参数，以使第一查询参数可以在生成目标查询接口时被重复使基于所述目标数据的变更信息生成数据同步脚本语言，并发送至Elasticsearch搜索引擎，以使Elasticsearch搜索引擎根据所述数据同步脚本语言执行相应的目标数据基于定制的Kafka消费者服务对所述Kafka的消息队列中的目标数据的变更信息获取与所述目标数据对应的Elasticsearch搜索引擎的索引，根据所述索引和目标数据的变更操作方法生成Elasticsearch搜索引擎能够理解的数据[0016]本发明的另一个方面，提供了一种基于Elasticsearch搜索引擎动态生成查询接获取模块，用于获取用于生成Elasticsearch搜索引擎的目标查询接口的配置信序处理模块对所述接口请求指令进行解析处理，以将所述接口请求指令转化为析编码功能将所述目标查询接口对应的ES脚本字段中包含的查询参数标志占位符逐一替[0017]本发明的另一个方面，提供了一种基于Elasticsearch搜索引擎动态生成查询接8口的系统，所述系统包括多个目标业务系统数据库、计算机设备和Elasticsearch搜索引运行的计算机程序；所述计算机程序被所述处理器执行时，实现如上任一项所述的基于Elasticsearch搜索引擎动态生成查询接口的[0018]本申请实施例提供的一种基于Elasticsearch搜索引擎动态生成查询接口的方口请求指令时，对所述接口请求指令进行解析处理，以将所述接口请求指令转化为[0019]上述说明仅是本发明技术方案的概述，为了能够更清楚图1为本发明实施例的一种基于Elasticsearch搜索引擎动态生成查询接口的方图4为本发明实施例的一种基于Elasticsearch搜索引擎动态生成查询接口的装[0023]下面结合附图对本发明提供的基于Elasticsearch搜索引擎动态生成查询接口的9本发明实施例提供了一种基于Elasticsearch搜索引擎动态生成查询接口的方[0025]进一步地，ES脚本字段采用了ES模板化技术来实现，与常规的ES查询语言DSL不本发明实施例采用Java语言的SpringBoot框架开发，在接收到目标查询接口的述接口请求指令进行解析处理，以将所述接口请求指令转化为Elasticsearch搜索引擎的析编码功能将所述目标查询接口对应的ES脚本字段中包含的查询参数标志占位符逐一替生成Elasticsearch搜索引擎的目标查询接口，提供了高效率查询、简易化构建接口的功ES查询模板之后，本发明实施例的基于Elasticsearch搜索引擎动态生成查询接口的方法[0032]进一步地，本发明实施例的程序处理模块的参数处[0034]本发明实施例基于SpringBoot框架，将用户输入的接口信息经过处理转化为ES成参数，以便用户通过简单的接口配置便能够自动动态的生成Elasticsearch搜索引擎的[0036]进一步地，在将所述接口请求指令转化为Elasticsearch搜索引擎的目标查询接将所述目标ES查询模板推送至Elasticsearch搜直至所述目标查询接口通过所有限流规则。[0043]下面对本发明实施例提供的基于Elasticsearch搜索引擎动态生成查询接口的方实施例中所述基于所述目标数据的变更信息生成[0045]本发明一个实施例中采用Logstash中间件工具捕捉目标业务系统数据库中的目库中的数据发送至和该目标业务系统数据库相对应的kafk本发明实施例还配备了定制的Kafka消费者服务，Kafka消费者服务实时消费结构的消息传送至kafka的端口，Kafka消费者服务再通过消费kafka端口上的消息便可以获取到目标数据的变更信息。其中用于不同目标业务系统数据库相对应的kafka的端口不同，Kafka消费者服务根据所消费的端口的不同便可以或者数据变更来源于哪个业务系统和目标数据的变更操作方法生成Elasticsearch搜索引擎能够数据保存至与所述Elasticsearch搜索引擎相[0053]图3示出了本发明实施例的捕捉目标业务系统数据库中目标数据的变更信息，基使Elasticsearch搜索引擎根据所述数据同步脚本语言执行相应的目标数据变更操作时的首先由Logstash中间件工具将目标数据的变更信息实时同步至Kafka的消息队列中，不同消费者系统根据自身定制的Kafka消费者服务去消费Kafka的并将消费后的信息生成数据同步脚本语言，并发送至Elasticsearch搜索引擎，以使Elasticsearch搜索引擎根据所述数据同步脚本语言执行相应[0054]需要说明的是，除采用Logstash中间件系统将业务数据库系统中数据同步至图4示意性的示出了本发明实施例提供一种基于Elasticsearch搜索引擎动态生接口注册模块403，用于根据预设的程序处理模块和所述目标查询接口的目标请程序处理模块对所述接口请求指令进行解析处理，以将所述接口请求指令转化为解析编码功能将所述目标查询接口对应的ES脚本字段中包含的查询参数标志占位符逐一所述目标响应数据反馈至所述接口请求指令的述目标ES查询模板推送至Elasticsearch搜索引擎中前对所述目标查询接口进行流量控据所述API访问路径将所述ES查询模板推送至Elasticsear数据为大数据量或目标业务系统数据库中查询缓慢的接脚本语言生成子模块，用于获取与所述目标数据对应的Elasticsearch搜索引擎的索引，根据所述索引和目标数据的变更操作方法生成Elasticsearch搜索引擎能够理解[0063]本申请实施例提供的一种基于Elasticsearch搜索引擎动态生成查询接口的方搜索引擎的目标查询接口。本发明利用Elasticsearch搜索引擎技术提高了查询效率的同本发明实施例提供了一种基