CN111736923B 数据处理方法、装置、电子设备及可读存储介质 （腾讯科技（深圳）有限公司）

文件所对应的Spark任务执行文件；通过运行Spark任务执行文件，生成待执行代码文件对应线程将待执行代码文件中的待执行代码发送至理逻辑即可在终端设备中将待执行代码发送至2确定所述待执行代码文件的编程语言类型，所述编程语言类型为Scala编程语言或启动所述Spark对象对应的线程，通过所述线程将所述待执行代码文件中的待执行代通过所述线程创建对应于Scala编程语言的解释器对象；加载所述待执行代码文件中将所述运行结果查询请求发送至所述Spa接收所述Spark集群根据所述查询请求返回所述标识对应4.根据权利要求1所述的方法，其特征在于，所述加载所述编程5.根据权利要求1至4任一项所述的方法，其特处理请求获取模块，用于获取数据处理请求，所述数据处理请求中包文件加载模块，用于确定所述待执行代码文件的编程语言对象生成模块，用于通过运行所述Spark任务执行文件，生成所述待执行代码对应的3将所述运行结果查询请求发送至所述Spa接收所述Spark集群根据所述查询请求返回所述标识对应所述存储器被配置用于存储计算机程序，所述计算机4请求方式将待执行代码发送到livy服务器，然后由livy服务器将执行代码提交到Spark集[0009]启动Spark对象对应的线程，通过线程将待执行代码文件中的待执行代码发送至[0014]代码发送模块，用于启动Spark对象对应的线程，通过线程将待执行代码发送至5Spark对象对应的线程将待执行代码发送至Spark集群，以使Spark集群可以运行待执行代在获取到待执行代码时，即可在终端设备中灵活方便的直接将待执行代码发送至Spark集群，相比于现有技术中以http请求的方式将待执行代码发送至livy服务器，然后再通过器)，只需在终端设备中设置待执行代码的核心处理逻辑即可灵活方便的将待执行代码发6算是网格计算(GridComputing)、分布式计算(DistributedComputing)、并行计算(ParallelComputing)、效用计算(UtilityComputing)、网络存储(NetworkStorage[0036]下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述于数据处理请求中包括的待执行代码文件获取到[0043]其中，可执行文件(executablefile)指的是可以由操作系统进行加载执行的文件，在执行可执行文件时可以加载该文件到内存中，由操作系统加载程序执行功能。而用中，终端设备在接收到待执行代码文件后，可以加载该Spark任务执行文件并运行该执行代码文件对应的线程，然后基于该线程将待执行代码文件中的待执行代码发送至Spark集群，进而可以通过Spark集群运行该待执行代码的功能。其中，当待执行代码为Scala编程语言时，在基于该线程将待执行代码文件中的待执行代码发送至Spark集群时，可以生成对应于该待执行代码的解释器对象，然后基于该解释器对象通过Spark集群运行7定待执行代码文件的编程语言类型，然后可以根据对应的编程语言加载对应的Spark执行中可以包含有NiFi处理器，终端设备内的NiFi可以加载待执行代码文件对应于的执行文Spark对象对应的线程将待执行代码发送至Spark集群，以使Spark集群可以运行待执行代备中直接灵活方便的将待执行代码发送至Spark集群，不再需要配置任何外部环境来执行8的编程语言类型为Scala编程语言时，其所对应的Spark任务执行文件为预先配置的jar数将待执行代码发送至Spark集群时，并不是直接通过线程将待执行代码发送至Spark集群，而是在启动Spark对象对应的线程后，基于该线程创建对应于待执行代码文件的编程语言[0064]在实际应用中，Spark集群通常是无法直接运行待执行代码文件中的待执行代码通过解释器对象对加载的待执行代码进行编译，得到Spark集群可以识别运行的执行代码到编译后的执行代码时可以运行该编译后的执服务器基于网络交互将待执行代码发送至Spark集群，此时所发送的待执行代码没有进行待执行代码体系直接向Spark集群发送待[0071]在实际应用中，由于提交的待执行代码是运行待执行代而在直接通过终端设备向Spark集群发送待执行代码时，嵌入的动态执行器可以将待执行9的，可以基于解释器对象对可运行类进行编译，得到编译后的执行代码并发送至Spark集理的处理器(即后文中的Spark处理器)和动态执行器，并且配置有对应于不同编程代码的，假设用户想要基于NiFi工具并采用Scala编程语言进行数据处理(如想要进行数据筛对应于Scala编程语言的Spark任务执行文件并运行，生成该Scala待执行代码文件对应的执行器加载该Scala待执行代码文件中的待执行代码并封装为可运行类、以及基于该该动统架构图对本申请实施例提供的方法进行说明。其中，该系统内包括终端设备和Spark集1所示。具体的，编程语言类型(即Type)对应的取值可以为Scala、执行文件(即ExecuteFile)对应的取值可以为/opt/nifi/tencent-spark-parser.jar(即文件所在的目录)、Scala编程语言的执行主类(即MainClass)对应的取值(也就是具体的配置)为scala、应用程序名称(即ApplicationName)对应的取值可以为SparkJob、Spark目录(即SparkHome)对应的取值可以为/usr/hdp/current/spark、Spark执行模式(即SparkMaster)对应的取值可以为yarn(即Spark的运行模式为yarn运行模式)、部署模式(即Cores)对应的取值可以为1、Spark配置(即SparkConfigs)对应的取值可以为Novalue/opt/nifi/tencent-spark-parser.jar11任务执行文件，然后通过运行Spark任务执行文件生成待执行代码文件对应的Spark对象，并启动该Spark对象对应的线程，然后通过该线程将待执行代码文件中的待执行代码发送(即图中的处理器)可以加载对应于Scala编程语言的Spark任务执行文件，然后通过运行Spark任务执行文件生成待执行代码文件对应的Spark对象，并启动该Spark对象对应的线的该解释器对象对该可运行类进行编译，得到编译后的执行代码(即图中的配置运行时上求发送至Spark集群；Spark集群根据该查询请求向Spark处理器返回该标识对应的运行结果(即图中的结果)。其中，如图3b中的A区域所示，当待执行代码文件的编程语言类型为待执行代码文件的编程语言类型为python编程语言时，对应于python编程语言的Spark任行代码文件对应的Spark启动对象(对应的代码为org.apache.spark.launcher.SparkLauor.AbstractProcessor)，ExecuteSpark继承抽象类对应的主要配置参数包括编程语言类执行参数(即ExecuteArgs)、Spark目录(即SparkHome)和Spark执行模式(即Spark[0094]在实际应用中，在创建Spark启动对象后可以根据待执行代码文件对应的编程语[0096]launcher.setAppResource(ExecuteFile)//设置Spark启动对象对应的执行文件[0097]launcher.s[0098]launcher.s[0099]launcher.setSp[0100]launcher.setMaster(SparkMaster)//设置Spark启动对象对应的Spark执行模式[0101]当待执行代码的编程语言类型为python编程语言时，Spark启动对象的对应的配[0102]launcher.setAppResource(ExecuteFile)//设置Spark启动对象对应的执行文件[0103]launcher.s[0104]launcher.setSp[0105]launcher.setMaster(SparkMaster)//设置Spark启动对象对应的Spark执行模式中的待执行代码发送至Spark集群(对应的代码为Processprocess＝launcher.launch可以称之为等待进程退出(对应的代码为process.wai回不同的标识代表不同的运行进行结果(对应的代码为intcode＝process.exitValue此时待执行代码可以使用ScalaScript提供的SparkContext、SQLContext进行上下文的相行待执行代码的任务。在本申请实施例中，在封装待执行代码时，可以将SparkContext、SQLContext和待执行代共同封装，此时得到封装后的待执行代码中包括了创建好的SparkContext和SQLContext。相应的，由于封装后的待执行代码内包括创建好的任务和执行SQL(StructuredQueryLanguage，结构化查询语言)语句。例如，基于SQLContext来提交SQL查询任务(即sqlContext.sql("select*fromtable")，以及基于[0121]步骤S404，通过Scala解释器对象对可运行类进行编译，得到编译后的执行代码[0123]本申请实施例提供了一种数据处理装置，如图6所示，该数据处理装置60可以包[0126]对象生成模块603，用于通过运行Spark任务执行文件，生成待执行代码对应的[0132]若编程语言类型为Scala编程语言，代码发送模块在启动Sp[0140]在通过解释器对象对加载的待执行代码进行编译，得到[0153]总线2002可包括一通路，在上述组件之间传送信息。总线2002可以是PCI总线或[0