版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
(19)国家知识产权局(12)发明专利地址518000广东省深圳市南山区高新区专利代理师张筱宁张海秀权利要求书2页说明书12页附图4页介质文件所对应的Spark任务执行文件;通过运行Spark任务执行文件,生成待执行代码文件对应线程将待执行代码文件中的待执行代码发送至理逻辑即可在终端设备中将待执行代码发送至2获取数据处理请求,所述数据处理请求中包括待执行代码文件;确定所述待执行代码文件的编程语言类型,所述编程语言类型为Scala编程语言或python编程语言;加载所述编程语言类型对应的Spark任务执行文件;通过运行所述Spark任务执行文件,生成所述待执行代码文件对应的Spark对象;启动所述Spark对象对应的线程,通过所述线程将所述待执行代码文件中的待执行代码发送至Spark集群,以使所述Spark集群运行所述待执行代码,并返回运行所述待执行代码的运行结果;其中,若所述编程语言类型为Scala编程语言,所述通过所述线程将所述待执行代码文件中的待执行代码发送至Spark集群,以使所述Spark集群运行所述待执行代码,并返回运通过所述线程创建对应于Scala编程语言的解释器对象;加载所述待执行代码文件中的待执行代码;启动所述解释器对象,并通过所述解释器对象对加载的所述待执行代码进行编译,得到Spark集群可识别运行的编译后的执行代码;通过所述线程将所述编译后的执行代码发送至Spark集群,以使所述Spark集群运行所述编译后的执行代码,并返回运行所述执行代码的运行结果。2.根据权利要求1所述的方法,其特征在于,所述通过所述解释器对象对加载的所述待将加载的所述待执行代码封装为可运行类;所述通过所述解释器对象对加载的所述待执行代码进行编译,包括:通过所述解释器对象对所述可运行类进行编译。3.根据权利要求1所述的方法,其特征在于,所述方法还包括:接收查询请求,所述查询请求中包括待查询的执行代码的标识;将所述运行结果查询请求发送至所述Spark集群;接收所述Spark集群根据所述查询请求返回所述标识对应的运行结果;展示所述运行结果。4.根据权利要求1所述的方法,其特征在于,所述加载所述编程语言类型对应的Spark若所述编程语言类型为Scala编程语言,加载预先配置的jar数据包;若所述编程语言类型为python编程语言,加载预先配置的py文件。5.根据权利要求1至4任一项所述的方法,其特征在于,所述终端设备包括基于NiFi的终端设备。处理请求获取模块,用于获取数据处理请求,所述数据处理请求中包括待执行代码文文件加载模块,用于确定所述待执行代码文件的编程语言类型,所述编程语言类型为Scala编程语言或python编程语言;加载所述编程语言类型对应的Spark任务执行文件;对象生成模块,用于通过运行所述Spark任务执行文件,生成所述待执行代码对应的3代码发送模块,用于启动所述Spark对象对应的线程,通过所述线程将所述待执行代码发送至Spark集群,以使所述Spark集群运行所述待执行代码文件,并返回运行所述待执行代码文件的运行结果;其中,若所述编程语言类型为Scala编程语言,通过所述线程创建对应于Scala编程语言的解释器对象;加载所述待执行代码文件中的待执行代码;启动所述解释器对象,并通过所述解释器对象对加载的所述待执行代码进行编译,得到Spark集群可识别运行的编译后的执行代码;通过所述线程将所述编译后的执行代码发送至Spark集群,以使所述Spark集群运行所述编译后的执行代码,并返回运行所述执行代码的运行结果。7.根据权利要求6所述的装置,其特征在于,所述代码发送模块还用于:将加载的所述待执行代码封装为可运行类;在将所述待执行代码封装为可运行类的情况下,所述代码发送模块用于:通过所述解释器对象对所述可运行类进行编译。8.根据权利要求6所述的装置,其特征在于,所述装置还包括查询发送模块和结果展示接收查询请求,所述查询请求中包括待查询的执行代码的标识;将所述运行结果查询请求发送至所述Spark集群;所述结果展示模块用于:接收所述Spark集群根据所述查询请求返回所述标识对应的运行结果;展示所述运行结果。9.根据权利要求6所述的装置,其特征在于,所述文件加载模块用于:若所述编程语言类型为Scala编程语言,加载预先配置的jar数据包;若所述编程语言类型为python编程语言,加载预先配置的py文件。10.根据权利要求6至9任一项所述的装置,其特征在于,所述终端设备包括基于NiFi的终端设备。11.一种电子设备,其特征在于,包括处理器以及存储器:所述存储器被配置用于存储计算机程序,所述计算机程序在由所述处理器执行时,使得所述处理器执行权利要求1-5任一项所述的方法。12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,当所述计算机程序在计算机上运行时,使得计算机可以执行上述权利要求1-5中任一项所述的方法。4数据处理方法、装置、电子设备及可读存储介质技术领域子设备及可读存储介质。背景技术[0002]如图1所示,现有技术中在使用NiFi工具执行Spark任务时,需要启动额外的livy服务器(图中的Livy服务器)将Spark任务提交到Spark集群中运行,具体可以包括:NiFi处理器在获取到待执行代码后,通过http(HyperTextTransferProtocol,超文本传输协议)请求方式将待执行代码发送到livy服务器,然后由livy服务器将执行代码提交到Spark集群中运行,Spark集群运行待执行代码后将运行结果返回至NiFi中。[0003]但是,在这过程中需要额外安装配置livy服务器,进而在使用NiFi执行Spark任务时便增加了使用的复杂度、降低了处理效率,并且在扩展灵活性等方面不够灵活。发明内容[0004];本申请的目的旨在至少能解决上述的技术缺陷之一。[0005]一方面,本申请实施例提供了一种数据处理方法,该方法由终端设备执行,该方法包括:[0006]获取数据处理请求,数据处理请求中包括待执行代码文件;[0007]加载待执行代码文件所对应的Spark任务执行文件;[0008]通过运行Spark任务执行文件,生成待执行代码文件对应的Spark对象;[0009]启动Spark对象对应的线程,通过线程将待执行代码文件中的待执行代码发送至Spark集群,以使Spark集群运行待执行代码,并返回运行待执行代码的运行结果。[0010]另一方面,本申请实施例提供了一种数据处理装置,该装置包括:[0011]处理请求获取模块,用于获取数据处理请求,数据处理请求中包括待执行代码文[0012]文件加载模块,用于加载待执行代码文件所对应的Spark任务执行文件;[0013]对象生成模块,用于通过运行Spark任务执行文件,生成待执行代码对应的Spark对象;[0014]代码发送模块,用于启动Spark对象对应的线程,通过线程将待执行代码发送至Spark集群,以使Spark集群运行待执行代码文件,并返回运行待执行代码文件的运行结果。[0015]又一方面,本申请实施例提供了一种电子设备,包括处理器以及存储器:存储器被配置用于存储计算机程序,计算机程序在由处理器执行时,使得处理器执行上述各方面中的各方法。[0016]再一方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质用于存储计算机程序,当计算机程序在计算机上运行时,使得计算机可以执行上述各方面中的各方法。5[0017]本申请实施例提供的技术方案带来的有益效果是:[0018]在本申请实施例中,终端设备在获取数据处理请求后,可以通过运行待执行代码文件对应于的Spark任务执行文件,生成待执行代码文件对应的Spark对象,然后可以通过Spark对象对应的线程将待执行代码发送至Spark集群,以使Spark集群可以运行待执行代码。可见,在本申请实施例中,可以将执行待执行代码的底层功能抽象至终端设备内,此时在获取到待执行代码时,即可在终端设备中灵活方便的直接将待执行代码发送至Spark集群,相比于现有技术中以http请求的方式将待执行代码发送至livy服务器,然后再通过livy服务器将待执行代码发送至Spark集群,此时不再需要配置任何外部环境(即livy服务器),只需在终端设备中设置待执行代码的核心处理逻辑即可灵活方便的将待执行代码发送至Spark集群,极大的简化了运行待执行代码的流程;并且对应不同的待执行代码,由于此时不再需要通过livy服务器,便不再需要对livy服务器中根据不同的待执行代码进行相附图说明[0019]为了更清楚地说明本申请实施例中的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍。[0020]图1为现有技术中执行Spark任务的流程示意图;[0021]图2为本申请实施例提供的一种数据处理方法的流程示意图;[0022]图3a为本申请实施例提供的一种数据处理的系统结构图;[0023]图3b为本申请实施例提供的一种运行Scala代码的流程示意图;[0024]图4为本申请实施例提供的又一种数据处理方法的流程示意图;[0025]图5为本申请实施例提供的一种发送待执行代码方法的流程示意图;[0026]图6为本申请实施例提供的一种数据处理装置的结构示意图;[0027]图7为本申请实施例提供的一种电子设备的结构示意图。具体实施方式[0028]下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本申请的限制。[0029]本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。[0030]云计算(cloudcomputing)指IT基础设施的交付和使用模式,指易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关,也可是其他服务。云计6算是网格计算(GridComputing)、分布式计算(DistributedComputing)、并行计算Technologies)、虚拟化(Virtualization)、负载均衡(LoadBalance)等传统计算机和网络技术发展融合的产物。商务和开放协作等需求的推动,云计算迅速发展起来。不同于以往的并行分布式计算,云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。[0032]首先对本申请涉及的几个名词进行介绍和解释:[0033]NiFi:开源数据处理工具,用于采集数据、转换数据和存储数据等,可以在其中建立任务流进行数据处理,各任务流由很多独立的处理器节点连接起来。[0034]NiFi处理器:Ni[0036]下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。[0037]图2示出了本申请实施例中所提供的一种数据处理方法的流程示意图,其中,该方智能音箱、智能手表等,但并不局限于此,终端设备可以可通过有线或无线通信方式与服务器进行直接或间接地连接。可选的,该服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器,本申请在此不做限制。[0039]步骤S101,获取数据处理请求,数据处理请求中包括待执行代码文件。[0040]其中,待执行代码指的是在处理数据时所需要运行的代码,待执行代码文件指的是包括该待执行代码的文件。在实际应用中,当用户需要处理某些数据时可以触发相关操作,终端设备在接收到用户的相关操作时可以生成数据处理请求,该数据处理请求中可以包括处理该数据时需要运行的代码文件;相应的,当终端接收到该数据处理请求时可以基于数据处理请求中包括的待执行代码文件获取到待执行代码。[0041]步骤S102,加载待执行代码文件所对应的Spark任务执行文件。[0042]步骤S103,通过运行Spark任务执行文件,生成待执行代码文件对应的Spark对象。[0043]其中,可执行文件(executablefile)指的是可以由操作系统进行加载执行的文件,在执行可执行文件时可以加载该文件到内存中,由操作系统加载程序执行功能。而Spark任务执行文件即指的是通过Spark集群执行待执行代码功能的可执行文件。在实际应用中,终端设备在接收到待执行代码文件后,可以加载该Spark任务执行文件并运行该Spark任务执行文件,生成待执行代码文件对应的Spark对象,基于该Spark对象可以生成待执行代码文件对应的线程,然后基于该线程将待执行代码文件中的待执行代码发送至Spark集群,进而可以通过Spark集群运行该待执行代码的功能。其中,当待执行代码为Scala编程语言时,在基于该线程将待执行代码文件中的待执行代码发送至Spark集群时,可以生成对应于该待执行代码的解释器对象,然后基于该解释器对象通过Spark集群运行7该待执行代码的功能。[0044]本申请的可选实施例中,加载对应于待执行代码文件的Spark执行文件,包括:[0045]确定待执行代码文件的编程语言类型;[0046]根据编程语言类型,加载编程语言类型对应的Spark执行文件。[0047]在实际应用中,为了满足多种编程语言类型,可以对不同的编程语言类型配置不同的Spark执行文件。相应的,在加载对应于待执行代码文件的Spark执行文件时,可以先确定待执行代码文件的编程语言类型,然后可以根据对应的编程语言加载对应的Spark执行[0048]步骤S104,启动Spark对象对应的线程,通过该线程将待执行代码文件中的待执行代码发送至Spark集群,以使Spark集群运行待执行代码,并返回运行待执行代码的运行结[0049]其中,Spark对象对应的线程可以用于将执行代码发送至Spark集群。在实际应用中,在生成待执行代码文件对应的Spark对象后,可以启动该Spark对象对应的线程,此时便可以基于该线程将待执行代码文件中的待执行代码发送至Spark集群;相应的,当Spark集群接收到待执行代码时,可以运行该待执行代码得到运行结果,并将该运行结果返回终端设备。进一步的,终端设备可以将接收到的运行结[0050]其中,Spark集群在将运行结果返回终端设备时,具体所采用的实施方式可以根据实际需求预先配置,本申请实施例不限定。例如,Spark集群可以向终端设备返回不同的标识以表示不同的运行结果,如当Spark集群向终端设备返回标识“1”时,则表示该待执行代也可以仅在待执行代码运行成功时,Spark集群向终端设备返回提示消息,而在待执行代码未运行成功时,Spark集群不再向终端设备返回提示消息,相应的,当终端设备在设定时长内未接收到提示消息,则表示该待执行代码运行未成功。[0051]在本申请可选的实施例中,该终端设备包括基于NiFi的终端设备。[0052]在实际应用中,该终端设备可以指的是基于NiFi的终端设备,也就是说,终端设备中可以包含有NiFi处理器,终端设备内的NiFi可以加载待执行代码文件对应于的执行文件,并通过运行该执行文件生成该待执行代码对应的Spark对象,然后通过Spark对象对应的线程将该待执行代码发送至Spark集群,以使Spark集群可以运行该待执行代码。[0053]在本申请实施例中,终端设备在获取数据处理请求后,可以通过运行待执行代码文件对应于的Spark任务执行文件,生成待执行代码文件对应的Spark对象,然后可以通过Spark对象对应的线程将待执行代码发送至Spark集群,以使Spark集群可以运行待执行代码。可见,在本申请实施例中,可以将发送待执行代码的底层功能抽象至终端设备内,此时在获取到待执行代码时,只需在终端设备中设置待执行代码的核心处理逻辑即可在终端设备中直接灵活方便的将待执行代码发送至Spark集群,不再需要配置任何外部环境来执行发送待执行代码的底层功能,不仅极大的简化了运行待执行代码的流程,还提高了灵活性和扩展性。[0054]在本申请可选的实施例中,编程语言类型为Scala编程语言或python编程语言;[0055]若编程语言类型为Scala编程语言,启动Spark对象对应的线程,通过线程将待执行代码文件中的待执行代码发送至Spark集群,包括:8[0056]通过线程创建对应于编程语言类型的解释器对象;[0057]通过解释器对象,将待执行代码文件中的待执行代码发送至Spark集群。[0058]其中,编程语言类型可以为Scala编程语言或python编程语言,在待执行代码文件的编程语言类型为Scala编程语言时,其所对应的Spark任务执行文件为预先配置的jar数据包,而当待执行代码文件的编程语言类型为Python编程语言时,其所对应的Spark任务执行文件为预先配置的py文件。[0059]在实际应用中,若待执行代码文件的编程语言类型为Scala编程语言,在通过线程将待执行代码发送至Spark集群时,并不是直接通过线程将待执行代码发送至Spark集群,而是在启动Spark对象对应的线程后,基于该线程创建对应于待执行代码文件的编程语言类型的解释器对象,然后通过解释器对象将待执行代码发送至Spark集群。[0060]在本申请可选的实施例中,通过解释器对象,将待执行代码文件中的待执行代码[0061]加载待执行代码文件中的待执行代码;[0062]启动解释器对象,并通过解释器对象对加载的待执行代码进行编译,得到编译后的执行代码;[0063]将编译后的执行代码发送至Spark集群。[0064]在实际应用中,Spark集群通常是无法直接运行待执行代码文件中的待执行代码(即Scala代码)。基于此,终端设备在将待执行代码文件发送至Spark集群时,可以加载待执行代码文件,以得到待执行代码文件中的待执行代码,然后可以启动所创建的解释器对象,通过解释器对象对加载的待执行代码进行编译,得到Spark集群可以识别运行的执行代码(即编译后的执行代码),并将编译后的执行代码发送至Spark集群,以使Spark集群在接收到编译后的执行代码时可以运行该编译后的执行代码。[0065]在本申请可选的实施例中,通过解释器对象对加载的待执行代码进行编译,得到[0066]将加载的待执行代码封装为可运行类;[0067]通过解释器对象对加载的待执行代码进行编译,得到编译后的执行代码,包括:[0068]通过解释器对象对可运行类进行编译,得到编译后的执行代码。[0069]在实际应用中,为保证Spark集群可以运行终端设备所发送的待执行代码,在通过解释器对象对加载的待执行代码进行编译之前,还以将待执行代码封装为可运行类,然后通过解释器对象对可运行类进行编译,得到编译后的执行代码。此时由于编译后的执行代码是对可运行类进行编译后得到的,进而可以保证在运行待执行代码时,可以获取到待执行代码的上下文信息,并可以对获取到的上下文信息进行相关操作。[0070]在本申请实施例中,对于Scala编程语言的待执行代码,现有技术中需要通过livy服务器基于网络交互将待执行代码发送至Spark集群,此时所发送的待执行代码没有进行上下文封装。而本申请实施例中可以在基于NiFi的终端设备(即NiFi处理器)内嵌入动态解析器,进而可以单独形成一个发送待执行代码体系,此时终端设备可以基于形成的该发送待执行代码体系直接向Spark集群发送待执行代码。[0071]在实际应用中,由于提交的待执行代码是运行待执行代码中最核心的业务部分,而在直接通过终端设备向Spark集群发送待执行代码时,嵌入的动态执行器可以将待执行9代码封装为可运行类,此时得到的待执行代码为进行上下文封装后的待执行代码;进一步的,可以基于解释器对象对可运行类进行编译,得到编译后的执行代码并发送至Spark集群;此时Spark集群在运行该待执行代码时,由于接收到的该待执行代码为进行上下文封装后的待执行代码,此时便可以获取到待执行代码的上下文信息,进而通过上下文信息进行相关的数据操作。[0072]在本申请可选的实施例中,该方法还包括:[0073]接收查询请求,查询请求中包括待查询的执行代码的标识;[0074]将查询请求发送至Spark集群;[0075]接收Spark集群根据查询请求返回的标识对应的运行结果;[0077]在实际应用中,Spark集群在运行得到待执行代码对应的运行结果后,可以将运行结果与待执行代码的标识进行关联存储,得到运行结果与待执行代码标识的关联关系,进而在已知执行代码的标识时,即可以基于运行结果与待执行代码的标识的关联关系,得到对应于该执行代码标识的执行代码的运行结果。[0078]可选的,当用户想要查询已运行的执行代码的运行结果时,可以触发包括待查询的执行代码的标识的查询请求,终端设备在接收到该查询请求时,可以将查询请求发送至Spark集群;Spark集群在接收到查询请求时,可以根据存储的运行结果与执行代码的标识的关联关系,确定与该标识对应的执行代码的运行结果,然后可以将查询得到的运行结果返回至终端上设备,以使终端设备可以展示该运行结果。其中,终端设备展示该运行结果的方式可以预先配置,本申请实施例不限定。例如,可以通过语音的方式播报该运行结果或显示该运行结果等。[0079]可选的,本申请实施例中所提供的数据处理方法可以应用于基于NiFi工具进行数据处理的场景,如在需要对大量的数据进行数据分析、数据筛选、数据去重等场景时,可以基于终端设备中的NiFi工具采用本申请实施例中所提供的数据处理方法对数据进行处理。[0080]为了更好的理解本申请实施例所提供的方案,下面结合一个具体示例对本申请的方案进行进一步说明。[0081]在本示例中,终端设备内安装有NiFi工具,且该NiFi工具集成有用于进行数据处理的处理器(即后文中的Spark处理器)和动态执行器,并且配置有对应于不同编程代码(Scala编程语言和python编程语言)、且用于执行不同数据处理功能的执行代码文件。相应的,假设用户想要基于NiFi工具并采用Scala编程语言进行数据处理(如想要进行数据筛选)时,此时用户可以触发相应的操作,终端设备接收到用户的该操作时,可以生成获取数据处理请求,即获取用于执行数据筛选功能的Scala待执行代码文件;进一步的,可以加载对应于Scala编程语言的Spark任务执行文件并运行,生成该Scala待执行代码文件对应的Spark对象;然后启动该Spark对象对应的线程,并通过该线程启动动态执行器,基于该动态执行器加载该Scala待执行代码文件中的待执行代码并封装为可运行类、以及基于该该动态执行器创建对应于Scala编程语言类型的解释器对象(即Scala解释器对象),并将通过该解释器对象对该可运行类进行编译,得到编译后的执行代码,然后将编译后的执行代码发送至Spark集群,以使Spark集群运行该用于执行数据筛选功能的Scala待执行代码,进而得到数据筛选结果。[0082]如图3a所示,本申请实施例还提供了一种数据处理的系统结构图,下面结合该系统架构图对本申请实施例提供的方法进行说明。其中,该系统内包括终端设备和Spark集群,终端设备包括NiFi工具,NiFi工具内包括依次连接的多个处理器(图中以处理1、Spark处理器和处理器2为例)和动态执行器。[0083]其中,Spark处理器的配置参数(即Property)以及对应的取值(即Value)可以如表1所示。具体的,编程语言类型(即Type)对应的取值可以为Scala、执行文件(即ExecuteFile)对应的取值可以为/opt/nifi/tencent-spark-parser.jar(即文件所在的目录)、Scala编程语言的执行主类(即MainClass)对应的取值(也就是具体的配置)为com.tencent.ScalaParser、执行参数(即ExecuteArgs)对应的取值可以为/tmp/tencent/scala、应用程序名称(即ApplicationName)对应的取值可以为SparkJob、Spark目录(即SparkHome)对应的取值可以为/usr/hdp/current/spark、Spark执行模式(即SparkMaster)对应的取值可以为yarn(即Spark的运行模式为yarn运行模式)、部署模式(即DeployMode)对应的取值可以为cluster(集群)、驱动程序内存(即DriverMemory)对应的取值可以为1024m(Megabyte,兆字节)、执行器内存(即ExecutorMemory)对应的取值可以为1024m、执行器数量(即ExecutorNumbers)对应的取值可以为1、执行器核数(即ExecutorCores)对应的取值可以为1、Spark配置(即SparkConfigs)对应的取值可以为Novalueset(即无值集)等。参数(Property)取值(Value)编程语言类型执行文件/opt/nifi/tencent-spark-parser执行参数应用程序名称部署模式驱动程序内存执行器内存1执行器核数1的编程语言类型为python编程语言,Spark处理器可以加载对应于python编程语言的Spark任务执行文件,然后通过运行Spark任务执行文件生成待执行代码文件对应的Spark对象,并启动该Spark对象对应的线程,然后通过该线程将待执行代码文件中的待执行代码发送至Spark集群,以使Spark集群运行该待执行代码,并返回运行该待执行代码的运行结果。[0087]如图3b所示,若待执行代码文件的编程语言类型为Scala编程语言,Spark处理器(即图中的处理器)可以加载对应于Scala编程语言的Spark任务执行文件,然后通过运行11Spark任务执行文件生成待执行代码文件对应的Spark对象,并启动该Spark对象对应的线的该解释器对象对该可运行类进行编译,得到编译后的执行代码(即图中的配置运行时上下文环境),并将该编译后的执行代码发送至Spark集群(即图中的提交任务),以使Spark集到包括待查询的执行代码标识的查询结果请求(即图中的查询结果),然后可以将该查询请果(即图中的结果)。其中,如图3b中的A区域所示,当待执行代码文件的编程语言类型为[0090]步骤301,在Spark处理器获取到待执行代码文件后,根据待执行代码文件的编程语言的Spark任务执行文件可以为预先配置的jar包(即tencent-spark-parser.jar),而当待执行代码文件的编程语言类型为pyth行代码文件对应的Spark启动对象(对应的代码为org.apache.spark.launcher.SparkLauncher),该Spark对象为ExecuteSpark继承抽象类(对应的代码为cessor.AbstractProcessor),ExecuteSpark继承抽象类对应的主要配置参数包括编程语言类执行参数(即ExecuteArgs)、Spark目录(即SparkHome)和Spark执行模式(即Spark[0094]在实际应用中,在创建Spark启动对象后可以根据待执行代码文件对应的编程语[0096]launcher.setAppResource(ExecuteFile)//设置Spark启动对象对应的执行文件[0100]launcher.setMaster(SparkMaster)//设置Spark启动对象对应的Spark执行模式[0101]当待执行代码的编程语言类型为python编程语言时,Spark启动对象的对应的配置参数所对应的代码可以包括:[0102]launcher.setAppResource(ExecuteFile)//设置Spark启动对象对应的执行文件[0103]launcher.setAppArgs(ExecuteArgs)//设置Spark启动对象对应的执行参数[0104]launcher.setSparkHome(SparkHome)//设置Spark启动对象对应的Spark目录[0105]launcher.setMaster(SparkMaster)//设置Spark启动对象对应的Spark执行模式[0106]步骤303,Spark处理器启动Spark对象对应的线程,通过该线程将待执行代码文件中的待执行代码发送至Spark集群(对应的代码为Processprocess=launcher.launch[0107]步骤304,接收Spark集群运行待执行代码后返回的标识,根据返回的标识确定运[0108]其中,Spark处理器通过Spark对象对应的线程将待执行代码文件中的待执行代码发送至Spark集群之后,在接收到Spark集群运行待执行代码后返回的运行结果之前的过程可以称之为等待进程退出(对应的代码为process.waitFor())。[0109]在实际应用中,Spark集群在将待执行代码的运行结果返回至终端设备时,可以返回不同的标识代表不同的运行进行结果(对应的代码为intcode=process.exitValue[0110]步骤S305,运行结果为运行成功;[0111]步骤S306,运行结果为运行未成功。[0112]可以理解的是,当待执行代码的编程语言类型为Scala编程语言时,Spark处理器通过该Spark对象对应的线程将待执行代码文件中的待执行代码发送至Spark集群时,还需要经过动态执行器,具体可以如图5所示。[0113]步骤S401,在Spark对象对应的线程启动后,通过该线程启动动态执行器,并加载待执行代码文件中的待执行代码;[0114]其中,若待执行代码的编程语言类型为Scala编程语言,则加载待执行代码文件中的待执行代码时,可以通过ScalaParser入口读取待执行代码文件中的待执行代码。[0115]步骤S402,动态执行器将加载的待执行代码封装为可运行类;[0116]其中,动态执行器可以将待执行代码封装为类WrapScript,并继承ScalaScript,此时待执行代码可以使用ScalaScript提供的SparkContext、SQLContext进行上下文的相关操作。可选的,封装后的待执行代码(即可运行类)如下所示:overridedefrun():Unit={原始Scala代码newWrapScript()[0118]在实际应用中,SparkContext和SQLContext是解释器内提供的用于在执行待执行代码时运行上下文,当待执行代码存在SparkContext和SQLContext时,即可以实现提交执行待执行代码的任务。在本申请实施例中,在封装待执行代码时,可以将SparkContext、SQLContext和待执行代共同封装,此时得到封装后的待执行代码中包括了创建好的SparkContext和SQLContext。相应的,由于封装后的待执行代码内包括创建好的SparkContext和SQLContext,此时便可以基于创建好的SparkContext和SQLContext来提交任务和执行SQL(StructuredQueryLanguage,结构化查询语言)语句。例如,基于SQLContext来提交SQL查询任务(即sqlContext.sql("select*fromtable"),以及基于[0119]步骤S403,Spark处理器通过Spark对象对应的线程创建Scala解释器对象;[0120]可选的,Scala解释器对象可以为erpreter.Imain,对应的代码可以为IMaininterpreter=newIMain()。[0121]步骤S404,通过Scala解释器对象对可运行类进行编译,得到编译后的执行代码(对应的代码为erpret);[0122]步骤S405,将编译后的执行代码发送至Spark集群。[0123]本申请实施例提供了一种数据处理装置,如图6所示,该数据处理装置60可以包括:处理请求获取模块601、文件加载模块602、对象生成模块603以及代码发送模块604,其[0124]处理请求获取模块601,用于获取数据处理请求,数据处理请求中包括待执行代码文件;[0125]文件加载模块602,用于加载待执行代码文件所对应的Spark任务执行文件;[0126]对象生成模块603,用于通过运行Spark任务执行文件,生成待执行代码对应的Spark对象;[0127]代码发送模块604,用于启动Spark对象对应的线程,通过线程将待执行代码发送至Spark集群,以使Spark集群运行待执行代码文件,并返回运行待执行代码文件的运行结果。[0128]可选的,文件加载模块在加载待执行代码文件所对应的Spark任务执行文件时,具体用于:[0129]确定待执行代码文件的编程语言类型;[0130]根据编程语言类型,加载编程语言类型对应的Spark任务执行文件。[0131]可选的,编程语言类型为Scala编程语言或python编程语言;[0132]若编程语言类型为Scala编程语言,代码发送模块在启动Spark对象对应的线程,通过线程将待执行代码文件中的待执行代码发送至Spark集群时,具体用于:[0133]通过线程创建对应于编程语言类型的解释器对象;[0134]通过解释器对象,将待执行代码文件中的待执行代码发送至Spark集群。[0135]可选的,代码发送模块在通过解释器对象,将待执行代码文件中的待执行代码发[0136]加载待执行代码文件中的待执行代码;[0137]启动解释器对象,并通过解释器对象对加载的待执行代码进行编译,得到编译后的执行代码;[0138]将编译后的执行代码发送至Spark集群。[0140]在通过解释器对象对加载的待执行代码进行编译,得到编译后的执行代码之前,将加载的待执行代码封装为可运行类;[0141]代码发送模块在通过解释器对象对加载的待执行代码进行编译,得到编译后的执[0142]通过解释器对象对可运行类进行编译,得到编译后的执行代码。[0144]接收查询请求,查询请求中包括待查询的执行代码的标识;[0145]将运行结果查询请求发送至Spark集群;[0146]接收Spark集群根据查询请求返回标识对应的运行结果;[0148]可选的,该终端设备包括基于NiFi的终端设备。[0149]本申请实施例的数据处理装置可执行本申请实施例提供的一种数据处理方法,其[0150]本申请实施例提供了一种电子设备,如图7所示,图7所示的电子设备2000包括:处理器2001和存储器2003。其中,处理器2001和存储器2003相连,如通过总线2002相连。可选地,电子设备2000还可以包括收发器2004.需要说明的是,实际应用中收发器2004不限于一个,该电子设备2000的结构并不构成对本申请实施例的限定。[0
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 初中生物九年级专题十四教学设计:植物体内物质与能量变化复习策略
- 高三物理电场性质教学设计
- 初中物理九年级《简单机械》中考复习教学设计
- 高三英语译林版必修三词汇短语与词形变换复习教学设计
- 小学三年级心理健康教案:认识独特的自己
- 小学六年级心理健康教学设计:正确表达情绪的智慧之旅
- 沪科版高中信息技术必修《信息技术基础》教学设计:第4章第2节计算机文件管理方案
- 2026事业单位工勤技能-新疆-新疆收银员五级(初级工)历年参考题库含答案详解
- 2026事业单位工勤技能-新疆-新疆动物检疫员四级(中级工)历年参考题库含答案详解
- 2026事业单位工勤技能-广西-广西造林管护工四级(中级工)历年参考题库含答案详解
- 肿瘤患者免疫治疗相关心肌炎诊疗
- 2025成都农业科技职业学院教师招聘考试题目及答案
- 2025年棉花加工辅助工三级安全教育(班组级)考核试卷及答案
- 精神科药物依从性管理
- 中小学以体育强化为核心落实“健康第一”教育理念实施方案
- 间羟胺药物课件
- 整县屋顶分布式光伏项目绿色施工方案
- GB/T 4337-2025金属材料疲劳试验旋转弯曲方法
- 输变电工程工程量清单计价规范宣贯材料
- 手术室精益管理汇报
- (重点)水利安全员B证近年考试真题题库-含答案
评论
0/150
提交评论