GOSV2培训网格批作业系统课件

1、GOSV2培训网格批作业系统网格批作业系统网格批作业记账系统GOSV2 培训GOSV2培训网格批作业系统网格批作业系统目标功能实现GOSV2培训网格批作业系统网格批作业系统-目标实现主机批作业系统的服务化封装，屏蔽底层主机批作业系统的异构特征，为用户提供简单、标准兼容的服务调用接口。GOSV2培训网格批作业系统网格批作业系统-功能网格批作业驱动程序接受批作业服务的调用，生成辅助文件并调用批作业系统。网格批作业服务通过对底层批作业系统（PBS等）的服务化封装，为客户端提供统一、通用的批作业处理功能，包括：作业提交、状态查询、作业取消、获取标准输入/输出，数据的stagein/stageout等。

2、网格批作客户端 通过网程与网格批作业服务之间进行交互，屏蔽底层服务的访问细节，为用户（应用）提供方便、易用的批作业处理接口，包括：作业提交、状态查询、作业取消、获取标准输入/输出等。GOSV2培训网格批作业系统网格批作业系统-实现结构网 格 批 作业客户端网格批作业服务端driver网 格 批 作 业服务PBSLSFdriver其他作业系统driver网格作业系统GOSV2培训网格批作业系统网格批作业系统-实现后续部分：后续部分：结合实例，介绍从客户端提交作业直到结合实例，介绍从客户端提交作业直到作业结束的全过程，既包括客户端作业结束的全过程，既包括客户端API和服务端和服务端API的使用，也

3、包括服务端实的使用，也包括服务端实现的相关说明。现的相关说明。GOSV2培训网格批作业系统网格批作业系统-实现实例包括如下过程：实例包括如下过程：用户预先上传作业需要的输入文件（使用网格文件API）；用户提交作业描述；判断作业是否结束（使用作业状态查询和作业StageOut状态获取接口）；作业执行完毕后，获取标准输出/错误；作业执行完毕后，使用网格文件API获取输出文件。GOSV2培训网格批作业系统网格批作业系统-实现 submit流程1. create grip and invoke effective batch servicegripphysical batch serviceAgora

4、 Service2. authentication, resource selection and get back token4. submit job script with GOS contextphysical physical physical 3. upload stagein files into distributed user grip6. download stagein fileslocal batch system8. upload stageout files7. submitquery5. create gripGOSV2培训网格批作业系统网格批作业系统-实现实例中

5、相关实例中相关API使用：使用：GOSV2培训网格批作业系统网格批作业系统-实现使用网格文件使用网格文件API上传作业的输入文件上传作业的输入文件GripClient gc = new GripClient();UserHandle userHandle = gc.create(proxy, agoraId);Hot hgc = new Hot(gc, userHandle,agora_service_address, agoraId);hgc.upload(EDS, EMSName, local, global);/本例中需要预先把一个本地文件上传到全局文件空间，并且名字为input. /H

6、ot的详细使用请参见网格文件系统部分的介绍GOSV2培训网格批作业系统网格批作业系统-实现BatchGripClient初始化GripClient gc = new GripClient(BatchConstants.BATCH_CLIENT_WSDD);byte proxy = BatchUtils.readProxy(proxyPath);UserHandle userHandle = gc.create(proxy, agoraId);bgc = new BatchGripClient(gc, userHandle, agora_service_address,agoraId, batc

7、hAddr);GOSV2培训网格批作业系统网格批作业系统-实现作业提交String jid = bgc.submit(new BatchJobDesc(new File(myjob.xml).toXML();System.out.println(after submit ,job id is: + jid);GOSV2培训网格批作业系统网格批作业系统-实现作业状态查询，如果为作业状态查询，如果为Done，获取标准输出和标准错，获取标准输出和标准错误信息误信息while (true) status = bgc.status(jid);System.out.println(Refreshed Jo

8、b Status: + status);if (status.equals(Done) | status.endsWith(Failed) System.out.println(bgc.getStdout(jid);System.out.println(bgc.getStderr(jid);break;Thread.sleep(5000);GOSV2培训网格批作业系统网格批作业系统-实现作业作业StageOut状态获取状态获取while (status.equals(Done) boolean stageoutok = false;try stageoutok = bgc.isStageOut

9、OK(jid); catch (Exception e) e.printStackTrace();System.out.println(Refreshed Job stageout Status failed! n);break;if (stageoutok) System.out.println(job done and stageout is ok ! do some . );break;Thread.sleep(5000);GOSV2培训网格批作业系统网格批作业系统-实现使用网格文件使用网格文件API下载作业的输出文件下载作业的输出文件GripClient gc = new GripCl

10、ient();UserHandle userHandle = gc.create(proxy, agoraId);Hot hgc = new Hot(gc, userHandle,agora_service_address, agoraId);boolean tt = hgc.download(EDS, “global”, “local”);/把作业的输出文件（本例中全局文件名是output）从全局文件空间，下载到本地. /Hot的详细使用请参见网格文件系统部分的介绍。GOSV2培训网格批作业系统网格批作业系统-实现服务端实现介绍：n批作业服务，（以最复杂的submit接口为例）。n批作业驱动

11、程序GOSV2培训网格批作业系统网格批作业系统-实现批作业服务：接口：nString submit(String agora_service_address, String agoraId, String jobDescription)nString status(String id);nvoid cancel(String id);nString getStdout(String id);nString getStderr(String id);nboolean isStageOutOK(String id);GOSV2培训网格批作业系统网格批作业系统-实现批作业服务：submitn搜集调用

12、信息,从GOSContext中获取nCall usernproxyn创建本次调用工作目录并更改权限755；n验证作业描述是否有效；n如果有输入文件，则从全局空间下载到本地；GOSV2培训网格批作业系统网格批作业系统-实现批作业服务：submit 续n在本次工作目录中创建辅助文件, fn是一个随机数nfn.origin 存放作业描述中的脚本部分nfn.stagein 存放作业描述中的stagein部分nfn.stageout存放作业描述中的stageout部分n根据gridmap，从DN映射到本地用户名；n调用批作业驱动程序，获得作业ID；n记账；n把作业信息放入作业描述表。作业描述表在批作业初

13、始化的时候生成，存放所有提交过的作业信息，可被作业清除程序定期清除；GOSV2培训网格批作业系统网格批作业系统-实现批作业服务：submit 续n创建StageoutWorker线程；n返回作业ID给客户端。StageoutWorker线程nStageoutWorker负责监控作业执行状态，当作业执行完毕时（status=Done），此线程把结果数据上传到全局空间。GOSV2培训网格批作业系统网格批作业系统-实现批作业驱动程序w根据fn.origin,fn.stagein,fn.stageout生成 fn.pbs；w接受Batch Service调用，提交fn.pbs到后台批作业系统；w返回结

14、果文件以及stdout和stderr。wsetuidGOSV2培训网格批作业系统网格批作业记账系统目标功能实现GOSV2培训网格批作业系统网格批作业记账系统-目标建立覆盖全网格的批作业系统记账数据的生成、汇总机制。GOSV2培训网格批作业系统网格批作业记账系统-功能记录批作业系统的使用数据；每天生成记账信息；每天汇总记账信息；GOSV2培训网格批作业系统网格批作业记账系统-实现ASASADA结 点 记 帐 服 务 地 址 1结 点 记 帐 服 务 地 址 2批 作 业 客 户 端资 源 使 用 信 息 库记 录 资源 使 用情 况查 询 帐户 信 息资 源 使 用 汇 总 库记 录 资源 使

15、用情 况查 询 帐户 信 息资 源 使 用 信 息 库记 帐 客 户 端 API批 作 业 服 务批 作 业 服 务 批 作 业 客 户 端ADPADPADA： Account Data AggregatorADP： Account Data ProviderAS ： Account Service结构：GOSV2培训网格批作业系统网格批作业记账系统-实现当用户调用网格批作业服务时，网格批作业服务会把本次作业的相关信息记入记账数据库，ADP每天执行一次，负责生成本地的记账信息，ADA每天执行一次（比ADP晚），通过调用AS对各个节点的记账信息进行汇总。GOSV2培训网格批作业系统网格批作业记账

16、系统-实现服务接口：n获取节点用户记账信息byte getUserAccData(String uid, String timeBegin, String timeEnd) ；n获取节点记账信息byte getAccData(String sid, int opt) GOSV2培训网格批作业系统网格批作业记账系统-实现获取用户记账信息接口返回如下的获取用户记账信息接口返回如下的XML：ntj11339doneCNGrid-Node-1000z101615042012172181000。 GOSV2培训网格批作业系统网格批作业记账系统-实现获取节点记账信息接口：获取节点记账信息接口：byte g

17、etAccData(String sid, int opt)throws RemoteException获取记账服务所在节点的昨天发生的记账信息获取记账服务所在节点的昨天发生的记账信息nopt = 1时，返回昨天记帐信息的数量，同时将昨日的记帐信息拷贝至临时时，返回昨天记帐信息的数量，同时将昨日的记帐信息拷贝至临时表中；表中；nopt = 2时，从该临时表中取时，从该临时表中取100条记帐信息；条记帐信息；nopt = 3时，删除该临时表中时，删除该临时表中100条记帐信息。条记帐信息。用户需要组合这三个选项完成记账信息的汇总用户需要组合这三个选项完成记账信息的汇总GOSV2培训网格批作业系统网格批作业记账系统-实现实例：记账数据汇总实例：记账数据汇总nADA通过调用通过调用AS完成记账信息的汇总，完成记账信息的汇总，ADA的功能使用记账客户端的功能使用记账客户端API进行构建，进行构建，基本流程如下图：基本流程如下图：GOSV2培训网格批作业系统网格批作业记账系统-实现成功/失败ADAASAccountGripC