基于智能化分配算法的计算机负荷并行处理技术研究.doc

基于智能化分配算法的计算机负荷并行处理技术研究 彭慧 （湖南财政经济学院，湖南长沙410205） 摘要：随着科技的飞速进步，信息技术的发展也带来了计算机的普及.在日常使用过程中，计算机负荷是一个需要着重注意的问题.本次研究针对计算机负荷的并行处理的高效性以及稳定性进行了分析，并且提出了一种智能的任务分配方式.通过这种任务分配的方法，就能够智能的选择启动策略以及节点状态，从而将总负荷分配到各个节点，也就可以实现通信和处理的整体稳定性达到最佳. 关键词：智能化分配；计算机；负荷；并行处理 ：TP338.6：A：1673-260X（xx）01-0021-03 随着信息技术的高速发展，计算机负荷并行处理技术得到了越来越多的人的关注，这是因为大规模的并行处理技术是一种主流技术，其技术当中的关键在于高速的互联网技术、网络节点的结构以及计算机程序实现并行.在该项技术使用的过程中，同时也需要注意到计算机负荷的因素，如果计算机负荷无法达到要求，那么并行处理技术也无法起到应有的效果，因此在使用计算机负荷并行处理技术的过程中，就需要着重注意到应该使用智能化的分配算法.在这样的情况下，就需要对基于智能化分配算法的计算机负荷并行处理技术进行研究.本文将从同构星型的网络为出发点，并且在网络中是由N个链路以及N+1个处理器构成的，包括了根处理器和前端处理器，所有处理器都必须通过联路进行连接，而通过智能化分配算法将系统中的总负荷科学地分配到各个合适的节点上.因此，系统通信的开销也就能够变得最小，系统的等待时间也得到了缩短，效率提升，也因为这样的原因，系统的整体性能也得到了提高，变为最佳状态. 1计算机并行处理技术的特点 计算机并行处理技术是一种全新的技术，目前在计算机各个领域使用的较为广泛.其主要特点有如下几点： 1.1大规模并行处理 计算机的并行处理技术的一种大规模的并行处理技术，通常被我们称为MPP，该系统的种类很多，其中MIMD型的存储方式为松耦合分布，是这种并行处理方式中的主要技术，包括了高速互联网络、并行程序开发以及节点结构三个方面. 1.2对称多处理技术 MPP系统中多是将多个计算机通过一条总线进行连接，系统中所有的硬件和软件都处于对称的位置上.其中硬件上的CPU拥有完全一致的计算能力，并且数据能够实现共享；而所有的软件则拥有同样的操作系统代码. 1.3工作站群机处理技术 在这一项技术当中，将会通过互联网将一组服务器和小型机包括工作站或是巨型机甚至大规模并行处理系统联系在一起.而由于这些机器被连接在了一起，也就能够进行并行处理的工作. 1.4并行数据库处理技术 计算机并行数据库处理技术是计算机并行处理技术当中重要的组成部分之一.通过并行数据库处理技术，能够有效提高计算机对数据查询速度以及数据管理方面的能力.在这过程当中，能够实现对计算机数据库的并行查询，并对数据库进行分区的管理，使数据库的使用更加的便捷.就目前来看，并行数据库处理技术在使用当中最主要的是虚拟的服务技术和多线程技术. 1.5对称多处理技术 对称多处理技术的英文缩写为SMP，在这项技术当中也是通过总线将多个处理器联系而成，而且系统中的软件和硬件是对称的，同时在硬件上的每个CPU计算能力相同，也是共享主存的.在软件上，所有的软件都是共享一份操作代码的. 2智能化分配算法的计算机负荷并行处理的模型以及算法 2.1智能化分配算法的计算机负荷并行处理技术的模型描述 我们将以同构星型的网络为模型，在网络中是由N个链路以及N+1个处理器构成的，包括了根处理器和前端处理器，同时所有的处理器都和根处理器用过通信链路连接，并且与之相连的处理器和链路的线性成本系数为Cl1、Cl2以及CP0、CP1我们可以假设当计算机达到一定的负荷时，总的负荷将通过根处理器被分成N+1份，并且根处理器将能够保证自身的部分为a0，然后能够为子处理分配P1、P2、P3、PN的部分也能够保证其为a1、a2、a3、an.在负荷的分配完成之后，系统中包含的所有处理器会立即开始计算，直到被分配的负荷被全部计算处理了为止.在计算的过程中，我们可以令Wi为第i个处理器的计算速度的倒数，ai为第i个链路上的处理器所分配到的负荷，Zi则是在第i个链路上的连接速度的倒数，计算强度的常数是Tcp，用来表示在WiTcp秒内通过第i个链路时的总负荷.此外，Tf表示所有负荷被处理完成后的时间. 2.2智能化分配算法的计算机负荷并行处理技术的负荷分配算法 在对智能化分配算法的计算机负荷并行处理技术的负荷分配模型进行计算的过程中，首先需要明确服务器系统S是由n个可用的节点构成的，并且系统中的数据可以划分为p个数据分片，同时在整个系统中必须一共要有m个任务.W用来表示整个系统中任务的等待处理的队列，长度用Q来表示，Wi对应的应该是第i个网络节点上接收到的但是还没有进行处理的任务所形成的队列，队列的长度为Qi.在计算机智能化分配算法实现的过程中，必须要包含以下几个定义，才能使算法成立. 定义1网络节点类型向量Tu，根据节点在工作中的荷载L来表示和记录各个节点类型中所包含的一维向量的取值.网络中所有节点都要设置阈值f，这个值是根据系统运行时的资源配置以及系统实际的处理能力来进行设置的.与此同时，还要设定 在本式中，要注意Tvi表示-1，表示的具体意义为系统在Si状态欠载，并且为接收节点，如果Tvi为0，那么表示系统在Si为平衡状态，如果Tvi为1，那么表示系统在Si为超载状态，并且在此时为发送结点. 定义2节点的负载是用L来表示，并且用所有节点的CPU队列的长度比来表示每个节点的CPU队列长度.也就是说，如果假设Si的CPU队列长度为Li，那么在Si处的负载就可以使用如下过程进行计算. 定义3在该系统当中，数据分配矩阵将用Dm来表示，那么我们可以通过计算整个系统中数据分片的分布来将Dm的值进行确定，同时也能够将数据分布情况的矩阵进行确定，具体大小为np. 定义4系统中数据分布冗余等级的向量为Rv，我们将通过这个向量来记录某一个数据分片冗余等级的一维向量，具体的大小用p来表示，计算过程为： 定义5开销矩阵Am是用来表示系统中的某一个任务被分配到某一节点上后，在执行时产生的开销矩阵，开销矩阵的大小为mn，其计算过程为： 其中Amg,i为任务再借点Si商上执行的开销. 定义6节点任务在执行的计算开销数组AA为记录每一个节点中的所有任务执行开销之和的一维数组，具体的大小为n，计算过程为： 定义7在系统中的各个任务在进行通信开销时，开销矩阵是用TM来表示的，当不同节点机在执行任务时，会进行信息的交换，这时就会产生通信开销矩阵，具体大小用mm来表示.计算过程为： 定义8节点机在进行任务处理的过程中，会产生一个值为CA.我们将用CA来表示任务通信的开销数组，其作用就是记录每一个节点执行任务时和其他节点进行信息交换所产生的通信开销总和的数组，具体大小为n，数组的计算过程为： 定义9节点机任务开销数组用FA来表示，可以用于记录在每一个节点中计算通信开销以及开销之和，数组的具体大小为n，可以使用以下过程来进行计算 定义10当一个任务在任意的两点之间进行转移时，也会产生开销，这被我们成为转移开销.在具体的计算过程中，我们可以设Csize（Tg）为任务Tg在执行时的代码数据量，与此同时，设Rsize（Tg）为任务Tg在执行后结果信息的数据量，那么当Tg从节点Si转移到节点Sj时，所产生的开销Pg为 在这个式子当中包括了发送者和接受者启动的模块，当两个模块在工作时，会根据总的任务负载和在等待中的任务量来选择应该启动的子模块，从而保证任务的圆满完成. 2.3智能化分配算法的计算机负荷并行处理技术的负荷的主要递推公式 在进行负荷的分配时，分配过程可以用一种与根特图相类似的时间分配表格来进行表示.如图所示，时间轴的上方表示的是系统的通信时间，而时间轴的下方则表示计算时间.在该时间图的基础上，我们同时假设所有的处理器在同一时间节点上都能够停止计算，从而得到递推公式. 通过此时间图我们可以计算出系统的递推公式为 其中Cn为系统在处理第n个处理器时总的负荷成本，而总成本为每个链路上到处理器上所得到的单个处理成本的总和，计算方法为 3结语 在进行分布式并行数据处理的过程中，对计算机负荷的正确处理显得十分重要，因此就需要使用任务分配算法来进行计算，这种计算方式将有效提高计算机处理任务的效率以及系统的处理开销.文章所提出的智能化分配算法的计算机负荷并行处理技术能够根据负荷的变化智能地选择启动策略，并同时将任务执行时可能出现的需求进行综合的考虑，值得在数据处理过程中使用. 参考文献： 1李杰.计算机负荷并行处理技术的智能化分配算法J.电子制作,xx(8):98. 2崔梦天,赵海军,李明东,等.基于智能化分配算法的计算机负荷并行处理技术J.系统工程与电子技术,xx,30(11):2270-2273. 3王超,刘伟,袁培苑,等.基于细粒度任务分配的空时自适应并行处理算法研究J.电子与信息学报,xx,34(6):1398-1403. 4易会战,刘永鹏.改善系统能量效率的体系结构方法:并行处理J.计算机学报,xx,32(12):2475-2481. 5钟敏,陈朝根,葛宇飞,等.基于网格技术的地震资料并行处理平台建设与应用J.中国石油大