python中mpi4py的所有基础使用案例详解

第python中mpi4py的所有基础使用案例详解python中mpi4py的基础使用

大多数MPI程序都可以使用命令mpiexec运行。在实践中，运行Python程序如下所示：

$mpiexec-n4pythonscript.py

案例1：测试comm.send和comm.recv函数，代码如下

frommpi4pyimportMPI

comm=MPI.COMM_WORLD

rank=comm.Get_rank()

ifrank==0:

data={'a':7,'b':3.14}

comm.send(data,dest=1,tag=11)

elifrank==1:

data=comm.recv(source=0,tag=11)

rank代表进程编号，其总数是mpiexec-n中的n的个数，最大的n受到电脑cpu内核数的限制

dest代表发送的目标，tag是一个标志位可以忽略，source为数据来源rank标志

案例2：具有非阻塞通讯的python对象

frommpi4pyimportMPI

comm=MPI.COMM_WORLD

rank=comm.Get_rank()

ifrank==0:

data={'a':7,'b':3.14}

req=comm.isend(data,dest=1,tag=11)

req.wait()

elifrank==1:

req=comm.irecv(source=0,tag=11)

data=req.wait()

案例3：快速发送实例

这里的Send和Recv都是大写，用于numpy数据的传输

frommpi4pyimportMPI

importnumpy

comm=MPI.COMM_WORLD

rank=comm.Get_rank()

#passingMPIdatatypesexplicitly

ifrank==0:

data=numpy.arange(1000,dtype='i')

comm.Send([data,MPI.INT],dest=1,tag=77)

elifrank==1:

data=numpy.empty(1000,dtype='i')

comm.Recv([data,MPI.INT],source=0,tag=77)

#automaticMPIdatatypediscovery

ifrank==0:

data=numpy.arange(100,dtype=numpy.float64)

comm.Send(data,dest=1,tag=13)

elifrank==1:

data=numpy.empty(100,dtype=numpy.float64)

comm.Recv(data,source=0,tag=13)

案例4：集体通讯，广播机制

广播机制就是将当前root=0端口下的所有信息发送到任何一个进程

frommpi4pyimportMPI

comm=MPI.COMM_WORLD

rank=comm.Get_rank()

ifrank==0:

data={'key1':[7,2.72,2+3j],

'key2':('abc','xyz')}

else:

data=None

data=comm.bcast(data,root=0)

案例5：scatter，将root=0下的数据一次分发到各个rank下

frommpi4pyimportMPI

comm=MPI.COMM_WORLD

size=comm.Get_size()

rank=comm.Get_rank()

ifrank==0:

data=[(i+1)**2foriinrange(size)]

else:

data=None

data=comm.scatter(data,root=0)

assertdata==(rank+1)**2

案例6：gather，将所有rank下的数据收集到root下

frommpi4pyimportMPI

comm=MPI.COMM_WORLD

size=comm.Get_size()

rank=comm.Get_rank()

data=(rank+1)**2

data=comm.gather(data,root=0)

ifrank==0:

foriinrange(size):

assertdata[i]==(i+1)**2

else:

assertdataisNone

案例7，numpy的广播机制

与之前一样都是大写

frommpi4pyimportMPI

importnumpyasnp

comm=MPI.COMM_WORLD

rank=comm.Get_rank()

ifrank==0:

data=np.arange(100,dtype='i')

else:

data=np.empty(100,dtype='i')

comm.Bcast(data,root=0)

foriinrange(100):

assertdata[i]==i

案例8：numpy的Scatter机制

frommpi4pyimportMPI

importnumpyasnp

comm=MPI.COMM_WORLD

size=comm.Get_size()

rank=comm.Get_rank()

sendbuf=None

ifrank==0:

sendbuf=np.empty([size,100],dtype='i')

sendbuf.T[:,:]=range(size)

recvbuf=np.empty(100,dtype='i')

comm.Scatter(sendbuf,recvbuf,root=0)

assertnp.allclose(recvbuf,rank)

案例9：numpy的Gather机制

frommpi4pyimportMPI

importnumpyasnp

comm=MPI.COMM_WORLD

size=comm.Get_size()

rank=comm.Get_rank()

sendbuf=np.zeros(100,dtype='i')+rank

recvbuf=None

ifrank==0:

recvbuf=np.empty([size,100],dtype='i')

comm.Gather(sendbuf,recvbuf,root=0)

ifrank==0:

foriinrange(size):

assertnp.allclose(recvbuf[i,:],i)

案例10：allgather机制

allgather就是scatter加上广播机制。

rank0=a

rank1=b

rank2=c

allgather后结果为

rank0=a，b，c

rank1=a，b，c

rank2=a，b，c

frommpi4pyimportMPI

importnumpy

defmatvec(comm,A,x):

m=A.shape[0]#loc