《Python编程基础》课件-6.6.7Python的多进程编程

Python的多进程编程教学目标1.了解Python的多进程编程

2.了解创建进程的基本方法

3.掌握multiprocessing.Pool实现多进程

Python的多进程编程通过multiprocessing模块实现，允许创建多个独立进程，每个进程拥有自己的内存空间和Python解释器，从而实现真正的并行执行，尤其适合多核CPU环境。核心概念：multiprocessing模块提供进程创建和管理；进程独立于线程，避免GIL；适用于CPU-bound任务；重要性在于性能优化和资源利用。1、什么是Python的多进程编程及其重要性#单进程示例：顺序执行deftask(n):#定义任务函数returnsum(range(n))#计算sums，模拟计算密集result1=task(1000000)#顺序调用，耗时长result2=task(1000000)#再次调用，仍耗时#多进程概念：并行执行（完整实现见后续页）importmultiprocessing#导入模块p1=multiprocessing.Process(target=task,args=(1000000,))#创建进程1p2=multiprocessing.Process(target=task,args=(1000000,))#创建进程2p1.start();p2.start()#启动并行p1.join();p2.join()#等待完成创建进程的基本方法使用multiprocessing.Process类，指定target函数和args参数，然后调用start()启动进程，并用join()等待完成。核心概念:：Process类实例化进程；target指定执行函数；args/kwargs传递参数；start()和join()管理生命周期。2.创建进程的基本方法importmultiprocessing#导入multiprocessing模块defworker(num):#定义工作函数print(f"Worker{num}started")#输出启动信息#模拟工作print(f"Worker{num}finished")#输出完成if__name__=='__main__':#主进程守护，确保Windows兼容processes=[]#进程列表foriinrange(3):#创建3个进程p=multiprocessing.Process(target=worker,args=(i,))#创建Process对象processes.append(p)#添加到列表p.start()#启动进程forpinprocesses:#等待所有进程p.join()#阻塞直到完成核心概念:进程独立执行函数；结果通过共享对象或队列返回。3.多进程的简单代码示例importmultiprocessing#导入模块defsquare(n):#定义平方函数returnn*n#返回平方值if__name__=='__main__':#主进程保护numbers=[1,2,3,4]#输入列表processes=[]#进程列表results=[]#结果列表（实际中用队列更好）fornuminnumbers:#为每个数创建进程p=multiprocessing.Process(target=square,args=(num,))#创建进程processes.append(p)#添加p.start()#启动forpinprocesses:#等待p.join()#完成（结果收集需改进）#模拟结果（实际用Queue）print([square(n)forninnumbers])#输出[1,4,9,16]multiprocessing.Pool提供进程池管理，自动分配任务到固定进程数，通过map()或apply()执行函数。核心概念:Pool管理固定进程；map()并行映射；自动结果有序返回。4.使用multiprocessing.Pool实现多进程importmultiprocessing#导入模块defcube(x):#定义立方函数returnx**3#返回立方值if__name__=='__main__':#主进程保护withmultiprocessing.Pool(processes=4)aspool:#创建4进程池，使用with自动管理results=pool.map(cube,range(10))#并行计算0-9的立方print(results)#输出[0,1,8,27,64,125,216,343,512,729]多进程编程用于并行数据处理、科学模拟或Web爬虫。核心概念:实际应用聚焦并行任务；数据分块处理；与多线程比较用于I/O。5.多进程编程在实际场景中的应用importmultiprocessing#导入模块importtime#模拟耗时defprocess_data(data):#处理函数time.sleep(1)#模拟耗时returnsum(data)#返回sumsif__name__=='__main__':#保护data_chunks=[[1,2,3],[4,5,6],[7,8,9]]#数据分块withmultiprocessing.Pool()aspool:#默认进程池results=pool.map(process_data,data_chunks)#并行处理print(results)#输出[6,15,24]GIL对多进程影响是Python中全局锁不限进程但影响线程的过程，确保多进程并行。其影响的核心在于CPU任务受益，并在实际中用于计算。核心概念:GIL锁线程不锁进程；对多进程影响小；影响强调CPU受益。6.GIL对多进程影响importmultiprocessingasmp#导入importtime#时间defcpu_bound():#CPU任务sum(range(1000000))#求和start=time.time()#开始processes=[mp.Process(target=cpu_bound)for_inrange(4)]#4进程forpinprocesses:p.start()#启动forpinprocesses:p.join()#等待print(time.time()-start)#输出时间，如0.5s，并行受益GIL不限常见问题：数据共享需Queue/Pipe；启动慢；内存复制。核心概念:通信工具Queue/Pipe；最佳实践强调效率和安全性。7.常见问题与最佳实践importmultiprocessing#导入模块defproducer(q):#生产者q.put('data')#放入数据if__name__=='__main__':#保护q=multiprocessing.Queue()#创建队列p=multiprocessing.Process(target=producer,args=(q,))#创建进程p.start()#启动print(q.get())#获取'data'