python多进程实现多任务
优点:稳定性高;提升程序执行效率
第一种:进程池快速创建(适合创建大量进程,简单,推荐!)
from multiprocessing import Pool # 导入进程池模块 import os # 导入系统模块 import time #导入时间模块 import random def to_work(num): # 打印进程号 print("----开始执行任务%d,进程的pid为%d,父进程的pid为%d----"%(num, os.getpid(), os.getppid())) # 模拟延时 random.random() 生成0-1之间的数 time.sleep(random.random()) print("第%d号进程完成任务%d第一阶段"%(os.getpid(),num)) time.sleep(random.random()) print("第%d号进程完成任务%d第二阶段"%(os.getpid(),num)) time.sleep(random.random()) print("第%d号进程完成任务%d第三阶段"%(os.getpid(),num)) time.sleep(random.random()) print("----任务%d执行完毕----"%(num)) def main(): # 创建一个最多开启3进程的进程池 po = Pool(3) # 将5个任务添加到进程池 for i in range(1, 6): # async非堵塞添加,to_work为参数名,i为传递的参数,单个参数一定要加逗号!一定要加逗号!一定要加逗号! po.apply_async(to_work,(i,)) print("----开始----") # 关闭进程池,不再接收新的任务,开始执行任务 po.close() # 主进程等待所有子进程结束 po.join() print("----结束----") if __name__ == "__main__": main() |
第二种实现方式(Process创建进程,需要手动管理)
frommultiprocessingimportProcess importos importtime importrandom defto_work(num): #打印进程号 print("----开始执行第%d个子进程,进程的pid为%d,父进程的pid为%d----"%(num,os.getpid(),os.getppid())) #模拟延时random.random()生成0-1之间的数 time.sleep(random.random()) print("第%d号进程完成第一阶段任务"%(os.getpid())) time.sleep(random.random()) print("第%d号进程完成任第二阶段任务"%(os.getpid())) time.sleep(random.random()) print("第%d号进程完成第三阶段任务"%(os.getpid())) time.sleep(random.random()) print("----第%d个子进程执行完毕----"%(num)) defmain(): #创建子进程 son_p1=Process(target=to_work,args={1,}) son_p2=Process(target=to_work,args={2,}) print("----开始----") #开启子进程 son_p1.start() son_p2.start() #等待子进程结束 son_p1.join() son_p2.join() print("----结束----") if__name__=="__main__": main() |
第三种实现方式(windows无法使用,只能在类Unix平台使用,可用于制作"fork炸弹")
import os import time import random def work_fork(result): if result == 0: print("子进程%d开始执行,父进程pid为%d"%(os.getpid(),os.getppid())) time.sleep(random.random()) print("子进程任务1") time.sleep(random.random()) print("子进程任务2") time.sleep(random.random()) print("子进程任务3") time.sleep(random.random()*2) print("子进程任务4") time.sleep(random.random()) print("子进程函数执行完毕") else: print("父进程开始执行,进程pid为%d,祖先进程pid为%d"%(os.getpid(),os.getppid())) time.sleep(random.random()) print("父进程任务1") time.sleep(random.random()) print("父进程任务2") time.sleep(random.random()*2) print("父进程任务3") time.sleep(random.random()) print("父进程任务4") time.sleep(random.random()) print("父进程函数执行完毕") def main(): result = os.fork() work_fork(result) print("主进程pid为%d"%(os.getpid())) if __name__ == "__main__": main() |
附:fork炸弹
import os
while True:
os.fork()
